网络安全【免费下载链接】suricataSuricata is a network Intrusion Detection System, Intrusion Prevention System and Network Security Monitoring engine developed by the OISF and the Suricata community.项目地址https://gitcode.com/gh_mirrors/su/suricata点击查看免费下载Suricata 通过 DPDKData Plane Development Kit捕获模块实现绕过内核网络栈的高性能报文处理。本文以官方 DPDK 捕获硬件配置文档为主线系统讲解 Suricata 启动时的大页hugepage用量分析、基于 Bond PMD 的多网卡聚合、节能型中断模式、接口属性自动配置、链路状态检测超时与 VLAN 硬件剥离等进阶用法并结合仓库源码如 src/runmode-dpdk.c、src/util-hugepages.c与示例配置suricata.yaml.in给出可直接落地的配置示例与底层原理。读完本文你将掌握在 TAP/IPS 场景下正确规划大页数量、组建链路聚合、按接口启用中断模式并精准调优 DPDK 队列参数的完整方法。DPDK 捕获模块基础背景DPDK 是一套面向数据面应用的高速报文处理库与驱动集合其核心价值在于绕过内核网络协议栈让用户态应用直接访问 NIC 存放报文的内存从而获得显著的性能提升。在 DPDK 模式下报文不是通过中断机制交付而是由应用主动轮询pollingNIC 获取新到达的报文Suricata 直接基于报文描述符处理数据无需额外拷贝。要把 DPDK 捕获模块用起来前提条件包括编译期启用 DPDK 支持./configure --enable-dpdk安装好pkg-config并能正确查询 DPDK 版本pkg-config --modversion libdpdk当前仓库要求最低 DPDK 版本为 19.11分配足够数量的大页hugepage且大页必须位于 NIC 与 CPU 核心所在的 NUMA 节点上。完整的 DPDK 基础搭建流程见 suricata-yaml 配置文档中的 DPDK 捕获模块章节本文聚焦于该文档capture-hardware/dpdk.rst中讲解的进阶与边缘场景。Hugepage 分析在启动期诊断大页过量分配Suricata 具备对系统已用大页的自动分析能力在可能存在大页过量分配overallocation时尤为有用。分析的目的是评估当前使用中的大页数量并给出合适的大页数量建议使 Suricata 既能以最优状态运行又为系统上其他应用保留足够内存。工作原理前后快照对比分析机制本质上是对 Suricata 初始化之前与之后两份大页快照进行比较。由于 Suricata 初始化完成后不再分配大页因此后置快照即可反映 Suricata 实际占用的大页规模。在源码层面这一逻辑实现在 src/util-hugepages.c 的SystemHugepageEvaluateHugepages()函数中它逐个 NUMA 节点、逐种大页尺寸对比pre_s初始化前快照与post_s初始化后快照并输出多种建议若初始化前后 free 数量相同说明这些大页未被使用可考虑释放SCLogPerf输出unused and can be deallocated若 2048kB 大页在初始化后 free 为 0说明该 NUMA 节点大页被全部用尽建议增加大页数量以避免跨 NUMA 分配内存若 free 大页占比仍高于 50%还会基于实际用量乘以 1.15 的余量系数给出一个建议的大页总数。查看方式与触发条件分析结果在Perf 日志级别下输出并仅在Suricata 启动过程中打印只有当 Suricata 检测到系统大页分配存在**异常discrepancy**时才会打印输出。分析前的干净状态准备官方建议从干净状态即所有大页均空闲开始执行分析尤其当系统上没有其他依赖大页的应用运行时效果最佳。可用以下两种方式检查大页是否空闲# 全局检查 cat /proc/meminfo HugePages_Total: 1024 HugePages_Free: 1024 # 按 NUMA 节点检查取决于 NUMA 节点 ID、大页尺寸以及 # nr_hugepages/free_hugepages 两个计数例如 cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/free_hugepages清理未释放的大页在 Suricata 及其他依赖大页的应用终止后如果 free 大页数量不等于总大页数量说明部分大页没有被完整释放。修复办法是从挂载大页的目录文件系统中移除 DPDK 相关文件。操作时务必谨慎——尤其当其他依赖大页的应用仍在运行时删除操作会破坏这些应用的内存功能。sudo rm -rf /dev/hugepages/rtemap_* # 查看大页挂载位置 dpdk-hugepages.py -s # 或 mount | grep huge注dpdk-hugepages.py是 DPDK 自带的大页管理脚本在仓库中也用于--setup分配大页见 suricata-yaml.rst。rtemap_*是 DPDK 运行时在大页文件系统上创建的共享内存映射文件。Bond interface用 Bond PMD 聚合多个物理网口Bond PMDLink Bonding Poll Mode Driver是 DPDK 提供的纯软件机制用于把多块物理网卡聚合成单个逻辑接口。典型用途包括将被分光TAP接口的双向流量投递到同一个 worker例如一条链路的两个方向分别进入两块物理网卡时通过监控多条链路实现冗余通过跨多条链路负载均衡提升网络吞吐。Bond PMD 本质上是操纵多块物理网卡的虚拟驱动支持多种工作模式如 round-robin、active-backup 等具体模式可查阅 DPDK 官方 Bond PMD 编程指南。使用时有两点约束需要注意被聚合的接口必须是相同设备类型——例如两块物理口都必须运行在 mlx5 PMD 上Bond PMD 支持多队列因此可以在 workers runmode 下工作它对单个端口流量分布不应产生影响流仍然按照各物理口独立的 RSS 配置进行分发。双向 TAP 流量场景示例假设 Suricata 监控 2 块接收光口 TAP 流量的接口通信的一个方向到达接口 A另一个方向到达接口 B。此时可在suricata.yaml的 DPDK 部分通过eal-params的vdev参数创建虚拟 Bond 设备... dpdk: eal-params: proc-type: primary vdev: net_bonding0,mode0,slave0000:04:00.0,slave0000:04:00.1 # DPDK capture support # RX queues (and TX queues in IPS mode) are assigned to cores in 1:1 ratio interfaces: - interface: net_bonding0 # PCIe address of the NIC port # Threading: possible values are either auto or number of threads # - auto takes all cores # in IPS mode it is required to specify the number of cores and the # numbers on both interfaces must match threads: 4 ...配置项拆解vdev是新增到dpdk.eal-params段落中的虚拟设备参数。DPDK EAL 会在初始化阶段创建指定的虚拟设备本例中 EAL 创建了一个类型为net_bonding的设备后缀0表示接口名即net_bonding0设备名之后跟随额外参数mode0即 Bond PMD 文档中的round-robin 模式slave0000:04:00.0、slave0000:04:00.1依次追加成员slave物理口的 PCIe 地址。从源码看Suricata 在 src/runmode-dpdk.c 的InitEal()中把dpdk.eal-params下的每个键值对转换成--key value形式的 EAL 参数并交给rte_eal_init()src/util-dpdk-bonding.c 则负责 Bond 相关的运行期处理例如通过BondingIsBond()依据驱动名net_bonding识别 Bond 端口以及通过rte_eth_bond_members_get()/rte_eth_bond_slaves_get()获取聚合成员。此外在自动计算 mempool 大小时源码会对net_bonding驱动走专门的BondingMempoolSizeCalculate()逻辑见下文自动接口配置。对应的 threading 配置当设备在 EAL 参数中指定后net_bonding0就能被interfaces列表引用。注意列表里填写的不是物理口的 PCIe 地址而是net_bonding0这个虚拟接口名。threads的数量也需要与interfaces列表项对齐方法是启用set-cpu-affinity并分别列出管理线程与 worker 线程使用的 CPU... threading: set-cpu-affinity: yes cpu-affinity: management-cpu-set: cpu: [ 0 ] # include only these CPUs in affinity settings receive-cpu-set: cpu: [ 0 ] # include only these CPUs in affinity settings worker-cpu-set: cpu: [ 2,4,6,8 ] ...这与 suricata.yaml.in 中 threading 段落的结构一致management-cpu-set用于流超时处理与计数器线程worker-cpu-set用于 worker 线程还支持interface-specific-cpu-set为单个接口单独指定 CPU 集。源码ConfigSetThreads()会强制校验DPDK runmode 必须配置线程亲和否则直接报错且worker-cpu-set与management-cpu-set均为必填项worker 与 management 线程不应重叠。Interrupt省电模式按接口混合轮询与中断DPDK 传统上以轮询模式著称CPU 核心持续不断地向 NIC 查询报文。轮询的优势是低延迟、高性能但在零星或低流量场景下会造成不必要的 CPU 空转。为此 DPDK 提供了interrupt中断模式。收益与注意事项中断模式最直接的收益是功耗效率。根据官方测试目前未观察到性能下降Suricata 性能反而有轻微提升使用 IPS runmode 的用户需要注意中断可能引入非确定性延迟不过该延迟不会高于其他如 AF_PACKET / AF_XDP 等捕获方式。按接口独立配置中断模式支持按接口per-interface开启因此可以搭建混合环境——部分 worker 保持轮询部分 worker 使用中断。配置项位于suricata.yaml的 DPDK 段落... dpdk: eal-params: proc-type: primary interfaces: - interface: 0000:3b:00.0 interrupt-mode: true threads: 4源码实现上src/runmode-dpdk.c 将interrupt-mode映射为接口配置属性dpdk_yaml.irq_mode默认值为false宏DPDK_CONFIG_DEFAULT_INTERRUPT_MODE。开启时设置DPDK_IRQ_MODE标志位并在PortConfSetInterruptMode()中把端口配置的port_conf-intr_conf.rxq置 1从而让 RX 队列以中断方式唤醒。自动接口配置让 Suricata 依据 NIC 能力自算参数dpdk.interfaces下的大部分属性都可以手工指定但 Suricata 也支持根据 NIC 能力自动配置接口属性。只需把以下四个接口属性设为automempool-sizemempool-cache-sizerx-descriptorstx-descriptorsauto模式下Suricata 会基于 NIC 能力做最佳努力best-effort计算RX 描述符取小于或等于 NIC 支持描述符数量的最大 2 的幂。源码ConfigSetRxDescriptors()中调用GreatestPowOf2UpTo(max_desc)实现TX 描述符取决于copy-mode的配置。IDSnone模式下默认不创建 TX 队列、TX 描述符为 0IPS 与 TAP 模式下 TX 描述符数量与 RX 描述符一致源码ConfigSetTxDescriptors()依据iface_sends_pkts决定是否分配ConfigIfaceSendsPkts()判断ips/tap两种模式mempool 大小与 cache 大小在描述符数量确定后推导。源码MempoolSizeCalculateAutosize()把nb_rx_desc nb_tx_desc 1向上对齐到 2 的幂再减 1保证形如2^q - 1使全部描述符可被使用MempoolCacheSizeCalculate()则要求 cache 不超过RTE_MEMPOOL_CACHE_MAX_SIZE默认 512与mempool-size / 1.5同时满足mempool-size 能被 cache 整除的约束最终取满足条件的最小最大公约数。RX/TX 描述符被设置为可能的最大值是为了在流量突发时提供更多缓冲空间代价是占用更多内存。因此如果默认值不符合实际资源约束仍然可以手工指定这四个属性。注意Mellanox ConnectX-4 网卡可能不支持 RX/TX 描述符的自动配置此时应改为固定值例如 16384。关于手动指定mempool-size的分摊逻辑可参考 suricata-yaml.rst 中的说明手动设定值如 65536会按接口 worker 数均分例如 4 个 worker 时每个 worker 分得 16383 个报文对象接口 mempool 的字节内存约为mempool-size * mtu据此可以估算所需大页数量。Link State Change 超时等待链路就绪再收包linkup-timeoutYAML 配置项用于设置等待接口链路被检测到的时间上限确保 Suricata 在链路真正 up 之前不开始处理报文。该选项对Intel E810Ice网卡尤其有用——这类网卡在接口启动后要过几秒才开始接收报文若关闭此检查Suricata 会报告已启动但实际上还要过几秒才开始处理报文。官方文档指出该问题未在其他网卡上观察到。行为细节设为0表示跳过链路检查若超时后链路仍未 upSuricata 会警告用户但继续引擎初始化。源码ConfigSetLinkupTimeout()接受的取值范围为 0 到UINT16_MAX65535的正整数默认值为 0禁用宏DPDK_CONFIG_DEFAULT_LINKUP_TIMEOUT。在 suricata.yaml.in 的注释中也说明linkup-timeout: 0表示等待多少秒后放弃0 表示禁用链路状态检查可按需调整秒数。Encapsulation stripping硬件 VLAN 剥离Suricata 支持在受支持的 NIC上启用硬件卸载的封装剥离hardware-offloaded encapsulation stripping。目前支持的是VLAN 封装剥离通过接口属性vlan-strip-offload开启。dpdk: interfaces: - interface: 0000:3b:00.0 vlan-strip-offload: true默认值为false宏DPDK_CONFIG_DEFAULT_VLAN_STRIP。源码PortConfSetVlanOffload()会先检查 NIC 的 RX offload 能力是否包含RTE_ETH_RX_OFFLOAD_VLAN_STRIP支持则在端口配置的rxmode.offloads中置位并记录 hardware VLAN stripping enabled不支持则打印警告并自动禁用。Suricata 启动时默认关闭所有 offload 以防止任何报文被修改只有显式配置的 offload如校验和验证、VLAN 剥离才会按需开启。接口参数速查表以下参数均可在dpdk.interfaces列表项中配置也支持default项作为缺失配置的兜底值完整示例见 suricata.yaml.in 的dpdk:段落参数默认值说明threadsauto每个接口的 worker 线程数auto按 affinity 核心自动分配IPS 模式需显式指定且双接口数量必须一致interrupt-modefalse按接口开启中断省电模式promisctrue混杂模式捕获所有报文multicasttrue同时检测组播报文checksum-checkstrue是否校验报文校验和checksum-checks-offloadtrue尽可能把校验和验证卸载给 NICmtu1500设备 MTU字节vlan-strip-offloadfalse硬件 VLAN 剥离rss-hash-functionsautoRTE_ETH_RSS_IPRSS 哈希函数标志可用-vvv启动观察DumpRssFlags输出后按 16 进制指定linkup-timeout0链路检测等待秒数0 表示禁用mempool-sizeauto按 RX/TX 描述符与线程数自动计算mempool-cache-sizeauto依据 mempool 大小自动计算rx-descriptorsauto最大 RX 描述符数tx-descriptorsauto最大 TX 描述符数IDS 模式自动为 0copy-modenonenoneIDS/tap转发并告警/ips转发并按规则丢弃copy-ifacenoneIPS/TAP 模式下的第二块接口 PCIe 地址以上映射关系与取值约束均可在 src/runmode-dpdk.c 顶部的DPDKIfaceConfigAttributes dpdk_yaml结构及ConfigLoad()配置装载函数中逐一核对。运行与验证DPDK 捕获模块在 workers runmode 下工作报文分发依赖 NIC 的 Receive Side ScalingRSS——Suricata 内部使用对称哈希0x6d5a把双向流定向到同一个 worker保证流完整性。每个 worker 对应 1 个 RX 队列IPS 模式下另有 1 个 TX 队列RX 队列数恒等于线程数TX 队列数要么等于 RX 队列数要么在 IDS 模式下置 0通过tx-descriptors: auto或 0 实现。仓库还提供了 DPDK 相关的活体测试脚本可用于验证运行环境与配置正确性qa/live/dpdk.sh、qa/live/dpdk/dpdk-testsuite.sh 与 qa/live/dpdk/dpdk-checklog.sh。如果追求更深入的理解可继续阅读DPDK 运行模式与接口配置装载src/runmode-dpdk.c、src/runmode-dpdk.hDPDK 报文接收源src/source-dpdk.cBond 聚合与 RSS 辅助逻辑src/util-dpdk-bonding.c、src/util-dpdk-rss.c各 PMD 定制逻辑src/util-dpdk-mlx5.c、src/util-dpdk-i40e.c、src/util-dpdk-ice.c、src/util-dpdk-ixgbe.c大页快照与评估实现src/util-hugepages.c小结围绕 DPDK 捕获这一主题本文从启动期大页分析出发依次覆盖了 Bond PMD 链路聚合、按接口中断模式、接口属性自动配置、链路超时检测与 VLAN 硬件剥离等进阶能力。无论是 TAP 双向流量汇聚、IPS 双口成对部署还是低流量场景下的功耗优化都可以在 suricata.yaml.in 的dpdk:与threading:段落中按上述示例落地并结合启动时的 Perf 日志与-vvv详细输出持续调优。赞分享网络安全【免费下载链接】suricataSuricata is a network Intrusion Detection System, Intrusion Prevention System and Network Security Monitoring engine developed by the OISF and the Suricata community.项目地址https://gitcode.com/gh_mirrors/su/suricata点击查看免费下载相关推荐Suricata高性能数据包捕获配置指南Suricata高性能数据包捕获配置指南 引言 Suricata作为一款开源的网络入侵检测和防御系统 NIDS/NIPS 其性能表现很大程度上取决于数据包捕获网络安全Suricata与DPDK高性能数据包捕获技术详解Suricata与DPDK高性能数据包捕获技术详解 引言 在现代网络安全领域高性能数据包处理能力至关重要。Suricata作为一款开源的网络威胁检测引擎通过网络安全MOOTDX 数据接口开发指南从模块解析到高级配置MOOTDX 数据接口开发指南从模块解析到高级配置 一、核心功能模块全景解析 MOOTDX 作为通达信数据接口的 Python 封装采用模块化设计实现行情数金融科技数据分析上一篇OpenModScan免费开源的 Modbus 主站调试工具把现场排障流程走通下一篇FlutterFlow 自定义代码实战指南省时间的跨平台示例仓库创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考