DPDK使用的,用以解决应对高性能数据包处理的技术:
1. 轮询 -- 可以避免上下文切换的开销
2. 用户态驱动 -- 规避了不必要的内存拷贝,又避免了系统调用
一个间接的影响在于,用户态驱动不受限于内核现有的数据格式和行为定义。对mbuf 头格式的 重定义、对网卡DMA 操作[1]的重新优化可以获得更好的性能。而用户态驱动也便于快速地迭代优化,甚至对不同场景进行不同的优化组合。
3. 亲和性与独占 -- DPDK工作在用户态,线程的调度仍然依赖内核。
利用线程的CPU 亲和绑定的方式,特定任务可以被指定只在某个核上工作。好处是可避免线程在不同核间频繁切换,核间线程切换容易导致因 cache miss 和 cache write back 造成的大量性能损失。如果更进一步地限定某些核不参与Linux 系统调度,就可能使线程独占该核,保证更多cache hit 的 同时,也避免了同一个核内的多任务切换开销。
4. 降低访存开销 -- 网络数据包处理是一种典型的I/O 密集型(I/O bound)工作负载
无论是 CPU 指令还是DMA,对于内存子系统(Cache+DRAM)都会访问频繁。利用一些已知的高效方法来减少访存的开销能够有效地提升性能。比如利用内存大页能有效降低TLB miss, 比如利用内存多通道的交错访问[2]能有效提高内存访问的有效带宽,再比如利用对于内存非对称性的感知可以避免额外的访存延迟。而cache 更是几乎所有优化的核心地带。
5. 软件调优 --
这里其实指代的是一系列调优实践,比如结构的cache line对齐,比如数据在多核间访问避免跨cache line共享,比如适时地预取数据,再如多元数据批量操作。这些具体的优化策略散布在DPDK 各个角落。
6. 利用IA新硬件技术
拿 Intel® DDIO 技术来讲,这个 cache 子系统对DMA 访存的硬件创新直接助推了性能跨越式的增长。有效利用SIMD(Single Instruction Multiple Data)并结合超标量技 术(Superscalar)对数据层面或者对指令层面进行深度并行化,在性能的进一步提升上也行之 有效。另外一些指令(比如cmpxchg),本身就是lockless 数据结构的基石,而crc32 指令对 与 4 Byte Key 的哈希计算也是改善明显。
7. 充分挖掘网卡的潜能 --
经过 DPDK I/O 加速的数据包通过 PCIe 网卡进入系统内存,PCIe 外设到系统内存之间的带宽利用效率、数据传送方式(coalesce 操作)等都是直接影响I/O 性能的因素。在现代网卡中,往往还支持一些分流(如RSS,FDIR 等)和卸载(如Chksum, TSO 等)功能。DPDK 充分利用这些硬件加速特性,帮助应用更好地获得直接的性能提升。
8. DPDK I/O虚拟化
[1]DMA操作:DMA(Direct Memory Access,直接内存存取) 是所有现代电脑的重要特色,它允许不同速度的硬件装置来沟通,而不需要依赖于 CPU 的大量中断负载。DMA技术的出现,使得外围设备可以通过DMA控制器直接访问内存,与此同时,CPU可以继续执行程序.那么DMA控制器与CPU怎样分时使用内存呢?通常采用以下三种方法:(1)停止CPU访内存;(2)周期挪用;(3)DMA与CPU交替访问内存.
[2]交错内存:内存交错技术(DRAM Bank Interleave)是威盛(VIA)芯片组用来提升内存性能的一种技术,能提供更多的传输管道与更高的内存频宽,使内存在同一时间内能同时进行多个写/读的操作,从而有效地提高系统性能。内存交错运行模式主要有2路交错(2-Bank Interleave)和4路交错(4-Bank Interleave)两种。出于保证系统稳定的考虑,很多基于VIA芯片组的主板在默认情况下关闭了内存交错模式或默认最多以2路方式来运行。进行内存性能的优化时,可在BIOS中通过简单设置将其打开激活。