在构建高性能计算集群时，很多工程师会遇到一个尴尬场景：本地NVMe SSD顺序读取轻松突破6GB/s，但通过网络访问共享存储时，速度却骤降到1GB/s出头。问题往往不在交换机，而在于服务器内部万兆网卡与阵列卡之间的数据通路没有真正打通。两者各自性能再强，若协同不当，存储网络就会成为整个系统的瓶颈。

从PCIe总线看协同基础

当前主流的万兆网卡多采用PCIe 3.0 x8或PCIe 4.0 x4接口，理论带宽约8GB/s。而一块支持12Gb/s SAS的阵列卡，在8盘位配置下内部聚合带宽可达9.6GB/s。两者若挂在同一颗CPU的PCIe Root Complex下，会争抢有限的DMI或UPI通道。实践中建议将网卡与阵列卡分插在不同CPU的PCIe插槽，让数据流跨越NUMA节点时保持均衡。

队列深度与中断亲和性调优

高性能场景下，光纤网卡和HBA卡的队列深度设置直接影响IOPS表现。以Mellanox ConnectX-5为例，默认RSS队列数为8，若阵列卡侧仅配置4个MSI-X中断，就会导致中断集中在少数核心上。建议通过ethtool -L将网卡队列与阵列卡中断绑定到同一NUMA节点的物理核心，减少跨片访问延迟。实测中，这一调整可将4K随机写IOPS提升约22%。

缓存策略与数据路径优化

阵列卡的写缓存策略需要与网卡的中断合并参数匹配。当阵列卡开启Write-Back模式时，数据先落入板载DRAM再批量刷盘，此时若网卡中断合并周期过长，会导致上层协议栈等待确认超时。建议将网卡中断合并参数调整为rx-usecs 32、tx-usecs 64，与阵列卡缓存刷写周期形成错峰。

• 网卡模块选型：优先选择支持RoCEv2的SFP+光模块，端到端延迟可控制在5μs以内
• 阵列卡缓存保护：启用超级电容或闪存备份单元，避免断电导致写缓存丢失
• PCIe原子操作：在支持ACS的交换机下开启，减少跨卡通信的TLP开销

典型组网方案参考

以8节点HPC集群为例，每节点配置双口万兆网卡做bonding，同时接入一台支持25GbE上联的TOR交换机。存储节点则通过HBA卡直连JBOD扩展柜，由阵列卡统一管理RAID 6阵列。计算节点与存储节点之间走RoCEv2无损网络，配合ECN拥塞控制，实测NFS over RDMA顺序读可达9.2GB/s，接近线速的92%。

随着PCIe 5.0平台普及，光纤网卡与阵列卡的协同将进入新阶段。单卡200Gb/s的InfiniBand和PCIe 5.0 x16阵列卡组合，会让存储网络真正追上本地NVMe的步伐。海口瑄瑜烨网络科技有限公司持续关注高速互联与存储加速技术，为行业用户提供从网卡模块选型到阵列卡调优的全链路技术支持。