高性能计算集群的性能瓶颈，往往不在CPU核心数，也不在内存带宽，而是卡在数据从存储到计算节点之间的那一段物理链路。很多用户采购了双路至强、512GB内存，却用着一块板载千兆网卡跑分布式训练，结果梯度同步耗时占了整个迭代周期的四成——这不是夸张，是我们实测过的真实数据。

存储侧：阵列卡与HBA卡的分工逻辑

集群存储节点上，阵列卡和HBA卡的职责边界常被混淆。阵列卡自带RAID芯片和缓存，能offload CPU的校验计算，适合承载元数据或热数据盘组。而HBA卡只是透传SAS/SATA信号，必须依赖操作系统软RAID或分布式文件系统的副本机制。
实测对比：同样8块SATA SSD，用LSI 9361阵列卡配BBU做RAID10，4K随机写IOPS稳定在12.6万；换成HBA卡走ZFS镜像池，IOPS是11.8万，但CPU占用率高了三倍。如果集群跑的是HPC（大量顺序读写），HBA卡更划算；如果跑数据库类随机IO，阵列卡无可替代。

这里有个实操细节：阵列卡开启直通模式（JBOD）后，再配合ZFS或mdadm，能兼得硬件的稳定和软件灵活性。我们做过压测，阵列卡在JBOD模式下，单盘顺序读速反而比HBA卡快5%，因为缓存策略可以按盘独立设置。

网络侧：万兆网卡与光纤网卡的选型陷阱

计算节点之间走RDMA还是TCP？这决定了你选万兆网卡还是光纤网卡。注意，光纤网卡不完全等于光口万兆，它包含SFP+、QSFP28等各类光模块适配，而网卡模块（即光模块或铜缆模块）往往是整个链路里最容易被忽视的故障点。
我们维护过一套32节点的集群，最初全用某品牌的万兆电口卡（RJ45），跑MPI时延迟总在40μs波动。后来换成光纤网卡配SR光模块，延迟稳定在12μs，带宽从9.4Gbps飙到9.8Gbps。原因很简单：电口万兆的编码开销和PHY芯片发热，在高密度机柜里会造成误码率上升。

实操选型建议：

• 计算节点间通信用光纤网卡（推荐Intel X710-DA2或Mellanox ConnectX-4），光模块选多模SR，25G预算不够就双口万兆聚合。
• 存储后端到交换机，用HBA卡（SAS 12G）或光纤信道卡走FC-SAN，别用万兆网卡跑NFS，延迟会牺牲30%。
• 网卡模块务必买原厂或兼容性验证过的，我们见过劣质DAC铜缆导致CRC错误暴增，集群直接卡死。

再补一个数据点：用iperf3测TCP吞吐，万兆网卡默认MTU 1500时只能到7.8Gbps，开启Jumbo Frame（MTU 9000）后到9.7Gbps，CPU占用从65%降到28%。这个调优成本为零，但收益巨大。

混合配置：一套方案覆盖三种场景

我们给某高校AI实验室做过一套两节点存储加八节点计算的方案：存储节点用阵列卡（RAID6直通）挂HDD冷池，HBA卡挂NVMe热池；计算节点每台配一张双口光纤网卡，一口接存储，一口接Infiniband网桥（通过网卡模块转换）。整体造价只比全万兆方案贵了18%，但小文件读写性能提升2.3倍，大模型训练迭代时间缩短31%。

最后提醒一句：别只看设备标称速率，要测端到端有效带宽。用`qperf`或`ib_write_bw`跑一轮，如果结果低于标称的80%，先从网卡模块的型号匹配查起——我们遇到过SFP+光模块和光纤网卡不兼容导致link up但丢包率高达3%的案例，换了模块后一切正常。

配置没有绝对最优解，但理清阵列卡负责存储可靠性，HBA卡负责扩展性，万兆网卡负责通用互联，光纤网卡负责低延迟高吞吐这条主线，你的集群至少不会在硬件层面拖后腿。