IBM小型机ROCE万兆网卡配置文档
PCIe2 10 GbE RoCE Adapter 适配器预先配置为以 AIX® RoCE 方式运行。对于网络密集型应用程序,使用 RDMA 的网络所提供的性能比用作 NIC 的适配器更好。对于网络存储或高性能计算,此方式通常很有用。
AIX RoCE 配置要求使用库或接口,如下所示:
在实际 S824 机器中,配置了 EC28 的万兆网卡,其输出为:
ent0 Available 08-00 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
ent1 Available 08-01 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
ent2 Available 08-02 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
ent3 Available 08-03 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
fcs0 Available 01-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs1 Available 01-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs2 Available 02-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs3 Available 02-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
hba0 Available 00-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)
hba1 Available 04-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)
pkcs11 Available ACF/PKCS#11 Device
roce0 Available 00-00-00 PCIe2 10GbE RoCE Converged Network Adapter
roce1 Available 04-00-00 PCIe2 10GbE RoCE Converged Network Adapter
sissas0 Available 03-00 PCIe3 x8 SAS RAID Internal Adapter 6Gb
usbhc0 Available 05-00 Integrated USB 3.0 xHCI Adapter (4c1041821410b204)
vsa0 Available LPAR Virtual Serial Adapter
以上可以看到,只能识别到电口千兆的网卡,万兆网卡的识别为 hba0-1 和 roce0-1, 没有常规的 entX 的模式。
PCIe2 10 GbE RoCE 适配器处于 AIX RoCE 方式时,它仅显示一个适配器实例,但它最多可有两个端口。通过完成以下步骤,使用 ibstat 命令来确定所配置的端口数:
输入以下命令来确定是否配置了 icm 内核扩展:
如果未配置 icm 内核,请输入以下命令配置该内核:
输入以下命令来运行 ibstat 命令:
当 PCIe2 10 GbE RoCE 适配器最初配置为使用 AIX NIC+FRED RoCE 方式时,您可能需要从 AIX NIC + OFED RoCE 配置切换回来。要从 AIX NIC + OFED RoCE 配置切换回 AIX RoCE 配置,请完成以下步骤:
通过输入以下命令,验证适配器是否处于 AIX NIC + OFED RoCE 方式:
lsdev 命令的输出类似于 图 1 中的示例。
通过输入以下命令,停止 TCP/IP 流量并拆离 IP 接口:
通过输入下列其中一个命令来删除 NIC 实例或者使 NIC 实例处于所定义的状态:
rmdev -l ent1; rmdev -l ent2 命令保留以太网设备的定义,以便下次创建实例时可使用该定义。
通过输入以下命令,将 hba stack_type 的属性从 ofed (AIX NIC + OFED RoCE) 更改为 aix_ib (AIX RoCE) :
通过输入以下命令,运行配置管理器工具以便主机总线适配器可将 PCIe2 10 GbE RoCE 适配器配置为 AIX RoCE 适配器:
通过输入以下命令,验证适配器现在是否正以 AIX RoCE 配置方式运行:
以下示例显示您对以 AIX RoCE 方式配置的适配器运行 lsdev 命令时的结果。
当 PCIe2 10 GbE RoCE 适配器最初配置为使用 AIX RoCE 方式时,您可能需要切换到 AIX NIC + OFED RoCE 模式。要从 AIX RoCE 配置切换回 AIX nic+ofed RoCE 配置,请完成以下步骤:
通过输入以下命令,验证适配器是否处于 AIX NIC + OFED RoCE 方式:
lsdev 命令的输出类似下图的示例。
通过输入以下命令,删除 roce0 口:
通过输入以下命令,将 hba stack_type 的属性从 aix_ib (AIX NIC + OFED RoCE) 更改为 ofed (AIX RoCE) :
通过输入以下命令,运行配置管理器工具以便主机总线适配器可将 PCIe2 10 GbE RoCE 适配器配置为 AIX RoCE 适配器:
通过输入以下命令,验证适配器现在是否正以 AIX RoCE 配置方式运行:
就能看到正常的 entX 的网络配置了。
ent0 Available 08-00 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
ent1 Available 08-01 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
ent2 Available 08-02 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
ent3 Available 08-03 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)
ent4 Available 00-00-01 RoCE Converged Network Adapter
ent5 Available 00-00-02 RoCE Converged Network Adapter
ent6 Available 04-00-01 RoCE Converged Network Adapter
ent7 Available 04-00-02 RoCE Converged Network Adapter
fcs0 Available 01-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs1 Available 01-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs2 Available 02-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs3 Available 02-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
hba0 Available 00-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)
hba1 Available 04-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)
pkcs11 Available ACF/PKCS#11 Device
sissas0 Available 03-00 PCIe3 x8 SAS RAID Internal Adapter 6Gb
usbhc0 Available 05-00 Integrated USB 3.0 xHCI Adapter (4c1041821410b204)
vsa0 Available LPAR Virtual Serial Adapter
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞4
添加新评论0 条评论