KVM2

KVM関連のメモ帳 その2

環境が大幅に変わってるので、新規にメモ作成。
Windows クライアント側にもSMB Directが下りてきたので、それに対応する為に。

 テスト環境

KVM環境

Ubuntu 16.04LTS (Kernel 4.8) + ConnectX-3 + MLNX_OFED 3.4.2 の環境で、SR-IOVを使うように設定。
ConnectX-3は、Port1がIBでPort2がEth。
ConnectX-3のFirmwareは、2.40.5030を使用
最初、modprobe.dにあるファイルへ以下の記載してたら、Connect-X 3がSR-IOV出来なかった。

options mlx4_core port_type_array=1,2 num_vfs=8 probe_vf=8 log_num_mgm_entry_size=8

なので、最後の設定(flow steeringの設定)を削除して

options mlx4_core port_type_array=1,2 num_vfs=8 probe_vf=8 

に変更。(flow steeringはSR-IOVで使えない旨のメッセージ見落としてた)

仮想マシン1

Ubuntu 16.04LTS + ConnextX-3 VF (SR-IOV) + MLNX_OFED 3.4.2 の構成で、SR-IOVで生えてきた、IBとEthが動作するのを確認。
MLNX_OFEDを4.0に変更したら、以下のエラーが出続けてたので、Hostと同じVERSIONに戻した。

Mar 24 23:29:54 kvm-2 kernel: mlx4_core 0000:83:00.0: command 0x54 failed: fw status = 0x3
Mar 24 23:29:54 kvm-2 kernel: mlx4_core 0000:83:00.0: vhcr command 0x54 slave:1 in_param 0x0 in_mod=0xff op_mod=0x0 failed with error:0, status -22

仮想マシン2

Windows Server 2012R2 + ConnextX-3 VF (SR-IOV) + WinOF v5.35の構成で動作を確認。
標準のOSドライバだと、!マークが付いて、ConnectX-3がドライバでエラーになった。
Eth側はドライバを入れたら、認識して即動作が確認できたけど、IB側はそのままだと動作せず。
調べたところ、IPoIBのMTUデフォルトサイズが4kになっており、テスト環境のIBのMTUサイズと違ったのでそこを合わせてやり(2kに変更)再起動後に動作。

SMB Direct使えるかの確認。Eth側が使えないのね。SW側の設定をして再度チャレンジ

PS C:\Users\Administrator> Get-NetOffloadGlobalSetting | Select NetworkDirect
                                                                                                            NetworkDirect
                                                                                                         -------------
                                                                                                                Enabled

PS C:\Users\Administrator> Get-NetAdapterRDMA

Name                      InterfaceDescription                     Enabled
----                      --------------------                     -------
イーサネット              Mellanox ConnectX-3 IPoIB Adapter        True

PS C:\Users\Administrator> Get-NetAdapterHardwareInfo

Name                           Segment Bus Device Function Slot NumaNode PcieLinkSpeed PcieLinkWidth Version
----                           ------- --- ------ -------- ---- -------- ------------- ------------- -------
イーサネット                         0   0      7        0    7                Unknown             0 1.0
イーサネット 2                       0   0      7        0    7                Unknown             0 1.0

PS C:\Users\Administrator> Get-SmbServerConfiguration | Select EnableMultichannel

                                                                                                    EnableMultichannel
                                                                                                    ------------------
                                                                                                                  True

PS C:\Users\Administrator> Get-SmbServerNetworkInterface

Scope Name          Interface Index     RSS Capable         RDMA Capable        Speed               IpAddress
----------          ---------------     -----------         ------------        -----               ---------
*                   13                  True                True                40 Gbps             192.168.17.36
*                   12                  True                False               40 Gbps             192.168.11.36
*                   12                  True                False               40 Gbps             fe80::e5c9:3039:...