<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Aptos;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
font-size:11.0pt;
font-family:"Aptos",sans-serif;
mso-ligatures:standardcontextual;
mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#467886;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Aptos",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:11.0pt;
mso-fareast-language:EN-US;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-IE" link="#467886" vlink="#96607D" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">Hi Folks,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I am trying to run dpdk-testpmd in a container with NVIDIA ConnectX-7 NIC card on the system and facing issue described below. Details on the system setup are as follow-
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b>Host Configuration for OFED and CX7:</b><o:p></o:p></p>
<p class="MsoNormal">Nvidia CX7 is configured to use Ethernet as opposed to InfiniBand with the following steps:<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b>OFED driver installation:</b><o:p></o:p></p>
<p class="MsoNormal">./mlnxofedinstall --without-dkms --add-kernel-support --kernel 6.8.0-51-generic --without-fw-update --force<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b>Configuration:</b><o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">mlxconfig -d /dev/mst/mt4129_pciconf0 set LINK_TYPE_P1=2<o:p></o:p></p>
<p class="MsoNormal">mlxconfig -d /dev/mst/mt4129_pciconf1 set LINK_TYPE_P1=2<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">SRIOV has been also enabled on the NIC.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">The above configuration resulted in successfully deploying dpdk-testpmd on virtual functions on the host.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b>Container Configuration for OFED:</b><o:p></o:p></p>
<p class="MsoNormal">Ubuntu 22.04 used within container.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"># Install mlnx OFED Drivers<o:p></o:p></p>
<p class="MsoNormal">RUN wget <a href="https://www.mellanox.com/downloads/ofed/MLNX_OFED-24.07-0.6.1.0/MLNX_OFED_LINUX-24.07-0.6.1.0-ubuntu24.04-x86_64.tgz" target="_blank" title="https://www.mellanox.com/downloads/ofed/mlnx_ofed-24.07-0.6.1.0/mlnx_ofed_linux-24.07-0.6.1.0-ubuntu24.04-x86_64.tgz">
https://www.mellanox.com/downloads/ofed/MLNX_OFED-24.07-0.6.1.0/MLNX_OFED_LINUX-24.07-0.6.1.0-ubuntu24.04-x86_64.tgz</a> \<o:p></o:p></p>
<p class="MsoNormal"> && tar -xvf MLNX_OFED_LINUX-24.07-0.6.1.0-ubuntu24.04-x86_64.tgz \<o:p></o:p></p>
<p class="MsoNormal"> && cd MLNX_OFED_LINUX-24.07-0.6.1.0-ubuntu24.04-x86_64 \<o:p></o:p></p>
<p class="MsoNormal"> && ./mlnxofedinstall --force --without-fw-update --dpdk --upstream-libs<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b><span style="color:black">Dpdk-testpmd error log:<o:p></o:p></span></b></p>
<p class="MsoNormal"><b><span style="color:black"> <o:p></o:p></span></b></p>
<p class="MsoNormal">root@tpmd-0:/tmp/dpdk-build/app# ./dpdk-testpmd -n 4 -a 60:00.1 -a 60:00.2 -- -i<o:p></o:p></p>
<p class="MsoNormal">EAL: Detected CPU lcores: 128<o:p></o:p></p>
<p class="MsoNormal">EAL: Detected NUMA nodes: 1<o:p></o:p></p>
<p class="MsoNormal">EAL: Detected static linkage of DPDK<o:p></o:p></p>
<p class="MsoNormal">EAL: Multi-process socket /var/run/dpdk/rte/mp_socket<o:p></o:p></p>
<p class="MsoNormal">EAL: Selected IOVA mode 'VA'<o:p></o:p></p>
<p class="MsoNormal">EAL: Probe PCI driver: mlx5_pci (15b3:101e) device: 0000:60:00.1 (socket 0)<o:p></o:p></p>
<p class="MsoNormal"><span style="background:yellow;mso-highlight:yellow">mlx5_net: Unable to recognize master/representors on the multiple IB devices.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="background:yellow;mso-highlight:yellow">mlx5_common: Failed to load driver mlx5_eth<o:p></o:p></span></p>
<p class="MsoNormal"><span style="background:yellow;mso-highlight:yellow">EAL: Requested device 0000:60:00.1 cannot be used<o:p></o:p></span></p>
<p class="MsoNormal"><span style="background:yellow;mso-highlight:yellow">EAL: Probe PCI driver: mlx5_pci (15b3:101e) device: 0000:60:00.2 (socket 0)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="background:yellow;mso-highlight:yellow">mlx5_net: Unable to recognize master/representors on the multiple IB devices.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="background:yellow;mso-highlight:yellow">mlx5_common: Failed to load driver mlx5_eth</span><o:p></o:p></p>
<p class="MsoNormal">EAL: Requested device 0000:60:00.2 cannot be used<o:p></o:p></p>
<p class="MsoNormal">EAL: Bus (pci) probe failed.<o:p></o:p></p>
<p class="MsoNormal">TELEMETRY: No legacy callbacks, legacy socket not created<o:p></o:p></p>
<p class="MsoNormal">testpmd: No probed ethernet devices<o:p></o:p></p>
<p class="MsoNormal">Interactive-mode selected<o:p></o:p></p>
<p class="MsoNormal">testpmd: create a new mbuf pool <mb_pool_0>: n=1163456, size=2176, socket=0<o:p></o:p></p>
<p class="MsoNormal">testpmd: preferred mempool ops selected: ring_mp_mc<o:p></o:p></p>
<p class="MsoNormal">Done<o:p></o:p></p>
<p class="MsoNormal">testpmd> quit<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Please provide help to resolve above.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
<p class="MsoNormal">Jasvinder<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span lang="EN"><o:p> </o:p></span></p>
</div>
</body>
</html>