<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">Hi Asaf,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Yes, it seems that DPDK version 20.08 code is built-in with the VNF I’m deploying, so it is always using this version, which apparently doesn’t have the patch that overrides this error.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I think the patch is the following:<o:p></o:p></p>
<p class="MsoNormal"><a href="https://patches.dpdk.org/project/dpdk/patch/20200603150602.4686-7-ophirmu@mellanox.com/">https://patches.dpdk.org/project/dpdk/patch/20200603150602.4686-7-ophirmu@mellanox.com/</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">and the code part that solves the error is:<o:p></o:p></p>
<div style="mso-element:para-border-div;border:solid #CCCCCC 1.0pt;padding:12.0pt 12.0pt 12.0pt 12.0pt;background:white">
<p class="MsoNormal" style="margin-bottom:7.5pt;line-height:10.75pt;background:white;word-break:break-all;border:none;padding:0in">
<span style="font-size:10.0pt;font-family:Consolas;color:darkcyan">+       if (mlx5_class_get(pci_dev->device.devargs) != MLX5_CLASS_NET) {</span><span style="font-size:10.0pt;font-family:Consolas;color:#333333"><o:p></o:p></span></p>
<p class="MsoNormal" style="margin-bottom:7.5pt;line-height:10.75pt;background:white;word-break:break-all;border:none;padding:0in">
<span style="font-size:10.0pt;font-family:Consolas;color:darkcyan">+                DRV_LOG(DEBUG, "Skip probing - should be probed by other mlx5"</span><span style="font-size:10.0pt;font-family:Consolas;color:#333333"><o:p></o:p></span></p>
<p class="MsoNormal" style="margin-bottom:7.5pt;line-height:10.75pt;background:white;word-break:break-all;border:none;padding:0in">
<span style="font-size:10.0pt;font-family:Consolas;color:darkcyan">+                        " driver.");</span><span style="font-size:10.0pt;font-family:Consolas;color:#333333"><o:p></o:p></span></p>
<p class="MsoNormal" style="margin-bottom:7.5pt;line-height:10.75pt;background:white;word-break:break-all;border:none;padding:0in">
<span style="font-size:10.0pt;font-family:Consolas;color:darkcyan">+                return 1;</span><span style="font-size:10.0pt;font-family:Consolas;color:#333333"><o:p></o:p></span></p>
<p class="MsoNormal" style="margin-bottom:7.5pt;line-height:10.75pt;background:white;word-break:break-all;border:none;padding:0in">
<span style="font-size:10.0pt;font-family:Consolas;color:darkcyan">+       }</span><span style="font-size:10.0pt;font-family:Consolas;color:#333333"><o:p></o:p></span></p>
</div>
<p class="MsoNormal">Could you please confirm?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Rocío <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Asaf Penso <asafp@nvidia.com> <br>
<b>Sent:</b> Monday, January 31, 2022 12:49 PM<br>
<b>To:</b> Rocio Dominguez <rocio.dominguez@ericsson.com>; NBU-Contact-Thomas Monjalon (EXTERNAL) <thomas@monjalon.net><br>
<b>Cc:</b> users@dpdk.org; Matan Azrad <matan@nvidia.com>; Slava Ovsiienko <viacheslavo@nvidia.com>; Raslan Darawsheh <rasland@nvidia.com><br>
<b>Subject:</b> RE: net_mlx5: unable to recognize master/representors on the multiple IB devices<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I see two differences below.<o:p></o:p></p>
<p class="MsoNormal">First, in testpmd the version is 19.11.11, and in your application, it’s 20.08. See this print:<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.610+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] USER1: DPDK version: DPDK 20.08.0"}<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Second, in your application, I see the VFIO driver is not started properly:<o:p></o:p></p>
<p class="MsoNormal">20T19:19:16.637+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL:   cannot open VFIO container, error 2 (No such file or directory)"}<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Regards,<o:p></o:p></p>
<p class="MsoNormal">Asaf Penso<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Rocio Dominguez <<a href="mailto:rocio.dominguez@ericsson.com">rocio.dominguez@ericsson.com</a>>
<br>
<b>Sent:</b> Thursday, January 20, 2022 9:49 PM<br>
<b>To:</b> Asaf Penso <<a href="mailto:asafp@nvidia.com">asafp@nvidia.com</a>>; NBU-Contact-Thomas Monjalon (EXTERNAL) <<a href="mailto:thomas@monjalon.net">thomas@monjalon.net</a>><br>
<b>Cc:</b> <a href="mailto:users@dpdk.org">users@dpdk.org</a>; Matan Azrad <<a href="mailto:matan@nvidia.com">matan@nvidia.com</a>>; Slava Ovsiienko <<a href="mailto:viacheslavo@nvidia.com">viacheslavo@nvidia.com</a>>; Raslan Darawsheh <<a href="mailto:rasland@nvidia.com">rasland@nvidia.com</a>><br>
<b>Subject:</b> RE: net_mlx5: unable to recognize master/representors on the multiple IB devices<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi Asaf,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have manually compile and install the DPDK 19.11.11.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Executing testpmd in the Mellanox NICs VFs where I want to run my app gives this result:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal" style="margin-left:.5in">pcgwpod009-c04:~/dpdk-stable-19.11.11 # ./x86_64-native-linux-gcc/app/testpmd -l 8-15 -n 4 -w d8:00.2 -w d8:00.3 -w d8:00.4 -w d8:00.5 -- --rxq=2 --txq=2 -i<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: Detected 96 lcore(s)<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: Detected 2 NUMA nodes<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: Multi-process socket /var/run/dpdk/rte/mp_socket<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: Selected IOVA mode 'VA'<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: 2048 hugepages of size 2097152 reserved, but no mounted hugetlbfs found for that size<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: Probing VFIO support...<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: VFIO support initialized<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: PCI device 0000:d8:00.2 on NUMA socket 1<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL:   probe driver: 15b3:1014 net_mlx5<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: PCI device 0000:d8:00.3 on NUMA socket 1<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL:   probe driver: 15b3:1014 net_mlx5<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: PCI device 0000:d8:00.4 on NUMA socket 1<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL:   probe driver: 15b3:1014 net_mlx5<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL: PCI device 0000:d8:00.5 on NUMA socket 1<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">EAL:   probe driver: 15b3:1014 net_mlx5<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Interactive-mode selected<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">testpmd: create a new mbuf pool <mbuf_pool_socket_0>: n=203456, size=2176, socket=0<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">testpmd: preferred mempool ops selected: ring_mp_mc<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">testpmd: create a new mbuf pool <mbuf_pool_socket_1>: n=203456, size=2176, socket=1<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">testpmd: preferred mempool ops selected: ring_mp_mc<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Configuring Port 0 (socket 1)<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Port 0: 36:FE:F0:D2:90:27<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Configuring Port 1 (socket 1)<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Port 1: 72:AC:33:BF:0A:FA<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Configuring Port 2 (socket 1)<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Port 2: 1E:8D:81:60:43:E0<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Configuring Port 3 (socket 1)<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Port 3: C2:3C:EA:94:06:B4<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Checking link statuses...<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Done<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">testpmd><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">But when I run my Data Plane app, the result is <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.609+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"7"},"message":"[pktio_linux_packet_mmap_setup] block_size: 67108864, frame_size:
 4096, block_nr: 1, frame_nr: 16384, mem_size: 67108864"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.610+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pktio_libpio_init] CTRL: pci devices added: 1, vhost user
 devices added: 0"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.610+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"7"},"message":"[add_pio_pci_devices_from_env_to_config] pci device from
 PCIDEVICE_MELLANOX_COM_MLNX_SRIOV_NETDEVICE=0000:d8:00.5 found"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.610+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pktio_libpio_init] CTRL: requesting 1024 MiB of hugepage
 memory for DPDK"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.610+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] USER1: DPDK version: DPDK 20.08.0"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.610+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] USER1: rte_eal_init() args: pio -m 1024 -n 4 --no-telemetry
 --file-prefix pio-0 --master-lcore=4 --lcores=4@(4) --pci-whitelist 0000:d8:00.5 --base-virtaddr=0x200000000 --iova-mode=va --legacy-mem --no-shconf "}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.618+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: Detected 96 lcore(s)"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.618+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: Detected 2 NUMA nodes"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.636+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: Selected IOVA mode 'VA'"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.637+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: 2048 hugepages of size 2097152 reserved, but
 no mounted hugetlbfs found for that size"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.637+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: Probing VFIO support..."}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.637+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL:   cannot open VFIO container, error 2 (No such
 file or directory)"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:16.637+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: VFIO support could not be initialized"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.567+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: Probe PCI driver: mlx5_pci (15b3:1014) device:
 0000:d8:00.5 (socket 1)"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in"><b>{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.569+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] net_mlx5: unable to recognize master/representors
 on the multiple IB devices"}<o:p></o:p></b></p>
<p class="MsoNormal" style="margin-left:.5in"><b>{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.569+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] common_mlx5: Failed to load driver = net_mlx5."}<o:p></o:p></b></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.569+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: Requested device 0000:d8:00.5 cannot be used"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.569+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] EAL: Bus (pci) probe failed."}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.631+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pio] USER1: ports init fail in DPDK, expect 1 ports, actual
 0 ports."}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.631+00:00","severity":"error","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pktio_libpio_init] No network ports could be enabled!"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.631+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pktio_init_cpu] libpio packet module is NOT initialized"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.631+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pktio_init_cpu] pktsock packet module is NOT initialized"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.631+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pktio_init_cpu] linux packet module is initialized"}<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">{"version":"0.2.0","timestamp":"2022-01-20T19:19:17.631+00:00","severity":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":"6"},"message":"[pktio_init_cpu] tap packet module is NOT initialized"}<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Any idea on what could be the problem?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Rocío<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Asaf Penso <<a href="mailto:asafp@nvidia.com">asafp@nvidia.com</a>>
<br>
<b>Sent:</b> Thursday, January 20, 2022 8:17 AM<br>
<b>To:</b> Rocio Dominguez <<a href="mailto:rocio.dominguez@ericsson.com">rocio.dominguez@ericsson.com</a>>; NBU-Contact-Thomas Monjalon (EXTERNAL) <<a href="mailto:thomas@monjalon.net">thomas@monjalon.net</a>><br>
<b>Cc:</b> <a href="mailto:users@dpdk.org">users@dpdk.org</a>; Matan Azrad <<a href="mailto:matan@nvidia.com">matan@nvidia.com</a>>; Slava Ovsiienko <<a href="mailto:viacheslavo@nvidia.com">viacheslavo@nvidia.com</a>>; Raslan Darawsheh <<a href="mailto:rasland@nvidia.com">rasland@nvidia.com</a>><br>
<b>Subject:</b> Re: net_mlx5: unable to recognize master/representors on the multiple IB devices<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Although inbox drivers come with a pre installed DPDK, you can manually download, compile, install, and work with whatever version you wish.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Let us know the results, and we'll continue from there.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div id="ms-outlook-mobile-signature">
<div>
<p class="MsoNormal">Regards,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Asaf Penso<o:p></o:p></p>
</div>
</div>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="1" width="98%" align="center">
</div>
<div id="divRplyFwdMsg">
<p class="MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black"> Rocio Dominguez <<a href="mailto:rocio.dominguez@ericsson.com">rocio.dominguez@ericsson.com</a>><br>
<b>Sent:</b> Monday, January 17, 2022 10:20:58 PM<br>
<b>To:</b> Asaf Penso <<a href="mailto:asafp@nvidia.com">asafp@nvidia.com</a>>; NBU-Contact-Thomas Monjalon (EXTERNAL) <<a href="mailto:thomas@monjalon.net">thomas@monjalon.net</a>><br>
<b>Cc:</b> <a href="mailto:users@dpdk.org">users@dpdk.org</a> <<a href="mailto:users@dpdk.org">users@dpdk.org</a>>; Matan Azrad <<a href="mailto:matan@nvidia.com">matan@nvidia.com</a>>; Slava Ovsiienko <<a href="mailto:viacheslavo@nvidia.com">viacheslavo@nvidia.com</a>>;
 Raslan Darawsheh <<a href="mailto:rasland@nvidia.com">rasland@nvidia.com</a>><br>
<b>Subject:</b> RE: net_mlx5: unable to recognize master/representors on the multiple IB devices</span>
<o:p></o:p></p>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
</div>
<div>
<div>
<p class="MsoNormal">Hi Asaf,<br>
<br>
Thanks for the prompt answer.<br>
<br>
I have checked that the latest 19.11 LTS is 19.11.11, but in OpenSUSE repositories the corresponding RPM package for SLES 15 SP2 is not available, the latest one is DPDK 19.11.10.<br>
<br>
I have installed it but the problem persists. It's probably solved in 19.11.11.<br>
<br>
There is a RPM package in SLES 15 SP3 for DPDK 20.11.3, which is LTS also, not sure if it could be a problem to install it in SLES 15 SP2. I will try it anyway.<br>
<br>
Also I will try to find other way to load the 19.11.11 in SLES 15 SP2 apart from using RPM or zipper, any suggestion is appreciated.<br>
<br>
Thanks,<br>
<br>
Rocío<br>
<br>
-----Original Message-----<br>
From: Asaf Penso <<a href="mailto:asafp@nvidia.com">asafp@nvidia.com</a>> <br>
Sent: Sunday, January 16, 2022 4:31 PM<br>
To: NBU-Contact-Thomas Monjalon (EXTERNAL) <<a href="mailto:thomas@monjalon.net">thomas@monjalon.net</a>>; Rocio Dominguez <<a href="mailto:rocio.dominguez@ericsson.com">rocio.dominguez@ericsson.com</a>><br>
Cc: <a href="mailto:users@dpdk.org">users@dpdk.org</a>; Matan Azrad <<a href="mailto:matan@nvidia.com">matan@nvidia.com</a>>; Slava Ovsiienko <<a href="mailto:viacheslavo@nvidia.com">viacheslavo@nvidia.com</a>>; Raslan Darawsheh <<a href="mailto:rasland@nvidia.com">rasland@nvidia.com</a>><br>
Subject: RE: net_mlx5: unable to recognize master/representors on the multiple IB devices<br>
<br>
Hello Rocio,<br>
IIRC, there was a fix in a recent stable version.<br>
Would you please try taking latest 19.11 LTS and tell whether you still see the issue?<br>
<br>
Regards,<br>
Asaf Penso<br>
<br>
>-----Original Message-----<br>
>From: Thomas Monjalon <<a href="mailto:thomas@monjalon.net">thomas@monjalon.net</a>><br>
>Sent: Sunday, January 16, 2022 3:24 PM<br>
>To: Rocio Dominguez <<a href="mailto:rocio.dominguez@ericsson.com">rocio.dominguez@ericsson.com</a>><br>
>Cc: <a href="mailto:users@dpdk.org">users@dpdk.org</a>; Matan Azrad <<a href="mailto:matan@nvidia.com">matan@nvidia.com</a>>; Slava Ovsiienko
<br>
><<a href="mailto:viacheslavo@nvidia.com">viacheslavo@nvidia.com</a>>; Raslan Darawsheh <<a href="mailto:rasland@nvidia.com">rasland@nvidia.com</a>><br>
>Subject: Re: net_mlx5: unable to recognize master/representors on the <br>
>multiple IB devices<br>
><br>
>+Cc mlx5 experts<br>
><br>
><br>
>14/01/2022 11:10, Rocio Dominguez:<br>
>> Hi,<br>
>><br>
>> I'm doing a setup with Mellanox ConnectX-4 (MCX416A-CCA) NICs.<br>
>><br>
>> I'm using:<br>
>><br>
>> OS SLES 15 SP2<br>
>> DPDK 19.11.4 (the official supported version for SLES 15 SP2)<br>
>> MLNX_OFED_LINUX-5.5-1.0.3.2-sles15sp2-x86_64 (the latest one) <br>
>> Mellanox adapters firmware 12.28.2006 (corresponding to this <br>
>> MLNX_OFED version) kernel 5.3.18-24.34-default<br>
>><br>
>><br>
>> This is my SRIOV configuration for DPDK capable PCI slots:<br>
>><br>
>>             {<br>
>>                 "resourceName": "mlnx_sriov_netdevice",<br>
>>                 "resourcePrefix": "mellanox.com",<br>
>>                 "isRdma": true,<br>
>>                 "selectors": {<br>
>>                     "vendors": ["15b3"],<br>
>>                     "devices": ["1014"],<br>
>>                     "drivers": ["mlx5_core"],<br>
>>                     "pciAddresses": ["0000:d8:00.2", "0000:d8:00.3", <br>
>> "0000:d8:00.4",<br>
>"0000:d8:00.5"],<br>
>>                     "isRdma": true<br>
>>                 }<br>
>><br>
>> The sriov device plugin starts without problems, the devices are <br>
>> correctly<br>
>allocated:<br>
>><br>
>> {<br>
>>   "cpu": "92",<br>
>>   "ephemeral-storage": "419533922385",<br>
>>   "hugepages-1Gi": "8Gi",<br>
>>   "hugepages-2Mi": "4Gi",<br>
>>   "intel.com/intel_sriov_dpdk": "0",<br>
>>   "intel.com/sriov_cre": "3",<br>
>>   "mellanox.com/mlnx_sriov_netdevice": "4",<br>
>>   "mellanox.com/sriov_dp": "0",<br>
>>   "memory": "183870336Ki",<br>
>>   "pods": "110"<br>
>> }<br>
>><br>
>> The Mellanox NICs are binded to the kernel driver mlx5_core:<br>
>><br>
>> pcgwpod009-c04:~ # dpdk-devbind --status<br>
>><br>
>> Network devices using kernel driver<br>
>> ===================================<br>
>> 0000:18:00.0 'Ethernet Controller 10G X550T 1563' if=em1 drv=ixgbe <br>
>> unused=vfio-pci<br>
>> 0000:18:00.1 'Ethernet Controller 10G X550T 1563' if=em2 drv=ixgbe <br>
>> unused=vfio-pci<br>
>> 0000:19:00.0 'Ethernet Controller 10G X550T 1563' if=em3 drv=ixgbe <br>
>> unused=vfio-pci<br>
>> 0000:19:00.1 'Ethernet Controller 10G X550T 1563' if=em4 drv=ixgbe <br>
>> unused=vfio-pci<br>
>> 0000:3b:00.0 'MT27700 Family [ConnectX-4] 1013' if=enp59s0f0 <br>
>> drv=mlx5_core unused=vfio-pci<br>
>> 0000:3b:00.1 'MT27700 Family [ConnectX-4] 1013' if=enp59s0f1 <br>
>> drv=mlx5_core unused=vfio-pci<br>
>> 0000:5e:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb'<br>
>> if=p3p1 drv=ixgbe unused=vfio-pci<br>
>> 0000:5e:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb'<br>
>> if=p3p2 drv=ixgbe unused=vfio-pci<br>
>> 0000:5e:10.0 '82599 Ethernet Controller Virtual Function 10ed' if= <br>
>> drv=ixgbevf unused=vfio-pci<br>
>> 0000:5e:10.2 '82599 Ethernet Controller Virtual Function 10ed'<br>
>> if=p3p1_1 drv=ixgbevf unused=vfio-pci<br>
>> 0000:5e:10.4 '82599 Ethernet Controller Virtual Function 10ed' if= <br>
>> drv=ixgbevf unused=vfio-pci<br>
>> 0000:5e:10.6 '82599 Ethernet Controller Virtual Function 10ed'<br>
>> if=p3p1_3 drv=ixgbevf unused=vfio-pci<br>
>> 0000:af:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb'<br>
>> if=p4p1 drv=ixgbe unused=vfio-pci<br>
>> 0000:af:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb'<br>
>> if=p4p2 drv=ixgbe unused=vfio-pci<br>
>> 0000:d8:00.0 'MT27700 Family [ConnectX-4] 1013' if=enp216s0f0 <br>
>> drv=mlx5_core unused=vfio-pci<br>
>> 0000:d8:00.1 'MT27700 Family [ConnectX-4] 1013' if=enp216s0f1 <br>
>> drv=mlx5_core unused=vfio-pci<br>
>> 0000:d8:00.2 'MT27700 Family [ConnectX-4 Virtual Function] 1014'<br>
>> if=enp216s0f2 drv=mlx5_core unused=vfio-pci<br>
>> 0000:d8:00.3 'MT27700 Family [ConnectX-4 Virtual Function] 1014'<br>
>> if=enp216s0f3 drv=mlx5_core unused=vfio-pci<br>
>> 0000:d8:00.4 'MT27700 Family [ConnectX-4 Virtual Function] 1014'<br>
>> if=enp216s0f4 drv=mlx5_core unused=vfio-pci<br>
>> 0000:d8:00.5 'MT27700 Family [ConnectX-4 Virtual Function] 1014'<br>
>> if=enp216s0f5 drv=mlx5_core unused=vfio-pci<br>
>><br>
>> The interfaces are up:<br>
>><br>
>> pcgwpod009-c04:~ # ibdev2netdev -v<br>
>> 0000:3b:00.0 mlx5_0 (MT4115 - MT1646K01301) CX416A - ConnectX-4<br>
>QSFP28<br>
>> fw 12.28.2006 port 1 (ACTIVE) ==> enp59s0f0 (Up)<br>
>> 0000:3b:00.1 mlx5_1 (MT4115 - MT1646K01301) CX416A - ConnectX-4<br>
>QSFP28<br>
>> fw 12.28.2006 port 1 (ACTIVE) ==> enp59s0f1 (Up)<br>
>> 0000:d8:00.0 mlx5_2 (MT4115 - MT1646K00538) CX416A - ConnectX-4<br>
>QSFP28<br>
>> fw 12.28.2006 port 1 (ACTIVE) ==> enp216s0f0 (Up)<br>
>> 0000:d8:00.1 mlx5_3 (MT4115 - MT1646K00538) CX416A - ConnectX-4<br>
>QSFP28<br>
>> fw 12.28.2006 port 1 (ACTIVE) ==> enp216s0f1 (Up)<br>
>> 0000:d8:00.2 mlx5_4 (MT4116 - NA)  fw 12.28.2006 port 1 (ACTIVE) ==><br>
>> enp216s0f2 (Up)<br>
>> 0000:d8:00.3 mlx5_5 (MT4116 - NA)  fw 12.28.2006 port 1 (ACTIVE) ==><br>
>> enp216s0f3 (Up)<br>
>> 0000:d8:00.4 mlx5_6 (MT4116 - NA)  fw 12.28.2006 port 1 (ACTIVE) ==><br>
>> enp216s0f4 (Up)<br>
>> 0000:d8:00.5 mlx5_7 (MT4116 - NA)  fw 12.28.2006 port 1 (ACTIVE) ==><br>
>> enp216s0f5 (Up) pcgwpod009-c04:~ #<br>
>><br>
>><br>
>> But when I run my application the Mellanox adapters are probed and I<br>
>obtain the following error:<br>
>><br>
>> {"proc_id":"6"},"message":"[pio] EAL: Probe PCI driver: mlx5_pci<br>
>> (15b3:1014) device: 0000:d8:00.4 (socket 1)"} <br>
>> {"version":"0.2.0","timestamp":"2022-01-14T09:51:39.826+00:00","sever<br>
>> i<br>
>> ty":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":<br>
>> "6"},"message":"[pio] net_mlx5: unable to recognize <br>
>> master/representors on the multiple IB devices"} <br>
>> {"version":"0.2.0","timestamp":"2022-01-14T09:51:39.826+00:00","sever<br>
>> i<br>
>> ty":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":<br>
>> "6"},"message":"[pio] common_mlx5: Failed to load driver = <br>
>> net_mlx5."} <br>
>> {"version":"0.2.0","timestamp":"2022-01-14T09:51:39.826+00:00","sever<br>
>> i<br>
>> ty":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":<br>
>> "6"},"message":"[pio] EAL: Requested device 0000:d8:00.4 cannot be <br>
>> used"} <br>
>> {"version":"0.2.0","timestamp":"2022-01-14T09:51:39.826+00:00","sever<br>
>> i<br>
>> ty":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":<br>
>> "6"},"message":"[pio] EAL: Bus (pci) probe failed."} <br>
>> {"version":"0.2.0","timestamp":"2022-01-14T09:51:39.890+00:00","sever<br>
>> i<br>
>> ty":"info","service_id":"eric-pc-up-data-plane","metadata":{"proc_id":<br>
>> "6"},"message":"[pio] USER1: ports init fail in DPDK, expect 1 ports, <br>
>> actual 0 ports."} <br>
>> {"version":"0.2.0","timestamp":"2022-01-14T09:51:39.890+00:00","sever<br>
>> i <br>
>> ty":"error","service_id":"eric-pc-up-data-plane","metadata":{"proc_id"<br>
>> :"6"},"message":"[pktio_libpio_init] No network ports could be <br>
>> enabled!"}<br>
>><br>
>> Could you please help me with this issue?<br>
>><br>
>><br>
>> Thanks,<br>
>><br>
>> Rocío<br>
>><br>
><br>
><br>
><br>
><o:p></o:p></p>
</div>
</div>
</div>
</div>
</body>
</html>