<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=us-ascii"> <meta name="Generator" content="Microsoft Word 15 (filtered medium)"> <style></style> </head> <body lang="EN-US" link="#0563C1" vlink="#954F72" style="word-wrap:break-word;text-justify-trim:punctuation"> <div class="WordSection1"> Hi JackyCT.Chen:<o:p></o:p> <o:p> </o:p> We are tracking this issue, it is a firmware issue that has been reported to the hardware team and the fix will take some time.<o:p></o:p> <o:p> </o:p> There is a workaround in ICE PMD, change the “no wait” to “wait_to_complete” mode when ice_interrupt_handler() updates the link status in drivers/net/ice/ice_ethdev.c:<o:p></o:p> <o:p> </o:p> #ifdef ICE_LSE_SPT<o:p></o:p> if (int_fw_ctl & PFINT_FW_CTL_INTEVENT_M) {<o:p></o:p> PMD_DRV_LOG(INFO, "FW_CTL: link state change event");<o:p></o:p> ice_handle_aq_msg(dev);<o:p></o:p> }<o:p></o:p> #else<o:p></o:p> if (oicr & PFINT_OICR_LINK_STAT_CHANGE_M) {<o:p></o:p> PMD_DRV_LOG(INFO, "OICR: link state change event");<o:p></o:p> - ret = ice_link_update(dev, 0);<o:p></o:p> + ret = ice_link_update(dev, 1);<o:p></o:p> if (!ret)<o:p></o:p> rte_eth_dev_callback_process<o:p></o:p> (dev, RTE_ETH_EVENT_INTR_LSC, NULL);<o:p></o:p> }<o:p></o:p> #endif<o:p></o:p> <o:p> </o:p> <o:p> </o:p> Best Regards<o:p></o:p> Zhichao<o:p></o:p> <o:p> </o:p> <div style="border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt"> <div> <div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm"> From: JackyCT.Chen <JackyCT.Chen@advantech.com.tw> Sent: Wednesday, January 31, 2024 6:53 PM To: Yang, Qiming <qiming.yang@intel.com>; dev@dpdk.org Cc: Shih, Amy <amy.shih@advantech.com.tw>; Hsu, Jason <jason.hsu@advantech.com.tw>; Wang, Leo <leo66.wang@advantech.com.tw> Subject: RE: DPDK testpmd with E823 link status is down <o:p></o:p> </div> </div> <o:p> </o:p> Hi Qiming & dpdk dev team:<o:p></o:p> <o:p> </o:p> This is JackyCT.Chen from Advantech, we have a question about E823 DPDK loopback testpmd , <o:p></o:p> Could you please give us some advice?<o:p></o:p> <o:p> </o:p> We bind the E823 and X710 devices with vfio-pci driver and execute the DPDK testpmd . (detail see attached files please) <o:p></o:p> <o:p> </o:p> However, both E823 “link status : down and link speed : None” , we expected that “link status : up and link speed : 10 Gbps” .<o:p></o:p> Do you have any suggestions? <o:p></o:p> <o:p> </o:p> Testing procedure & result:<o:p></o:p> <table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0" width="1087" style="width:815.05pt;margin-left:13.8pt;border-collapse:collapse"> <tbody> <tr style="height:169.5pt"> <td width="1087" valign="top" style="width:815.05pt;border:solid windowtext 1.0pt;padding:0cm 5.4pt 0cm 5.4pt;height:169.5pt"> Platform : Moro City Reference Planform ICX-D ~ CRB <o:p></o:p> <![if !supportLists]>l <![endif]>On-Board : E823<o:p></o:p> <![if !supportLists]>l <![endif]>Ext-PCIE CARD : PCIE-2230NP-00A1E ( Intel X710 )<o:p></o:p> OS/Kernel : Debian 12 / kernel 6.1.0-16-amd64 x86_64<o:p></o:p> DPDK : DPDK 24.03.0-rc0 (from trunk build) <o:p></o:p> NIC_BDF_INFO : <o:p></o:p> <table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0" style="border-collapse:collapse"> <tbody> <tr style="height:38.85pt"> <td width="437" valign="top" style="width:327.5pt;border:solid windowtext 1.0pt;padding:0cm 5.4pt 0cm 5.4pt;height:38.85pt"> CRB EXT-PCIE CARD : X710 <o:p></o:p> Port : 10G * 4 <o:p></o:p> firmware-version: 7.10 0x80007b33 255.65535.255<o:p></o:p> </td> <td width="58" valign="top" style="width:43.3pt;border:solid windowtext 1.0pt;border-left:none;padding:0cm 5.4pt 0cm 5.4pt;height:38.85pt"> <o:p> </o:p> </td> <td width="520" valign="top" style="width:389.8pt;border:solid windowtext 1.0pt;border-left:none;padding:0cm 5.4pt 0cm 5.4pt;height:38.85pt"> CRB On-BOARD : E823 <o:p></o:p> Port Option : 4x10-4x2.5<o:p></o:p> firmware-version: 3.26 0x8001b733 1.3429.0<o:p></o:p> <o:p> </o:p> </td> </tr> <tr> <td width="437" valign="top" style="width:327.5pt;border:solid windowtext 1.0pt;border-top:none;padding:0cm 5.4pt 0cm 5.4pt"> BDF = 91:00.0<o:p></o:p> </td> <td width="58" valign="top" style="width:43.3pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0cm 5.4pt 0cm 5.4pt"> ---<o:p></o:p> </td> <td width="520" valign="top" style="width:389.8pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0cm 5.4pt 0cm 5.4pt"> BDF = 89:00.0<o:p></o:p> </td> </tr> <tr> <td width="437" valign="top" style="width:327.5pt;border:solid windowtext 1.0pt;border-top:none;padding:0cm 5.4pt 0cm 5.4pt"> BDF = 91:00.1<o:p></o:p> </td> <td width="58" valign="top" style="width:43.3pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0cm 5.4pt 0cm 5.4pt"> ---<o:p></o:p> </td> <td width="520" valign="top" style="width:389.8pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0cm 5.4pt 0cm 5.4pt"> BDF = 89:00.1<o:p></o:p> </td> </tr> </tbody> </table> </td> </tr> <tr> <td width="1087" valign="top" style="width:815.05pt;border:solid windowtext 1.0pt;border-top:none;padding:0cm 5.4pt 0cm 5.4pt"> Prepare and config :<o:p></o:p> root@5-efi:~# modprobe uio<o:p></o:p> root@5-efi:~# modprobe vfio-pci<o:p></o:p> root@5-efi:~# echo 2048 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages<o:p></o:p> root@5-efi:~# mkdir -p /mnt/huge<o:p></o:p> root@5-efi:~# mount -t hugetlbfs nodev /mnt/huge<o:p></o:p> root@5-efi:~# dpdk-devbind.py -b vfio-pci 91:00.0<o:p></o:p> root@5-efi:~# dpdk-devbind.py -b vfio-pci 91:00.1<o:p></o:p> root@5-efi:~# dpdk-devbind.py -b vfio-pci 89:00.0<o:p></o:p> root@5-efi:~# dpdk-devbind.py -b vfio-pci 89:00.1<o:p></o:p> <o:p> </o:p> </td> </tr> <tr> <td width="1087" valign="top" style="width:815.05pt;border:solid windowtext 1.0pt;border-top:none;padding:0cm 5.4pt 0cm 5.4pt"> LOG :<o:p></o:p> root@5-efi:~# dpdk-testpmd -c 0xff -n 4 -a 89:00.0 -a 89:00.1 --socket-mem=256 -- -i --mbcache=512 --socket-num=0 --coremask=0xc --nb-cores=2 --rxq=1 --txq=1 --portmask=0xf --rxd=4096 --rxfreet=128 --rxpt=128 --rxht=8 --rxwt=0 --txd=4096 --txfreet=128 --txpt=128 --txht=0 --txwt=0 --burst=64 --txrst=64 --rss-ip -a<o:p></o:p> EAL: Detected CPU lcores: 24<o:p></o:p> EAL: Detected NUMA nodes: 1<o:p></o:p> EAL: Detected static linkage of DPDK<o:p></o:p> EAL: Multi-process socket /var/run/dpdk/rte/mp_socket<o:p></o:p> EAL: Selected IOVA mode 'VA'<o:p></o:p> EAL: VFIO support initialized<o:p></o:p> EAL: Using IOMMU type 1 (Type 1)<o:p></o:p> EAL: Ignore mapping IO port bar(1)<o:p></o:p> EAL: Ignore mapping IO port bar(4)<o:p></o:p> EAL: Probe PCI driver: net_ice (8086:188a) device: 0000:89:00.0 (socket 0)<o:p></o:p> ice_dev_init(): Failed to read device serial number<o:p></o:p> <o:p> </o:p> ice_load_pkg_type(): Active package is: 1.3.35.0, ICE OS Default Package (double VLAN mode)<o:p></o:p> EAL: Ignore mapping IO port bar(1)<o:p></o:p> EAL: Ignore mapping IO port bar(4)<o:p></o:p> EAL: Probe PCI driver: net_ice (8086:188a) device: 0000:89:00.1 (socket 0)<o:p></o:p> ice_dev_init(): Failed to read device serial number<o:p></o:p> <o:p> </o:p> ice_load_pkg_type(): Active package is: 1.3.35.0, ICE OS Default Package (double VLAN mode)<o:p></o:p> TMTY: TELEMETRY: No legacy callbacks, legacy socket not created<o:p></o:p> Interactive-mode selected<o:p></o:p> previous number of forwarding cores 1 - changed to number of configured cores 2<o:p></o:p> Auto-start selected<o:p></o:p> testpmd: create a new mbuf pool <mb_pool_0>: n=262144, size=2176, socket=0<o:p></o:p> testpmd: preferred mempool ops selected: ring_mp_mc<o:p></o:p> Configuring Port 0 (socket 0)<o:p></o:p> ice_set_rx_function(): Using AVX2 Vector Rx (port 0).<o:p></o:p> Port 0: 00:00:00:00:01:00<o:p></o:p> Configuring Port 1 (socket 0)<o:p></o:p> ice_set_rx_function(): Using AVX2 Vector Rx (port 1).<o:p></o:p> Port 1: 00:00:00:00:01:01<o:p></o:p> Checking link statuses...<o:p></o:p> Done<o:p></o:p> Start automatic packet forwarding<o:p></o:p> io packet forwarding - ports=2 - cores=2 - streams=2 - NUMA support enabled, MP allocation mode: native<o:p></o:p> Logical Core 2 (socket 0) forwards packets on 1 streams:<o:p></o:p> RX P=0/Q=0 (socket 0) -> TX P=1/Q=0 (socket 0) peer=02:00:00:00:00:01<o:p></o:p> Logical Core 3 (socket 0) forwards packets on 1 streams:<o:p></o:p> RX P=1/Q=0 (socket 0) -> TX P=0/Q=0 (socket 0) peer=02:00:00:00:00:00<o:p></o:p> <o:p> </o:p> io packet forwarding packets/burst=64<o:p></o:p> nb forwarding cores=2 - nb forwarding ports=2<o:p></o:p> port 0: RX queue number: 1 Tx queue number: 1<o:p></o:p> Rx offloads=0x0 Tx offloads=0x10000<o:p></o:p> RX queue: 0<o:p></o:p> RX desc=4096 - RX free threshold=128<o:p></o:p> RX threshold registers: pthresh=0 hthresh=0 wthresh=0<o:p></o:p> RX Offloads=0x0<o:p></o:p> TX queue: 0<o:p></o:p> TX desc=4096 - TX free threshold=128<o:p></o:p> TX threshold registers: pthresh=128 hthresh=0 wthresh=0<o:p></o:p> TX offloads=0x10000 - TX RS bit threshold=64<o:p></o:p> port 1: RX queue number: 1 Tx queue number: 1<o:p></o:p> Rx offloads=0x0 Tx offloads=0x10000<o:p></o:p> RX queue: 0<o:p></o:p> RX desc=4096 - RX free threshold=128<o:p></o:p> RX threshold registers: pthresh=0 hthresh=0 wthresh=0<o:p></o:p> RX Offloads=0x0<o:p></o:p> TX queue: 0<o:p></o:p> TX desc=4096 - TX free threshold=128<o:p></o:p> TX threshold registers: pthresh=128 hthresh=0 wthresh=0<o:p></o:p> TX offloads=0x10000 - TX RS bit threshold=64<o:p></o:p> testpmd><o:p></o:p> testpmd> show port stats all<o:p></o:p> <o:p> </o:p> ######################## NIC statistics for port 0 ########################<o:p></o:p> RX-packets: 442827099 RX-missed: 0 RX-bytes: 26569625172<o:p></o:p> RX-errors: 0<o:p></o:p> RX-nombuf: 0 <o:p></o:p> TX-packets: 443292288 TX-errors: 0 TX-bytes: 26597536896<o:p></o:p> <o:p> </o:p> Throughput (since last show)<o:p></o:p> Rx-pps: 14390795 Rx-bps: 6907582048<o:p></o:p> Tx-pps: 14405470 Tx-bps: 6914626456<o:p></o:p> ############################################################################<o:p></o:p> <o:p> </o:p> ######################## NIC statistics for port 1 ########################<o:p></o:p> RX-packets: 443293641 RX-missed: 0 RX-bytes: 26597617500<o:p></o:p> RX-errors: 0<o:p></o:p> RX-nombuf: 0 <o:p></o:p> TX-packets: 442827661 TX-errors: 0 TX-bytes: 26569658892<o:p></o:p> <o:p> </o:p> Throughput (since last show)<o:p></o:p> Rx-pps: 14405477 Rx-bps: 6914629232<o:p></o:p> Tx-pps: 14390795 Tx-bps: 6907581696<o:p></o:p> ############################################################################<o:p></o:p> testpmd> show port summary all<o:p></o:p> Number of available ports: 2<o:p></o:p> Port MAC Address Name Driver Status Link<o:p></o:p> 0 00:00:00:00:01:00 89:00.0 net_ice down None<o:p></o:p> 1 00:00:00:00:01:01 89:00.1 net_ice down None<o:p></o:p> testpmd> show port stats all<o:p></o:p> <o:p> </o:p> ######################## NIC statistics for port 0 ########################<o:p></o:p> RX-packets: 2267795378 RX-missed: 0 RX-bytes: 136067721784<o:p></o:p> RX-errors: 0<o:p></o:p> RX-nombuf: 0 <o:p></o:p> TX-packets: 2270213831 TX-errors: 0 TX-bytes: 136212829092<o:p></o:p> <o:p> </o:p> Throughput (since last show)<o:p></o:p> Rx-pps: 14385293 Rx-bps: 6904940896<o:p></o:p> Tx-pps: 14400690 Tx-bps: 6912331240<o:p></o:p> ############################################################################<o:p></o:p> <o:p> </o:p> ######################## NIC statistics for port 1 ########################<o:p></o:p> RX-packets: 2270215290 RX-missed: 0 RX-bytes: 136212916568<o:p></o:p> RX-errors: 0<o:p></o:p> RX-nombuf: 0 <o:p></o:p> TX-packets: 2267796060 TX-errors: 0 TX-bytes: 136067762768<o:p></o:p> <o:p> </o:p> Throughput (since last show)<o:p></o:p> Rx-pps: 14400690 Rx-bps: 6912331344<o:p></o:p> Tx-pps: 14385293 Tx-bps: 6904941024<o:p></o:p> ############################################################################<o:p></o:p> </td> </tr> </tbody> </table> <o:p> </o:p> <o:p> </o:p> <o:p> </o:p> Thanks!<o:p></o:p> <o:p> </o:p> <o:p> </o:p> Best Regards,<o:p></o:p> JackyCT.Chen <o:p></o:p> x86 Software | Cloud-IoT Group | Advantech Co., Ltd.<o:p></o:p> 02-2792-7818 Ext. 1194 <o:p></o:p> <o:p> </o:p> </div> </div> </body> </html>