<div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 21, 2023 at 9:57 PM Bruce Richardson <<a href="mailto:bruce.richardson@intel.com">bruce.richardson@intel.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, Feb 21, 2023 at 09:46:30PM +0530, Nagendra Prabhu A T wrote:<br>
>    These are the messages i am seeing dmesg<br>
>    [16588.298660] vfio-pci: probe of 0000:8a:00.2 failed with error -22<br>
>    [16591.574630] i40e 0000:8a:00.3: i40e_ptp_stop: removed PHC on<br>
>    enp138s0f3<br>
>    [16593.138613] vfio-pci: probe of 0000:8a:00.3 failed with error -22<br>
>    [16593.138674] vfio-pci: probe of 0000:8a:00.3 failed with error -22<br>
>    [16627.551866] vfio-pci: probe of 0000:51:00.0 failed with error -22<br>
>    [16627.551922] vfio-pci: probe of 0000:51:00.0 failed with error -22<br>
>    [16716.344530] vfio-pci: probe of 0000:51:00.0 failed with error -22<br>
>    [16716.344585] vfio-pci: probe of 0000:51:00.0 failed with error -22<br>
>    [17859.876566] vfio-pci: probe of 0000:51:00.0 failed with error -22<br>
>    [17859.876622] vfio-pci: probe of 0000:51:00.0 failed with error -22<br>
>    root@nat-kvm:/home/nat# cat /boot/config-$(uname -r) | grep NOIOMMU<br>
>    CONFIG_VFIO_NOIOMMU=y<br>
>    root@nat-kvm:/home/nat#<br>
>    Interface type :<br>
>    Other Network devices<br>
>    =====================<br>
>    0000:51:00.0 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
>    0000:51:00.1 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
>    0000:51:00.2 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
>    0000:51:00.3 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
>    0000:8a:00.0 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
>    0000:8a:00.1 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
>    0000:8a:00.2 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
>    0000:8a:00.3 'Ethernet Controller X710 for 10GbE SFP+ 1572'<br>
>    unused=i40e,vfio-pci<br>
> <br>
<br>
Please try the following:<br>
<br>
        echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode<br>
        dpdk-devbind.py -b vfio-pci 8a:00.*<br>
<br>
Does anything change then?<br>
<br>
/Bruce<br>
<br>
PS: For mailing list discussions, please don't top-post. Replies are easier<br>
to follow if posted immediately below the relevant content.<br></blockquote><div><br></div><div>Thanks Bruce, the above solution worked.</div><div><br></div><div>root@nat-kvm:/usr/src/dpdk-22.11/usertools#  echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode</div><div>root@nat-kvm:/usr/src/dpdk-22.11/usertools#  dpdk-devbind.py -b vfio-pci 8a:00.*</div><div>root@nat-kvm:/usr/src/dpdk-22.11/usertools# dpdk-devbind.py --status</div><div><br></div><div>Network devices using DPDK-compatible driver</div><div>============================================</div><div>0000:8a:00.0 'Ethernet Controller X710 for 10GbE SFP+ 1572' drv=vfio-pci unused=i40e</div><div>0000:8a:00.1 'Ethernet Controller X710 for 10GbE SFP+ 1572' drv=vfio-pci unused=i40e</div><div>0000:8a:00.2 'Ethernet Controller X710 for 10GbE SFP+ 1572' drv=vfio-pci unused=i40e</div><div>0000:8a:00.3 'Ethernet Controller X710 for 10GbE SFP+ 1572' drv=vfio-pci unused=i40e</div><div><br></div><div><br></div><div>Thanks </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
>    On Tue, Feb 21, 2023 at 9:37 PM Bruce Richardson<br>
>    <[1]<a href="mailto:bruce.richardson@intel.com" target="_blank">bruce.richardson@intel.com</a>> wrote:<br>
> <br>
>      On Tue, Feb 21, 2023 at 09:30:15PM +0530, Nagendra Prabhu A T wrote:<br>
>      >    HI Bruce,<br>
>      >    Thanks for your reply.<br>
>      >    I have removed the binding of all other ports. So , i can<br>
>      confirm that<br>
>      >    #2 is taken care of.<br>
>      >    I tried using a different driver "uio_pci_generic". I still see<br>
>      the<br>
>      >    same issue for that driver as well.<br>
>      >    The problem seems to be because the write operation is not<br>
>      happening in<br>
>      >    "bind" file.<br>
>      >    Infact tried doing the following step manually. That also<br>
>      failed<br>
>      >    echo sh -c 0000:51:00.0 ><br>
>      /sys/bus/pci/drivers/uio_pci_generic/bind<br>
>      >    bash: echo: write error: No such device<br>
>      The "sh -c" doesn't look right in that command. It should just echo<br>
>      the<br>
>      device id to the bind file. However, it's generally recommended just<br>
>      to use<br>
>      the devbind script, as more writes to sysfs may be necessary first,<br>
>      e.g. to<br>
>      register the device ids first.<br>
>      >    I have required permission for the file.<br>
>      >    I tried doing with "sudo"<br>
>      >    I dont have selinux running<br>
>      >    So not sure whats blocking me. Infact , even<br>
>      >    "cat /sys/bus/pci/drivers/uio_pci_generic/bind" is failing<br>
>      >    Can you please help.<br>
>      To track down issues other than the obvious, I think we need more<br>
>      information. For example, what NIC card is this? Are there any<br>
>      useful error<br>
>      messages in dmesg?<br>
>      /Bruce<br>
> <br>
> References<br>
> <br>
>    1. mailto:<a href="mailto:bruce.richardson@intel.com" target="_blank">bruce.richardson@intel.com</a><br>
</blockquote></div></div></div>