<div dir="ltr"><div dir="ltr"><br></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 11, 2023 at 4:14 AM Juraj Linkeš <juraj.linkes@pantheon.tech> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 10, 2023 at 5:59 PM Patrick Robb <<a href="mailto:probb@iol.unh.edu" target="_blank">probb@iol.unh.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 9, 2023 at 11:56 PM Dharmik Jayesh Thakkar <<a href="mailto:DharmikJayesh.Thakkar@arm.com" target="_blank">DharmikJayesh.Thakkar@arm.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>





<div lang="EN-US">
<div>
<p class="MsoNormal">Hi Patrick,<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Can you provide the grub settings? Is iommu.passthrough=1 included?</p></div></div></div></blockquote><div><br></div><div>Sure. I'm not sure if you just wanted the kernel cmdline options or the whole grub config, but I assume you just meant kernel cmdline. Let me know if you meant more.</div><div><br></div><div>GRUB_CMDLINE_LINUX_DEFAULT="default_hugepagesz=1G hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=39-79 nohz_full=39-79 rcu_nocbs=39-79 processor.max_cstate=1 intel_pstate=disable console=ttyS0,115200 console=tty0"<br><br>But, iommu.passthrough=1 is not included, so I can add that if we need to. Do you know that this won't have any bad implications for the (intel, nvidia, broadcom) NICs which we test on this server?</div><div> </div></div></div></blockquote><div><br></div><div>Just a note here, Patrick. The iommu kernel and intel_pstate parameters aren't supported on arm, so you can remove those. And when iommu.passthrouh=1, IOMMU is bypassed and intel_iommu doesn't do anything (and maybe isn't supported on arm, but that's not clear from <a href="https://www.kernel.org/doc/Documentation/admin-guide/kernel-parameters.txt" target="_blank">the docs</a>), so that can be removed as well.<br></div></div></div></blockquote><div><br></div><div>Thanks Dharmik and Juraj. Updated kernel cmdline args: </div><div>BOOT_IMAGE=/vmlinuz-5.15.82+ root=/dev/mapper/ubuntu--vg--1-ubuntu--lv ro default_hugepagesz=1G hugepagesz=1G hugepages=32 isolcpus=39-79 nohz_full=39-79 rcu_nocbs=39-79 processor.max_cstate=1 iommu.passthrough=1 console=ttyS0,115200 console=tty0</div><div><br></div><div>I added the iommu.passthrough option and tried again, to no avail. FYI I am still using the guidance here: <a href="https://doc.dpdk.org/guides/cryptodevs/qat.html">https://doc.dpdk.org/guides/cryptodevs/qat.html</a> along with your added steps.</div><div><br></div><div>root@arm-ampere-dut:~# echo 16 > /sys/bus/pci/drivers/c6xx/0000:03:00.0/sriov_numvfs<br>Segmentation fault (core dumped)<br></div><div><br></div><div>As you know the above setting of the 48 VFs is a prerequisite to binding the VFs to vfio-pci. But, I did run through loading the custom vfio and there were no issues, so once we clear this initial hurdle we should be fine.</div></div></div>