<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:SimSun;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@SimSun";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
span.EmailStyle22
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">Hi,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Internally the VM is using DPDK 17.05, on Centos7.9 – but this seems to be reproducing with guest level 18.11 as well.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The issue is when the DPDK PMDs get started at guest, so the assumption is that that presents bad / inaccessible memory towards the host.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We did notice some mis-use at the guest of selinux permissions, and removing that helped reducing the frequency significantly.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Is there a way to map the shared memory between VM and host to see where is the segmentation fault coming from?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I will see if I can upload the VM xml, but it is a multi-queue 4 port VM.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks for the assistance,<o:p></o:p></p>
<p class="MsoNormal">Eran<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Xia, Chenbo <chenbo.xia@intel.com> <br>
<b>Sent:</b> Friday, November 26, 2021 4:25 AM<br>
<b>To:</b> Bendror, Eran (Nokia - US) <eran.bendror@nokia.com>; ktraynor@redhat.com<br>
<b>Cc:</b> ayeh@cisco.com; dev@dpdk.org; Stokes, Ian <ian.stokes@intel.com>; maxime.coquelin@redhat.com; yega@cisco.com; Marco Varlese <marco.varlese@suse.com><br>
<b>Subject:</b> RE: [dpdk-dev] [ovs-dev] ovs-vswitchd with DPDK crashed when guest VM restarts network service<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Is it possible that you can provide more info about this isuee. I mean: qemu cmdline/libvirt xml, ovs cmdline, guest driver version and etc… Or it’s hard to reproduce the issue.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
<p class="MsoNormal">Chenbo<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Bendror, Eran (Nokia - US) <<a href="mailto:eran.bendror@nokia.com">eran.bendror@nokia.com</a>>
<br>
<b>Sent:</b> Wednesday, November 17, 2021 10:42 PM<br>
<b>To:</b> <a href="mailto:ktraynor@redhat.com">ktraynor@redhat.com</a><br>
<b>Cc:</b> <a href="mailto:ayeh@cisco.com">ayeh@cisco.com</a>; Xia, Chenbo <<a href="mailto:chenbo.xia@intel.com">chenbo.xia@intel.com</a>>;
<a href="mailto:dev@dpdk.org">dev@dpdk.org</a>; Stokes, Ian <<a href="mailto:ian.stokes@intel.com">ian.stokes@intel.com</a>>;
<a href="mailto:maxime.coquelin@redhat.com">maxime.coquelin@redhat.com</a>; <a href="mailto:yega@cisco.com">
yega@cisco.com</a><br>
<b>Subject:</b> Re: [dpdk-dev] [ovs-dev] ovs-vswitchd with DPDK crashed when guest VM restarts network service<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hello,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I am wondering if there was any progress in this topic, we are seeing a very similar issue, where a VM level application restart triggers segmentation fault and failed to allocate MBuf on the host level<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">CentOS Linux release 7.8.2003 (Core)<o:p></o:p></p>
<p class="MsoNormal">dpdk-18.11.5-1.el7_8.x86_64<o:p></o:p></p>
<p class="MsoNormal">openvswitch-2.11.0-4.el7.x86_64<o:p></o:p></p>
<p class="MsoNormal">libvirt 4.5.0<o:p></o:p></p>
<p class="MsoNormal">QEMU 4.5.0 (API)<o:p></o:p></p>
<p class="MsoNormal">QEMU 2.12.0<o:p></o:p></p>
<p class="MsoNormal">3.10.0-1127.13.1.el7.x86_64<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">And we get the same crash<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">#0  0x00007f96cb72e7ee in rte_memcpy_generic () from /lib64/librte_vhost.so.4<o:p></o:p></p>
<p class="MsoNormal">#1  0x00007f96cb7350f2 in rte_vhost_dequeue_burst () from /lib64/librte_vhost.so.4<o:p></o:p></p>
<p class="MsoNormal">#2  0x00007f96caf97f03 in netdev_dpdk_vhost_rxq_recv () from /lib64/libopenvswitch-2.11.so.0<o:p></o:p></p>
<p class="MsoNormal">#3  0x00007f96caed21e6 in netdev_rxq_recv () from /lib64/libopenvswitch-2.11.so.0<o:p></o:p></p>
<p class="MsoNormal">#4  0x00007f96caea07ca in dp_netdev_process_rxq_port () from /lib64/libopenvswitch-2.11.so.0<o:p></o:p></p>
<p class="MsoNormal">#5  0x00007f96caea0ca5 in pmd_thread_main () from /lib64/libopenvswitch-2.11.so.0<o:p></o:p></p>
<p class="MsoNormal">#6  0x00007f96caf2da3f in ovsthread_wrapper () from /lib64/libopenvswitch-2.11.so.0<o:p></o:p></p>
<p class="MsoNormal">#7  0x00007f96c9ef3ea5 in start_thread () from /lib64/libpthread.so.0<o:p></o:p></p>
<p class="MsoNormal">#8  0x00007f96c94118dd in clone () from /lib64/libc.so.6<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We have tried upgrading host level artifacts:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">dpdk-20.11.3-1.el7.x86_64<o:p></o:p></p>
<p class="MsoNormal">openvswitch-2.16.1-1.el7.x86_64<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">With backtrace:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">#0  0x00007f6b8b49748c in virtio_dev_tx_split_legacy () from /lib64/librte_vhost.so.21<o:p></o:p></p>
<p class="MsoNormal">#1  0x00007f6b8b4c0fdb in rte_vhost_dequeue_burst () from /lib64/librte_vhost.so.21<o:p></o:p></p>
<p class="MsoNormal">#2  0x000055bd714c2802 in netdev_dpdk_vhost_rxq_recv ()<o:p></o:p></p>
<p class="MsoNormal">#3  0x000055bd713f8e51 in netdev_rxq_recv ()<o:p></o:p></p>
<p class="MsoNormal">#4  0x000055bd713c9d2a in dp_netdev_process_rxq_port ()<o:p></o:p></p>
<p class="MsoNormal">#5  0x000055bd713ca1f9 in pmd_thread_main ()<o:p></o:p></p>
<p class="MsoNormal">#6  0x000055bd71455cdf in ovsthread_wrapper ()<o:p></o:p></p>
<p class="MsoNormal">#7  0x00007f6b8a6a9ea5 in start_thread () from /lib64/libpthread.so.0<o:p></o:p></p>
<p class="MsoNormal">#8  0x00007f6b89bc78dd in clone () from /lib64/libc.so.6<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Regards,<o:p></o:p></p>
<p class="MsoNormal">Eran<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</body>
</html>