<div dir="ltr"><div class="gmail_default" style="font-size:small">Hi Thomas,</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">I've captured this as <a href="https://bugs.dpdk.org/show_bug.cgi?id=429">https://bugs.dpdk.org/show_bug.cgi?id=429</a>, so we can add this to the list of development items for the testing, etc.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Cheers,<br>Lincoln</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 26, 2020 at 4:54 PM Thomas Monjalon <<a href="mailto:thomas@monjalon.net">thomas@monjalon.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Thanks for the interesting feedback.<br>
It seems we should test this performance use case in our labs.<br>
<br>
<br>
18/02/2020 09:36, Hrvoje Habjanic:<br>
> On 08. 04. 2019. 11:52, Hrvoje Habjanić wrote:<br>
> > On 29/03/2019 08:24, Hrvoje Habjanić wrote:<br>
> >>> Hi.<br>
> >>><br>
> >>> I did write an application using dpdk 17.11 (did try also with 18.11),<br>
> >>> and when doing some performance testing, i'm seeing very odd behavior.<br>
> >>> To verify that this is not because of my app, i did the same test with<br>
> >>> l2fwd example app, and i'm still confused by results.<br>
> >>><br>
> >>> In short, i'm trying to push a lot of L2 packets through dpdk engine -<br>
> >>> packet processing is minimal. When testing, i'm starting with small<br>
> >>> number of packets-per-second, and then gradually increase it to see<br>
> >>> where is the limit. At some point, i do reach this limit - packets start<br>
> >>> to get dropped. And this is when stuff become weird.<br>
> >>><br>
> >>> When i reach peek packet rate (at which packets start to get dropped), i<br>
> >>> would expect that reducing packet rate will remove packet drops. But,<br>
> >>> this is not the case. For example, let's assume that peek packet rate is<br>
> >>> 3.5Mpps. At this point everything works ok. Increasing pps to 4.0Mpps,<br>
> >>> makes a lot of dropped packets. When reducing pps back to 3.5Mpps, app<br>
> >>> is still broken - packets are still dropped.<br>
> >>><br>
> >>> At this point, i need to drastically reduce pps (1.4Mpps) to make<br>
> >>> dropped packets go away. Also, app is unable to successfully forward<br>
> >>> anything beyond this 1.4M, despite the fact that in the beginning it did<br>
> >>> forward 3.5M! Only way to recover is to restart the app.<br>
> >>><br>
> >>> Also, sometimes, the app just stops forwarding any packets - packets are<br>
> >>> received (as seen by counters), but app is unable to send anything back.<br>
> >>><br>
> >>> As i did mention, i'm seeing the same behavior with l2fwd example app. I<br>
> >>> did test dpdk 17.11 and also dpdk 18.11 - the results are the same.<br>
> >>><br>
> >>> My test environment is HP DL380G8, with 82599ES 10Gig (ixgbe) cards,<br>
> >>> connected with Cisco nexus 9300 sw. On the other side is ixia test<br>
> >>> appliance. Application is run in virtual machine (VM), using KVM<br>
> >>> (openstack, with sriov enabled, and numa restrictions). I did check that<br>
> >>> VM is using only cpu's from NUMA node on which network card is<br>
> >>> connected, so there is no cross-numa traffic. Openstack is Queens,<br>
> >>> Ubuntu is Bionic release. Virtual machine is also using ubuntu bionic<br>
> >>> as OS.<br>
> >>><br>
> >>> I do not know how to debug this? Does someone else have the same<br>
> >>> observations?<br>
> >>><br>
> >>> Regards,<br>
> >>><br>
> >>> H.<br>
> >> There are additional findings. It seems that when i reach peak pps<br>
> >> rate, application is not fast enough, and i can see rx missed errors<br>
> >> on card statistics on the host. At the same time, tx side starts to<br>
> >> show problems (tx burst starts to show it did not send all packets).<br>
> >> Shortly after that, tx falls apart completely and top pps rate drops.<br>
> >><br>
> >> Since i did not disable pause frames, i can see on the switch "RX<br>
> >> pause" frame counter is increasing. On the other hand, if i disable<br>
> >> pause frames (on the nic of server), host driver (ixgbe) reports "TX<br>
> >> unit hang" in dmesg, and issues card reset. Of course, after reset<br>
> >> none of the dpdk apps in VM's on this host does not work.<br>
> >><br>
> >> Is it possible that at time of congestion DPDK does not release mbufs<br>
> >> back to the pool, and tx ring becomes "filled" with zombie packets<br>
> >> (not send by card and also having ref counter as they are in use)?<br>
> >><br>
> >> Is there a way to check mempool or tx ring for "left-owers"? Is is<br>
> >> possible to somehow "flush" tx ring and/or mempool?<br>
> >><br>
> >> H.<br>
> > After few more test, things become even weirder - if i do not free mbufs<br>
> > which are not sent, but resend them again, i can "survive" over-the-peek<br>
> > event! But, then peek rate starts to drop gradually ...<br>
> ><br>
> > I would ask if someone can try this on their platform and report back? I<br>
> > would really like to know if this is problem with my deployment, or<br>
> > there is something wrong with dpdk?<br>
> ><br>
> > Test should be simple - use l2fwd or l3fwd, and determine max pps. Then<br>
> > drive pps 30%over max, and then return back and confirm that you can<br>
> > still get max pps.<br>
> ><br>
> > Thanks in advance.<br>
> ><br>
> > H.<br>
> ><br>
> <br>
> I did receive few mails from users facing this issue, asking how it was<br>
> resolved.<br>
> <br>
> Unfortunately, there is no real fix. It seems that this issue is related<br>
> to card and hardware used. I'm still not sure which is more to blame,<br>
> but the combination i had is definitely problematic.<br>
> <br>
> Anyhow, in the end, i did conclude that card driver have some issues<br>
> when it is saturated with packets. My suspicion is that driver/software<br>
> does not properly free packets, and then DPDK mempool becomes<br>
> fragmented, and this causes performance drops. Restarting software<br>
> releases pools, and restores proper functionality.<br>
> <br>
> After no luck with ixgbe, we migrated to Mellanox (4LX), and now there<br>
> is no more of this permanent performance drop. With mlx, when limit is<br>
> reached, reducing number of packets restores packet forwarding, and this<br>
> limit seems to be stable.<br>
> <br>
> Also, we moved to newer servers - DL380G10, and got significant<br>
> performance increase. Also, we moved to newer switch (also cisco), with<br>
> 25G ports, which reduced latency - almost by factor of 2!<br>
> <br>
> I did not try old ixgbe on newer server, but i did try Intel's XL710,<br>
> and it is not as happy as Mellanox. It gives better PPS, but it is more<br>
> unstable in terms of maximum bw (has similar issues as ixgbe).<br>
> <br>
> Regards,<br>
> <br>
> H.<br>
<br>
<br>
<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><b>Lincoln Lavoie</b><br></div><div>Senior Engineer, Broadband Technologies</div><div>21 Madbury Rd., Ste. 100, Durham, NH 03824</div><div><a href="mailto:lylavoie@iol.unh.edu" target="_blank">lylavoie@iol.unh.edu</a></div><div><a href="https://www.iol.unh.edu" target="_blank">https://www.iol.unh.edu</a></div><div>+1-603-674-2755 (m)<br></div><div><a href="https://www.iol.unh.edu/" target="_blank"><img src="http://homeautomation.lavoieholdings.com/_/rsrc/1390068882701/unh-iol-logo.png"></a></div></div></div></div></div></div></div></div></div></div></div></div>