<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=us-ascii"> <meta name="Generator" content="Microsoft Word 15 (filtered medium)"> <style></style> </head> <body lang="EN-CA" link="#0563C1" vlink="#954F72" style="word-wrap:break-word"> <div class="WordSection1"> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">Hi Taha, I don’t think your usage of the new template flow API is correct.<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">First, action list in flow rules must match the action list in the template.<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">Second, you need specify different priorities for the rules in the same group.<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">Please see the corrected flows below to get an idea how it should be organized.<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">P.S. pull returns only completed operations, try again later if you expect more.<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">port stop 0<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow configure 0 queues_number 9 queues_size 256 meters_number 1<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">add port meter profile trtcm_rfc2698 0 0 120 250 20 3000 0<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow pattern_template 0 create pattern_template_id 2 relaxed true ingress template eth / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow pattern_template 0 create pattern_template_id 4 relaxed true ingress template meter color mask all / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow actions_template 0 create actions_template_id 1 template jump group 1 / end mask jump group 1 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow actions_template 0 create actions_template_id 2 template meter_mark / jump group 2 / end mask meter_mark / jump group 2 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow actions_template 0 create actions_template_id 4 template queue index 2 / end mask queue index 2 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow actions_template 0 create actions_template_id 5 template queue index 6 / end mask queue index 6 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow actions_template 0 create actions_template_id 6 template drop / end mask drop / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow template_table 0 create table_id 1 group 0 ingress rules_number 10 pattern_template 2 actions_template 1<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow template_table 0 create table_id 2 group 1 ingress rules_number 10 pattern_template 2 actions_template 2<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow template_table 0 create table_id 4 group 2 priority 0 ingress rules_number 10 pattern_template 4 actions_template 4<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow template_table 0 create table_id 5 group 2 priority 1 ingress rules_number 10 pattern_template 4 actions_template 5<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow template_table 0 create table_id 6 group 2 priority 2 ingress rules_number 10 pattern_template 4 actions_template 6<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">port start 0<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow queue 0 create 0 template_table 1 pattern_template 0 actions_template 0 postpone 0 pattern eth / end actions jump group 1 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow queue 0 create 0 template_table 2 pattern_template 0 actions_template 0 postpone 0 pattern eth / end actions meter_mark mtr_profile 0 mtr_init_color green mtr_color_mode 1 mtr_state 1 / jump group 2 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow queue 0 create 0 template_table 4 pattern_template 0 actions_template 0 postpone 0 pattern meter color is green color mask all / end actions queue index 2 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow queue 0 create 0 template_table 5 pattern_template 0 actions_template 0 postpone 0 pattern meter color is yellow color mask all / end actions queue index 6 / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">flow queue 0 create 0 template_table 6 pattern_template 0 actions_template 0 postpone 0 pattern meter color is red color mask all / end actions drop / end<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">Regards,<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US">Alex<o:p></o:p></span></p> <p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p> <div style="border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt"> <div> <div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm"> <p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Taha Sami <taha.sami@dreambigsemi.com> <br> <b>Sent:</b> February 27, 2023 01:50<br> <b>To:</b> users@dpdk.org; Alexander Kozyrev <akozyrev@nvidia.com>; Suanming Mou <suanmingm@nvidia.com><br> <b>Cc:</b> Asaf Penso <asafp@nvidia.com><br> <b>Subject:</b> meter_mark action not working with NVIDIA Cx6-Dx<o:p></o:p></span></p> </div> </div> <p class="MsoNormal"><o:p> </o:p></p> <p class="MsoNormal">Hello, <o:p></o:p></p> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">We are trying to test the meter mark feature with the testpmd but we are observing some unusual results. We are trying to send different color packets to different queues but we are not seeing the desired results<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Supporting INFO<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> MT2892 Family [ConnectX-6 Dx]<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> Driver: mlx5_core<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> Version: 5.8-1.1.2<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> Firmware-version: 22.35.2000 (MT_0000000436)<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> dpdk- 22.11<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Here are our test steps<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b><span style="font-size:14.0pt">Step 1: Configuring meter_mark in testpmd:</span></b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">sudo ./build/app/dpdk-testpmd -l 0-3 -n 4 -a 0000:4:00.0,dv_flow_en=2 --file-prefix ts -- -i --disable-rss --txq=9 –rxq=9<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">port stop 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b><span style="font-size:16.0pt">port configure</span></b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow configure 0 queues_number 9 queues_size 256 meters_number 1<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b><span style="font-size:14.0pt">Pattern template configure</span></b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow pattern_template 0 create pattern_template_id 2 relaxed true ingress template eth dst is 00:16:3e:31:15:c3 / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow pattern_template 0 create pattern_template_id 4 relaxed true ingress template meter color is green / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow pattern_template 0 create pattern_template_id 5 relaxed true ingress template meter color is yellow / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow pattern_template 0 create pattern_template_id 6 relaxed true ingress template meter color is red / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>Action Template configure</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow actions_template 0 create actions_template_id 1 template jump group 1 / end mask jump group 1 / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow actions_template 0 create actions_template_id 2 template meter_mark mtr_profile 0 mtr_color_mode 1 <o:p></o:p></p> </div> <div> <p class="MsoNormal">mtr_init_color green mtr_state 1 / jump group 2 / end mask meter_mark mtr_profile 0 mtr_color_mode 1 mtr_init_color green mtr_state 1 / jump group 2 / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow actions_template 0 create actions_template_id 4 template queue index 2 / end mask queue index 2 / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow actions_template 0 create actions_template_id 5 template queue index 6 / end mask queue index 6 / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow actions_template 0 create actions_template_id 6 template drop / end mask drop / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b><span style="font-size:14.0pt">Template Table creation</span></b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow template_table 0 create table_id 1 group 0 ingress rules_number 10 pattern_template 2 actions_template 1<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow template_table 0 create table_id 2 group 1 ingress rules_number 10 pattern_template 2 actions_template 2<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow template_table 0 create table_id 4 group 2 ingress rules_number 10 pattern_template 4 actions_template 4<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow template_table 0 create table_id 5 group 2 ingress rules_number 10 pattern_template 5 actions_template 5<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow template_table 0 create table_id 6 group 2 ingress rules_number 10 pattern_template 6 actions_template 6<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">port start 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b><span style="font-size:14.0pt">profile creation for meter mark</span></b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">add port meter profile trtcm_rfc2698 0 0 120 250 20 3000 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b><span style="font-size:14.0pt">Flow queue creation</span></b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow queue 0 create 0 template_table 1 pattern_template 0 actions_template 0 postpone 0 pattern eth dst is 00:16:3e:31:15:c3 / end actions drop / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow queue 0 create 0 template_table 2 pattern_template 0 actions_template 0 postpone 0 pattern eth dst is 00:16:3e:31:15:c3 / end actions drop / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow queue 0 create 0 template_table 4 pattern_template 0 actions_template 0 postpone 0 pattern meter color is green / end actions drop / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow queue 0 create 0 template_table 5 pattern_template 0 actions_template 0 postpone 0 pattern meter color is yellow / end actions drop / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow queue 0 create 0 template_table 6 pattern_template 0 actions_template 0 postpone 0 pattern meter color is red / end actions drop / end<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b><span style="font-size:14.0pt">Push/Pull operation</span></b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">flow push 0 queue 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Queue #0 operations pushed<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> flow pull 0 queue 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Queue #0 pulled 2 operations (0 failed, 2 succeeded)<o:p></o:p></p> </div> <div> <p class="MsoNormal" style="background:white"><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p> </div> <div> <p class="MsoNormal" style="background:white"><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p> </div> <div> <p class="MsoNormal"><b>After pulling the flow rules it was observed that only 2 rules were successfully pulled</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">initially, after sending 2000 packets of 64 bytes from pktgen we saw only 1 packet received on queue 2 even though only 2 rules were successfully pushed and pulled from the nic<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">------- Forward Stats for RX Port= 0/Queue= 2 -> TX Port= 0/Queue= 2 -------<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">RX-packets: 1 TX-packets: 1 TX-dropped: 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">---------------------- Forward statistics for port 0 ----------------------<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">RX-packets: 1 RX-dropped: 0 RX-total: 1<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">TX-packets: 1 TX-dropped: 0 TX-total: 1<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">----------------------------------------------------------------------------<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">+++++++++++++++ Accumulated forward statistics for all ports+++++++++++++++<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">RX-packets: 1 RX-dropped: 0 RX-total: 1<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">TX-packets: 1 TX-dropped: 0 TX-total: 1<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">after again sending 2000 packets of 64 bytes<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">---------------------- Forward statistics for port 0 ----------------------<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">RX-packets: 0 RX-dropped: 0 RX-total: 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">TX-packets: 0 TX-dropped: 0 TX-total: 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">----------------------------------------------------------------------------<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">+++++++++++++++ Accumulated forward statistics for all ports+++++++++++++++<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">RX-packets: 0 RX-dropped: 0 RX-total: 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">TX-packets: 0 TX-dropped: 0 TX-total: 0<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal" style="background:white"><span style="font-size:12.0pt;color:black">Regards,<o:p></o:p></span></p> </div> <div> <p class="MsoNormal" style="background:white"><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p> </div> <div> <p class="MsoNormal" style="background:white"><span style="font-size:12.0pt;color:black">Taha<o:p></o:p></span></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> </div> </div> </body> </html>