mlx5: use RCU lock in mlx5_eq_cq_get()
authorCong Wang <xiyou.wangcong@gmail.com>
Wed, 6 Feb 2019 23:00:19 +0000 (15:00 -0800)
committerSaeed Mahameed <saeedm@mellanox.com>
Mon, 11 Feb 2019 22:39:14 +0000 (14:39 -0800)
commit1fbf1252df0e4212e17f98130cb5372b3bc019b0
treebfc11da988c68d2d5d18fbe09e738e3b8b3da7bf
parent46861e3e88be18846971792b763eaf520a91a802
mlx5: use RCU lock in mlx5_eq_cq_get()

mlx5_eq_cq_get() is called in IRQ handler, the spinlock inside
gets a lot of contentions when we test some heavy workload
with 60 RX queues and 80 CPU's, and it is clearly shown in the
flame graph.

In fact, radix_tree_lookup() is perfectly fine with RCU read lock,
we don't have to take a spinlock on this hot path. This is pretty
much similar to commit 291c566a2891
("net/mlx4_core: Fix racy CQ (Completion Queue) free"). Slow paths
are still serialized with the spinlock, and with synchronize_irq()
it should be safe to just move the fast path to RCU read lock.

This patch itself reduces the latency by about 50% for our memcached
workload on a 4.14 kernel we test. In upstream, as pointed out by Saeed,
this spinlock gets some rework in commit 02d92f790364
("net/mlx5: CQ Database per EQ"), so the difference could be smaller.

Cc: Saeed Mahameed <saeedm@mellanox.com>
Cc: Tariq Toukan <tariqt@mellanox.com>
Acked-by: Saeed Mahameed <saeedm@mellanox.com>
Signed-off-by: Cong Wang <xiyou.wangcong@gmail.com>
Signed-off-by: Saeed Mahameed <saeedm@mellanox.com>
drivers/net/ethernet/mellanox/mlx5/core/eq.c