io_uring: open code io_cqring_overflow_flush()
authorPavel Begunkov <asml.silence@gmail.com>
Wed, 10 Apr 2024 01:26:53 +0000 (02:26 +0100)
committerJens Axboe <axboe@kernel.dk>
Mon, 15 Apr 2024 14:10:26 +0000 (08:10 -0600)
There is only one caller of io_cqring_overflow_flush(), open code it

Signed-off-by: Pavel Begunkov <asml.silence@gmail.com>
Link: https://lore.kernel.org/r/a1fecd56d9dba923ed8d4d159727fa939d3baa2a.1712708261.git.asml.silence@gmail.com
Signed-off-by: Jens Axboe <axboe@kernel.dk>
io_uring/io_uring.c

index 885f701983d7a558adcebcee64bff5691ebad1fd..740bfec10fde3e59d1d63105a3ae3651d5e932d1 100644 (file)
@@ -726,12 +726,6 @@ static void io_cqring_do_overflow_flush(struct io_ring_ctx *ctx)
                mutex_unlock(&ctx->uring_lock);
 }
 
-static void io_cqring_overflow_flush(struct io_ring_ctx *ctx)
-{
-       if (test_bit(IO_CHECK_CQ_OVERFLOW_BIT, &ctx->check_cq))
-               io_cqring_do_overflow_flush(ctx);
-}
-
 /* can be called by any task */
 static void io_put_task_remote(struct task_struct *task)
 {
@@ -2452,8 +2446,9 @@ static int io_cqring_wait(struct io_ring_ctx *ctx, int min_events,
        if (!llist_empty(&ctx->work_llist))
                io_run_local_work(ctx, min_events);
        io_run_task_work();
-       io_cqring_overflow_flush(ctx);
-       /* if user messes with these they will just get an early return */
+
+       if (unlikely(test_bit(IO_CHECK_CQ_OVERFLOW_BIT, &ctx->check_cq)))
+               io_cqring_do_overflow_flush(ctx);
        if (__io_cqring_events_user(ctx) >= min_events)
                return 0;