io-wq: serialize hash clear with wakeup io_uring-5.16-2021-11-13
authorJens Axboe <axboe@kernel.dk>
Fri, 12 Nov 2021 00:32:53 +0000 (17:32 -0700)
committerJens Axboe <axboe@kernel.dk>
Fri, 12 Nov 2021 00:39:46 +0000 (17:39 -0700)
commitd3e3c102d107bb84251455a298cf475f24bab995
treeb32b5498d47f554f2ebf09558834842b67185d69
parentbad119b9a00019054f0c9e2045f312ed63ace4f4
io-wq: serialize hash clear with wakeup

We need to ensure that we serialize the stalled and hash bits with the
wait_queue wait handler, or we could be racing with someone modifying
the hashed state after we find it busy, but before we then give up and
wait for it to be cleared. This can cause random delays or stalls when
handling buffered writes for many files, where some of these files cause
hash collisions between the worker threads.

Cc: stable@vger.kernel.org
Reported-by: Daniel Black <daniel@mariadb.org>
Fixes: e941894eae31 ("io-wq: make buffered file write hashed work map per-ctx")
Signed-off-by: Jens Axboe <axboe@kernel.dk>
fs/io-wq.c