io_uring: avoid hashing O_DIRECT writes if the filesystem doesn't need it
authorJens Axboe <axboe@kernel.dk>
Tue, 7 Mar 2023 16:47:20 +0000 (09:47 -0700)
committerJens Axboe <axboe@kernel.dk>
Mon, 3 Apr 2023 13:14:20 +0000 (07:14 -0600)
commitd4755e15386c38e4ae532ace5acc29fbfaee42e7
tree1edc85467c3ea9ede5ee2d18b7021d3c0588f968
parentd8aeb44a9ae324c4b823689fabb30b6621d93c88
io_uring: avoid hashing O_DIRECT writes if the filesystem doesn't need it

io_uring hashes writes to a given file/inode so that it can serialize
them. This is useful if the file system needs exclusive access to the
file to perform the write, as otherwise we end up with a ton of io-wq
threads trying to lock the inode at the same time. This can cause
excessive system time.

But if the file system has flagged that it supports parallel O_DIRECT
writes, then there's no need to serialize the writes. Check for that
through FMODE_DIO_PARALLEL_WRITE and don't hash it if we don't need to.

In a basic test of 8 threads writing to a file on XFS on a gen2 Optane,
with each thread writing in 4k chunks, it improves performance from
~1350K IOPS (or ~5290MiB/sec) to ~1410K IOPS (or ~5500MiB/sec).

Reviewed-by: Darrick J. Wong <djwong@kernel.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>
io_uring/io_uring.c