t/run-fio-tests: fix style issues

Many style issues were identified by pylint3. Fix most of them.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

gfio: add high/low priority latency results

For the cmdprio_percentage option, add high/low priority summary
statistics and latency percentiles.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

.gitignore: add some test programs

t/io_uring, t/memlock, and t/read-to-pipe-async are now routinely built.
Add them to .gitignore to avoid cluttering up the output of 'git
status'.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

stat: summary statistics for both high/low priority latencies

For the sake of completeness, include summary statistics for both high
and low priority latencies in the normal output when cmdprio_percentage
is used.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

Fio 3.18

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'latency-rebase-again' of https://github.com/vincentkfu/fio

* 'latency-rebase-again' of https://github.com/vincentkfu/fio:
  t/run-fio-tests: increase time allowed for tests to pass
  t/run-fio-tests: add latency_percentiles.py
  t/latency_percentiles: test latency percentile reporting
  stat: fix high/low prio unified rw bug
  fio: better distinguish between high and low priority
  stat: make priority summary statistics consistent with percentiles
  docs: updates for slat, clat, lat percentile reporting
  gfio: display slat, clat, and lat percentiles
  fio: report percentiles for slat, clat, lat
  fio: groundwork for adding slat, lat percentiles

Merge branch 'filestat2' of https://github.com/kusumi/fio

* 'filestat2' of https://github.com/kusumi/fio:
  engines/filestat: change "lstat" bool option to "stat_type" str option

engines/filestat: change "lstat" bool option to "stat_type" str option

Per suggestion from Jens, change a bool option to str option
to better support stat(2) variants (at this point before 3.18).

https://github.com/axboe/fio/pull/912#issuecomment-577814885

Signed-off-by: Tomohiro Kusumi <kusumi.tomohiro@gmail.com>

t/run-fio-tests: increase time allowed for tests to pass

With a 300s timeout I occasionally see tests fail when they usually
pass. Bump the timeout to 600s to give tests more of an opportunity to
finish successfully.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

t/run-fio-tests: add latency_percentiles.py

Add the latency percentiles test script to the general test script.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

t/latency_percentiles: test latency percentile reporting

This script runs fio jobs exercising the slat_percentiles,
clat_percentiles, and lat_percentiles options under various conditions.
It carries out several tests comparing write_lat_log data with
percentiles reported by fio.

It also includes limited tests of high/low priority latency reporting
with the cmdprio_percentage option. Only Linux supports the
cmdprio_percentage option. Skips these tests on other platforms.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

stat: fix high/low prio unified rw bug

With unified_rw_reporting enabled, high/low priority summary statistics
were not correctly reported. This patch fixes the problem.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

fio: better distinguish between high and low priority

Change the variable names for the low priority latency variables to
explicity distinguish them from the high priority latency variables.
Also rename the JSON objects to do the same. This reduces the mental
effort required to read the code and output.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

stat: make priority summary statistics consistent with percentiles

When lat_percentiles=1, reported high/low priority percentiles will
describe total latency values. Make the summary statistics (min, max,
mean, stddev) also describe total latency. Otherwise there will be a
mismatch in the JSON output with completion latency summary statistics
combined with total latency percentile values.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

docs: updates for slat, clat, lat percentile reporting

Modify the HOWTO and man page to reflect changes to the slat, clat, and
lat percentile reporting options.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

gfio: display slat, clat, and lat percentiles

Display in the results window slat, clat, and lat percentiles if they
were requested by the user.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

fio: report percentiles for slat, clat, lat

Currently, fio can report percentiles for either completion latencies or
total latencies. This patch adds the ability to simultaneously report
percentiles for submission, completion, and total latencies.

- simplify the JSON lat percentile reporting code
- parsing the JSON output will be unaffected, although now setting
lat_percentiles=1 no longer suppresses clat percentiles
- this may break parsing of the normal output since more latency
percentile blocks may be displayed
- to maintain backward compatibility in the terse output, total
latencies are reported if lat_percentiles=1 even when clat percentiles
have also been computed
- change the gtod_reduce callback to only change option values when
gtod_reduce=1
- for the new cmdprio_percentage latencies, if lat_percentiles=1,
*total* latency percentiles will be tracked. Otherwise, *completion*
latency percentiles will be tracked.
- also make sure we skip the high/low priority latency code if we are
producing output for sync latencies.
- make add_slat_sample use an unsigned long long for the time to be
consistent with other functions

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

fio: groundwork for adding slat, lat percentiles

Expand the data structure used for tabulating completion latency
percentiles so that we will have the ability to tabulate percentiles for
submission and total latency as well. This should not change fio's
behavior.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

Merge branch 'stat-averaging-interval-start-fix' of https://github.com/maciejsszmigiero/fio

* 'stat-averaging-interval-start-fix' of https://github.com/maciejsszmigiero/fio:
  stat: fix calculation of bw and iops statistics based on samples

Merge branch 'openbsd_swap' of https://github.com/bsdkurt/fio

* 'openbsd_swap' of https://github.com/bsdkurt/fio:
  Use swap16/32/64 on OpenBSD.

Merge branch 'no_cpu_clock_no_tls_thread' of https://github.com/bsdkurt/fio

* 'no_cpu_clock_no_tls_thread' of https://github.com/bsdkurt/fio:
  Fix build on architectures that don't have both cpu clock and __thread support.

Use swap16/32/64 on OpenBSD.

Fix build on architectures that don't have both cpu clock and __thread
support.

stat: fix calculation of bw and iops statistics based on samples

It is obvious on many runs that bw and iops averages from statistics based
on samples are way off (sometimes by an order of magnitude) in comparison
to the main numbers reported for these values.

When sampling these values fio assumes that their each next averaging
interval starts exactly the set averaging interval later from the start of
the previous averaging interval.

However, this isn't necessary true as scheduling delays may lengthen such
intervals, so the next one should start when the previous one has actually
ended, since that's when the collected totals are counted.

On my test system (with fio set to the default averaging interval length of
500 msec) the actual lengths are usually around 650 msec, however
700+ msec intervals aren't unusual.

This causes pretty significant bw and iops measurement discrepancy between
the sample-based values and the overall measurements.

Let's make sure that we use the actual end time of the previous averaging
interval as the beginning of the next averaging interval.

With this change the bw and iops sample-based values become almost the
same as the main numbers reported.

Signed-off-by: Maciej S. Szmigiero <maciej.szmigiero@oracle.com>

Merge branch 'filestat1' of https://github.com/kusumi/fio

* 'filestat1' of https://github.com/kusumi/fio:
  engines/filestat: add "lstat" option to use lstat(2)

engines/filestat: add "lstat" option to use lstat(2)

Use stat(2) by default, but lstat(2) if "lstat" bool option specified.

Signed-off-by: Tomohiro Kusumi <kusumi.tomohiro@gmail.com>

stat: ensure we align correctly

Fixes: b2a432bfbb6d ("Per-command priority: Priority logging and libaio/io_uring cmdprio_percentage")
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'priorityQueuing' of https://github.com/Seagate/fio

* 'priorityQueuing' of https://github.com/Seagate/fio:
  Per-command priority: Priority logging and libaio/io_uring cmdprio_percentage
  Whitespace standardization

Per-command priority: Priority logging and libaio/io_uring cmdprio_percentage

Add cmdprio_percentage option to libaio and io_uring engines to set
ioprio on a per-command basis. Add tracking of high priority
commands to be displayed separately in human readable and JSON
outputs.

Whitespace standardization

Remove trailing whitespace.

engines: add engine for file stat

This engine is to measure performance of accessing file's meta data.
This is for the actual access pattern which does not do real IO, but
just look up the file and get file's attribute.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  client: Fix memory leaks in handle_job_opt()
  pmemblk: Fix a memory leak
  lib/memcpy: Suppress a Coverity leak report for setup_tests()
  stat: Fix another memory leak in add_ddir_status_json()
  stat: Fix a memory leak in add_ddir_status_json()
  stat: Remove several superfluous if-tests
  stat: Remove more superfluous casts
  stat: Remove two superfluous casts

client: Fix memory leaks in handle_job_opt()

This patch fixes the following Coverity complaint:

CID 169311 (#1 of 1): Resource leak (RESOURCE_LEAK)
9. leaked_storage: Variable p going out of scope leaks the storage it points to.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

pmemblk: Fix a memory leak

This patch fixes the following Coverity complaint:

CID 169312 (#1 of 1): Resource leak (RESOURCE_LEAK)
5. leaked_storage: Variable path going out of scope leaks the storage it points to.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

lib/memcpy: Suppress a Coverity leak report for setup_tests()

Suppress the following Coverity memory leak complaint:

CID 169324 (#1 of 1): Resource leak (RESOURCE_LEAK)
7. leaked_storage: Variable src going out of scope leaks the storage it points to.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

stat: Fix another memory leak in add_ddir_status_json()

Only compute the percentile_object and clat_bins_object data structures if
these will be stored inside another JSON object.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

stat: Fix a memory leak in add_ddir_status_json()

This patch fixes the following Coverity complaint:

CID 173000 (#1 of 1): Resource leak (RESOURCE_LEAK)
18. leaked_storage: Variable ovals going out of scope leaks the storage it points to.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

stat: Remove several superfluous if-tests

Passing NULL to free() is allowed. From https://pubs.opengroup.org/onlinepubs/9699919799/functions/free.html#:

If ptr is a null pointer, no action shall occur.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

stat: Remove more superfluous casts

No cast is necessary to pass a char * argument to a function that accepts
a const char * argument.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

stat: Remove two superfluous casts

The C language supports implicit casting from a non-void to void pointer.
Remove two explicit casts from a non-void to a void pointer.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Merge branch 'fix_verify_push' of https://github.com/gwendalcr/fio

* 'fix_verify_push' of https://github.com/gwendalcr/fio:
  verify: Fix test to not check for numberio when verify_only is true

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  t/read-to-pipe-async: Complain if pthread_detach() fails
  t/read-to-pipe-async: Do not divide by zero
  t/memlock: Verify 'threads' argument
  server: Make it explicit that the setsockopt() return value is ignored
  blktrace: Fix memory leaks in error paths
  blktrace: Check value of 'merge_buf' pointer before using it
  blktrace: Pass a positive error code to td_verror()

Merge branch 'issue-825' of https://github.com/LeaflessMelospiza/fio

* 'issue-825' of https://github.com/LeaflessMelospiza/fio:
  Moved diskutil reporting functions to stat.c

verify: Fix test to not check for numberio when verify_only is true

io->numberio can not be populated when verify_only is true, because
do_dry_run() build and complete IOs immediately, so it can not replicate
the numberio that was produced when the data was layered on the media.

Without this fix, using write_random
[write_stress]
filename=${FILENAME}
size=${FILESIZE}
verify_only=${VERIFY_ONLY}
readwrite=randwrite
bs=4k
ioengine=libaio
iodepth=32
direct=1
do_verify=1
verify=crc32c

'VERIFY_ONLY=1 FILENAME=/dev/sda1 FILESIZE=1M fio write_random' passes,
but
'VERIFY_ONLY=0 FILENAME=/dev/sda1 FILESIZE=1M fio write_random' fails:
"""verify_only option fails with verify: bad header numberio 1, wanted
0""".
The fix addresses the problem by not checking numberio.

Fixes #732

Signed-off-by: Gwendal Grignou <gwendal@chromium.org>

Use aux_path, if set, when loading verify state

Fixes: https://github.com/axboe/fio/issues/908
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Moved diskutil reporting functions to stat.c

engines/io_uring: use fixed opcodes for pre-mapped buffers

Use the correct opcode when for reads and writes using the fixedbuf
option, otherwise EINVAL errors will be returned to these requests.

Fixes: b10b1e70a ("io_uring: add option for non-vectored read/write commands")
Signed-off-by: Keith Busch <kbusch@kernel.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

time: limit usec_sleep() to maximum intervals of 1 second

The total sleep may be much longer, but wakeup every ~1 second at least
to check if we got signaled to exit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/read-to-pipe-async: Complain if pthread_detach() fails

This patch fixes the following Coverity complaint:

CID 280680 (#1 of 1): Unchecked return value (CHECKED_RETURN)
5. check_return: Calling pthread_detach without checking return value (as is done elsewhere 4 out of 5 times).

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

t/read-to-pipe-async: Do not divide by zero

This patch fixes the following Coverity complaint:

23. zero_return: Function call utime_since(&s, &re) returns 0.
CID 280732 (#2 of 2): Division or modulo by zero (DIVIDE_BY_ZERO)
24. divide_by_zero: In expression bytes * 1000UL * 1000UL / utime_since(&s, &re), division by expression utime_since(&s, &re) which may be zero has undefined behavior.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

t/memlock: Verify 'threads' argument

This patch fixes the following Coverity complaint:

CID 280681 (#1 of 1): Untrusted value as argument (TAINTED_SCALAR)
4. tainted_data: Passing tainted variable threads to a tainted sink.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

server: Make it explicit that the setsockopt() return value is ignored

This patch fixes the following Coverity complaint:

CID 169316 (#1 of 1): Unchecked return value from library (CHECKED_RETURN)
5. check_return: Calling setsockopt(sk, 1, 15, &opt, 4U) without checking return value. This library function may fail and return an error code.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

blktrace: Fix memory leaks in error paths

This patch fixes the following Coverity complaint:

CID 183977 (#1 of 1): Resource leak (RESOURCE_LEAK)
17. leaked_storage: Variable str going out of scope leaks the storage it points to.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

blktrace: Check value of 'merge_buf' pointer before using it

This patch fixes the following Coverity complaint:

CID 183976 (#1 of 1): Dereference null return value (NULL_RETURNS)
5. dereference: Dereferencing a pointer that might be null 'merge_fp' when calling 'setvbuf'.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

blktrace: Pass a positive error code to td_verror()

This patch fixes the following Coverity complaint:

CID 183980 (#1-2 of 2): Argument cannot be negative (NEGATIVE_RETURNS)
13. negative_returns: ret is passed to a parameter that cannot be negative.

Fixes: e28875637094 ("blktrace support: speedup reading of data")
Signed-off-by: Bart Van Assche <bvanassche@acm.org>

io_uring: set sqe iopriority, if prio/prioclass is set

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  Windows >= 7: Make fio_getaffinity() error reporting more detailed
  Windows: Uninline CPU affinity functions
  Windows: Use snprintf() instead of StringCch*()
  Include "oslib/asprintf.h" where necessary
  Windows: Remove more unused OS dependent code
  Change off64_t into uint64_t
  Fix the build in case FIO_HAVE_DISK_UTIL is not defined
  Windows: Fix multiple configure tests
  configure: Improve the getopt_long_only() test
  configure: Improve the ibverbs test
  Makefile: Use 'tr' if 'fmt' is not available
  Makefile: Avoid duplicating code

Windows >= 7: Make fio_getaffinity() error reporting more detailed

Report different error messages for GetProcessGroupAffinity() failures
and also if a process is associated with multiple process groups.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Windows: Uninline CPU affinity functions

None of the CPU affinity functions is in the hot path. Reduce the build
time by uninlining these functions.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Windows: Use snprintf() instead of StringCch*()

Use ANSI C functions instead of Windows-specific functions.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Include "oslib/asprintf.h" where necessary

The header file "oslib/asprintf.h" must be included by every source file
that calls asprintf().

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Windows: Remove more unused OS dependent code

Since commit 46bfd4e5170e ("Remove old OS dependent (unused) random code")
rand_r() is no longer used. Hence remove its definition.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Change off64_t into uint64_t

off64_t is Linux specific while uint64_t is defined by a C standard. This
change makes fio easier to port.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Fix the build in case FIO_HAVE_DISK_UTIL is not defined

This patch fixes the following build error:

stat.c: In function 'show_thread_status_terse_all':
stat.c:1243:31: error: suggest braces around empty body in an 'if' statement [-Werror=empty-body]
   show_disk_util(1, NULL, out);
                               ^

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Windows: Fix multiple configure tests

Auto-detect whether socklen_t, gettimeofday(), TCP_NODELAY and IPv6 are
supported instead of hard-coding that these are supported.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

configure: Improve the getopt_long_only() test

Fix the following build error if configure is invoked with
--extra-cflags=-Werror:

/tmp/fio-conf-20209-133775-26866.c: In function 'main':
/tmp/fio-conf-20209-133775-26866.c:6:11: error: null argument where non-null required (argument 3) [-Werror=nonnull]
   int c = getopt_long_only(argc, argv, NULL, NULL, NULL);
           ^~~~~~~~~~~~~~~~
cc1: all warnings being treated as errors

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

configure: Improve the ibverbs test

This patch fixes the following configure test build error if configure is
invoked with --extra-cflags=-Werror:

/tmp/fio-conf-14710-130227-4466.c: In function 'main':
/tmp/fio-conf-14710-130227-4466.c:4:18: error: unused variable 'pd' [-Werror=unused-variable]
   struct ibv_pd *pd = ibv_alloc_pd(NULL);
                  ^~
cc1: all warnings being treated as errors

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Makefile: Use 'tr' if 'fmt' is not available

NetBSD is not the only OS that does not provide 'fmt'. A native MinGW shell
does not provide 'fmt' either. Hence detect at runtime whether or not 'fmt'
is available.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Makefile: Avoid duplicating code

Use the default compilation rule for building init.o instead of duplicating
it.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Merge branch 'master' of https://github.com/vincentkfu/fio

* 'master' of https://github.com/vincentkfu/fio:
  t/steadystate_tests: relax acceptance criterion
  t/run-fio-tests: automatically skip t/jobs/t0005 on Windows

t/steadystate_tests: relax acceptance criterion

Relax the acceptance criterion for tests that do not attain steady
state. Originally, only a 10ms difference between expected and actual
runtime was allowed. Change this to 50ms. I observed a spurious failure
where a test ran for 10017ms instead of the expected 10000ms.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

t/run-fio-tests: automatically skip t/jobs/t0005 on Windows

t0005 uses direct IO with a sync ioengine which is not supported under
Windows. Automatically skip this test when run-fio-tests is run under
Windows.

With this change we no longer need to skip test 5 in the appveyor setup.

Signed-off-by: Vincent Fu <vincent.fu@wdc.com>

Merge branch 'json1' of https://github.com/kusumi/fio

* 'json1' of https://github.com/kusumi/fio:
  json: remove two redundant json_print_array() prototypes

json: remove two redundant json_print_array() prototypes

Signed-off-by: Tomohiro Kusumi <kusumi.tomohiro@gmail.com>

Merge branch 'memalign1' of https://github.com/kusumi/fio

* 'memalign1' of https://github.com/kusumi/fio:
  lib/memalign: remove smalloc()/sfree() dependency

lib/memalign: remove smalloc()/sfree() dependency

fio_memalign()/fio_memfree() implementation shouldn't depend on
smalloc()/sfree() which has dependency on fio code itself.
e.g. This forces unittest code to prepare stab functions for
smalloc()/sfree().

This smalloc()/sfree() dependency was added by 3114b675fd
("fio: enable cross-thread overlap checking with processes").

Rename fio_memalign()/fio_memfree() to __fio_memalign()/__fio_memfree()
and take a function pointer instead of a boolean flag.
Add fio_memalign()/fio_memfree() as an inlined wrapper for
__fio_memalign()/__fio_memfree() without API change.
The only real change here is lib/memalign functions got renamed.

Signed-off-by: Tomohiro Kusumi <kusumi.tomohiro@gmail.com>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  t/read-to-pipe-async: Complain if option -f is specified multiple times
  t/memlock: Free allocated memory
  helper_thread: Complain if select() fails
  Block signals for the helper thread

t/read-to-pipe-async: Complain if option -f is specified multiple times

This patch fixes the following Coverity complaint:

CID 280676:  Resource leaks  (RESOURCE_LEAK)
Overwriting "file" in "file = strdup(optarg)" leaks the storage that "file"
points to.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

t/memlock: Free allocated memory

This patch fixes the following Coverity complaint:

CID 280679:  Resource leaks  (RESOURCE_LEAK)
Variable "buf" going out of scope leaks the storage it points to.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

helper_thread: Complain if select() fails

This patch suppresses the following Coverity complaint:

CID 280687:  Error handling issues  (CHECKED_RETURN)
Calling "select(1, &rfds, NULL, &efds, &timeout)" without checking return
value. This library function may fail and return an error code.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Block signals for the helper thread

Let another thread than the helper thread handle signals. This simplifies
error handling. As an example, the next patch will check the return value
of select() and won't have to check for EINTR due to this patch.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  Fix a potential deadlock in helper_do_stat()
  Handle helper_thread_create() failures properly

Fix a potential deadlock in helper_do_stat()

pthread_mutex_lock(), pthread_cond_signal() and pthread_mutex_unlock() are
not async-signal-safe and hence must not be used inside a singal handler
implementation. Rework the code for communication with the helper thread
such that it becomes async-signal-safe.

Compared to commit 31eca641ad91, tests for the pipe() and pipe2() system
calls have been added and a pipe simulation for Windows has been added
(pipe_over_localhost()).

Fixes: a47591e4923f ("Improve logging accuracy")
Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Handle helper_thread_create() failures properly

Report helper_thread_create() failures. Make sure that no crash occurs
if helper_thread_create() fails.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  Improve the pthread_condattr_setclock() test
  Only build t/read-to-pipe-async if pread() is available
  .appveyor.yml: Convert to ASCII

Improve the pthread_condattr_setclock() test

Link with the pthread library if pthread_condattr_setclock() is not an
inline function.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Only build t/read-to-pipe-async if pread() is available

Reported-by: Vincent Fu <vincent.fu@wdc.com>
Fixes: 5ad80fa7cf5b ("Makefile: Build more test code")
Signed-off-by: Bart Van Assche <bvanassche@acm.org>

.appveyor.yml: Convert to ASCII

Change a single character in a comment from UTF-8 into ASCII.

Fixes: a2b3cb65a9d3 ("appveyor: minor refactoring, clarifications")
Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Merge branch 'master' of https://github.com/kenbarr1/fio

* 'master' of https://github.com/kenbarr1/fio:
  io_u: fix rate limiting to handle file wrap-around

io_u: fix rate limiting to handle file wrap-around

When using "rate" with "time_based", the amount of time to sleep should be based
on the invocation time (epoch) rather than the start time of a given loop
(start) because no other statistics are reset when a file is re-opened.
Prior to this change, a wrap-around would cause the rate_ddir code to compute
that ~0 time had elapsed since the last I/O (i.e., a near-infinite rate), and
trigger a very long sleep in an attempt to adjust to the given rate.

Testing done:
  Using configuration below...
    Before: starts at 100 MB/sec and drops to 0 after ~10 sec (upon wrap) before
    recovering at t ~ 20.
    After: maintains 100 MB/sec for the duration of the test

  [repro]
  # 1 GiB + 1 Byte, to force a fill_io_u failure, the file to close and
  # reopen, and the start timestamp to reset.
  size=1073741825
  bs=2097152
  direct=1
  ioengine=psync
  readwrite=write

  runtime=30s
  time_based
  rate=100m

  filename=data_file

Revert "Fix a potential deadlock in helper_do_stat()"

This reverts commit 31eca641ad91634e5ffcf369cd756b0506a700c1.

Killing this for now as it breaks the Windows build.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  Fix a potential deadlock in helper_do_stat()
  t/read-to-pipe-async: Use the monotonic clock when measuring time intervals
  Use CLOCK_MONOTONIC for condition variables used by pthread_cond_timedwait()
  Makefile: Build more test code
  Suppress a Coverity taint warning in check_status_file()
  Micro-optimize __load_ioengine()

Merge branch 'unit1' of https://github.com/kusumi/fio

* 'unit1' of https://github.com/kusumi/fio:
  unittests: add unittest suite for oslib/strsep.c
  unittests: add unittest suite for oslib/strcasestr.c

Fix a potential deadlock in helper_do_stat()

pthread_mutex_lock(), pthread_cond_signal() and pthread_mutex_unlock() are
not async-signal-safe and hence must not be used inside a singal handler
implementation. Rework the code for communication with the helper thread
such that it becomes async-signal-safe.

Fixes: a47591e4923f ("Improve logging accuracy")
Signed-off-by: Bart Van Assche <bvanassche@acm.org>

t/read-to-pipe-async: Use the monotonic clock when measuring time intervals

Make the output independent of wall clock changes applied by e.g. ntpd.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Use CLOCK_MONOTONIC for condition variables used by pthread_cond_timedwait()

This patch ensures that the time during which pthread_cond_timedwait()
waits is not affected by wall clock adjustments by e.g. ntpd.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Makefile: Build more test code

Build the t/io_uring, t/memlock and t/read-to-pipe-async executables if
'make all' is executed. Do not include t/time-test because it uses a
non-portable 128-bit integer type.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Suppress a Coverity taint warning in check_status_file()

Suppress the following Coverity complaint:

CID 24143 (#1 of 1): Use of untrusted string value (TAINTED_STRING)
tainted_string: Passing tainted string fio_status_file_path to unlink, which
cannot accept tainted data.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

Micro-optimize __load_ioengine()

Instead of copying the I/O engine name, use a pointer to the I/O engine
name. This patch suppresses the following false positive Valgrind complaint:

Conditional jump or move depends on uninitialised value(s)
   at 0x41D451: __load_ioengine (ioengines.c:133)
   by 0x41D451: load_ioengine (ioengines.c:161)
   by 0x41FA59: ioengine_load (init.c:1126)
   by 0x423B64: parse_cmd_line (init.c:2670)
   by 0x4241A3: parse_options (init.c:2965)
   by 0x40F587: main (fio.c:42)

The code for copying I/O engine names was introduced by commit 2866c82d598e
("[PATCH] Separate io engines into separate loadable objects").

Signed-off-by: Bart Van Assche <bvanassche@acm.org>

io_uring: Enable io_uring ioengine on aarch64 arch

This patch enables io_uring ioengine on aarch64 arch.

Signed-off-by: Zhenyu Ye <yezhenyu2@huawei.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>