doc: improve readonly option description

Make explicit that --readonly also prevents trim workloads
Drop the mention of the check in the I/O engine core because
fio_ro_check() is run even without the readonly option

options: check for conflict between trims and readonly option

When processing the readwrite option, make sure that trim operations
are not requested if readonly is set.

init: abort write and trim jobs when --readonly option is present

Check for conflicts between --readonly and the job's data direction
in fixup_options(). rw_verify() in options.c only detects this
conflict if --readonly precedes --readwrite on the command line.

init: ensure that fatal errors in fixup_options are always propogated to caller

When warnings_fatal = 0, fatal problems detected in fixup_options
may not always be propogated back to the caller. This patch ensures
that the caller will always be notified about fatal problems.

filesetup: make trim jobs respect --readonly during file open

Open files for trim workloads with the O_RDWR access mode only when
the --readonly option is absent.

fio.h: also check trim operations in fio_ro_check

IO engines call fio_ro_check to ensure that the data direction
set in the thread data structure permits writes before proceeding
with a write io_u. This patch makes fio_ro_check ensure that the
data direction also permits trims before proceeding with a trim
io_u.

client: close dup'ed descriptor if fdopen() fails

The saga continues... Ensure that we close the dup'ed descriptor,
if we give up due to fdopen() failure.

Reported-by: Bart Van Assche <bart.vanassche@wdc.com>
Fixes: ec9e13345f3f ("client: check return of dup(2)")
Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: check return of dup(2)

If dup(2) fails, we can't pass it to fdopen.

Fixes: b4f5e72f1383 ("client: parse env variables before sending job-file contents to server")
Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: parse env variables before sending job-file contents to server

Fixes "fio environment var bug".
https://www.spinics.net/lists/fio/msg07093.html

Add read_ini_data() to parse and expand env variables within job-file
before sending to server. By doing this, clients can control parameters
embedded within the job-file, without server side having to set them
separately.

Reported-by: Jeff Furlong <jeff.furlong@wdc.com>
Signed-off-by: Tomohiro Kusumi <kusumi.tomohiro@gmail.com>
Minor fixups from Jens.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rand: make randX_upto() do the end value increment

We should not do it in the caller, the functions that need
fixing are really rand32/64_upto() instead.

Also move a (now) misplaced comment.

Fixes: c6fc6d2ab2c2 ("rand: ensure that rand_between() can reach max value")
Signed-off-by: Jens Axboe <axboe@kernel.dk>

rand: ensure that rand_between() can reach max value

We need to add 1, otherwise the maximum generated value will
be end -1. The API is both inclusive.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

init: use o-> instead of td->o

We already have the options pointer, just use it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

init: kill get_rand_start_delay()

It's now useless, just call rand_between().

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rand: cleanup rand_between() and helpers

Make the 32/64-bit helper just return a random number up to a certain
value, and let the generic helper handle the range part.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rand: add rand64_between()

For some reason we only had the 32-bit variant, and there's
a use case for the 64-bit version. Add that, and add a
32/64 agnostic helper that can be called.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix start delay being the same across threads

Two issues here:

1) We copy the start_delay into the original thread, which ends up
   offsetting job 2..N off the thread 1 start delay
2) We don't initialize the start delay random seed prior to
   generating the offsets

Signed-off-by: Jens Axboe <axboe@kernel.dk>

stat: fix --bandwidth-log segfault

Since bandwidth log has no corresponding thread data
and pending struct, we cannot access any fields inside it.

Signed-off-by: Igor Konopko <igor.j.konopko@intel.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

idle-prof: Fix segment fault issue when run with '--idle-prof' and multiple output format normal,json

Original issue:

./fio --output-format=normal,json --idle-prof=system jobfile.job

job1: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=sync, iodepth=1
fio-3.7-19-ga43f
Starting 1 process
Segmentation fault (core dumped)

Fix solution:

do fio_idle_prof_cleanup() after all formats of output shown.

Signed-off-by: friendy-su <friendy.su@sony.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix variable shadowing

Signed-off-by: Jens Axboe <axboe@kernel.dk>

iolog: remove 'td' from trim_io_piece()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: remove 'cmd' argument to stop handler

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: remove unused function parameters

Signed-off-by: Jens Axboe <axboe@kernel.dk>

log: fix signedness issue

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: remove 'is_thread' variable to local clock init

Signed-off-by: Jens Axboe <axboe@kernel.dk>

x86: don't need 'level' passed to amd/intel init functions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Cleanup should_check_rate()

Don't need to check direction for __should_check_rate(), so
clean up the logic.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fallocate: use 'offset' parameter

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'make-nowarn-snprintf-call-va-end' of https://github.com/bvanassche/fio

* 'make-nowarn-snprintf-call-va-end' of https://github.com/bvanassche/fio:
  Make nowarn_snprintf() call va_end()

Make nowarn_snprintf() call va_end()

This patch suppresses the following Coverity complaint:

CID 175867:  API usage errors  (VARARGS)
    va_end was not called for "args".

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Move nowarn_snprintf.h to lib/

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'suppress-gcc-8-warnings' of https://github.com/bvanassche/fio

* 'suppress-gcc-8-warnings' of https://github.com/bvanassche/fio:
  Suppress gcc 8 compiler warnings

Suppress gcc 8 compiler warnings

Introduce a new function nowarn_snprintf() that behaves identically
to snprintf() except that it does not make gcc complain about potential
truncation of the output buffer.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Merge branch 'appveyor' of https://github.com/bvanassche/fio

* 'appveyor' of https://github.com/bvanassche/fio:
  Rename appveyor.yml into .appveyor.yml

Merge branch 'remove-show-run-stats' of https://github.com/bvanassche/fio

* 'remove-show-run-stats' of https://github.com/bvanassche/fio:
  Remove show_run_stats() because it has no callers

Rename appveyor.yml into .appveyor.yml

Make the appveyor.yml file less visible because it is not a fio source
code file.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Remove show_run_stats() because it has no callers

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Fix issue with rate_process=poisson and ramp time

Fix from shimrot

Fixes: https://github.com/axboe/fio/issues/596
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 3.7

Signed-off-by: Jens Axboe <axboe@kernel.dk>

io_u: ensure to invalidate cache on time_based random reads

We need to do this with the file reset and retrieval of a
new offset, not of it fails.

Fixes: 0bcf41cdc22df ("io_u: re-invalidate cache when looping around without file open/close")
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix typo in bssplit documentation

One of the examples uses a ',' where it should be a ':' to
behave like described.

Reported-by: Konstantin Ruvinsky <konstantin.ruvinsky@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

make fio scripts python3-ready (part 2)

NOTE: this patch (part 2) is in addition to commit 5eac3b00238b
(this patch was missed on that submit/commit (part 1)).

Many distributions are moving to python3 by default.  This is
another patch to make the python scripts in fio python3-ready.

Conversion was facilitated with automated tools.

The modified scripts pass rudimentary testing when run under
python2.7 as well as python3.

Signed-off-by: Bill O'Donnell <billodo@redhat.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'sg-verify2' of https://github.com/vincentkfu/fio

* 'sg-verify2' of https://github.com/vincentkfu/fio:
  docs: add documentation for sg ioengine WRITE SAME, WRITE AND VERIFY command support
  engines/sg: add support for WRITE AND VERIFY, WRITE SAME

docs: add documentation for sg ioengine WRITE SAME, WRITE AND VERIFY command support

engines/sg: add support for WRITE AND VERIFY, WRITE SAME

Add an sg ioengine option to treat write IO as either WRITE AND VERIFY
or WRITE SAME commands

The new ioengine option sg_write_mode can take 3 values:

write (default)
  WRITE opcodes are issued as usual
verify
  WRITE AND VERIFY opcodes are issued
same
  WRITE SAME opcodes are issued

WRITE AND VERIFY opcodes are issued with the BYTCHK bit set to 0. This
directs the device to carry out a medium verification with no data
comparison.

WRITE SAME transfers a single block of data to the device and writes
this same block of data to a contiguous sequence of LBAs beginning at
the specified offset.

fio's block size parameter specifies the amount of data written with
each command. However, the amount of data actually transferred to the
device is equal to the device's block (sector) size. For a device with
512 byte sectors, blocksize=8k will write 16 sectors with each command.
fio will still generate 8k of data for each command but only the first
512 bytes will be used and transferred to the device.

make fio scripts python3-ready

Many distributions are moving to python3 by default.  Here's
an attempt to make the python scripts in fio python3-ready.

Conversion was facilitated with automated tools. A few areas
were hand fixed: remove superfluous parentheses introduced by
2to3 converter in print function calls, shebang modifications
to use environment variable for python version, and byte-string
decode correction in steadystate_tests.py following 2to3
conversion.

The modified scripts pass rudimentary testing when run under
python2.7 as well as python3.

Signed-off-by: Bill O'Donnell <billodo@redhat.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of https://github.com/majianpeng/fio

* 'master' of https://github.com/majianpeng/fio:
  This partly revert 97bb54c9606c(add __load_ioengine() to separate ioengine loading from td context)

This partly revert 97bb54c9606c(add __load_ioengine() to separate ioengine loading from td context)

In commit 97bb54c9606c, it change load_ioengine to __load_ioengine in
func fio_show_ioengine_help. The different between load_ioengine and
__load_ioengine is load_ioengine include __load_ioengine and if
__load_ioengine failed it will do dlopen_ioengine to find ioengine.
For external ioengine, if no dlopen_ioengine it can't find, etc
libfio_ceph_objectstore.so in Ceph project.

Signed-off-by: Jianpeng Ma <jianpeng.ma@intel.com>

iolog: default to good return

We should only return failure if we attempted to load a log
and failed.

Fixes: b153f94a22d8 ("iolog/blktrace: boolean conversion")
Signed-off-by: Jens Axboe <axboe@kernel.dk>

iolog/blktrace: boolean conversion

They don't return error numbers, so switch to true/false for good/bad
return.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

blktrace: make sure to account SYNC/TRIM at load time

We currently only check for reads or writes, but it's OK to have
a workload that doesn't contain reads or writes. Only error if
we found no reads/writes/trims/syncs at all.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update documentation for 'replay_skip'

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: ensure we kill all object files

Signed-off-by: Jens Axboe <axboe@kernel.dk>

blktrace: add 'reply_skip' option

Allows the user to skip certain IO types. Useful for replaying
workloads with trim on a device that doesn't support it, for
instance. Or just replaying parts of a workload (eg just writes,
or just reads).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

blktrace: kill zero sized write test

Turns out they were flushes. Get rid of the check and turn it into
an assert.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

blktrace: handle flush/sync replay

Signed-off-by: Jens Axboe <axboe@kernel.dk>

blktrace: change barrier to a flush

Signed-off-by: Jens Axboe <axboe@kernel.dk>

iolog: always use calloc() and always init both lists

Signed-off-by: Jens Axboe <axboe@kernel.dk>

blktrace: ignore 0 byte writes

They cause fio to exit replay, but then retry since we didn't meet
our IO limit. When we retry, we attempt to close files that the
trace already closed, and we crash.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

blktrace: don't re-clear ipo

We overwrite the init of the list entry.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/*: missing statics

Signed-off-by: Jens Axboe <axboe@kernel.dk>

engines/libaio: don't sleep for 0 reap return for 0 event check

If we have set iodepth_batch_complete_min to 0, then we should
not sleep for completion checking. If we do sleep, reduce the
sleep to 10usec, 100usec is a lot on modern devices.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: use proper CONFIG_ prefix for asprintf/vasprintf

Signed-off-by: Jens Axboe <axboe@kernel.dk>

engines: fixup fio_q_status style violations

Commit d3b07186b1d4 broke lines in an unconventional manner, and
not consistently. Fix those up.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  Introduce enum fio_q_status
  Remove dead code from fio_io_sync()
  gfapi: Make fio_gf_queue() set the I/O unit error status instead of returning -EINVAL
  Change return type of td_io_commit() into void
  Simplify num2str()
  Introduce enum n2s_unit
  Declare stat_calc_lat_nu() static

Introduce enum fio_q_status

Introduce a new enumeration type fio_q_status. This patch does not
change any functionality but makes it clear which variables and
return values represent a queuing status value. Bump FIO_IOOPS_VERSION
because this patch changes the I/O engine API.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Remove dead code from fio_io_sync()

Due to the previous patch it is now guaranteed that the I/O engine
queue function returns a FIO_Q_* value. These values are >= 0.
Hence remove the code that depends on the queue function returning
a negative value.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

gfapi: Make fio_gf_queue() set the I/O unit error status instead of returning -EINVAL

This makes the gfapi I/O engine more uniform with other I/O engines.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Change return type of td_io_commit() into void

Since td_io_commit() always returns 0, change its return type from
int into void. This patch does not change any functionality.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Simplify num2str()

Instead of translating the N2S_* constants into an array index inside
num2str(), make the N2S_* constants identical to the array index used
inside num2str(). This patch does not change the behavior of num2str().

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Introduce enum n2s_unit

This patch does not change any functionality but makes num2str() slightly
easier to read.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Declare stat_calc_lat_nu() static

This was suggested by the sparse static analyzer.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Remove verifysort/verifysort_nr from documentation

They have been deprecated.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

iolog: update stale comment

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Deprecate verifysort and verifysort_nr

It was an optimization to read back verifies in a sorted order,
for rotational storage. But I don't think the option makes much
sense, and I've never heard of anyone using it. Mark it as
deprecated, and always verify in the same order that IO was
written.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: add support for soft deprecated options

The currently deprecated option types will fail parsing. But we
can also have options where we don't care, log an error for those
but continue executing the job.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

init: ensure that read/write use the same random seed for verify

If we are verifying, then reads need to use the same blockrange
random trim as writes. Otherwise doing a deferred verify of
a write job may not yield the same block size ranges, causing
verify to fail.

Example of failed job:

$ cat job.fio
[global]
ioengine=sync
verify=md5
bsrange=1k-16k
rw=randwrite
randseed=50
size=10m
filename=foo

[write]
rw=randwrite
do_verify=0
write_iolog=wlog

[read]
rw=randread
do_verify=1
verify_fatal=1
verify_dump=1
write_iolog=rlog

$ fio --section=write job.fio
$ fio --section=read job.fio

Fixes: https://github.com/axboe/fio/issues/582
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'nvml-to-pmdk' of https://github.com/sscargal/fio

* 'nvml-to-pmdk' of https://github.com/sscargal/fio:
  NVML references renamed to PMDK

NVML references renamed to PMDK

Fio 3.6

Signed-off-by: Jens Axboe <axboe@kernel.dk>

cconv: add conversion for 'replay_time_scale'

This was forgotten in the previous commit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add 'replay_time_scale' option

This allows the user to scale the replay speed of an IO trace. It
defaults to 100, meaning run at 100% the original rate. If set to
50, fio will replay at 50% the original IO rate. If set to 400,
fio will replay at 4x the original rate. And so on.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

iolog: fix issue with replay rate

We attempt to keep the replay rate accurate, but we mistakenly use
the 'delay' value which we have decremented along the way. Store
the original and use that for the stall detection.

This fixes replays going quicker than they should.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'proc_group' of https://github.com/sitsofe/fio

* 'proc_group' of https://github.com/sitsofe/fio:
  doc: add cpus_allowed reference to log_compression_cpus
  appveyor: make 32 bit build target XP + minor fixes
  configure/Makefile: make Cygwin force less
  doc: add Windows processor group behaviour and Windows target option
  windows: target Windows 7 and add support for more than 64 CPUs
  windows: prepare for Windows build split
  windows: update EULA

os/os-dragonfly: sync with header file changes in upstream

IOCTLTRIM was moved and renamed to a different header file,
so conditionally include previous or current header depending on
__DragonFly_version.

Some details in below commit messages.
In short, they have had IOCTLTRIM in a wrong header, and they
decided to fix/change it since fio was the only application using
IOCTLTRIM within their userspace package collections.

<sys/ioctl_compat.h>: Add a reminder comment about IOCTLTRIM.
http://gitweb.dragonflybsd.org/dragonfly.git/commitdiff/7226e3530be4df743a5cfe61f602b0c4bd436ee9

Move the IOCTLTRIM ioctl to a better header and rename it to DAIOCTRIM.
http://gitweb.dragonflybsd.org/dragonfly.git/commitdiff/32506cfa691f80faa47486d6f94a98ae12387eeb

Signed-off-by: Tomohiro Kusumi <kusumi.tomohiro@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

stat: remove dead 'nr_uninit' assignment

Signed-off-by: Jens Axboe <axboe@kernel.dk>

init: fix memory leak in error handling

Signed-off-by: Jens Axboe <axboe@kernel.dk>

steadystate: check for division by zero in mean calculation

Signed-off-by: Jens Axboe <axboe@kernel.dk>

eta: fix dead variable assignments

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: fix dead 'org' assignment

Signed-off-by: Jens Axboe <axboe@kernel.dk>

filesetup: fix dead assignment of 'ret'

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: fix bad shadowing of 'ret'

Different scopes for ret, introduce 'wrote' to check the
return value of write(2).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: fix dead assignment of variable

Signed-off-by: Jens Axboe <axboe@kernel.dk>

axmap: use calloc() for level alloc

We rely on it being set to NULL for error handling.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Remove binject engine

It was an experiment and never submitted upstream, let's just
drop it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  Fix floating point option range formatting

Fix floating point option range formatting

Ensure that floating point option ranges are properly formatted if
only one of the two boundaries is specified. A few examples of how
option ranges are formatted with this patch applied:

               range: max=100.000000
               range: min=0.000000, max=100.000000
               range: min=0.000000

Reported-by: Sitsofe Wheeler <sitsofe@gmail.com>
Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

Fix return value checking of fread() in iolog.c

According to http://pubs.opengroup.org/onlinepubs/7908799/xsh/fread.html
fread() returns a size_t, not ssize_t, and returns a value of 0 on
both eof and an error. Therefore, check both feof() and ferror() to
determine whether the call succeeded.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of https://github.com/bvanassche/fio

* 'master' of https://github.com/bvanassche/fio:
  Ensure that .minfp and .maxfp are respected for FIO_OPT_FLOAT_LIST
  option parsing: Mark arguments that are not modified as 'const'
  parse.h: Remove a superfluous cast
  Only populate the write buffer if necessary
  Rename TD_F_VER_NONE into TD_F_DO_VERIFY
  engines/sg: Make I/O error messages more informative

Ensure that .minfp and .maxfp are respected for FIO_OPT_FLOAT_LIST

option_init() overwrites the .minfp and .maxfp members defined in
fio_options[] which is wrong. Remove the code that overwrites these two
members and change the convention for no FIO_OPT_FLOAT_LIST limits from
(minfp == DBL_MIN && maxfp == DBL_MAX) into (minfp != 0 || maxfp != 0).

Fixes: 833491908a1a ("stats: Add a function to report completion latency percentiles")
Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>

option parsing: Mark arguments that are not modified as 'const'

This patch does not modify any functionality but makes the option
parsing code slightly easier to read by marking arguments that are
not modified explicitly as 'const'. A new function has been added,
find_option_c(), that behaves identically to find_option(). Only
the function signature differs between these two functions.

Signed-off-by: Bart Van Assche <bart.vanassche@wdc.com>