Add os_trim() support for DragonFlyBSD

It has the same interface as Linux kernel with a different ioctl name.

Signed-off-by: Tomohiro Kusumi <kusumi.tomohiro@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'fix_verify' of https://github.com/charles-jacobsen/fio

verify: Reset verify_state before verification phase.

verify_state needs to be reset in order for random seeds in
the verification headers and expected random seeds to match.

Signed-off-by: Charlie Jacobsen <charles.jacobsen@primarydata.com>

workqueue: rename private to priv for compiling as c++

Given the main.cc source file:
  #include <fio.h>
  int main() { return 0; }

And the gcc command line:
  gcc main.cc -Ifio -DCONFIG_HAVE_BOOL

In file included from ./ioengine.h:10:0,
                 from ./iolog.h:7,
                 from ./stat.h:4,
                 from ./thread_options.h:7,
                 from ./fio.h:18,
                 from main.cc:1:
./workqueue.h:19:8: error: expected unqualified-id before ‘private’
  void *private;
        ^
./workqueue.h:19:7: error: expected ‘;’ at end of member declaration
  void *private;
       ^
./workqueue.h:19:15: error: expected ‘:’ before ‘;’ token
  void *private;
               ^

Signed-off-by: Casey Bodley <cbodley@redhat.com>

iolog: flush_log() can be bool

Signed-off-by: Jens Axboe <axboe@fb.com>

samples being added to the pending log were silently dropped because we failed to set nr_samples in the new log they get copied into

gfio: call g_thread_init() for <= 2.31.0

Signed-off-by: Jens Axboe <axboe@fb.com>

HOWTO: remove old use cases for the net IO engine

Signed-off-by: Jens Axboe <axboe@fb.com>

helper_thread: remove impossible branch

I believe that the intention is to call update_io_ticks every
DISK_UTIL_MSEC. Make helper_thread_main do this.

Signed-off-by: Jens Axboe <axboe@fb.com>

Remove hard-coded precision for printing JSON float values

Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.12

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: treat !per_unit_logs() like IO offload mode

For IO offload mode, we regrow the logs inline. We need to do the
same for !per_unit_logs(), since we log identically for those.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix 'cur_log' leaks

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: allocate 'cur_log's out of shared pool

Different process, so we need to ensure we can write to them
properly.

Signed-off-by: Jens Axboe <axboe@fb.com>

Revert "fio: Simplify forking of processes"

This reverts commit d7982dd0ab2a1a315b5f9859c67a02414ce6274f.

Causes a regression in the logging, looks like a problem with
shared memory. Will need to investigate further, but it's
reproducibly broken.

options: fix typos

Fixes: a275c37ab000 ("options: mark unsupported options as such")
Signed-off-by: Jens Axboe <axboe@fb.com>

options: mark unsupported options as such

Signed-off-by: Jens Axboe <axboe@fb.com>

parse: add support for unsupported options

Some options are only available if fio is built with a certain
set of libraries. This can confuse the user. Add support for
listing an unsupported option, so fio can print some related help
for that option.

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: fix reversed check for ramp time

A previous commit flipped the return value of checking for
ramp time or not. Fix it up.

Fixes: 356014ff351c ("Fix ramp time breakage")
Signed-off-by: Jens Axboe <axboe@fb.com>

stat: remove redundant unit log check

We only call the two functions if we know that unit logging is
disabled.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix ramp time breakage

A previous commit inadvertently used ramp_time_over() instead of
in_ramp_time(), which breaks some jobs with ramp time. This is
because the former function has side effects, where we really
just want to check if we're in ramp time or not.

Fixes: a47591e4923f ("Improve logging accuracy")
Signed-off-by: Jens Axboe <axboe@fb.com>

Documentation: fix psyncv2 typo

It's pvsync2, not psyncv2 (or other variants).

Signed-off-by: Jens Axboe <axboe@fb.com>

tools/fio_latency2csv.py: add tool that converts json+ to CSV

Signed-off-by: Jens Axboe <axboe@fb.com>

Documentation update

Ensure that pvsync2 is mentioned, and kill remnants of the syslet
engine, it is no more (and never made it to Linux mainline).

Signed-off-by: Jens Axboe <axboe@fb.com>

arch: wire up preadv2/pwritev2 for more architectures

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix iodepth_batch=0

The man page claims that iodepth_batch=0 falls back to whatever was
specified for iodepth, but the enforced minimum of 1 means that 0 is not
actually valid.

Fixes: a2e6f8ac56a9 ("Make iodepth_batch=1 by default")
Signed-off-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Enable preadv2/pwritev2 engines by default on Linux

We don't have defines in libc yet, but let's wire them up so we
can use them. Only enabled for x86 and x86-64, adding for other
architectures would be as simple as adding the right defines
for the two syscall numbers.

Signed-off-by: Jens Axboe <axboe@fb.com>

Added millisecond-accurate timestamp to JSON output

Kept original value for backward compatibility.

server: ensure that we flush compressed logs correctly

Do chunkwise block compression, and flush at the end, adding more space
as needed.

Signed-off-by: Jens Axboe <axboe@fb.com>

mutex: abstract out cond/lock pshared init

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix occasional hangs on mutexes

When running xfstest generic/299 using fio on my test machine using
ramdisk as a backing store, I have noticed that fio often hangs waiting
for td->io_u_lock. After some debugging I have found out the reason is
that mutexes are created as process-private by default and but this
mutex is actually manipulated from several processes. The hang is not
obvious immediately as the mutex is located in shared memory and thus
while the locking is resolved in userspace, everything works as
expected. Only once we use kernel futexes, the process is not properly
woken up when futex is released.

Fix the problem by marking all mutexes and conditional variables that
are located in shared memory as shared.

Signed-off-by: Jan Kara <jack@suse.cz>
Signed-off-by: Jens Axboe <axboe@fb.com>

fio: Simplify forking of processes

There is no reason to re-attach to shared memory segments after fork(2).
shmat(2) manpage specifically says:

After a fork(2), the child inherits the attached shared memory segments.

So get rid of some unnecessary code.

Signed-off-by: Jan Kara <jack@suse.cz>
Signed-off-by: Jens Axboe <axboe@fb.com>

hash: make 64-bit even on 32-bit

Fixes this warning on Windows, where unsigned long is 32-bit:

hash.h: In function ‘__hash_long’:
hash.h:58:2: warning: left shift count >= width of type
  n <<= 33;
  ^

Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.11

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: regrow logs for sync IO engines as well

Fixes: 1fed20802961 ("iolog: regrow log out-of-line")
Signed-off-by: Jens Axboe <axboe@fb.com>

remove numpy and scipy dependency

Signed-off-by: Mark Nelson <mnelson@redhat.com>

Spelling fix. Reported by Debian´s lintian.

Spelling fix.

Spelling fix. Reported by Debian´s lintian.

Spelling fix. Reported by Debian´s lintian.

Spelling fix. Reported by Debian´s lintian.

parse: warn if option is missing a long option variant

Signed-off-by: Jens Axboe <axboe@fb.com>

options: add missing long option names

Signed-off-by: Jens Axboe <axboe@fb.com>

cconv: wire up conversion of unique_filename

Also bump server version, since thread_options changed.

Signed-off-by: Jens Axboe <axboe@fb.com>

options: add 'unique_filename'

Allows the user to disable the prefixing of network clients source
IP.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.10

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix potential oops in iolog disabling

Do it in the function, not in the caller. The log may be NULL.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix two bugs in deferred growing

1) Setup a new current log, if the log doesn't have one.
2) Bump size of pending log. Should be depth + 1, let's just
   use the default size of a log (1024).

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of https://github.com/davidzengxhsh/fio

iolog: remove dead define

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: regrow log out-of-line

From the completion side, when we run out of entries, store in a
temporary location that we size at log init time. Mark 'td' as
needing log regrow, and handle that on the submission side. We
can't easily quiesce and grow logs at completion time, since
it'll potentially recurse. On top of that, the IO engines rely
on the fact that we serialize getevents/completions, we can't
nest them.

Signed-off-by: Jens Axboe <axboe@fb.com>

The fixed CPU architecture in the Makefile will make failure on ppc64le.

iolog: fix duplicate handling of compression end

Also handle an error return from deflate() with Z_FINISH.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix bug with ret != Z_STREAM_END

Before adding more chunks, adjust the previous chunk size. This
fixes an inflate issue, where we'd get Z_DATA_ERROR because the
middle chunk did not have the correct length.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: more compression debugging/fixes

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: sum last chunk length to total

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: memset() zstream at init time

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix missing new-line in inflate debug statement

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: move iolog compression init before CPU affinity settings

Previously we did this after we had set CPU affinity for the IO
worker. But if we do that, then we limit the log compression
to the exact CPUs that we don't want it to run on.

So let's do this earlier, which means the compression threads can
run anyway. We'll trust the OS scheduler to keep them out of our
way.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: don't quiesce on completion

We can infinitely recurse if we do that, if log_compression= is set.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: switch to list based scheme

The previous iolog implementation had one big log, that we continually
resized when we ran out of space. The resize involved a realloc()
of the data, which could potentially be slow for big logs. This could
introduce long latency outliers for workloads, since fio did not
quiesce IO before resizing the log.

Rewrite the logging code to have a list of logs, and cap each of them
at a reasonable size. This means we never have to realloc data, and
that we allocate smaller chunks instead.

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: dump state of stuck thread

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: mark the thread as finishing, when we are out of the IO loop

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: only do forceful timeout exit if the job isn't actively finishing

Signed-off-by: Jens Axboe <axboe@fb.com>

flist: add flist_last_entry()

Signed-off-by: Jens Axboe <axboe@fb.com>

filesetup: align a size given as a percentage to the block size

We want it to be a nice multiple of (at least) our minimum block
size.

Signed-off-by: Jens Axboe <axboe@fb.com>

add -A option for better stats

init: cleanup random inits

Signed-off-by: Jens Axboe <axboe@fb.com>

Windows crash in ctime_r()

I think I found an issue in os\windows\posix.c that results in a FIO
crash (on Windows.)  I'm including a patch that resolves the crash for
us, but includes another (optional) fix.

Crash issue:  possix.c  - ctime_r() will reference a negative array
index on Sunday.  SYSTEMTIME states the days of the week as: "0=Sunday,
.. , 6=Saturday."  The "fix" can likely be dialed back to safely assume
the days/months will adhere to how they're documented.

Optional - StringCchPrintfA() calls should allow for the string plus a
NULL character.  Instead, the value getting passed in is for the entire
string size.

os/windows/posix.c | 6 +++---
 1 file changed, 3 insertions(+), 3 deletions(-)

Signed-off-by: Jens Axboe <axboe@fb.com>

zipf/pareto/gauss: hash cleanup

Signed-off-by: Jens Axboe <axboe@fb.com>

options: 0.00 is a valid gauss dev

Signed-off-by: Jens Axboe <axboe@fb.com>

Add support for non-uniformly random file service type

Similar options to random_distribution, this is just for the
selection of files. Like that option, you can do:

file_service_type=zipf:1.2

and get files selected through a zipfian distribution. This extends
the concept of hot and cold IO regions to have hotter and colder files
as well.

Signed-off-by: Jens Axboe <axboe@fb.com>

zipf/pareto/gauss: add option to disable hashing

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: add blocksize to averaged log, if it's consistent

If we average over time, fio doesn't add the blocksize used. The
reasoning behind that is that if we're using multiple block sizes,
there's no right answer. But if we are not, we can add the blocksize
that was used.

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: unroll string copy

Let's just turn the strcpy+replace into a hand rolled version.

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: only escape 'name', not prefix+name

Fixes: e139c0c076e5 ("verify: escape '/' in state file name to '.'")
Signed-off-by: Jens Axboe <axboe@fb.com>

verify: escape '/' in state file name to '.'

If the job name includes a front slash, then we get an error when
we try to create the state file name:

fio: open state file: No such file or directory

Change the '/' to '.' instead, so we generate a valid file name.

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: increase state file name and log error on failure

Signed-off-by: Jens Axboe <axboe@fb.com>

ioengines: cleanup

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/pmemblk: more cleanups

No (intended) functional changes in this patch.

Signed-off-by: Jens Axboe <axboe@fb.com>

Change default IO engine from sync to psync

If the OS doesn't give us a default IO engine, then fio defaults to
sync. We should use psync instead, since we have that everywhere.
For fast storage, it avoids and lseek(), which can be a big deal.

Signed-off-by: Jens Axboe <axboe@fb.com>

io_u: if we're doing backwards IO, wrap to end (not start)

If we have a job with a start file offset and we're doing holed
IO, we want to wrap to the start offset for forwards holes, but
to the end for backwards holes.

Signed-off-by: Jens Axboe <axboe@fb.com>

filesetup: ensure that we align file starting offset

If --offset=xx is given, and xx isn't a multiple of the block size,
then align it if we're doing O_DIRECT IO.

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: fix path to tools/fiologparser.py

Fixes: 642483dbae99 ("Fix typo in tools/fiologparser.py")
Signed-off-by: Jens Axboe <axboe@fb.com>

Fix typo in tools/fiologparser.py

Also change interpreter to /usr/bin/python, that's where it is on
most distros (not /bin/python).

Signed-off-by: Jens Axboe <axboe@fb.com>

diskutil: adapt to new helper_thread functions

We don't have helper_exit anymore. This caused the link to fail on
platforms where we don't have diskutil support.

Signed-off-by: Jens Axboe <axboe@fb.com>

os/os-mac: kill unused code

We don't use the old timer functions anymore, kill the OSX
emulation of them.

Signed-off-by: Jens Axboe <axboe@fb.com>

helper_thread: split into separate file

It's nicely contained now, split it into its own set of files.

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'logging'

Wire up pmemblk

Add it to our options, and to the documentation.

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/pmemblk: get rid of CACHE_LOCK/UNLOCK defines

Much clearer to just call the pthread mutex lock/unlock directly,
since you don't have to looku what this macro does.

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/pmeblk: fixup coding style

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'libpmemblk' of https://github.com/bgbhpe/fio

Makefile: add tools/fiologpaser.py

Signed-off-by: Jens Axboe <axboe@fb.com>

added fio log parser tool.

Signed-off-by: Mark Nelson <mnelson@redhat.com>

stat: remove debug statement

Signed-off-by: Jens Axboe <axboe@fb.com>

Improve logging accuracy

If we do windowed logging (over a period of time), then we can
take the logging out of the IO worker fast path, and just have
our helper thread do it. This means we'll reduce the overhead
for the IO worker (which is important), and that we'll be able
to provide better accuracy of when we log. Before this change,
we'd log when we had exceeded the window of time at a completion
even. This means that if you had a logging time of 500 msec,
you'd always exceed that and even tend to skew it to being much
later. With this change, logging should be very accurate time
wise:

$ ./fio --inflate-log=fsrandW4-8-iopslog_iops.1.log.fz | head -n10
500, 470, 0, 0
1000, 492, 0, 0
1500, 484, 0, 0
2000, 492, 0, 0
2500, 454, 0, 0
3000, 462, 0, 0
3500, 480, 0, 0
4000, 462, 0, 0
4500, 472, 0, 0
5000, 496, 0, 0

and not exhibit any drift at all.

Signed-off-by: Jens Axboe <axboe@fb.com>

libfio: clear iops/bw sample times on stats reset

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: add define for default number of log entries

We use two different ones, depending on gz or not...

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: free memory on gz init failure

Signed-off-by: Jens Axboe <axboe@fb.com>