Stat summation fixup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

td vs ts typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add group reporting

Still needs some testing, so the option isn't documented yet. The
standard deviation averaging also isn't mathematically sound.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

One step closer to group reporting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't kill() running threads

Just let them exit nicely.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Cleanup requeue handling

Clear ->resid automatically, and get rid of the goto construct.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include location for RH related distros.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Forced kill is not used anymore.

So remove the parameter from terminate_thread()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Gently prod children with a SIGQUIT on terminate

This should unstuck most loops.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve error logging and handling

If we see an IO anomaly, make sure we dump as much info about the
filename, size, offset, etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.13

A few silly bugs in the 1.12 release, since it was a bigger change
from 1.11. So do a 1.13 maintenance release.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.h: Fix TD_DDIR_RANDWRITE

A typeo had set DDIR_RANDWRITE to be "WRITE | READ" instead of
"WRITE | RAND".  Correct it.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Spelling fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

fio.h: Grow td->verror

td->verror was 80 bytes.  This truncates some error messages when the
filename or function name is long.  Grow it to a round 128B.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

posixaio engine: residual data count

If the io was cancelled, residual is the full data buffer length.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

io_u completion error propagation

Make sure we definitely signal an endio error.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libaio engine: proper return value checking

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add example network io job file

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Net engine: move connection setup into ->init()

Then it happens in the process own context, which means we can
define full send/receive jobs in a single job file and run them
from a single fio instance.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Net engine: missing ->nr_open_files for clients

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Convert null io engine to use ->setup()

Then we can get rid of the NULLIO flags hack

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Net engine: need to set ->nr_open_files

It is marked as SELFOPEN, so it opens it's own files. So it also
needs to increment the open file count as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Accept -foo as well as --foo for options

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve friendliness of --cmdhelp

If no match is found, print the closest. Quite handy when
you can't quite remember the exact option name.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't require 'all' argument to --cmdhelp to dump all options

If an argument isn't given, just dump all commands. This has the
downside that one MUST use --cmdhelp=option to get option help,
where as before --cmdhelp option worked as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document file_service_type option

It's now tested, so add it to the list of options in HOWTO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix for file_service_type=random

We need to retrieve a new random offset if the file is closed,
obviously.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Better management of open files

This is a first step to properly supporting dynamic open/close of
new files, differently sized files, etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Excessive passing around of struct fio_file

It's already set before calling fill_io_u(), no point in passing
it around and overwriting it with the same value later.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only check FIO_DISKLESSIO in stat.c

Just make the null engine set that flag as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] ioengine flags: Replace FIO_NETIO with real flags that map the
behavior

The FIO_NETIO ioengine flag created two behaviors.  First, open_files()
would not open any files - this was handled in engines/net:setup().
Second, init_disk_util() would ignore the files and not try to locate
their disk.

Other engines might want one of these behaviors but not the other.  If
an engine opens its own files, it doesn't want open_files() to do anything,
even if the files are eventually disk-based.  An engine might want to
prevent init_disk_util() from running.

The FIO_NETIO flag is split into two flags.

FIO_SELFOPEN states that the engine will do its own open(), whether it
is a real open(2) or something internal to the engine.

FIO_DISKLESSIO states that init_disk_util() is should not be run.  fio
should treat the engine's files as if they are not part of a disk.

Finally, engines/net.c is changed to use these two flags.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] init.c: Expose f_out and f_err to loaded libraries via dlsym()

Loaded ioengines would like to use the logging functions but can't, as
they can't see f_out and f_err.  Create get_f_{out,err}() so that
the libraries can dlsym() them.  Compile fio with -rdynamic so dlopen()
works.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] parse.c: Make FIO_OPT_STR explicitly one value

The original change had __handle_option() check !first to avoid
parsing an FIO_OPT_STR a second time.  However, the caller handle_option()
has a more explicit check.  Excluding FIO_OPT_STR there is much cleaner.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't do rate checks, if no ratemin has been specified.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document loading external io engines

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Prefix external io engine loading with 'external'

This is needed because the parser checks the allowed values now,
which broke ioengine=/some/external/file.o for loading an
external engine.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix parser bug

If the option parser sees a ':', it automatically assumes that
you meant a range.  It will then try to parse the second half of the
option.  This isn't just my external: option, it happens to mem: as
well.  That is:

    1) Option mem=mmaphuge:/dev/shm/foo
    2) handle_option() notices the ':' and stores off ptr2.
    3) __handle_option() corectly sees the option "mem" and maps
       "mmaphuge" to MEM_MMAPHUGE.  It then calls str_mem_cb(), which
       stores off the "/dev/shm/foo" after the ':'.  Still working
       great.
    4) Control returns to handle_option(), which sees that ptr2 is
       non-NULL.  It calls __handle_option() again, pointing to the
       string after the ':'.
    5) __handle_option() prints an error, as "/dev/shm/foo" is not a
       known option.

Fix it by breaking out early for the 2nd parse round if the option
type is a string.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Duplicate name checks in ioengines.c

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: x86_64 support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Style fixup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move syslet check into the arch header, where it belongs

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio version 1.12

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Temporary iodepth_low work-around for syslets

syslet really wants iodepth_low=1 for sequential workloads,
otherwise when fio starts issuing a new sequence of io, we'll
have pending-and-unsubmitted requests from the previous process.
The results is seeky instead of sequential requests.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet engine: submission latency numbers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move the iodepth_batch into td_io_queue() instead

The previous part in do_io() introduced a bug (overwriting ret),
and we really need to do it from other locations as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Extend option name from 16 to 20 bytes

The file_service_type was too long, making the output look
badly formatted.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add iodepth_batch setting

This allows controlling how much IO we submit in one go
independent of the iodepth set.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Do proper wait for pending IO on clean exit

Only do the cancel if something went wrong and td->error is set,
otherwise be a good citizen and complete and account for the io
we submitted.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to do fadvise() on O_DIRECT/raw IO

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Speedup init_disk_util() when dealing with many jobs

sysfs lookups can take quite a while, so check against last device
to avoid having to iterate through sysfs again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet engine: smart batching

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move ->commit() call to td_io_getevents()

If we need to complete some events (min > 0), make sure we
have committed a pending batch.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet v4 support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Requeue io_u flags fix

We need to clear IO_U_F_FLIGHT and set IO_U_F_FREE in requeue.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

First cut at doing sequences of atoms in one commit

Needs error handling and stop conditions, so it's in an experimental
branch for now.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move completion handler into the io_u

This is needed for completions that happen outside of fio,
or more specifically, for syslet to enable completions in
a ->queue() hook combined with ->commit().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't include engines we don't have

With the new option scheme, it's easier to just diff out the option
types we don't support. So do that for the io engines.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

IO engine callback need not dump possible values

The parser will do this now. Also don't dump the worthless
"job dropped" message.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Rate must always calculate bytes done

Otherwise rate will never be checked.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve rate usec calculation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move handling of possible values into the option parser

Eliminates the need for a callback for any FIO_OPT_STR type
option, unless it needs to do something there other than just
setting the variable.

The possible options are not in an array of value pairs, so we
can easily match an string option with an integer output value.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Streamline thread_data data direction setting and checking

Currently it's a mess of ->ddir, ->iomix and ->sequential. Add
a TD_DDIR_* for each of these, so we can store them as one value.

A prerequisite for the next parsing cleanup.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add option to select how to service multiple files

Right now we just round robin the open files, but sometimes you
just want to randomly go through the files. Add a 'file_service'
option for that, default to round robin still.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Dump io_u on timeout

It's still disabled, though.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Correct spelling error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add more context to the error messages

Errors like:

fio: pid=0, err=22/file:filesetup.c:380, error=Invalid argument

do not give a lot of clue as to what is wrong, unless you
have a matching source. So add a context relevant info
message as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

List syslet-rw as a supported option in the ioengine help dump

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: syscall still needs void * cast

It avoids the long -> structure pointer cast warning.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't check st_size for special files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Further improve thread handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix crash on thread exit

If we had multiple threads, we could corrupt the heap by
freeing memory we did not alloc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Thread waitpid() error check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve thread reap handling

It's a bit of a mess currently, streamline and clean it up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Disable timeout handling for now

It needs to get some more testing. It appears to work fine, just
want to be a little cautious.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include engines in dependency check

Changing fio.h sometimes didn't trigger rebuild of the IO engines,
causing weird problems.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

io_u timeout handling

Further measures to prevent fio getting stuck, even in case of
engine timeout errors.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Track io_u state (free or in-flight)

That way we can catch proper use by fio, so we don't get stuck
in cleanup_pending_aio() if someone forgot to put_io_u() in an
error path.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to cast async_exec() syscall to void * anymore

Ingo forward declared the types.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet engine: style fix and ->queue() error return value fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

v3 syslet engine support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Still need to put io_u on early exit

The previous fix was too drastic, if we don't put the io_u on early
exit, cleanup_pending_aio() will stall forever waiting for it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Correct io_u_*_complete() return checking

An error is < 0, not any non-zero value... This unbreaks verify again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't overwrite error

The first error is usually the most interesting, so don't overwrite
in __td_verror().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix double io_u free on error in do_verify()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

64-bit compile warnings

Just some ptr -> int error casts, nothing critical.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Change IO latency histogram to be in power-of-10

Power of 2 is just confusing for latencies, make the series
more natural by doing 1, 2, 4, 10, 20, 50, etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Makefile: libdir is not used anymore

We link in the io engines.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More __must_check annotations

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Static error value checking

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mmap IO engine cannot extend a file

We need to ftruncate it to the wanted size first, or the mmap
write will terminate with SIGBUS.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Leftover debug message

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add low water mark for queuing depth

Current fio will attempt to keep the queue full at all times,
but sometimes that's not what you want. Add iodepth_low to
indicate a low water mark for queuing depth, so that when we
see a FIO_Q_BUSY or run out of free requests, let the queue
drain down to the iodepth_low setting before building it up
again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

First step for group reporting

Put most of the stats into a dedicated structure, so we can
later share such a structure between threads.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix sync engine completion latency

td_io_queue() needs to differentiate between the sync and async
engines wrt setting issue_time.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>