fio: fix alignement to prevent bus error on ARM

Add a filler field to be ensure 64bit alignment.
Otherwise, we would trigger SIGBUS error in sum_stat()

Signed-off-by: Gwendal Grignou <gwendal@chromium.org>
Signed-off-by: Jens Axboe <axboe@fb.com>

diskutil: get rid of disk_util_start_exit()

No need to wrap this in a function, just set the exit variable.

Signed-off-by: Jens Axboe <axboe@fb.com>

Consolidate disk util, eta, and status check thread

We don't need two, we can just have one do everything.

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: avoid hang with race in stat thread exit and rusage update

Signed-off-by: Jens Axboe <axboe@fb.com>

Start and stop status interval (or file) thread separately

This gets rid of the need to create threads on the fly for this,
and we can manage it and stop it before we do real stats at
the end.

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: remove debug du thread exit notice

Signed-off-by: Jens Axboe <axboe@fb.com>

Get rid of (now unused) disk_util_mutex

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix exit being slowed by disk util stat time

Add a cv/lock to handle exit of the disk util thread. This is a
lot cleaner than the adhoc method that was used before, and it
means that we can signal the exit immediately instead of waiting
for DISKUTIL_MSEC to pass.

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: fix init of all thread variables

->dupes wasn't initialized, for instance. Just memset the
whole thing, so we don't run into this again.

Signed-off-by: Jens Axboe <axboe@fb.com>

compiler: improve gcc 4.x compile time check

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix typo in alignment check

It checks percentile_list twice and forgets latency_percentile
in the thread_options_pack structure. Add alignment after the
32-bit sync_file_range to make it align properly.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add alignment to thread_options_pack for proper fp alignment

Signed-off-by: Jens Axboe <axboe@fb.com>

fio: add alignment check for fp fields

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: ensure that the fp fields are 64-bit aligned

Signed-off-by: Jens Axboe <axboe@fb.com>

Add some build assert macros

Stolen from the linux kernel.

Signed-off-by: Jens Axboe <axboe@fb.com>

BSD Yacc doesn't understand --no-lines, so use -l instead

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/net: get rid of conversion warning on clang/OSX

Signed-off-by: Jens Axboe <axboe@fb.com>

Get rid if --header-file argument for lex

Since we now wrap the lexer_input() call, should be safe to just
get rid of the lexer.h define since we don't need size_t/yy_size_t.

Signed-off-by: Jens Axboe <axboe@fb.com>

client: fix potential NULL dereference

Signed-off-by: Jens Axboe <axboe@fb.com>

t/btrace2fio: fix fd leak on error

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: fix bogus items NULL compare

Signed-off-by: Jens Axboe <axboe@fb.com>

sha256: cast shift to uint64_t

Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test: fix potential div by zero

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/libaio: fix wrong setting of wait_start

Signed-off-by: Jens Axboe <axboe@fb.com>

server/client: don't use __ conversion functions if not needed

Signed-off-by: Jens Axboe <axboe@fb.com>

engines: don't use printf or stderr directly

For networked runs, we can't just print to stdout or stderr.
Use the appropriate logging functions.

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: use log_info_flush(), not fflush()

f_out may not be stdout, so use the appropriate wrapper
that flushes the appropriate FILE (or nothing, if nothing
needs to be done).

Signed-off-by: Jens Axboe <axboe@fb.com>

smalloc: use log_err() for errors

If this happens at runtime, stderr/stdout may have been closed
and used for server/client connections.

Signed-off-by: Jens Axboe <axboe@fb.com>

client: partial revert of 9899aff3e345

We do need the client->nr_stat, otherwise things break when
group reporting is not used. We need it to keep track of
how many thread_stat's we are expecting to receive from
each client.

Signed-off-by: Jens Axboe <axboe@fb.com>

client: get rid of (now) unused client->nr_stat

Signed-off-by: Jens Axboe <axboe@fb.com>

client: always output summed output for all clients

At least if we have more than 1 client.

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: set kb/unit_base, if not already set

Signed-off-by: Jens Axboe <axboe@fb.com>

Set genesis time when running only network clients

Otherwise we get potentially no or erratic ETA reporting,
depending on the system.

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: don't install test binaries

Split the t/ binaries into internal test, and external test
tools. Prefix the external test tools with fio-, so that we
know where they are from when they are installed.

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/libaio: better protect against a busy loop in getevents()

If we reap nothing and we were asked to reap > 0 events, then
reuse our commit, sleep, and retry loop.

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: add total/short/drop ios to the json output

Signed-off-by: Jens Axboe <axboe@fb.com>

Update documentation on net engine port usage

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/net: add subjob number to given port

If we use numjobs=x where x > 1, then we don't want to reuse the
same port. Bump it within a group, using the subjob number.

Signed-off-by: Jens Axboe <axboe@fb.com>

configure: only print gtk status if --enable-gfio used

Otherwise we always just print no, even though we did not check.

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/net: use link close message on TCP as well

Signed-off-by: Jens Axboe <axboe@fb.com>

eta: don't count TD_SETTING_UP as a running process

We don't want to spam the console with waiting lines.

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/net: turn off UDP package dropping if buf size doesn't match

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: add dropped ios to the standard output

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/net: add start of tracking how many UDP packages are dropped

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/net: add TCP_MAXSEG setting (mss)

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/net: add socket buffer window size setting

Signed-off-by: Jens Axboe <axboe@fb.com>

net: fix error reported on job exit and full residual

This is expected, when one end drops off.

Signed-off-by: Jens Axboe <axboe@fb.com>

net: use SIGTERM for terminate

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix potential segfault on ENOENT on job file

Introduced in commit 323255cc2269, if we fail opening, td may
not be set.

Signed-off-by: Jens Axboe <axboe@fb.com>

client: remember to zero pad filename

Signed-off-by: Jens Axboe <axboe@fb.com>

Add support for --remote-config

This allows you to tell a fio server to open a local job file,
as opposed to being passed one that the fio client opens and
sends to it.

Signed-off-by: Jens Axboe <axboe@fb.com>

gfio: remove warning on g_type_init() being deprecated

Compile throws this on newer glib:

gfio.c: In function ‘init_ui’:
gfio.c:1690:2: warning: ‘g_type_init’ is deprecated (declared at /usr/include/glib-2.0/gobject/gtype.h:667) [-Wdeprecated-declarations]
  g_type_init();
  ^

Fix it with a GLIB_CHECK_VERSION() check for 2.36.0.

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: fix gfio link for CONFIG_ARITHMETIC

Signed-off-by: Jens Axboe <axboe@fb.com>

libaio: commit on EAGAIN

If we have pending IOs, commit them.

Signed-off-by: Jens Axboe <axboe@fb.com>

libaio: retry on -EINTR

Signed-off-by: Jens Axboe <axboe@fb.com>

exp: small code cleanup

Signed-off-by: Jens Axboe <axboe@fb.com>

exp: fix issues around int vs size_t

This seems to be the easiest way - just wrap the call in a
macro that always passes a size_t, then it doesn't matter what
yy_n_chars is typed as (int or size_t).

Signed-off-by: Jens Axboe <axboe@fb.com>

Ignore lexer.h auto-generated file

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: use fio abstracted OS_O_DIRECT

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: remove leftover linux/fs.h include

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: use generic blockdev_size() to get size

This means we can skip the Linux specific compile, so enable it
on all platforms.

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: avoid div-by-zero for all identical chunks

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: fix off-by 1.024 in bandwidth

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix bison parsing

Changes from me to switch the order in which we choose to use yacc or
bison, default to using bison if we have it.

Signed-off-by: Jens Axboe <axboe@fb.com>

fix problem with yy_size_t vs int param to lexer_input

BSD yacc uses "int" for this param, linux uses size_t

Signed-off-by: Jens Axboe <axboe@fb.com>

init: set fail error return on bad parse

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'expression-parser'

Merge in the arithmetic parser.

Fio 2.1.13

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/libaio: modify getevents and commit error handling

If we get some error other than -EAGAIN in getevents(), treat
it as fatal and break.

If we get -ENOMEM on submission, reap events if we can. If we
have no pending events, treat it as a fatal error and break.

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: exp/fixup-buggy-yacc-output is no more

Signed-off-by: Jens Axboe <axboe@fb.com>

make expression parser handle scientific notation

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

engines/libaio: reset 'wait_start' on non-EAGAIN

Signed-off-by: Jens Axboe <axboe@fb.com>

Bump IO engine version number

Commit 1f440ece6127 modified the ->getevents() hook to have
a const timespec, so we should increment the engine version
number to catch that in external engines.

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/libaio: fix submit loop to use 'ld->queued' for exit

We could have head == tail for a full ring, so use the
amount queued as the gauge instead. This would be very
hard to trigger, as it would require a full ring on entry
and the first submit would have to fail to submit anything
before we loop around.

Signed-off-by: Jens Axboe <axboe@fb.com>

exp: we don't need -ly

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/libaio: don't reap on EAGAIN and no pending events

Instead just loop on submit, since there are no events for us
to reap. This is usually a kernel bug, violating the principle
of forward progress guarantee.

If we can't submit anything in 30 seconds, error out.

Signed-off-by: Jens Axboe <axboe@fb.com>

Constify a few more hot paths

Signed-off-by: Jens Axboe <axboe@fb.com>

engines/libaio: fix issue with EAGAIN

If we get -EAGAIN on IO submission, we should back off and reap
some events. Currently we just loop trying to resubmit, and this
has been reported to cause hangs in some virtualized environments.
There's no record of this ever being hit on raw metal.

So implement this backoff. Unfortunately it requires rewriting
the io_u tracking in libaio, since otherwise we depend on being
able to submit all the io_u's we are handed. So change the
tracking to be a ring buffer, with submission bumping the head
and completion bumping the tail. With this in place, we can't
stop issuing IO at anytime, since we'll just continue where
we left off.

Signed-off-by: Jens Axboe <axboe@fb.com>

Constify 'td' in a few functions

Signed-off-by: Jens Axboe <axboe@fb.com>

remove unused bye symbol from arithmetic parser

Signed-off-by: Jens Axboe <axboe@fb.com>

enable informing arithmetic parser of implicit units

This is so that "runtime=100" can be interpreted as 100 seconds
rather than 100 microseconds, but runtime=(100ms + 100s) can also
get the right answer (in microseconds).

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

do not call fprintf from yyerror in expression parser

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

verify that expression parsing code gets the right answer

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Treat colons and commas as end of input in expression parser

Just like a comment.  This is to allow processing of lists
of numbers separated by colons or commas.  Also, fix the comment
processing to require zero rather than one character after '#'

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Use calloc() instead of malloc + memset

Signed-off-by: Jens Axboe <axboe@fb.com>

HOWTO: fix typo

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: properly annotate LEX/YACC parts

Signed-off-by: Jens Axboe <axboe@fb.com>

exp: update man page and HOWTO

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: PARSER_OBJS is not used anymore

Signed-off-by: Jens Axboe <axboe@fb.com>

filesetup: fix a bug where we overwrite the set size

For the null io engine, we don't set file sizes. And we should
not overwrite a potentially legitimate o->size, if total_size
is zero.

Signed-off-by: Jens Axboe <axboe@fb.com>

exp: get rid of the #line bug workaround

We can use --no-lines to have bison/yacc not emit lines,
hence not hitting the missing newline bug in bision 3.0.2.

Signed-off-by: Jens Axboe <axboe@fb.com>

exp: fix shift/reduce conflict complaints

Signed-off-by: Jens Axboe <axboe@fb.com>

configure: fix for the cases where bison provides yacc

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' into expression-parser

exp: fix __pow_finite being undefined

Convert longs to doubles first, otherwise we fail on older
installs.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix compile of t/btrace2fio on RHEL5/CentOS5

Get these errors:

t/btrace2fio.c:395: undefined reference to `__bswap_32'
t/btrace2fio.c:396: undefined reference to `__bswap_32'
t/btrace2fio.c:397: undefined reference to `__bswap_64'
t/btrace2fio.c:398: undefined reference to `__bswap_64'
t/btrace2fio.c:399: undefined reference to `__bswap_32'
t/btrace2fio.c:400: undefined reference to `__bswap_32'
t/btrace2fio.c:401: undefined reference to `__bswap_32'
t/btrace2fio.c:402: undefined reference to `__bswap_32'
t/btrace2fio.c:403: undefined reference to `__bswap_32'
t/btrace2fio.c:404: undefined reference to `__bswap_16'
t/btrace2fio.c:405: undefined reference to `__bswap_16'

Issue is that os/os-linux.h needs to include byteswap.h.

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: silence make clean

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: silence fixup

Signed-off-by: Jens Axboe <axboe@fb.com>

Wire up exp/test-expression-parser

Signed-off-by: Jens Axboe <axboe@fb.com>

exp: set float output for int modulus

Signed-off-by: Jens Axboe <axboe@fb.com>