Avoid double declaration of leXX_to_cpu

for external ioengines. leXX_to_cpu is a very common
declaration - e.g. Ceph is using this as well.

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Avoid double-declaration of ARRAY_SIZE

for external ioengines. ARRAY_SIZE is a very common
declaration - e.g. Ceph is using this as well.

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

distinguish internal/ext. builds with FIO_INTERNAL

To distinguish between internal and external includes of
fio.h and other headers FIO_INTERNAL get applied only for
the fio (and gfio) internal build itself.

This helps to prevent double-declaration issues by making
ambigous declaration with common names coditional based on
the FIO_INTERNAL define.

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Replace CONFIG_CPU_COUNT with plain CPU_COUNT

Fixes double-declartion issue of CPU_COUNT when fio.h is included by
third-party projects.

Checking for a define of CPU_COUNT seems to be a common approach
to deal with different versions of sched.h

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test.c: fix include of time.h

Replace include of time.h with renamed fio_time.h to fix build.

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: clean all *.d dependency files on make clean

Signed-off-by: Jens Axboe <axboe@fb.com>

Rename time.h for third-party include of fio.h

External project might build external ioengines and need to
include there for fio.h. If a project set the include path
to the fio root source directory and the third-party source
holds an "time.h" as well things get complicated.

Signed-off-by: Daniel Gollub <d.gollub@telekom.de>
Cc: Daniel Gollub <daniel.gollub@t-online.de>
Signed-off-by: Jens Axboe <axboe@fb.com>

Fix gfio build due to disk_stat struct seperation

Signed-off-by: Daniel Gollub <d.gollub@telekom.de>
Cc: Daniel Gollub <daniel.gollub@t-online.de>
Signed-off-by: Jens Axboe <axboe@fb.com>

Windows: always open files in binary mode

On Windows, open() defaults to text mode, causing control characters
to be interpreted. Avoid this by passing the _O_BINARY flag.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add option for io_limit

'size' denotes both the size of the region for IO, as well as the
amount of IO to transfer. Sometimes it's useful to be able to set
them separately instead. With this patch, you can do:

size=100G
io_limit=10G

and have fio do 10G of IO between 0..100G of the address space.

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

init: don't set did_arg just for an engine option

Signed-off-by: Jens Axboe <axboe@fb.com>

Error out if the set blocksize is larger than the file size

Signed-off-by: Jens Axboe <axboe@fb.com>

sg/binject: only restore file flags if they have been set

Signed-off-by: Jens Axboe <axboe@fb.com>

sg: check for error in fcntl() restore of flags

Signed-off-by: Jens Axboe <axboe@fb.com>

binject: check for error in fcntl() restore of flags

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: fix potential division-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

idletime: fix another missing unlock on error

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

strcpy: kill last of the suspect ones

Signed-off-by: Jens Axboe <axboe@fb.com>

Windows: set sizeof(sun_path) to 260 (MAX_PATH).

Signed-off-by: Jens Axboe <axboe@fb.com>

init: improve command line check for when to print usage/help

Signed-off-by: Jens Axboe <axboe@fb.com>

init: fix leak bug fix from commit 60c5ec73

Signed-off-by: Jens Axboe <axboe@fb.com>

disk util: fix bug in strncpy() conversion

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix potential NULL dereference in alloc_mem_mmap()

Signed-off-by: Jens Axboe <axboe@fb.com>

diskutil: make it clear that parent != NULL for json output

Signed-off-by: Jens Axboe <axboe@fb.com>

parse: make it clear that 'cp' can't be NULL for o->off1

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix is_power_of_2() for longs

Signed-off-by: Jens Axboe <axboe@fb.com>

idletime: unlock ->start_lock in error cases

Signed-off-by: Jens Axboe <axboe@fb.com>

Avoid overwriting allocated pid_file

Signed-off-by: Jens Axboe <axboe@fb.com>

gettime: init 'failed' before use

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: warn on failure to detach DU thread

Signed-off-by: Jens Axboe <axboe@fb.com>

gettime: handle pthread_create() failure

Signed-off-by: Jens Axboe <axboe@fb.com>

init: silence bogus td == NULL warning

Signed-off-by: Jens Axboe <axboe@fb.com>

filesetup: silence bogus warning on close(-1)

Signed-off-by: Jens Axboe <axboe@fb.com>

e4defrag: pass 'error' into td_verror()

Don't use -1 or -Exxxx

Signed-off-by: Jens Axboe <axboe@fb.com>

td_verror() needs errno style error

put_file_log() could pass in -1, we need the actual error instead.

Signed-off-by: Jens Axboe <axboe@fb.com>

net engine: get rid of unused struct sockaddr_in6

Signed-off-by: Jens Axboe <axboe@fb.com>

server: ensure that incoming iolog name is NULL terminated

Signed-off-by: Jens Axboe <axboe@fb.com>

server: sanity check incoming command size (and payload)

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: better NULL termination fix for IO scheduler switching

Signed-off-by: Jens Axboe <axboe@fb.com>

num2str: ensure we never access postfix[] out-of-bounds

Signed-off-by: Jens Axboe <axboe@fb.com>

make_filename: another off-by-one buffer issue

Signed-off-by: Jens Axboe <axboe@fb.com>

Error check fcntl() calls

Add a helper to mark an fd as non-blocking, so we can check
and complain in one place.

Signed-off-by: Jens Axboe <axboe@fb.com>

init: remove dead code

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: fix potential divide-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: fix potential divide-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

idletime: fix potential divide-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

eta: fix potential divide by zero

Signed-off-by: Jens Axboe <axboe@fb.com>

server: fix missing comma in fio_server_ops[] strings

Signed-off-by: Jens Axboe <axboe@fb.com>

gettime: use unsigned loop counter

We're comparing with an unsigned exit condition.

Signed-off-by: Jens Axboe <axboe@fb.com>

Make td_verror() use an unsigned type

Get rid of warnings stating the input can't be negative.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix missing sign conversion in ignore_error_type()

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: fix wrong check for whether we have a description or not

It's an array, hence never NULL. Check for size instead.

Signed-off-by: Jens Axboe <axboe@fb.com>

server: fix potential buffer overrun in socket setup path

Signed-off-by: Jens Axboe <axboe@fb.com>

server: fix potential buffer overrun in bind string

Signed-off-by: Jens Axboe <axboe@fb.com>

client: fix potential buffer overrun in socket path

Signed-off-by: Jens Axboe <axboe@fb.com>

net engine: fix potential buffer overrun in socket path

Signed-off-by: Jens Axboe <axboe@fb.com>

file: fix potential buffer overrun in get_fs_free_counts()

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: fix potential buffer overrun in dump_buf()

Signed-off-by: Jens Axboe <axboe@fb.com>

init: fix potential buffer overrun in make_filename()

Signed-off-by: Jens Axboe <axboe@fb.com>

server: ensure that dus->name is always NULL terminated

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: check that TEMP environment variable is half-way sane

Signed-off-by: Jens Axboe <axboe@fb.com>

init: fix more cases of leaking pid_file

Signed-off-by: Jens Axboe <axboe@fb.com>

diskutil: separate out stats from name

Signed-off-by: Jens Axboe <axboe@fb.com>

init: remove bogus check for NULL parent

Signed-off-by: Jens Axboe <axboe@fb.com>

Don't leak f_out file desciptor if specified more than once

Signed-off-by: Jens Axboe <axboe@fb.com>

Don't leak memory if profile option is given twice

Signed-off-by: Jens Axboe <axboe@fb.com>

server: ensure that server pid file mem is always freed

Signed-off-by: Jens Axboe <axboe@fb.com>

Ensure that fread() string is always NULL terminated

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix potentially unterminated string after strncpy() call

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix leak of directory handle in find_add_disk_slaves() error case

Signed-off-by: Jens Axboe <axboe@fb.com>

net: fix leak of fd in bind() error path

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix leak on error path in extend_file()

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix leak of file descriptor in error path of bc_calc()

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix leak of string when doing parse dryrun

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix directory leak in recurse_dir() on error

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix leak of 'error' if we don't assign it

Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.1.8

Signed-off-by: Jens Axboe <axboe@fb.com>

blktrace: fix missing line return in dprint()

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: check for thread termination in long delays

If we are doing a long delay now, fio won't be able to kill
the thread when you ctrl-c the job. Split the delay into .5s
intervals, and check for signal in between.

Signed-off-by: Jens Axboe <axboe@fb.com>

Make cache invalidation a soft error

On some platforms, we don't have reliable means of flushing
eg block device caches. Just warn of this fact instead of
erroring out, since the user can't do anything to stop this.

Signed-off-by: Jens Axboe <axboe@fb.com>

fio: fix s390 timing for older machines/binutils

Older gcc/binutils or one with very low default march will refuse to use stckf.
On top of that machines older than a z196 don not even have the store clock
fast facility.

To fix all of those issues, check for the facilities in configure step and make
the usage of stckf and a matching march dependent to it.

Signed-off-by: Christian Ehrhardt <ehrhardt@linux.vnet.ibm.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Add exit_on_io_done option to the CPU IO engine

The CPU IO engine is most often used to saturate the system,
while running an IO load on it. As such, it's useful to have
CPU engine threads exit automatically, when IO has completed.
Add exit_on_io_done as a CPU IO engine option for that purpose.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: skip max_bs[rw] increment for rw == DDIR_INVAL

Signed-off-by: Jens Axboe <axboe@fb.com>

diskutil: fix potential out-of-bounds array write

Signed-off-by: Jens Axboe <axboe@fb.com>

server: fix fd leak in error case

Signed-off-by: Jens Axboe <axboe@fb.com>

Increment open file count manually

For engines/logs that manually add files, be sure to increment
the open file count.

Signed-off-by: Jens Axboe <axboe@fb.com>

Revert "Fixup ->open_files if not given"

This reverts commit bcd27f7ae1ccebd2ac1778752bf8f13fa99600e9.

The commit causes us to default to 1 file for cases where
openfiles= isn't set, where before we would default to
nr_files.

Signed-off-by: Jens Axboe <axboe@fb.com>
Conflicts:
filesetup.c

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

blktrace: probe IO depth

Signed-off-by: Jens Axboe <axboe@fb.com>

fio: fix s390 nop

When trying to run rate limited fio runs we encountered that the current
definition of a nop uses a privileged instruction which is not even a nop,
but a yield call to the hipervisor.
That leads to a SIGILL as it is privileged.

To solve that issue replace it with a nop, the assembler will take care
of it (likely to become a BCR 0,0)

Signed-off-by: Christian Ehrhardt <ehrhardt@linux.vnet.ibm.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

fio: fix s390 time accounting

The current timer implementation could cause time warps on s390 which ends up
as time bound jobs that would never end, because they always reset themself to
the old time.

When touching this code anyway, we also change it to use the faster stckf
and avoid the calibration as we can control the result to be usecs.
This also eliminates a few calculations cycle->usec in the hot path for the
timer.

In case other architectures have similar improved timers that might not be
usec based, but nsec based or such a thing any architecture can set
ARCH_CPU_CLOCK_CYCLES_PER_USEC to an appropriate per-arch value.
This leaves the infrastructure open for others and the compiler will throw
our division by 1 away anyway.

Signed-off-by: Christian Ehrhardt <ehrhardt@linux.vnet.ibm.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Support limited mixed command line options and job file

With this, you can now do:

$ fio --timeout=10s --time_based=1 jobfile.fio

and have the command line options work as if they were part
of the global section of jobfile.fio

Note that more advanced uses, like:

$ fio --option_foo=1 jobfile.fio --option_bar=1 jobfile2.fio

will not work, we still clear to default options for
subsequent jobs.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fixup --timeout command line option

Ensure we properly parse the time, use check_str_time()
instead of atoi(). Propagate the timeout correctly to
new jobs.

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Fix crash in setup_files() if no files are defined

Commit 002fe73409d1e moved the division by o->nr_files outside
of the file loop, so for error cases we could end up with
doing the division without having files defined. Crash ensues.

Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: add doc target to generate PDFs from the man pages

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix JSON_INTEGER overflow on Windows by changing datatype to 'long long'

Signed-off-by: Jens Axboe <axboe@fb.com>