--latency-log is now gone

Use per-job options for this.

Signed-off-by: Jens Axboe <axboe@fb.com>

Cleanup logging

If the log knows the filename it is supposed to log to, then we
don't need to have part of that on the init side and the other
part on the flush side. So clean it up so that the caller of
setup_log() provides everything we need. This gets rid of
various ways of ending the log, and opens us up to doing
log flushing mid-run.

Signed-off-by: Jens Axboe <axboe@fb.com>

client: fix missing init of 'i'

Signed-off-by: Jens Axboe <axboe@fb.com>

client: fix missing pdu->log_offset endianness conversion

Make the iolog sample number uint64_t as well, so we have
the same size across 32 and 64-bit archs.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add a typecheck for the endianness conversions

Signed-off-by: Jens Axboe <axboe@fb.com>

Add option for including byte offset for each log entry

When iops/latency/bw logs are used in the job, we can note the offset
at which the specific data entry took place.

Based on an initial patch from Abutalib Aghayev <agayev@gmail.com>.
Extended by me to:

- Not do this by default, as not to add 8 bytes to each log entry
  stored.

- Add support for the client/server protocol.

- Add documentation.

We should bump the server protocol rev again, but that was just done
in the previous commit, so...

Signed-off-by: Jens Axboe <axboe@fb.com>

server: update protocol version to 35

We pack structs now, so not compatible with previous version.

Signed-off-by: Jens Axboe <axboe@fb.com>

server: pack over-the-wire structs

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix typo in io_u.c::get_next_file()

We should check ops->get_next_file() is TD_F_PROFILE_OPS
is set, not if it's unset.

Signed-off-by: Jens Axboe <axboe@fb.com>

client: fix ETA run_str

We never touched it before, which meant the client would just
display an empty string. Make a valiant effort to allocate and
output the run_str.

Signed-off-by: Jens Axboe <axboe@fb.com>

eta: only pass real size of jobs_eta

We might send this over the wire, so need sending more than we
actually used.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix struct jobs_eta packing on 32 vs 64-bit archs

Signed-off-by: Jens Axboe <axboe@fb.com>

Verify: Tighten header length check in verify_header()

Fix-up to commit 5964842c: Tighten the header length check as well, don't only
change the message.

Add configure flags for gfapi and rbd

Add --disable-{gfapi,rbd} to disable gfapi/rbd support even if available.

Signed-off-by: Jens Axboe <axboe@fb.com>

Verify: Fix and improve verify_header()

Report errors directly from verify_header(); requires passing in the header
number and length.  Correctly report the file name, offset, and expected header
size in all error messages.

update_condensed_str(): Fix for empty input strings

Empty input strings resulted in unterminated result strings.

Cast input argument for json_object_add_value_int to long long

The latency related (and some other) variables type is uint32_t
but the JSON integer type is long long. So we need to cast
the numbers to long long type to make JSON output correctly.

Signed-off-by: Puthikorn Voravootivat <puthik@chromium.org>
Signed-off-by: Jens Axboe <axboe@fb.com>

Get the crctest results properly aligned

Before:

md5: 534.03 MB/sec
crc64: 392.31 MB/sec
crc32: 352.36 MB/sec
crc32c: 8225.43 MB/sec
crc16: 384.46 MB/sec
crc7: 386.79 MB/sec
sha1: 381.15 MB/sec
sha256: 186.47 MB/sec
sha512: 303.18 MB/sec
xxhash: 6329.90 MB/sec

After:

md5:   548.59 MB/sec
crc64:   381.45 MB/sec
crc32:   347.89 MB/sec
crc32c:  8577.36 MB/sec
crc16:   396.56 MB/sec
crc7:   396.72 MB/sec
sha1:   385.87 MB/sec
sha256:   206.60 MB/sec
sha512:   314.62 MB/sec
xxhash:  6293.64 MB/sec

Signed-off-by: Jens Axboe <axboe@fb.com>

Ensure that job name is set before being used

Andreas reports:

When passing the --readonly option, with the following write job (and
probably with any write job), I get an error message with a NULL job
name. Job description used:

[write]
thread
bs=64k
direct=1
ioengine=sync
size=128m
filename=test.tmp
rw=write
do_verify=0

Reported-by: Andreas Grünbacher <andreas.gruenbacher@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Add a get_jobs_eta() to return jobs eta information

We duplicate this code in eta.c and server.c, consolidate it.

Signed-off-by: Jens Axboe <axboe@fb.com>

Ensure we have enough room for the ETA runstr

The calculation of 1:4 is wrong, it's 1:5. And we missed the similar
change in server.c.

Reported-by: Andreas Grünbacher <andreas.gruenbacher@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Fix two minor typos

README: update to include official mirrors for the git repo

Signed-off-by: Jens Axboe <axboe@fb.com>

Add support for compiling for ESX

With contributions from Ryan Haynes <rhaynes@fusionio.com>

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix build from cmake

George reports:

I spent a few hours on this. Might save someone else some time.

I'm working in a larger project that uses cmake for its builds. cmake
supports adding external projects using the ExternalProject_Add
function.

But, there is some issue in the fio Makefile that causes a problem
when run from cmake. I could never reproduce it from the command line.

I was able to get the build to happen by changing the implicit rule
.c.o to use pattern notation. Not sure if this will work in all cases
or has other side effects.

Without this change, I was getting this error.

make[4]: *** No rule to make target `gettime.o', needed by `fio'.  Stop.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fixup run_str[] condensing with client/server

Signed-off-by: Jens Axboe <axboe@fb.com>

Add string condensing for the ETA output

If you run a lot of jobs, the ETA output string will become way too
long. Add some condensing so that instead of displaying:

Jobs: 80 (f=80): [rrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr] [10.2% done] [2110MB/0KB/0KB /s] [540K/0/0 iops] [eta 53m:55s]

we just display

Jobs: 80 (f=80): [r(80)] [10.2% done] [2110MB/0KB/0KB /s] [540K/0/0 iops] [eta 53m:55s]

instead.

Signed-off-by: Jens Axboe <axboe@fb.com>

fio: Eliminate compilation warning in ppc

Eliminate compilation warning : 'atb_clocktest' defined but
not used. Function is declared as static in header file. So compiler will
know if they used or not. Just eliminate the warning by #if 0 /unless we do
use it.

Signed-off-by: Sumanth K <sumantk2@linux.vnet.ibm.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.1.10

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: remember to add bytes to total IO size

This fixes an issue with replay of iologs.

Signed-off-by: Jens Axboe <axboe@fb.com>

Reset file count when freeing files

This fixes and oops with iolog replay, and a manually specified
filename=

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix crash on loading unknown IO engine with --ioengine

We don't clean up properly for a command line job when this happens.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix regression introduced by commit 334185e

We need to run fio_time_init() before the threads are invoked,
but we should do it in global context so that all threads share
the same clock and init settings.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add aarch64 support.

This patch adds support for aarch64 for fio.  This is tested by building
FIO on an aarch64 Ubuntu system and running some samepls.

Signed-off-by: Doug Kwan <dougkwan@google.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

glusterfs: remove glfs-handles.h include

We don't seem to need it, and newer packages don't include
it.

Signed-off-by: Jens Axboe <axboe@fb.com>

Make rbd engine use aio flush

The fio's option "fsync" can make rbd engine issue sync request. In practice,
we would like to use aio_rbd_flush to make it non-block. So it will be more
reliable to use fio to evaluate actual io scene like qemu.

Signed-off-by: Haomai Wang <haomaiwang@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

ETA no longer works when -o specified

Regarding fio version fio-2.1.9-17-gd9b1 (after April 11, 2014):

A recent change (5e1d8745471d1f315113c5c3fd8b93809d9ddff9) caused stdout
to be closed when -o was specified, which prevents ETA output from showing
up on stdout even when, e.g., json is being saved in the file.

This patch continues to close f_out so that there is no leak if multiple -o
options are specified, but doesn't close stdout.  Hence, ETA works again
when it should.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add ->invalidate() IO engine ops

Allow IO engines to plug in their own invalidate cache handler.
This fixes an issue on rbd, where we attempt to invalidate the
cache, but fail because it's not a valid file descriptor.

Reported-by: xan.peng@gmail.com
Signed-off-by: Jens Axboe <axboe@fb.com>

gfapi: indentify

Signed-off-by: Jens Axboe <axboe@fb.com>

Run the gluster engines through indent

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of git://github.com/cvubrugier/fio

Merge branch 'master' of git://github.com/rootfs/fio

Signed-off-by: Jens Axboe <axboe@fb.com>
Conflicts:
configure

Fix issue with dangling pointer in the rbd engine

Without this patch, after _fio_rbd_connect() failed, fio will hang for a few seconds, display the following logs and then quit:

====console output start====
rbd_iodepth32: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=rbd, iodepth=32
fio-2.1.9
Starting 1 process
rbd engine: RBD version: 0.1.8
rbd engine: RBD version: 0.1.8
rbd_open failed.
fio_rbd_connect failed.
common/Mutex.cc: In function 'void Mutex::Lock(bool)' thread 7f6e337aa780 time 2014-05-17 19:23:23.417285
common/Mutex.cc: 93: FAILED assert(r == 0)
ceph version 0.80 (b78644e)
1: (()+0x254093) [0x7f6e32502093]
2: (librados::RadosClient::shutdown()+0x1f) [0x7f6e324741df]
3: (rados_shutdown()+0x9) [0x7f6e32459209]
4: ./fio() [0x456a46]
5: (setup_files()+0xc2) [0x420872]
6: ./fio() [0x449c15]
7: (fio_backend()+0x115) [0x44a515]
8: (__libc_start_main()+0xf5) [0x7f6e311f3455]
9: ./fio() [0x40ad3c]
NOTE: a copy of the executable, or objdump -rdS is needed to interpret this.
terminate called after throwing an instance of 'ceph::FailedAssertion'
Aborted
====console output end====

With this patch, after _fio_rbd_connect() failed, fio will quit at once:

====console output start====
rbd_iodepth32: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=rbd, iodepth=32
fio-2.1.9
Starting 1 process
rbd engine: RBD version: 0.1.8
rbd_open failed.
fio_rbd_connect failed.

Run status group 0 (all jobs):
====console output end====

Signed-off-by: Xan Peng <xanpeng@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.1.9

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: fix verification of uncompleted or errored ios

Stoo Davies reports:

------

I'm doing some powerfail recovery testing on a storage array over iSCSI.
Host is RHEL 6.4 kernel 2.6.32-358.el6.x86_64.

With fio 2.1.2 -> 2.1.4 the job file below rides through the disks going
away, and continues I/O after they come back, without reporting any
errors.  With fio 2.1.5 -> 2.1.8 when the disks come back fio
immediately reports a meta verification error.

I captured a trace with an finisar analyzer, and can see that after the
disks come back and the host logs back in, a read is issued for an lba
which was never written to.  Since I don't see verification errors
outside of the powerfail testing, I suspect fio isn't correctly handling
failed writes during the time the disks are unavailable.

------

The issue is caused by a change between 2.1.4 and 2.1.5 that started
logging IO for verification at issue time, instead of at completion
time. If the IO only partially completes or completes in error, then
we need to adjust the verification unit so that we verify only what
fio actually wrote.

Signed-off-by: Jens Axboe <axboe@fb.com>

Avoid buildenv conditional in thread_option struct

Managed to run into issues with an external ioengine
which got build with CONFIG_LIBNUMA not defined. Fio
itself got build with CONFIG_LIBNUMA this resulted
in different struct members offsets in the two different
ELF objects. Causing crashes due to invalidate offsets
inside the thread_data structure (e.g. td->io_ops->data).

Ideally all structs which might be used by external
ioengines should be independent of buildenv conditionals
like CONFIG_LIBNUMA or others.

Removed the CONFIG_LIBNUMA in thread_options.h and replaced
the libnuma specific "struct bitmask" members with strings
which hold the option's input value. This should also make
the marshaling/demarshaling in cconv.c easier.
(Note: the NUMA bits are not handled in cconv.c at the
moment. And not part of the thread_options_packed struct)

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Avoid double declaration of leXX_to_cpu

for external ioengines. leXX_to_cpu is a very common
declaration - e.g. Ceph is using this as well.

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Avoid double-declaration of ARRAY_SIZE

for external ioengines. ARRAY_SIZE is a very common
declaration - e.g. Ceph is using this as well.

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

distinguish internal/ext. builds with FIO_INTERNAL

To distinguish between internal and external includes of
fio.h and other headers FIO_INTERNAL get applied only for
the fio (and gfio) internal build itself.

This helps to prevent double-declaration issues by making
ambigous declaration with common names coditional based on
the FIO_INTERNAL define.

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Replace CONFIG_CPU_COUNT with plain CPU_COUNT

Fixes double-declartion issue of CPU_COUNT when fio.h is included by
third-party projects.

Checking for a define of CPU_COUNT seems to be a common approach
to deal with different versions of sched.h

Signed-off-by: Daniel Gollub <daniel.gollub@gmail.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test.c: fix include of time.h

Replace include of time.h with renamed fio_time.h to fix build.

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
Signed-off-by: Jens Axboe <axboe@fb.com>

Makefile: clean all *.d dependency files on make clean

Signed-off-by: Jens Axboe <axboe@fb.com>

Rename time.h for third-party include of fio.h

External project might build external ioengines and need to
include there for fio.h. If a project set the include path
to the fio root source directory and the third-party source
holds an "time.h" as well things get complicated.

Signed-off-by: Daniel Gollub <d.gollub@telekom.de>
Cc: Daniel Gollub <daniel.gollub@t-online.de>
Signed-off-by: Jens Axboe <axboe@fb.com>

Fix gfio build due to disk_stat struct seperation

Signed-off-by: Daniel Gollub <d.gollub@telekom.de>
Cc: Daniel Gollub <daniel.gollub@t-online.de>
Signed-off-by: Jens Axboe <axboe@fb.com>

Windows: always open files in binary mode

On Windows, open() defaults to text mode, causing control characters
to be interpreted. Avoid this by passing the _O_BINARY flag.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add option for io_limit

'size' denotes both the size of the region for IO, as well as the
amount of IO to transfer. Sometimes it's useful to be able to set
them separately instead. With this patch, you can do:

size=100G
io_limit=10G

and have fio do 10G of IO between 0..100G of the address space.

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

init: don't set did_arg just for an engine option

Signed-off-by: Jens Axboe <axboe@fb.com>

Error out if the set blocksize is larger than the file size

Signed-off-by: Jens Axboe <axboe@fb.com>

sg/binject: only restore file flags if they have been set

Signed-off-by: Jens Axboe <axboe@fb.com>

sg: check for error in fcntl() restore of flags

Signed-off-by: Jens Axboe <axboe@fb.com>

binject: check for error in fcntl() restore of flags

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: fix potential division-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

idletime: fix another missing unlock on error

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

strcpy: kill last of the suspect ones

Signed-off-by: Jens Axboe <axboe@fb.com>

Windows: set sizeof(sun_path) to 260 (MAX_PATH).

Signed-off-by: Jens Axboe <axboe@fb.com>

init: improve command line check for when to print usage/help

Signed-off-by: Jens Axboe <axboe@fb.com>

init: fix leak bug fix from commit 60c5ec73

Signed-off-by: Jens Axboe <axboe@fb.com>

disk util: fix bug in strncpy() conversion

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix potential NULL dereference in alloc_mem_mmap()

Signed-off-by: Jens Axboe <axboe@fb.com>

diskutil: make it clear that parent != NULL for json output

Signed-off-by: Jens Axboe <axboe@fb.com>

parse: make it clear that 'cp' can't be NULL for o->off1

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix is_power_of_2() for longs

Signed-off-by: Jens Axboe <axboe@fb.com>

idletime: unlock ->start_lock in error cases

Signed-off-by: Jens Axboe <axboe@fb.com>

Avoid overwriting allocated pid_file

Signed-off-by: Jens Axboe <axboe@fb.com>

gettime: init 'failed' before use

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: warn on failure to detach DU thread

Signed-off-by: Jens Axboe <axboe@fb.com>

gettime: handle pthread_create() failure

Signed-off-by: Jens Axboe <axboe@fb.com>

init: silence bogus td == NULL warning

Signed-off-by: Jens Axboe <axboe@fb.com>

filesetup: silence bogus warning on close(-1)

Signed-off-by: Jens Axboe <axboe@fb.com>

e4defrag: pass 'error' into td_verror()

Don't use -1 or -Exxxx

Signed-off-by: Jens Axboe <axboe@fb.com>

td_verror() needs errno style error

put_file_log() could pass in -1, we need the actual error instead.

Signed-off-by: Jens Axboe <axboe@fb.com>

net engine: get rid of unused struct sockaddr_in6

Signed-off-by: Jens Axboe <axboe@fb.com>

server: ensure that incoming iolog name is NULL terminated

Signed-off-by: Jens Axboe <axboe@fb.com>

server: sanity check incoming command size (and payload)

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: better NULL termination fix for IO scheduler switching

Signed-off-by: Jens Axboe <axboe@fb.com>

num2str: ensure we never access postfix[] out-of-bounds

Signed-off-by: Jens Axboe <axboe@fb.com>

make_filename: another off-by-one buffer issue

Signed-off-by: Jens Axboe <axboe@fb.com>

Error check fcntl() calls

Add a helper to mark an fd as non-blocking, so we can check
and complain in one place.

Signed-off-by: Jens Axboe <axboe@fb.com>

init: remove dead code

Signed-off-by: Jens Axboe <axboe@fb.com>

backend: fix potential divide-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: fix potential divide-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

idletime: fix potential divide-by-zero

Signed-off-by: Jens Axboe <axboe@fb.com>

eta: fix potential divide by zero

Signed-off-by: Jens Axboe <axboe@fb.com>

server: fix missing comma in fio_server_ops[] strings

Signed-off-by: Jens Axboe <axboe@fb.com>

gettime: use unsigned loop counter

We're comparing with an unsigned exit condition.

Signed-off-by: Jens Axboe <axboe@fb.com>

Make td_verror() use an unsigned type

Get rid of warnings stating the input can't be negative.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix missing sign conversion in ignore_error_type()

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: fix wrong check for whether we have a description or not

It's an array, hence never NULL. Check for size instead.

Signed-off-by: Jens Axboe <axboe@fb.com>