Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Use td_io_get_file_size() instead of calling ->get_file_size()

It may be NULL on some engines, causing a crash.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.25

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Reseed random generator for loop/time based runs

Then we get repeatable 2nd/3rd/etc runs. This is important
if the file layout was random, otherwise subsequent runs will
get very different results.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File reset should clear random map as well

Fixes infinite loop on time based runs, where it repeatedly
fails getting a new offset.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

aio: fixed a signedness issue that could cause abort on strace

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add some missing options to the man page

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Man page typo on zero_buffers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add blockalign/ba option

Allows the job to specify alignment of the IO specifically, instead
of relying on using blocksize as the offset alignment.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix integer store bug in parser

With commit f7fa2653589f9ecf0d3d106286f17620bcf32de0 I forgot to check
the type, so we would mis-store on platforms where sizeof(int) is different
from sizeof(long).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add some missing options to the man page

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of int vs siint difference

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update HOWTO with 0x base for siint

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow 0x (or 0X) prefix for any int value to indicate hex base

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix failure to strip end of line with comment

We left a space at the end, which confused the postfix checking.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Update smalloc section in README

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use strict matching for --section command line option

Don't limit to string length of passed in section, otherwise we could
be matching more than one section.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Avoid opening files until they are used

Fio still opens and creates all files, just to check the size of them. Add
a specialized IO engine op for getting the size of a file and use that
instead.

This also cleans a lot of things up. Note that the IO engine version is now
bumped to 10, meaning that external engines will have to separate the
file open from the size checking.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Need to clear ->files_size when ->files is cleared

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More file setting bug fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Botch edit in files setup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Missing fio.h update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Realloc td->files to full size immediately

For adding many files, we do as many reallocs() as we have files. This is
slow, so do full allocs instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add create_on_open option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>
 Please enter the commit message for your changes. Lines starting

Fix file open leak

Introduced by commit 87b10676354d10be02864ad615e1e9fe5a2376ab

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug with openfiles

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in file selection

We need to check both the OPEN and CLOSING flag, since CLOSE will not
be set until the file has really been closed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'sequential' file_service_type

This service type will keep a file open until IO to it is completely
done, before moving on to the next available file.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow 'norandommap' with verify

We used to turn off verify completely if norandommap was given, since
fio does not track block rewrites. But we can easily track rewrites,
as long as we don't have to track various extent sizes. So relax
the restriction to only cover norandommap with differing block sizes
and adapt log_io_piece() to always use rbtree inserts for cases where
we do need to check for potential overwrites.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.24

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Check for a valid block device size

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: notify receiver of UDP link close

Also optimize the send/receive path, only use poll() if the non-blocking
send/recv returned EAGAIN.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix broken rate check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: termination fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: don't pass in flags

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: use poll() always for sending/receiving

Avoids getting stuck waiting for data and not accepting signals.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add comment on UDP on examples/netio

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Missing text in iodepth_batch* help entries

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libaio engine: get rid of non-async behaviour with buffered IO

It may not be true, just get rid of it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: accept both upper and lowercase tcp/udp.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: add UDP support

The filename= option now accepts a third parameter designating the
protocol type, udp or tcp.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add platform section to README

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

OS includes need errno.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: get rid of MP_SAFE define and lock checks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Some more pthread_* call mishandled errors

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --debug=mutex

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure os mutex define is visible in mutex.c

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only use process shared mutexes on support platforms

On FreeBSD, suggest the use of threads instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup handling of pthread_mutex*() error returns

They return the errno, not 0/-1. Thanks to
Fabio Checconi <fabio@gandalf.sssup.it>
for noticing this.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add fio_cpuset_exit() empty handler for platforms that don't support affinity

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include crc32c and crc32c-intel checksums in FreeBSD/Solaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris pset fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris compilation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

CPU set creation and destruction can fail on some platforms

Check for that and error out if necessary.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support for CPU binding in Solaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a cpuset exit function

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Prepare for support for CPU binding on other platforms

The interface was Linux/glibc centric, since that is what got there first.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

__usec_sleep() really just spins, rename it

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Long line style fix + comment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't allow higher CPU counts than what the system has

Basically just catch the condition before setting up the job, job files,
etc.

Also fixes a big with cpumask, it set the wrong part.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure that the given CPU range is within the bounds of the OS

glibc provides CPU_SETSIZE as the maximum CPU count.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add gtod_cpu option for pinning gettimeofday() to a single CPU

Similar to what real life products sometimes do, offload gettimeofday()
calls to a single CPU and have that update the current time into a shared
memory location. This option pins a specific CPU for that job, and excludes
it from participating in any of the IO jobs.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Properly strip end-of-option blanks

We don't want to fail with

option_foo = 0

when

option_foo=0

works.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow ranges of CPUs in cpus_allowed option

For a larger number of CPUs, it's a bit of a bother having to set
each one individually. Plus, you typically want to bind to a range of
CPUs, to keep the job core local (or whatever your preference). So extend
cpus_allowed to take ranges of CPU numbers as well. Now you can do:

cpus_allowed=0-7

and have your job confined to CPUs 0 through 7.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bogus 'may be used uninitialized' warning from older gcc versions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add comment on cpumask not working with a CPU count > 32

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: pool->file is only used in add_pool(), so make it local

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: unlink pool file in add_pool()

Don't defer until cleanup time, since we may not clean up if fio
crashes or is killed in other ways.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use frame pointer

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make log writing append

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for giving bw/clat/slat log prefixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in parser that causes a crash with a bad option

The priority sorting would crash if it failed to lookup both
of the passed in options.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.23

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Handle ctrl-c properly with threads

A stupid bug, the main process should just ignore its own SIGQUIT.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix leaks with using get_opt_postfix()

It returns a strdup(), so remember to free() the result when done.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add gtod_reduce option

This cuts down even more on gtod() calls. While the three disable_X
options halved the gettimeofday() call count, this can reduce it to
less than 1 percent of what it otherwise would have been.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix backwards clock on tsc source with Linux

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Issue time fixup for guasi/libaio

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add options for disabling slat/clat/bw measurements

Useful for cutting down on the number of gettimeofday calls in
situations where that does impact performance. This is mostly for
really high IOPS rates.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Kill io_u timeout handling

It has never been enabled, get rid of it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only memcpy last issue time when using iolog replay

Part of a series that'll allow switching off various time measurements
to avoid impacting system performance too much.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22-rc3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Warning fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document environment variable expansion

Add environment variable expansion documentation to HOWTO, and fix
a few nearby typo's while we're at it.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add environment-variable substitution to config options

Strings of the form ${VARNAME} in config option strings are substituted with
the value of the environment variable VARNAME.  Only the right hand side of
an option assignment undergoes substitution.  If VARNAME is empty or
undefined, the empty string is substituted.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update README for new mailing list info

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix missing initialization of merge/io counts

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Aggregate slave device stats into the stats for 

But do so by adding new fields in the stats line.
We dont want the existing output format to get clobbered.
The new fields in master device line which contain
aggregated stats start with "aggr".

Signed-off-by: Shehjar Tikoo <shehjart@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support to display slave device stats for software RAIDs.

When running tests on a device created using mdadm, the relevant
disk statistics must also come from the individual
disks that constitute the RAID, because the software RAID device
is just a virtual device.

This patch goes through the 'slaves' directory in the software
RAID device's directory in /sys/block, gets a list of all the
slave devices and creates a master-slave relationship between
the virtual device and the actual disks.

The individual slave disks' stats are displayed along with the
master's disk stats at the end of the test.

Signed-off-by: Shehjar Tikoo <shehjart@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

HOWTO: add comment on terse and --minimal

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22-rc2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't compile crc32c-intel on non-x86 platforms

crc32c_intel() doesn't make sense on platforms without SSE, so alias it
to crc32c() on such machines.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update ramp_time

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update options

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22-rc1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add ramp_time option

Sometimes it's useful to let a job settle for a little while
before taking any measurements on latency and throughput, since
the initial rate on eg a write workload may be much higher than
the longer sustained rate.

So add a ramp_time option that allows the user to specify a lead
ramp time that must have passed before fio takes any performance
numbers into account.

Suggested by "Jenkins, Lee" <Lee.Jenkins@hp.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

eta: fix bugs withe fill_device and exitall_on_terminate

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>