net engine: accept both upper and lowercase tcp/udp.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: add UDP support

The filename= option now accepts a third parameter designating the
protocol type, udp or tcp.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add platform section to README

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

OS includes need errno.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: get rid of MP_SAFE define and lock checks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Some more pthread_* call mishandled errors

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --debug=mutex

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure os mutex define is visible in mutex.c

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only use process shared mutexes on support platforms

On FreeBSD, suggest the use of threads instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup handling of pthread_mutex*() error returns

They return the errno, not 0/-1. Thanks to
Fabio Checconi <fabio@gandalf.sssup.it>
for noticing this.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add fio_cpuset_exit() empty handler for platforms that don't support affinity

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include crc32c and crc32c-intel checksums in FreeBSD/Solaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris pset fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris compilation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

CPU set creation and destruction can fail on some platforms

Check for that and error out if necessary.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support for CPU binding in Solaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a cpuset exit function

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Prepare for support for CPU binding on other platforms

The interface was Linux/glibc centric, since that is what got there first.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

__usec_sleep() really just spins, rename it

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Long line style fix + comment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't allow higher CPU counts than what the system has

Basically just catch the condition before setting up the job, job files,
etc.

Also fixes a big with cpumask, it set the wrong part.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure that the given CPU range is within the bounds of the OS

glibc provides CPU_SETSIZE as the maximum CPU count.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add gtod_cpu option for pinning gettimeofday() to a single CPU

Similar to what real life products sometimes do, offload gettimeofday()
calls to a single CPU and have that update the current time into a shared
memory location. This option pins a specific CPU for that job, and excludes
it from participating in any of the IO jobs.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Properly strip end-of-option blanks

We don't want to fail with

option_foo = 0

when

option_foo=0

works.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow ranges of CPUs in cpus_allowed option

For a larger number of CPUs, it's a bit of a bother having to set
each one individually. Plus, you typically want to bind to a range of
CPUs, to keep the job core local (or whatever your preference). So extend
cpus_allowed to take ranges of CPU numbers as well. Now you can do:

cpus_allowed=0-7

and have your job confined to CPUs 0 through 7.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bogus 'may be used uninitialized' warning from older gcc versions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add comment on cpumask not working with a CPU count > 32

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: pool->file is only used in add_pool(), so make it local

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: unlink pool file in add_pool()

Don't defer until cleanup time, since we may not clean up if fio
crashes or is killed in other ways.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use frame pointer

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make log writing append

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for giving bw/clat/slat log prefixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in parser that causes a crash with a bad option

The priority sorting would crash if it failed to lookup both
of the passed in options.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.23

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Handle ctrl-c properly with threads

A stupid bug, the main process should just ignore its own SIGQUIT.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix leaks with using get_opt_postfix()

It returns a strdup(), so remember to free() the result when done.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add gtod_reduce option

This cuts down even more on gtod() calls. While the three disable_X
options halved the gettimeofday() call count, this can reduce it to
less than 1 percent of what it otherwise would have been.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix backwards clock on tsc source with Linux

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Issue time fixup for guasi/libaio

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add options for disabling slat/clat/bw measurements

Useful for cutting down on the number of gettimeofday calls in
situations where that does impact performance. This is mostly for
really high IOPS rates.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Kill io_u timeout handling

It has never been enabled, get rid of it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only memcpy last issue time when using iolog replay

Part of a series that'll allow switching off various time measurements
to avoid impacting system performance too much.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22-rc3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Warning fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document environment variable expansion

Add environment variable expansion documentation to HOWTO, and fix
a few nearby typo's while we're at it.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add environment-variable substitution to config options

Strings of the form ${VARNAME} in config option strings are substituted with
the value of the environment variable VARNAME.  Only the right hand side of
an option assignment undergoes substitution.  If VARNAME is empty or
undefined, the empty string is substituted.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update README for new mailing list info

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix missing initialization of merge/io counts

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Aggregate slave device stats into the stats for 

But do so by adding new fields in the stats line.
We dont want the existing output format to get clobbered.
The new fields in master device line which contain
aggregated stats start with "aggr".

Signed-off-by: Shehjar Tikoo <shehjart@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support to display slave device stats for software RAIDs.

When running tests on a device created using mdadm, the relevant
disk statistics must also come from the individual
disks that constitute the RAID, because the software RAID device
is just a virtual device.

This patch goes through the 'slaves' directory in the software
RAID device's directory in /sys/block, gets a list of all the
slave devices and creates a master-slave relationship between
the virtual device and the actual disks.

The individual slave disks' stats are displayed along with the
master's disk stats at the end of the test.

Signed-off-by: Shehjar Tikoo <shehjart@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

HOWTO: add comment on terse and --minimal

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22-rc2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't compile crc32c-intel on non-x86 platforms

crc32c_intel() doesn't make sense on platforms without SSE, so alias it
to crc32c() on such machines.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update ramp_time

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update options

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.22-rc1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add ramp_time option

Sometimes it's useful to let a job settle for a little while
before taking any measurements on latency and throughput, since
the initial rate on eg a write workload may be much higher than
the longer sustained rate.

So add a ramp_time option that allows the user to specify a lead
ramp time that must have passed before fio takes any performance
numbers into account.

Suggested by "Jenkins, Lee" <Lee.Jenkins@hp.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

eta: fix bugs withe fill_device and exitall_on_terminate

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

filehash: check for NULL ->file_name in hash lookup

Original patch from Shaozhi Shawn Ye <yeshao@google.com>, modified
by me to continue the lookup and just skip the file instead of
returning NULL.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

filehash: Filehash should be removed after the file is closed

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

filesetup: When terse_output is set, The 'laying out' message should not be displayed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: Remove read/write lock race condition which will result in segmentation fault

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow fio headers to be included by a C++ build

The attached patch allows fio 1.17.2 header files to be included by a
C++ build without generating compile errors due to C-ism.
Specifically, due to:
- use of the keyword "new" as a parameter name
- a cast of a return value to void *, when the function signature
returns a different type

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add SIGILL signal handler

If crc32c-intel is used and the opcode isn't supported by the CPU,
we'll display a nice warning instead of just dying.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remember to add crc32c_intel option check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add intel hardware assisted crc32c support

Not tested, since I don't have the hardware.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Detect and complain on smalloc failures

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: default to 128 pools instead of 4

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Prevent filetype disappearing

fio_file->filetype is set in add_file(), but for duplicated files
fio-file->file_name is already set so add_file() is not called.
This patch copies the filetype at the same time as file_name so
it remains valid for dup'd files.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add uninitialized_var() to silence bogus compiler warnings

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

eta overflow fix

Sometime I get eta's like "eta 4294967286m:4294967266s" , just an overflow
issue. The following patch fixes the issue.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revert "Add spinlocks"

This reverts commit 69ebbd397e80b23ec4281c99e9f7242a089cc771.

Revert "Add spinlock wrapper helpers"

This reverts commit 8b4a7c860d004ea8dffc11f6232124b574fe6cd7.

Revert "smalloc: convert to spinlocks"

This reverts commit 3f1959101ed6a935ff3e2aec0fe7f5828f23fbcb.

Revert "Convert file hash lock to spinlocks"

This reverts commit 0ec7b3c9a0926e6377bd145206bb9f6a70be610d.

Revert "Remove unused define"

This reverts commit edf2c6cf5adc82ee43c81e033cf2215eb9ffdb16.

Remove unused define

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Convert file hash lock to spinlocks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: convert to spinlocks

Makes the allocator 10-20% faster.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add spinlock wrapper helpers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add spinlocks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.1: Correct terse (--minimal) output - page faults

Major and minor page faults were added in commit e7823a941468e

Signed-off-by: Carl Henrik Lunde <chlunde@ping.uio.no>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Add crc32c checksum

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

crc32 is uint32_t, not unsigned long

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve bsrange buflen generations

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't include headers in depend target

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Clear num_opts early

If we error out, it could be garbage.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Older Linux versions do not have O_NOATIME

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remember to free **opts as well

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add option priorities

For instance, filename= must come after directory= or things will
go wrong. So add a priority value to each option, so that the parser
will take that into account.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice: if splicing fails with EINVAL, it's most likely missing fs support

So tell the user in more direct terms.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.21

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Linux sysfs change broke fio disk lookup

/sys/block/<dev> is now a sym link to the real path, which
broke our disk lookup. Fix it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

ETA fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.21-rc8

Should be the last -rc, not aware of any pending issues.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

HOWTO spelling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Help entry typos

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add iodepth_batch_complete control

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>