fio docs corrections

Correct fio mailing list address and unit of time for cpuchunks.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: fix compilation warnings on Solaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.26.2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

'V' is a running state, not an idle state. Correct HOWTO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Align io units to processor cache line size

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix name of the slat log file

Currently the slat and clat logs go to the same clat log file when the
latency log file is specified.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't populate random data for verify reads

I was seeing some performance drop during the read verification phase
of a test, and from the code in io_u.c in get_io_u function, we
prepare/populate the buffer in the io_u structure based on the verify
patterns/options.
This makes sense when we are doing writes, but I dont understand why
we do this for the read phase when this data is going to be
overwritten anyways(and in case of truncated reads, we do modify the
buf_len).
So based on that I changed the code to populate the buffer(io_u->buf)
only if its a write with verify enabled.
This works for my tests, but I do not know if there was a reason why
this was populated for reads as well to begin with.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.26.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Filename must be parsed after directory option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update bssplit documentation in fio.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: Include support for ARM

Assembly instructions picked from include/asm-arm/system.h

Signed-off-by: Kedar Sovani <kedars@marvell.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.26

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add sample job for doing a quick SSD performance analysis

Nothing SSD special about it really, but this sort of test is
useful on SSD drives to see if they are crap or not.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix issue with random offset being off if io_size != real_file_size

get_next_free_block() would generate offset that were larger than the
requested size, either causing failures or just causing the test
to exit prematurely.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove debug printf()

Left in by mistake.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for different weights for reads and writes with bssplit

You can now do:

bssplit=4k/20:8k/80,1k/50:4k/50

To have 20% 4k reads and 80% 8k reads, while having 50% 1k writes
and 50% 4k writes. This is identical to how the bs= option treats
reads and writes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow IO logging even for diskless engines

Helps to verify IO patterns.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice engine: fix vmsplice() problem with block sizes larger than a pipe

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.25.2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix throughput reporting

It was off by 1024/1024 :/

Initial patch from Carl Henrik Lunde <chlunde@ping.uio.no>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix crash with multiple files

There's an off-by-one in add_file() when it calculates the size
for the file array.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.25.1

Silly segfault with cpuio/null engines.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Use td_io_get_file_size() instead of calling ->get_file_size()

It may be NULL on some engines, causing a crash.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.25

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Reseed random generator for loop/time based runs

Then we get repeatable 2nd/3rd/etc runs. This is important
if the file layout was random, otherwise subsequent runs will
get very different results.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File reset should clear random map as well

Fixes infinite loop on time based runs, where it repeatedly
fails getting a new offset.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

aio: fixed a signedness issue that could cause abort on strace

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add some missing options to the man page

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Man page typo on zero_buffers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add blockalign/ba option

Allows the job to specify alignment of the IO specifically, instead
of relying on using blocksize as the offset alignment.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix integer store bug in parser

With commit f7fa2653589f9ecf0d3d106286f17620bcf32de0 I forgot to check
the type, so we would mis-store on platforms where sizeof(int) is different
from sizeof(long).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add some missing options to the man page

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of int vs siint difference

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update HOWTO with 0x base for siint

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow 0x (or 0X) prefix for any int value to indicate hex base

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix failure to strip end of line with comment

We left a space at the end, which confused the postfix checking.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Update smalloc section in README

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use strict matching for --section command line option

Don't limit to string length of passed in section, otherwise we could
be matching more than one section.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Avoid opening files until they are used

Fio still opens and creates all files, just to check the size of them. Add
a specialized IO engine op for getting the size of a file and use that
instead.

This also cleans a lot of things up. Note that the IO engine version is now
bumped to 10, meaning that external engines will have to separate the
file open from the size checking.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Need to clear ->files_size when ->files is cleared

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More file setting bug fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Botch edit in files setup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Missing fio.h update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Realloc td->files to full size immediately

For adding many files, we do as many reallocs() as we have files. This is
slow, so do full allocs instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add create_on_open option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>
 Please enter the commit message for your changes. Lines starting

Fix file open leak

Introduced by commit 87b10676354d10be02864ad615e1e9fe5a2376ab

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug with openfiles

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in file selection

We need to check both the OPEN and CLOSING flag, since CLOSE will not
be set until the file has really been closed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'sequential' file_service_type

This service type will keep a file open until IO to it is completely
done, before moving on to the next available file.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow 'norandommap' with verify

We used to turn off verify completely if norandommap was given, since
fio does not track block rewrites. But we can easily track rewrites,
as long as we don't have to track various extent sizes. So relax
the restriction to only cover norandommap with differing block sizes
and adapt log_io_piece() to always use rbtree inserts for cases where
we do need to check for potential overwrites.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.24

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Check for a valid block device size

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: notify receiver of UDP link close

Also optimize the send/receive path, only use poll() if the non-blocking
send/recv returned EAGAIN.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix broken rate check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: termination fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: don't pass in flags

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: use poll() always for sending/receiving

Avoids getting stuck waiting for data and not accepting signals.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add comment on UDP on examples/netio

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Missing text in iodepth_batch* help entries

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libaio engine: get rid of non-async behaviour with buffered IO

It may not be true, just get rid of it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: accept both upper and lowercase tcp/udp.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: add UDP support

The filename= option now accepts a third parameter designating the
protocol type, udp or tcp.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add platform section to README

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

OS includes need errno.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: get rid of MP_SAFE define and lock checks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Some more pthread_* call mishandled errors

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --debug=mutex

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure os mutex define is visible in mutex.c

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only use process shared mutexes on support platforms

On FreeBSD, suggest the use of threads instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup handling of pthread_mutex*() error returns

They return the errno, not 0/-1. Thanks to
Fabio Checconi <fabio@gandalf.sssup.it>
for noticing this.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add fio_cpuset_exit() empty handler for platforms that don't support affinity

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include crc32c and crc32c-intel checksums in FreeBSD/Solaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris pset fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris compilation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

CPU set creation and destruction can fail on some platforms

Check for that and error out if necessary.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support for CPU binding in Solaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a cpuset exit function

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Prepare for support for CPU binding on other platforms

The interface was Linux/glibc centric, since that is what got there first.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

__usec_sleep() really just spins, rename it

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Long line style fix + comment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't allow higher CPU counts than what the system has

Basically just catch the condition before setting up the job, job files,
etc.

Also fixes a big with cpumask, it set the wrong part.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure that the given CPU range is within the bounds of the OS

glibc provides CPU_SETSIZE as the maximum CPU count.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add gtod_cpu option for pinning gettimeofday() to a single CPU

Similar to what real life products sometimes do, offload gettimeofday()
calls to a single CPU and have that update the current time into a shared
memory location. This option pins a specific CPU for that job, and excludes
it from participating in any of the IO jobs.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Properly strip end-of-option blanks

We don't want to fail with

option_foo = 0

when

option_foo=0

works.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow ranges of CPUs in cpus_allowed option

For a larger number of CPUs, it's a bit of a bother having to set
each one individually. Plus, you typically want to bind to a range of
CPUs, to keep the job core local (or whatever your preference). So extend
cpus_allowed to take ranges of CPU numbers as well. Now you can do:

cpus_allowed=0-7

and have your job confined to CPUs 0 through 7.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bogus 'may be used uninitialized' warning from older gcc versions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add comment on cpumask not working with a CPU count > 32

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: pool->file is only used in add_pool(), so make it local

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: unlink pool file in add_pool()

Don't defer until cleanup time, since we may not clean up if fio
crashes or is killed in other ways.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use frame pointer

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make log writing append

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for giving bw/clat/slat log prefixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in parser that causes a crash with a bad option

The priority sorting would crash if it failed to lookup both
of the passed in options.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.23

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Handle ctrl-c properly with threads

A stupid bug, the main process should just ignore its own SIGQUIT.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix leaks with using get_opt_postfix()

It returns a strdup(), so remember to free() the result when done.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>