Make fdatasync OS optional

OSX does not have it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

os.h should include headers it needs by itself

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include juggling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add Solaris helper object

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make weak posix_memalign() private to Solaris

OSX has posix_memalign() but no memalign() and no malloc.h
standard include. So until we have a autoconf based build
system, move this weak helper to the private Solaris header.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add generic random helpers

FreeBSD and OSX can both use these.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix some issues with the OSX port

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support for Mac OS 10.6.2

Contributed by Small Tree, adopted to newer fio version by me.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.36

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix rate option with iodepth > 1

The rate option currently doesnt work when used with libaio engine.
The math currently, calculates the time t2 (when the I/O completed) -
t1 (when the io_u unit was created) as the time it takes for the I/O
and the bandwidth for the rate calculation is calculated from that.
This math will work correctly for sync engine as there is only one io
in progress at a time, but for libaio engine, when there are multiple
I/Os queued, the same time (as in from t1 to t2) could be attributed
to other I/Os as well so the actual bandwidth is actually higher.
I have a patch, but this is more brute force where I take the total
bytes read/written divided by the time since I/Os started to calculate
the bandwidth and decide on the time that needs to be spent sleeping
(if any).This is a little more heavy weight than the previous math. I
think there are probably simpler/cleaner solutions than this but this
is the current patch I have for it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.36-rc2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for specifying UID/GID

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix compilation for non-linux

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Autodetect cgroup blkio mount point

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix an inverted cgroup exit check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.36-rc1

Usually don't do -rc releases, but we have some substantial additions
this time.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

cgroup cleanups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move cgroup list to proper shared storage

Otherwise we have per-job lists, and that doesn't help very much
with cleaning up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

cgroup cleanups/fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Better support for setting up and removing private cgroups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

CGROUP fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for blkio cgroups on Linux

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move back to realtime clock

On some systems MONOTONIC still causes a hang.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add helpers include file

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix compile error due to missing ENOMEM on some platforms

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Add weak helpers to other makefiles

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix posix_memalign() return value in case of error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add posix_* weak helpers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Re-include fallback BITS_PER_LONG fallback

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Correct size of tiobench profile

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for simple profile benchmarks

One of the reasons that tiobench gets used a lot, is that you
simply have to run it. For "real" benchmarks, you usually
have to configure them first. This adds support for easy testing
by adding some predefined and included workloads. This commit
includes tiobench, to run a tiobench like workload you would
simply do:

$ fio --profile=tiobench

and that would be it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only do math on known keywords

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support simple math on reserved keyword expressions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Log bad verify header location

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.35

A few nasty bugs fixed since the last tag, so lets
cut a new one.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't pass more than the queued IO depth in to getevents()

Otherwise we can hang fio, since it'll attempt to wait for more
IOs than we have in flight.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix race on io_u->flags

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move BITS_PER_LONG define to arch

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Wait for async threads before freeing/killing IO buffers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup iolog replay and add 'wait' command

I have been working with Mike O'Sullivan, a senior lecturer at the University
of Auckland, New Zealand. He has been adapting fio 1.34.1 to work with iolog
files and also to be able to read a "wait" command to allow the iolog file to
specify a wait (in millisecs) before the next io. Mike's not completely
confident that his changes are correct in the overall fio picture, but they are
working with the iolog files we are using. What we did:

1) We incorporated wait into iolog file reading;
2) We made some modifications so that read_iolog worked.

We have attached a patch for fio-1.34.1.tar.bz2 along with some demonstration
fio config files and iolog files.

We are doing this so we can use an open source SPC-1 emulator to
generate SPC-1 like workloads and then run them in fio.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix race condition when using asynch verify

I discovered the race condition when using asynch verify with libaio engine.
The code assumes that because the td->cur_depth value is not 0 that
there is still I/O pending and issues io_getevents when the I/O was
actually being verified by the asynchronous verify thread. This causes
the code to hang.

(Updated by Jens to use a new io_u->flag bitfield instead of adding a new
 integer to struct io_u).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support > 4 byte verify write patterns

This is the patch I have to write/read/verify hex patterns of size > 4
bytes.  I have tested these on hard drives and did not see any
performance change. I am assuming the performance drop if any might show
up in the read phase for probably solid state drives and maybe it can be
worked around using the asynchronous verify flag.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.34.2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in bssplit parsing

I found a bug is bssplit parsing in bssplit_ddir() when trying to use
FIO on an ARM platform.  It looks like str_to_decimal() takes a "void
*" as its fourth argument, which it passes to get_multi_bytes(), which
is passes to fio_get_kb_base(), which casts it to a "struct
thread_data *".  bssplit_ddir() is passing in "struct thread_data **",
which I think is causing fio_get_kb_base() to go paw around in the
stack; I believe the different stack layouts between ARM and x86 is
causing me to see this problem.  The first change that introduces this
bug seems to be d6978a3242daad9cb7b0710b724f19225d1ed7e2.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Fix problem with mutexes and MONOTONIC clock

With the latest fio git tree, I get:

    fio: job startup hung? exiting.

on startup, and it looks like the latest commit, 69a852f5 ("Fix wrong
clock source in mutex") breaks things for me (Ubuntu 9.10 beta).  My
system seems to use CLOCK_REALTIME for pthread_cond_timedwait() by
default.

The cleanest solution seems to be to explicitly set which clock to use
in pthread_cond_timedwait() via pthread_condattr_setclock() when
initializing the condition variable, although I'm not sure how portable
this is away from modern Linux (ie do all platforms that fio cares about
have pthread_condattr_setclock()?).

Signed-off-by: Roland Dreier <rolandd@cisco.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix wrong clock source in mutex

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.34.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Really fix dm/md slave disk utilization

We should just handle it internally in the disk util inc/dec. Make
it iterate each slave and modify their usage count, too.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revert "Fix disk utilization for md/dm slaves"

This reverts commit f03f8e473b7c8a5c4ed2de0b99717cf75521bf69.

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Fix disk utilization for md/dm slaves

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add generic bdev_size function

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix compile error on IA64

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a bit of huge page documentation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add hint on being root for EPERM and shmhuge error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.34

Two critical fixes since 1.33 warrant a new release. This now works
properly with shm huge pages again, and a deadlock with lvm
component resolving is fixed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure shmhuge allocations are huge page size aligned

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Silence the style/whitespace police

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup diskutil.c

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Bug fix: handles disk device used multiple times

There were issues in having the same underlying device being referenced
multiple times (via different paths) when reporting storage I/O
statistics. As an example: having two (or more) LVM2/DM volumes crafted
out of the same MD array.

This patch simply skips over any devices previously seen.

Signed-off-by: Alan D. Brunelle <alan.brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.33.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix typo in write_barrier() on Alpha

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.33

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document the verify behaviour wrt read and write workloads

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't assume read IO are always verifies if verify is enabled

If it's a mixed read/write workload, we're likely just wanting to
verify the writes we do.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

MIPS support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't start new groups for numjobs=

No point in doing that, and it makes two identical jobs behave
differently if typed manually or implicitly with numjobs=x

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.1: fix hyphen-used-as-minus-sign

Signed-off-by: Michael Prokop <mika@grml.org>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add Linus' optimized sha1 hash for checksum

It does appear to be pretty fast.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for reserved keywords

Currently $pagesize, $mb_memory, and $ncpus are supported.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add strong madvise() hint for cache pruning

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove old FIXME comment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

FreeBSD: use generic bdev size retrieval

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

solaris: implement blockdev size getting

Just use lseek(..., SEEK_END), we should actually be able to use that
on all platforms.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

solarisaio: fix aio errno assignment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow ':' in filenames

You can now use '\' to escape a colon in a filename.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris cpu affinity fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.32

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: enlarge pool size

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix problem with bw log not working for writes

We inadvertently only updated the read stat sample time cache,
so writes never logged any activity since negativ time spent is
rounded to zero.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Verify pattern & header meta data

Also verify meta data when doing pattern verify, if available.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A few more kb_base fixups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make kb_base apply to parser k/m/g etc values

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add tera/peta suffixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add kb_base option to specify the base unit of a kilobyte

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of KiB vs KB distinction

Confuses more than it does good, drop it and default to just using KB,
MB, etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

parser: dump valid option format for ->verify() fail

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.31

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix broken completion latency numbers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: just round alloc_size to int aligned for post redzone pointer

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make smalloc redzone pointer properly aligned

It would SIGBUS on archs that require proper alignment, and work
suboptimally on others. Real fix is pending, making sure that
we always return naturally aligned pointers. But this at least
makes it work on sparc64.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print error on thread init failure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Async verify HOWTO/man update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Code indentation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>