Fio 1.34.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Really fix dm/md slave disk utilization

We should just handle it internally in the disk util inc/dec. Make
it iterate each slave and modify their usage count, too.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revert "Fix disk utilization for md/dm slaves"

This reverts commit f03f8e473b7c8a5c4ed2de0b99717cf75521bf69.

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Fix disk utilization for md/dm slaves

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add generic bdev_size function

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix compile error on IA64

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a bit of huge page documentation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add hint on being root for EPERM and shmhuge error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.34

Two critical fixes since 1.33 warrant a new release. This now works
properly with shm huge pages again, and a deadlock with lvm
component resolving is fixed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure shmhuge allocations are huge page size aligned

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Silence the style/whitespace police

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup diskutil.c

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Bug fix: handles disk device used multiple times

There were issues in having the same underlying device being referenced
multiple times (via different paths) when reporting storage I/O
statistics. As an example: having two (or more) LVM2/DM volumes crafted
out of the same MD array.

This patch simply skips over any devices previously seen.

Signed-off-by: Alan D. Brunelle <alan.brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.33.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix typo in write_barrier() on Alpha

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.33

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document the verify behaviour wrt read and write workloads

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't assume read IO are always verifies if verify is enabled

If it's a mixed read/write workload, we're likely just wanting to
verify the writes we do.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

MIPS support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't start new groups for numjobs=

No point in doing that, and it makes two identical jobs behave
differently if typed manually or implicitly with numjobs=x

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.1: fix hyphen-used-as-minus-sign

Signed-off-by: Michael Prokop <mika@grml.org>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add Linus' optimized sha1 hash for checksum

It does appear to be pretty fast.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for reserved keywords

Currently $pagesize, $mb_memory, and $ncpus are supported.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add strong madvise() hint for cache pruning

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove old FIXME comment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

FreeBSD: use generic bdev size retrieval

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

solaris: implement blockdev size getting

Just use lseek(..., SEEK_END), we should actually be able to use that
on all platforms.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

solarisaio: fix aio errno assignment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow ':' in filenames

You can now use '\' to escape a colon in a filename.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Solaris cpu affinity fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.32

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: enlarge pool size

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix problem with bw log not working for writes

We inadvertently only updated the read stat sample time cache,
so writes never logged any activity since negativ time spent is
rounded to zero.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Verify pattern & header meta data

Also verify meta data when doing pattern verify, if available.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A few more kb_base fixups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make kb_base apply to parser k/m/g etc values

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add tera/peta suffixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add kb_base option to specify the base unit of a kilobyte

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of KiB vs KB distinction

Confuses more than it does good, drop it and default to just using KB,
MB, etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

parser: dump valid option format for ->verify() fail

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.31

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix broken completion latency numbers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: just round alloc_size to int aligned for post redzone pointer

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make smalloc redzone pointer properly aligned

It would SIGBUS on archs that require proper alignment, and work
suboptimally on others. Real fix is pending, making sure that
we always return naturally aligned pointers. But this at least
makes it work on sparc64.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print error on thread init failure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Async verify HOWTO/man update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Code indentation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make async IO verify offload handle errors properly

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve async verify offload efficiency

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for async IO verification offload

This adds support for setting up a number of IO verification offload
threads, instead of doing the offload inline. An option for controlling
the CPU affinity of those threads are always added.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mmap engine: remove code duplication

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mmap engine: allow full mmaps for 64-bit machines

No need to do partial mmaps there.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.30

O_DIRECT accidentically got broken by the iomem_align option, so
lets just cut a new major release.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add warning about potentially missing O_DIRECT support or bad alignment

If the first O_DIRECT fails, then it's likely because:

1) The file system does not support O_DIRECT, or
2) The user set iomem_align to an unsupported value.

Let the user know, otherwise they only see EINVAL and may not realize
why things aren't working.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't limit direct IO to 512b aligned

This is a platform restriction at best, eg on Linux block devices must
have 512b memory buffer alignment (or hw sector size). With NFS, this
is not required. And other operating systems may have other limitations
as well, so don't hard core anything.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix O_DIRECT memory alignment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.29

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Fix issue with fill_device=1 and continue_on_error

I added a change so when both the continue_on_error and fill_device
option is on, when it hits ENOSPC issue the code ignores the error.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add code to detect a task that exited prior to up'ing the startup mutex

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't allow pre_read on IO engines that cannot seek

We cannot pre-read files, if we cannot seek back and read the same
data again. So just disable it with a warning to the user.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.29-rc1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix compile error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move gtod_cpu affinity check to verify callback

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move rw= write && read_only check to ->verify callback

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for the iomem_align option

This allows detailed control of the alignment of the IO buffers
that fio uses.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add verify hook to options

This allows us to individually verify options, instead of having
a big function that attempts to fix things up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only show maxval in --cmdhelp if it is given

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup IO buffer memory allocation

This is in preparation for adding an option that controls the
alignment of the buffers.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mmap engine: fix for large files on 32-bit archs

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sg engine: IO should be done sync of O_SYNC and O_DIRECT

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for fdatasync()

Adds a new option, fdatasync=. It's identical to the fsync= option,
but uses fdatasync() instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Alter the order of checking time exceeded vs getting an io_u

I was hitting a case where fio would loop for ever even though the
runtime was exceeded if it had difficulty getting the io_u struct, so
I suggest this change to the code so it wld not loop forever.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Default print pretty up

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cmd help type fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix typo on continue_on_error patch

Also expand the error print a bit.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a 'continue_on_error' option to fio

Add option to make fio continue on non-fatal errors.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.28

Should be good enough for another major release.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Yet another rate fixup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve rate limiting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of (now) unused rate_throttle()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.27.4

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove a reference check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File close fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

More documentation updates

fio.1 should now be in sync with HOWTO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Documentation update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.27.3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix slat numbers

After commit 306ddc9752eef70c3fbb111af63d197a3a6d447f, it was logging
the blocksize since arguments 3 and 4 were switched.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bad min rate check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

parser: get rid of FIO_OPT_STR_VAL_INT

It's treated the same as FIO_OPT_INT since we got rid of the
int vs siint distinction.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use __e for errno

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.27.2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix problem with too many opened files

If using raw block devices, we would leak the fd from the bdev_size()
function. Also add some debug triggers to catch this in the future.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>