Fio 1.17.3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Fix wrong accouning of zone bytes

Ryan Thomas <Ryan.Thomas@nuance.com> writes:

**********

With the following job description

[global]
bs=1k
direct=1
rw=read
ioengine=libaio
iodepth=2
zonesize=1k
zoneskip=1023k
write_bw_log

[/dev/cciss/c0d1]
write_iolog=foo2

The idea here is that I wanted to line up my zones to start at 1M
boundaries across the disk by writing 1k and skipping the next 1023k.
In practice I don't get the alignment because of an extra initial I/O.
I get an iolog that looks like

fio version 2 iolog
/dev/cciss/c0d1 add
/dev/cciss/c0d1 open
/dev/cciss/c0d1 read 0 1024
/dev/cciss/c0d1 read 1024 1024
/dev/cciss/c0d1 read 1049600 1024
/dev/cciss/c0d1 read 2098176 1024

There's a read that I don't expect in that log, namely the read starting
at byte 1024.  Because that read is there, the disk zones get offset by
one block.  I expected output like

fio version 2 iolog
/dev/cciss/c0d1 add
/dev/cciss/c0d1 open
/dev/cciss/c0d1 read 0 1024
/dev/cciss/c0d1 read 1048576 1024
/dev/cciss/c0d1 read 2097152 1024
/dev/cciss/c0d1 read 3145728 1024

***********

The problem is due to the fact that fio account zone_bytes when the IO
completes, which is clearly not correct for io depth > 1. So move the
accounting to when we fill the io_u instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Random IO fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More file extend fixes

Simplify the logic a bit, hope this works...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

file extent fix

I ran a test with latest fio using jobfile,

[global]
size=10m
[job1]
ioengine=sync
rw=write
filename=testfile

And second time,
[global]
size=30m --> size increased.
[job1]
ioengine=sync
rw=write
filename=testfile

fio did not extend the file to 30m.

In case of f->file_offset=0, f->io_size equals to f->real_file_size, hence no extend.
Following patch worked for me. But this patch will not handle the case where we have
to extend a file and with offset :(

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update iodepth_batch documentation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make iodepth_batch=1 by default

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libio: fix bug in commit hook

Also simplifies it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

surface-scan: make bs 64k again

I reduced it for testing, put it back at 64k to speed it up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add sample file for surface scan

Does a write phase and then a verify phase and verifies the written
data.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revert "Remove verify_pattern option, replace with verify=pattern:x"

This reverts commit bfb41d98f63cb9fb72cb7c82618be10bc6d52c33.

Reverting lets us have verify=meta and specify a verify_pattern at the same
time. Sample surfacescan conf file coming up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't truncate files if we don't need to extend them

Don't truncate files if we don't need to extend them.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add fill_device option

Add fill_device option. Causes fio to write until ENOSPC occurs (assuming
rw=write).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: Fix for new file creation

fio fails to create new file and just comes out without doing anything..
This happens only when you are creating file freshly.

./fio ../jobfile/jobfile.test
job1: (g=0): rw=randrw, bs=8K-8K/8K-8K, ioengine=sync, iodepth=1
Starting 1 process

Run status group 0 (all jobs):

Disk stats (read/write):
  sda: ios=0/0, merge=0/0, ticks=0/0, in_queue=0, util=0.00%

jobfile:

[global]
 bs=8k
 iodepth_batch=1
 randrepeat=1
 size=100m
 [job1]
 ioengine=sync
 rw=randrw
 filename=newfile

Manually bisected it to commit 509eab12448823a8eefbe925804b5308ee63bf5e
Here is the patch which fixed the issue for me. Please review and apply.
In case of new file "f->io_size > f->real_file_size" becomes true, since
f->real_file_size is 0.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Show fio help page when no arguments are given

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Overflow bugs in random map

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add Intel IOMeter file access server example job file

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for 'bssplit' option, fine grained block size contrl

From the HOWTO addition:

bssplit=str Sometimes you want even finer grained control of the
block sizes issued, not just an even split between them.
This option allows you to weight various block sizes,
so that you are able to define a specific amount of
block sizes issued. The format for this option is:

bssplit=blocksize/percentage:blocksize/percentage

for as many block sizes as needed. So if you want to define
a workload that has 50% 64k blocks, 10% 4k blocks, and
40% 32k blocks, you would write:

bssplit=4k/10:64k/50:32k/40

Ordering does not matter. If the percentage is left blank,
fio will fill in the remaining values evenly. So a bssplit
option like this one:

bssplit=4k/50:1k/:32k/

would have 50% 4k ios, and 25% 1k and 32k ios. The percentages
always add up to 100, if bssplit is given a range that adds
up to more, it will error out.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

'1' is minimum value for queue depth, don't allow 0

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: we have fls(), use it for rounding ring size up

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

unsigned vs signed warnings

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: can't free the stack

Need to check up on this...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Change io engine version

Minor change from V7, just the getevents() prototype.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

->getevents() should take unsigned args

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: cleanup event reaping

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: add proper read barrier between user_tail and completion read

Also fixup a bug with ring indexing, it needs to use the real ring size
mask, not the io depth.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: error handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: make sure ring buffer is a power-of-2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: memory allocation error handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add kcompat.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: update to -v7 as posted by Zach

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix failure in opening files with O_NOATIME

If we try to open a file with O_NOATIME and it fails, turn off
O_NOATIME and try again.  This occurs if the user does not own
the file and is unprivileged.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update HOWTO terse description

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fix utime_since overflow

utime_since was using a long for its return which overflows when the difference
between times is more than about 35 minutes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

don't log iopiece when do_verify is off

Don't log an iopiece if do_verify is off. This allows us to do large write
phases (with verify headers) without using a lot of memory.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.1: minor fixes

 - Document reading job files from stdin with `-';
 - Fix a typo and remove a spurious line.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <axboe@carl.home.kernel.dk>

Seperate ioprio value from setting

Newer kernels allow passing a value of '0' for resetting ioprio,
and our check for if (td->ioprio) doesn't allow passing a value of
0 into sys_ioprio_set(). So seperate the setting from the value by
adding a ->ioprio_set bool.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.17.2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix spurious eta output

 - Pad eta output with enough spaces to overwrite remaining characters
   from the end of previous lines;
 - Wrap an overly-long line.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More cpu engine fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Fixes for CPU burn engine

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add pread/pwrite support to sync engine

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: build warning fix on  gcc-3.4.6-3

On gcc-3.4.6-3

 >make log.o
gcc -W -Wwrite-strings -Wall -D_GNU_SOURCE -D_LARGEFILE_SOURCE
-D_FILE_OFFSET_BITS=64 -O2 -g  -D_FORTIFY_SOURCE=2 -rdynamic  -c -o
log.o log.c
log.c: In function `read_iolog':
log.c:308: warning: int format, fio_ddir arg (arg 3)

Which corresponds to

enum fio_ddir rw;
..
..
if (sscanf(p, "%d,%llu,%u", &rw, &offset, &bytes) != 3) {

Following patch will fix the warning. This was added by commit
21bd2987dc5d82a18af485cd1e7841e94137fc0c

Thanks,
-Guru

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice: fix fallback from copy vmsplice to nothing

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice: fix problem with current mainline kernels

splice was updated to work well with the newer vmsplice patches,
where we don't have to copy data at all. But that broke the
regular vmsplice that copies data, which is all the mainline kernel
still support.

Fix that up, so we do appropriate fallbacks. Fixes the problem
reported by gurudas pai <gurudas.pai@oracle.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Set O_NOATIME on open for non-regular files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio HOWTO/man fix

If I use ioengine=cpu , fio errors out, I referred HOWTO and man pages,
both  says use "cpu" for cpu load. Looked at the code it should be
ioengine=cpuio.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of syslet-rw compile warnings on 32-bit

The fixed size API repeatedly warns on the pointer to integer
of different size cast, so sneak an unsigned long conversion in
first. Makes gcc happy and should always be ok.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't use seeks on stdin for job file parsing

The previous commit added the support for reading a job file
from stdin, but this breaks when fio uses fgetpos/fsetpos on
the file handle. So remove the seeking.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for `-' file to read from stdin

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update syslet-rw to fixed size ABI structures

The syslet system calls moved to using fixed size members of structures.  This
updates the syslet-rw engine to match.  syslet.h was copied from the kernel and
then uXX was replaced with uintXX_T.  Casts were added to move between integers
and pointers.

Signed-off-by: Zach Brown <zach.brown@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Exec the getpid atom when testing for syslet support

Signed-off-by: Zach Brown <zach.brown@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Initialize the new_thread_stack so syslet support testing has one

Signed-off-by: Zach Brown <zach.brown@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Trivial spelling correction

Signed-off-by: Zach Brown <zach.brown@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update syslet system call numbers

System calls have been added to mainline while syslets has been pending.

Signed-off-by: Zach Brown <zach.brown@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

General fio.1 improvements

 - Fixed a bunch of typos and formatting errors.

 - Wrapped some overly-long lines.

 - Added a few new default parameter values.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

man 1 fio

I have put together a draft man page for fio.  The contents are from
fio's HOWTO and README documents and edited for brevity and the odd
typo.  The point is not to replace the existing docmentation, but to
serve as a quick reference.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add ETA output control and interactivity check

 - Real-time ETA display is only printed if output is to a terminal.

 - Accordingly, add --eta=always|never|auto option.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Full readonly check

Both in core and in engines. To the extent possible, this should catch
even fio errors.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Extend --readonly

- Never allow open of a data file with writeable bits sets, and that
  includes extend as well.

- Skip any writes in replay logs (iolog/iolog2/blktrace)

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --readonly option

Suggested by Valerie Henson. It can be used as an extra safety guard
against accidentically turning on a write setting. See README.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice: update to new vmsplice-to-user interface

I changed the kernel bits (they aren't merged yet), so update
the fio splice engine to reflect that.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add display of major and minor faults

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Verify handlers should return Exxx error, not just 1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix splice engine compile

We need to move the splice_unmap_io_u() function.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice engine: add unmapping for vmsplice-to-user

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add unmap hook that belongs to the IO engines

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Type in SPLICE_F_UNMAP ifdef

Should be an ifndef obviously, not ifdef.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix eta for pure read workload with verify enabled

Verify doubles the expected IO count, but that is only true if
we are first writing a file and then reading it back to verify.
If the workload running is just reading back data to verify it,
the IO count is already correct.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.17.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix ETA display for iolog replay

Valerie Henson reported (and supplied a patch) to fix the issue with
ETA display not being anywhere near correct when replaying an iolog.
Fix this by ensuring that td->total_io_size is always set correctly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Adjust file layout printf

Make it file(s) not files, there may be 1 or many.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Style fixup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace: skip notify traces

Fio will not interpret them correctly, resulting in weird behaviour
(like replaying that seems to hang, but is merely just waiting for a
very long time).

Fixes the issue reported by Joshua Root.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

clat/slat display improvements

If the avg and min are small, we'll display in usec. But that can make
the max hard to read, so convert min/max to strings like we do for
other values.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

README: correct command line description

You can do anything on the command line, it's not limited.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice: automatically detect whether vmsplice-to-user works

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.17

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow upper-case 'X' for hexidecimal in parser

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove verify_pattern option, replace with verify=pattern:x

Integrate the pattern verification with the other verify types,
it's much cleaner that way.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Mark do_verify and verify_fatal as booleans

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add verify_fatal option

Causes fio to exit after a single block verification failure, instead of
checking the remainder as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve verify pattern failure logging

Show number of bad bits and block offset.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Note parent option 'verify' for 'do_verify'

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add do_verify option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Verify the pattern we've written

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix memswp. Its scratch space was too small

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add verify_meta verification type

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More option help updates

Rearrange some of the entries, and add more parent <-> child links.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Be a little more clever in finding child options

We don't need ->parent_seen, just start from the next option.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Parent options didn't recurse properly

It only displayed the first found. Add a ->parent_seen and
find all matches.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add parent option to 'verifysort'

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add parent link to options

Then we can nest display for --cmdhelp=all, to tie options
together.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update non-linux Makefiles

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move checksumming files to seperate directory

Too many of them now, move them out-of-sight. They will rarely
be modified anyway.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Seperate verify_header from the checksum type

If using one of the leaner checksums, we potentially have almost
128 more bytes of real data in a block.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Prepare for splitting the verify_header from the checksum header

Some of the checksums carry a lot of data. We unionize the checksum
header right now inside the verify header, causing a lot of wasted
space for the leaner variants.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add sha256 and sha512 checksums

That should suffice...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>