Make file structures dynamically allocated

Current td->files is an array of files, make it an array of pointers
instead and allocate individual file structures on the fly. This is
a preparation patch for file sharing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Enable quiet build mode, enable by default

Add V=1 to make flags to force a verbose build.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update close file handler to return potential error

Filesystems like NFS do return errors on close(), up until now we
have been ignoring them. Fix that. Adjust io_ops engine version
to 9, since this is an API change.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add close_files() that closes all files

Renames the current implementation to close_and_free_files(), since
that is what it actually does.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only initialize random map if we are actually going to use it

We alloc the randommap even for sequential workloads right now,
if the 'norandommap' option isn't given. Fix that, check for
td_random() before continuing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix potential crash in terminate_threads()

td->io_ops can be NULL, if the thread is already gone. So copy the
pointer and check before dereferencing it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

When retrieving a requeued IO, don't setup data pointers again

This is a bug, if we had a residual data count we would be
retrying the full request again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bad inlining in mutex.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix recursive dump of options

If a child also had a child, we would miss it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Confusion between mutex and semaphore naming

There's a semaphore implementation and option coming, so rename the
bits.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --debug=parse for option parsing debug

Adds log.h and debug.h to split the logging and debug bits out of
fio, so that the parser can use them.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.1: add section option and remove spurious command text

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

extend_file need continue when the file exists

If some testing files exist and some others don't exist, fio will
report failure on the no-exist file. Here is a patch to fix it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move syslet/indirect bits into the OS specific directory

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove dead FIO_FILE_EXISTS flag

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

prune_io_piece_log() also needs to take list into account

If we didn't use the rbtree but have remaining entries to prune,
loop over the list as well and free those entries.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove dead FIO_FILE_NOSORT flag

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fix hugepage-size type mismatch

hugepage_size in thread_options is of type int, but listed in
options.c as type long.  This patch reconciles the two.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

account for delayed jobs when reaping threads

reap_threads does not account for jobs that have been delayed
(e.g. via startdelay) which may lead to all threads being
terminated.  The following job file demonstrates the problem:

[job1]
filename=job1file
size=16k
startdelay=1

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.19

1.18x had some stupid bugs with random IO generation, so release
a new full version.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't always print usage info

For instance, when we ask for help don't complain about missing job.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Mention new --debug=random option in README

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More random fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix TO_MAP_BLOCK() taking offset into account twice

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add FIO_SIGQUIT engine option

For network engines, we need a signal to make it abort the connection
if it isn't already running. Otherwise fio would just stall on ctrl-c
before the connection was established.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup parse_cmd_line()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --section command line option

It enables the user to ship bigger and more complex job files, while
still allowing fio to only run a part of it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Exit on bad command line options

It could be dangerous, eg if you expected --read-only to do its job
when you really needed to type --readonly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add/correct missing command line options in help text

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.18.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix typo in mark_random_map()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix random location generation with offset != 0

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: HOWTO update

In case of  cpuio , on smp machines we need increase numjobs
to <num of cpu's> to get the desired load across cpu's.
Just updated HOWTO with this info.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Verify doesn't really work on mixed read/write workloads, so warn

Unless the file is pre-populated, this cannot work. So warn the user
of such a bad construct, since the warning he/she receives from fio
only tells you about a verification error (which, technically, is what
is happening).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix misplaced exit(0) in cpus_allowed setting

Must have been a leftover from some debug session. It prevented any
job file with cpus_allowed set from running.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: minor HOWTO fix

writev(3) should be writev(2)

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

man page update

--debug command line and bssplit job option missing. Add vsync io engine
and clarify bssrange.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.18

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix offset retrieval problem for read and write having different bs ranges

"Zhang, Yanmin" <yanmin_zhang@linux.intel.com> reported that fio got
stuck with a job file that had different read and write block size
ranges. The problem is that get_next_offset() didn't take the data
direction into account, so when it generated an offset close to the
end of the file, it may not have been legal for that data direction.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

parser: always set off3/4 even if we have more

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sync engine: missing fsync check in vsync

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add vsync io engine

It uses readv/writev to transfer the data and coalesces adjacent
data into a single system call (emulating queueing).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve depth marking

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Decrement io_issue count when requeuing an io_u

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add debug trace for io_u_queue_complete()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't allow FIO_SYNCIO io engine flag to override queue depth

Another bad check, just kill it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sync engine: cleanup psync/sync seperation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't force iodepth == 1 for SYNC io engine

Most will not do queuing, but allow it to be set in case some of
them do.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in fio mutex initialization

Fio sem->cond isn't initialized properly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

A few debug debug log fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add option for not including the tracing stuff

It eats some space.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add blktrace and verify debug tracing

Also add "all" as a keyword for setting all values, and pretty up
the output a bit by justifying and aligning the output.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

CPU burn engine fix

It's ok to have zero buflen, if we are not doing real IO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A bunch of fixes

Really should have been split up, but...

- Check this_io_bytes at the bottom of do_io() so that async engines
  have a chance to queue pending IO before deeming this job done.

- dprint() should use log_info(), may not be stdout we want.

- last block bug in get_next_free_block(), if max blocks wasn't a
  multiple of the bitmap size.

- Add more debug points.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Typo in 'init' debug option mask

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --debug for enabling internal dumps on various actions

A little weak currently, when it's fully integrated everywhere in
fio it'll help find fio problems that I can't trigger.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Stop job if it fails to do any IO for a new invocation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.17.3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Fix wrong accouning of zone bytes

Ryan Thomas <Ryan.Thomas@nuance.com> writes:

**********

With the following job description

[global]
bs=1k
direct=1
rw=read
ioengine=libaio
iodepth=2
zonesize=1k
zoneskip=1023k
write_bw_log

[/dev/cciss/c0d1]
write_iolog=foo2

The idea here is that I wanted to line up my zones to start at 1M
boundaries across the disk by writing 1k and skipping the next 1023k.
In practice I don't get the alignment because of an extra initial I/O.
I get an iolog that looks like

fio version 2 iolog
/dev/cciss/c0d1 add
/dev/cciss/c0d1 open
/dev/cciss/c0d1 read 0 1024
/dev/cciss/c0d1 read 1024 1024
/dev/cciss/c0d1 read 1049600 1024
/dev/cciss/c0d1 read 2098176 1024

There's a read that I don't expect in that log, namely the read starting
at byte 1024.  Because that read is there, the disk zones get offset by
one block.  I expected output like

fio version 2 iolog
/dev/cciss/c0d1 add
/dev/cciss/c0d1 open
/dev/cciss/c0d1 read 0 1024
/dev/cciss/c0d1 read 1048576 1024
/dev/cciss/c0d1 read 2097152 1024
/dev/cciss/c0d1 read 3145728 1024

***********

The problem is due to the fact that fio account zone_bytes when the IO
completes, which is clearly not correct for io depth > 1. So move the
accounting to when we fill the io_u instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Random IO fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More file extend fixes

Simplify the logic a bit, hope this works...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

file extent fix

I ran a test with latest fio using jobfile,

[global]
size=10m
[job1]
ioengine=sync
rw=write
filename=testfile

And second time,
[global]
size=30m --> size increased.
[job1]
ioengine=sync
rw=write
filename=testfile

fio did not extend the file to 30m.

In case of f->file_offset=0, f->io_size equals to f->real_file_size, hence no extend.
Following patch worked for me. But this patch will not handle the case where we have
to extend a file and with offset :(

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update iodepth_batch documentation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make iodepth_batch=1 by default

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libio: fix bug in commit hook

Also simplifies it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

surface-scan: make bs 64k again

I reduced it for testing, put it back at 64k to speed it up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add sample file for surface scan

Does a write phase and then a verify phase and verifies the written
data.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revert "Remove verify_pattern option, replace with verify=pattern:x"

This reverts commit bfb41d98f63cb9fb72cb7c82618be10bc6d52c33.

Reverting lets us have verify=meta and specify a verify_pattern at the same
time. Sample surfacescan conf file coming up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't truncate files if we don't need to extend them

Don't truncate files if we don't need to extend them.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add fill_device option

Add fill_device option. Causes fio to write until ENOSPC occurs (assuming
rw=write).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: Fix for new file creation

fio fails to create new file and just comes out without doing anything..
This happens only when you are creating file freshly.

./fio ../jobfile/jobfile.test
job1: (g=0): rw=randrw, bs=8K-8K/8K-8K, ioengine=sync, iodepth=1
Starting 1 process

Run status group 0 (all jobs):

Disk stats (read/write):
  sda: ios=0/0, merge=0/0, ticks=0/0, in_queue=0, util=0.00%

jobfile:

[global]
 bs=8k
 iodepth_batch=1
 randrepeat=1
 size=100m
 [job1]
 ioengine=sync
 rw=randrw
 filename=newfile

Manually bisected it to commit 509eab12448823a8eefbe925804b5308ee63bf5e
Here is the patch which fixed the issue for me. Please review and apply.
In case of new file "f->io_size > f->real_file_size" becomes true, since
f->real_file_size is 0.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Show fio help page when no arguments are given

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Overflow bugs in random map

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add Intel IOMeter file access server example job file

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for 'bssplit' option, fine grained block size contrl

From the HOWTO addition:

bssplit=str Sometimes you want even finer grained control of the
block sizes issued, not just an even split between them.
This option allows you to weight various block sizes,
so that you are able to define a specific amount of
block sizes issued. The format for this option is:

bssplit=blocksize/percentage:blocksize/percentage

for as many block sizes as needed. So if you want to define
a workload that has 50% 64k blocks, 10% 4k blocks, and
40% 32k blocks, you would write:

bssplit=4k/10:64k/50:32k/40

Ordering does not matter. If the percentage is left blank,
fio will fill in the remaining values evenly. So a bssplit
option like this one:

bssplit=4k/50:1k/:32k/

would have 50% 4k ios, and 25% 1k and 32k ios. The percentages
always add up to 100, if bssplit is given a range that adds
up to more, it will error out.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

'1' is minimum value for queue depth, don't allow 0

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: we have fls(), use it for rounding ring size up

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

unsigned vs signed warnings

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: can't free the stack

Need to check up on this...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Change io engine version

Minor change from V7, just the getevents() prototype.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

->getevents() should take unsigned args

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: cleanup event reaping

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: add proper read barrier between user_tail and completion read

Also fixup a bug with ring indexing, it needs to use the real ring size
mask, not the io depth.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: error handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: make sure ring buffer is a power-of-2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: memory allocation error handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add kcompat.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: update to -v7 as posted by Zach

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix failure in opening files with O_NOATIME

If we try to open a file with O_NOATIME and it fails, turn off
O_NOATIME and try again.  This occurs if the user does not own
the file and is unprivileged.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update HOWTO terse description

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fix utime_since overflow

utime_since was using a long for its return which overflows when the difference
between times is more than about 35 minutes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

don't log iopiece when do_verify is off

Don't log an iopiece if do_verify is off. This allows us to do large write
phases (with verify headers) without using a lot of memory.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.1: minor fixes

 - Document reading job files from stdin with `-';
 - Fix a typo and remove a spurious line.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <axboe@carl.home.kernel.dk>

Seperate ioprio value from setting

Newer kernels allow passing a value of '0' for resetting ioprio,
and our check for if (td->ioprio) doesn't allow passing a value of
0 into sys_ioprio_set(). So seperate the setting from the value by
adding a ->ioprio_set bool.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.17.2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix spurious eta output

 - Pad eta output with enough spaces to overwrite remaining characters
   from the end of previous lines;
 - Wrap an overly-long line.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More cpu engine fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio