Fix read_iolog

Caveat - it only works with 1 file, unfortunately. Will need a format
change to get that right.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.16

Mainly minor bug fixes, but also a few features.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio is also available over http://

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix file unlinking

We never set FIO_FILE_UNLINK. Just unlink if it's a regular
file and unlink=1 was given.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix command line parsing bug

The first parameters are for the global job, if no --name section
has been seen yet. We don't require a --name=global section to appear
first.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix --showcmd bug

Only append 'fio' if this is the first time we see a [] section.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Mask in BE ioprio class as default

We can't just set the ioprio value, we always have to set a class
as well. If no class is given, just assume it's the default best
effort class we want.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revert "We do need to send a SIGQUIT to a process/thread, even if it is running"

This reverts commit ef5fffa591e583de26c6ce14f9448104d6dfbe79.

The problem with the commit is that if we SIGQUIT a thread, it
gets exited without updating runtime/etc info. And then we
don't get a new status display on exit.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Have the job set ->terminate when runtime is exceeded

Then we don't have to do a seperate check for time_based exit.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add time_based option

This allows fio to keep running, even if the workload has completed.
It will simply restart the workload over and over, for as long as the
runtime setting allows.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Replace random constant with the symbolic name (GR prime)

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

IO buffer allocation cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add zero_buffers option

This option will cause all IO buffers to be initialized to all zeroes.
The default is to fill them with random data.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Reduntant write bit checks

No point in checking for td_rw(td) || td_write(), since td_write()
will also be true for td_rw().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

We do need to send a SIGQUIT to a process/thread, even if it is running

It could be stuck in a syscall, and not abort on its own.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Log and dump short ios

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If writing to stdout, move stat output to stderr

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Better checks for disk util init

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to check for type before doing fsync()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for using '-' as filename for stdin/stdout

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix problem with f->last_completed_pos not being correct on requeues

This causes an unnecessary seek. Usually this is just noise, but if
the device isn't seekable, it becomes a real problem.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add check for pipe/fifo files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Warn more gently if the kernel is too old for io scheduler switching

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.15.2

Fixes:

- Segfault on stonewall option issues
- Disk utilization on raw devices on Linux
- Parsing fixes (blank at front/end, comments)
- --showcmd option, turning a job file into a command line
- Update to work with newest GUASI
- File creation problem.
- disk-less IO engine init clean

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Put the ->real_file_size handling into fio

Then we can remove it from the io engines, where the disk-less IO
engines provided a ->setup() hook just to set that.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A ->close_file() operation isn't strictly needed

So be sure to check the pointer before calling it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

For non-file engines, set ->real_file_size if total size is known

Fixes a segfault with rand* directions.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug with stonewall option causing segfault

fio core dumped , with stonewall,

[global]
ioengine=libaio
direct=1
bs=8k
iodepth=1024
iodepth_batch=60
randrepeat=1
size=1024m
directory=/home/oracle
[job1]
rw=randread
filename=file1
[job2]
rw=randwrite
filename=file1

stonewall

[job3]
rw=randread
filename=file1
[job4]
rw=randwrite
filename=file1

 >fio myjob
job1: (g=0): rw=randread, bs=8K-8K/8K-8K, ioengine=libaio, iodepth=1024
job2: (g=1): rw=randwrite, bs=8K-8K/8K-8K, ioengine=libaio, iodepth=1024
job3: (g=1): rw=randread, bs=8K-8K/8K-8K, ioengine=libaio, iodepth=1024
job4: (g=1): rw=randwrite, bs=8K-8K/8K-8K, ioengine=libaio, iodepth=1024
Starting 4 processes
Quit (core dumped)PP] [99.3% done] [  1298/     0 kb/s] [eta 00m:03s]

(gdb) bt
t_rate=0xfeeee790, m_rate=0xfeeee794) at fio.c:1011

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix problem with treating ENOENT as an error

It's just a zero-sized file, as far as get_file_sizes() is concerned.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI API change

There's been an API change in the latest GUASI library, and this fixes it
inside FIO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a '--showcmd' option for dumping a job file

It effectively shows what the equivelant command line string would be.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Let parse_options() decide on when parsing failed

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Have strip_blank_end() also strip off any comments

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix sysfs_root assignment with multiple identical devices

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move os/arch/compiler headers into directories

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Seperate disk util code out of fio.c

It's only used if FIO_HAVE_DISK_UTIL is set.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix disk utilization and ioscheduler switch on raw devices

Add a method for mapping a raw device to the real block device,
so our sysfs lookup stuff works as expected.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.15.1

Minor bug fixes, do a maintenance release.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sg engine: fix old comment

We don't even need to set f to files[0], the loop sets up
the poll appropriately.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sg engine: do type check only when sd has been setup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sg engine: errno return value fixes

It was a little all-over-the-place, unify it - return -1 for error,
let the caller look at errno for the specific error.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

splice engine: return negative for error

Otherwise fio_splice_queue() will think it has handle errno number
of bytes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Log and return error in early file open checks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Save a division, if delta is non-zero.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Unlink a writeable file, if overwrite isn't set

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of axboe@router:/data/git/fio

Warn when seeing a job option outside of a job section

Otherwise it's easy to screw up because fio will have ignored
a number of options. This has happened to me with bad pasting
of job files before, missing the starting '[' bracket.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Increase latency histogram resolution

Currently it was at one decimal, but that can cause us to lose
precision. Always ensure to round up for higher entries of they
get rounded to 0.0 for print.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet engine: fix segfault if syslets are not available

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix loop with multiple files

The random lookup would loop infinitely, if no files were
open. So check for that and check for number of files
done.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix memory overflow with > 64 byte options

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only use posix_fallocate(), if we are overwriting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix parsing of job section with preceeding space

We need to strip the blank spaces from the front.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

compiler.h needs to define __must_check if not set

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix typo in previous compiler patch for gcc 3.x

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix __must_check compile on older compilers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug with stripping white space at the front of an option

After advancing the passed in pointer, the destination never
got set.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio version 1.15

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix typo in the netio example

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix short IO handling for verifies as well

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Handle short read at the end of file

Currently we don't issue an io operation if offset + buflen
is larger than the file size, but that means we don't reach
the last bit of a file if the size isn't block size aligned.
Instead handle a short read properly. It actually cleans up
the code as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't inherit new_group for sub-jobs

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix size setting on raw devices

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix infinite loop in get_next_file_rr()

We need to clear f to NULL before doing a continue on FIO_FILE_DONE.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a REPORTING-BUGS file

Often people forget the fio version, job file, or parameters.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Better check for not doing a file twice

Mark it as done when we close it, so we don't open the same
one again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug with not noticing end of file

We repeatedly re-read the last end of a file, instead of skipping
to a new one. The problem was that the offset got turned into a
block number for comparison, so we would screw up if size % bs.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print number of open files in eta dump

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't free the string options

We need at least ->name, just leave them all alone.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use clear_error() instead of clearing the error manually

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Auto limit open files if we get EMFILE

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

'opendir' fixes

- Don't dive into a directory if it isn't a directory
- Dump info on how many files added

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update fio io engine version

The interface didn't really change, but if the engine is using
->setup() then it needs updating. Generally it just needs to
remove any code other than the part setting ->real_file_size.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to return an error from get_file_sizes()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only overwrite in layout if needed

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Do the invalidate/advise hinting in td_open_file()

Then we only do it once per file, not twice.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revamp the file creation code

This was long overdue, it's much simpler now and hopefully
less bug prone. Probably a few stray bugs here and there
that needs straightening out, but the end result should
be a lot better.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup generic_file_open()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't completely fail for block device flushing failure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure to set io size on non-files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Trim the rbtree stuff fio doesn't use

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove kernel headers from rbtree.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI engine: should use log_err() during runtime

stderr may be redirected somewhere else.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve random verify block sorting

Add an option to control it and also check the nosort flag in file
layout to further catch a case where sorting isn't needed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Avoid using the rbtree if we don't have to

Basically reinstate the old logic of not sorting when it's
not a win for reading the data back.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix problems with rb code

If the offset match, we must not break. Instead follow the left branch
and things will work as expected.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update rbtree code

Grab from the later kernels, they embed the color in the pointer
to save some space.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove redundant double casts in time functions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

NULL engine: ->commit() has side effects, make sure it always works

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include syncs in the stored io log

We want to replay those as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove !td->o.read_io_log test that is always true

We test it further up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only call into log_io_piece() when verify is set

Don't know why it currently always logs the IO, it's pretty
pointless.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI engine: free lingering requests from the buffer on cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI update

The GUASI library has been changed to avoid using pthread defaults stacks
(that burns 8MB of VM area for each thread). Also, a new paramter has been
added to guasi_create(), to allow the caller to specify a stack size.
I noticed a different behaviour of FIO in randrw mode, from GUASI to libaio.
In GUASI, the amount of data read is about the same +-2-3% of the amount
of data written. Whereas in libaio, there can be a huge difference between
the two (up to 2-3 times the other). This is consistent.
Besides that, GUASI performance follows pretty much the libaio one, up to
an io-depth of 1000-1500, after that shows about 10-15% less performance.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to fill random bytes for VERIFY_NULL

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'null' verify option

For testing purposes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

->ddir_nr must be 1 by default, otherwise we'll do sequential IO
if no :foo postfix is appended.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix io piece logging to not have O(n) runtime

Use an rbtree for that log instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Free/alloc every FIO_OPT_STR_STORE string

Makes ownership clear, though the freeing is a bit anal.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>