Handle short read at the end of file

Currently we don't issue an io operation if offset + buflen
is larger than the file size, but that means we don't reach
the last bit of a file if the size isn't block size aligned.
Instead handle a short read properly. It actually cleans up
the code as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't inherit new_group for sub-jobs

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix size setting on raw devices

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix infinite loop in get_next_file_rr()

We need to clear f to NULL before doing a continue on FIO_FILE_DONE.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a REPORTING-BUGS file

Often people forget the fio version, job file, or parameters.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Better check for not doing a file twice

Mark it as done when we close it, so we don't open the same
one again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug with not noticing end of file

We repeatedly re-read the last end of a file, instead of skipping
to a new one. The problem was that the offset got turned into a
block number for comparison, so we would screw up if size % bs.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print number of open files in eta dump

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't free the string options

We need at least ->name, just leave them all alone.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use clear_error() instead of clearing the error manually

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Auto limit open files if we get EMFILE

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

'opendir' fixes

- Don't dive into a directory if it isn't a directory
- Dump info on how many files added

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update fio io engine version

The interface didn't really change, but if the engine is using
->setup() then it needs updating. Generally it just needs to
remove any code other than the part setting ->real_file_size.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to return an error from get_file_sizes()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only overwrite in layout if needed

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Do the invalidate/advise hinting in td_open_file()

Then we only do it once per file, not twice.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revamp the file creation code

This was long overdue, it's much simpler now and hopefully
less bug prone. Probably a few stray bugs here and there
that needs straightening out, but the end result should
be a lot better.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup generic_file_open()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't completely fail for block device flushing failure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure to set io size on non-files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Trim the rbtree stuff fio doesn't use

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove kernel headers from rbtree.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI engine: should use log_err() during runtime

stderr may be redirected somewhere else.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve random verify block sorting

Add an option to control it and also check the nosort flag in file
layout to further catch a case where sorting isn't needed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Avoid using the rbtree if we don't have to

Basically reinstate the old logic of not sorting when it's
not a win for reading the data back.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix problems with rb code

If the offset match, we must not break. Instead follow the left branch
and things will work as expected.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update rbtree code

Grab from the later kernels, they embed the color in the pointer
to save some space.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove redundant double casts in time functions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

NULL engine: ->commit() has side effects, make sure it always works

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include syncs in the stored io log

We want to replay those as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove !td->o.read_io_log test that is always true

We test it further up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only call into log_io_piece() when verify is set

Don't know why it currently always logs the IO, it's pretty
pointless.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI engine: free lingering requests from the buffer on cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI update

The GUASI library has been changed to avoid using pthread defaults stacks
(that burns 8MB of VM area for each thread). Also, a new paramter has been
added to guasi_create(), to allow the caller to specify a stack size.
I noticed a different behaviour of FIO in randrw mode, from GUASI to libaio.
In GUASI, the amount of data read is about the same +-2-3% of the amount
of data written. Whereas in libaio, there can be a huge difference between
the two (up to 2-3 times the other). This is consistent.
Besides that, GUASI performance follows pretty much the libaio one, up to
an io-depth of 1000-1500, after that shows about 10-15% less performance.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to fill random bytes for VERIFY_NULL

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'null' verify option

For testing purposes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

->ddir_nr must be 1 by default, otherwise we'll do sequential IO
if no :foo postfix is appended.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix io piece logging to not have O(n) runtime

Use an rbtree for that log instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Free/alloc every FIO_OPT_STR_STORE string

Makes ownership clear, though the freeing is a bit anal.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure the ->files array is job private

Otherwise we introduce differences between threads and processes,
we don't want to do that.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix file unlinking

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug with numjobs > 1, directory and filename given

Reported by gurudas pai <gurudas.pai@oracle.com>

If numjobs > 1, add_job() will append the directory name
several times. Fix this by doing the directory append in
add_file() instead, it cleans up the code as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print help info on huge page shmget() returning EINVAL

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move the huge page size defines into arch code

It's 2MB on x86-64 by default, and 4MB on x86.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup get_next_offset()

Split into two parts, one for generation a random offset, and one
for just setting a new sequential offset.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add option to disable fadvise() hints

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Leftover debug printf()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve mixed random append option

If we set ->ddir_nr to o.ddir_nr initally, we can remove the double
else in get_next_offset().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for mixing a random IO workload a bit

Now you can append a number to randread/randwrite (and others) to
specify only getting a random offset for every X number of ios.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add few debug statements and limit thread usage.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Avoid "ts" going out of scope.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Adapth guasi.c to the new FIO strctures, and free the requests.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Introduce EXTFLAGS and EXTLIBS in Makefile.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve data direction runtime logging

If we cut a data direction short, log that time so we don't
account the full runtime.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve rwmix states

We didn't use to look at the previous bytes done for the
data directions, which skewed the mix for buffered IO.
Fix that up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Dump actual filename in failure to open

Helpful for debugging.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Catch too large memory allocations that cause size_t to wrap

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update to guasi 0.5 diff

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Mention GUASI in the HOWTO for the ioengine= option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Expose guasi IO engine in ioengine=

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

GUASI IO engine

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix divide-by-zero

Another file creation crap out, this really needs a rewrite and
soon.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Warn if default value is given for string option without value

That would not make sense, as the option would then always be set
and there would be no way to unset it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

'new_group' option

By default, jobs in a file are part of the same reporting group
unless seperated by a stone wall or if they define a group by
themselves (numjobs=x is used). Inserting a 'new_group' parameter
in a job description, will mark the start of a new reporting group.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Clear ->file_map after free()

Just in case...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Sometimes we allocated too little memory for buffers

Fix it by adding page_mask to the allocation size, then the
alignment is guarenteed to fit.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print clue to reduce queue depth if engine init fails

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libaio engine: queue init error handling

It fails for repeated large io depths, so make sure we retrieve the
error and log it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Always make sure buffer sizes are aligned for allocation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File creation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

'dev' is 'stdev' in the print out now

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure mmaphuge file backed file is the size we need

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Sort option possible value map

We need to match longest option first, since we have to use
strncmp() to avoid fiddling with postfix options.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revert b370e46b370e46... Put longest options first

This reverts commit b370e46abdd2bfe764e28efb41c4caadc632b937.

We should not have to do this, and the commit was even buggy since
it mistakenly put mmap inside the mmaphuge ifdef section. Just make
parse sort the posval entries.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Helpful indication to run as root

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to use perror() after td_verror()

That'll just result in the error being displayed twice.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Put longest options first

We need to have things like shmhuge before shm, otherwise the parser
will match shm. The parser needs to be fixed, this is just a quick fix.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

We can't stringify something the parser doesn't handle

The size needs to be written out in full.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve rwmix buffered split

For buffered IO, the rwmix split can often be grossly unfair
towards reads, because dirtying tons of memory is done much
faster than reading data. Improve the split for such workloads
by not only looking at time.

Note that it'll still be somewhat unfair, there's only so much
we can reliably do. But it's better.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If the rate setting is based on IOPS, reflect that in eta output

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Untangle the file creation mess

Still needs a lot of work, will do a rewrite of this soonish. At
least it should work now.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Compile error with FIO_USE_TIMEOUT defined

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move thread options into a seperate structure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add some more options for commands

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Show alias in command help

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Style cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Command help match also on aliases

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move setup_rate() out of log.c

Dunno why it ended up in there, doesn't make any sense.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve rate accounting

Don't assume usec_sleep() is extremely precise.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support for setting rated based on IOPS

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blockdev_invalidate_cache(): return -1 for error

This follows the normal system calls, and makes fio pickup errno
appropriately.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Failure to put job in add_job() failure case

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Split option handling out of init.c

It grew way too large.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More file creation improvements

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remember to account for existing files in size setup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use log_info() throughout

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

siint range parsing HOWTO update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Accept '-' as siint delimter as well.

Hope this doesn't break any parsing...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'filesize' option

Allows the user to define the range of file sizes generated.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>