smalloc: remember to account for sizeof block header

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: when adding a new pool, make it big enough to hold the failing alloc

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update 'overwrite' option documentation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc4

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

README: add hint on missing libaio-devel package

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libaio: Add hint on libaio engine init failing

If io_queue_init() fails, it's likely due to a lack of
aio request resources.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Mark rwmixcycle option as deprecated in the option parser

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove rwmixcycle HOWTO entry

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Base the rwmix switch algorithm on io issues

The time based switch can be unfair sometimes, so just simplify it a bit
and use issues only.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Need to prefix directory= setting before checking dir part of filename=

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve eta calculation and display for complex jobs

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve naming in fio gnuplot graphs

Use job name and strip the known postfix of files out of the title.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

If a file is extended, drop extended length in cache

Similar to how the cache state would be the next time the job is run,
good for consistency.

Reported and suggested by "Zhang, Yanmin" <yanmin_zhang@linux.intel.com>.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add softrandommap and --alloc-size options

The softrandommap job option allows fio to continue if it cannot
allocate from the smalloc backing for the random map. Or the user
can specify --alloc-size with a size larger than the default of 1024k
to increase the size of the shared allocation pool.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow randommap allocation to fail

It's not that critical, so just print a warning and continue
without randommap.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: increase initial pool size from 64k to 1m

We allocate randommaps from that pool as well and they can grow
quite large.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix badly merged dprint()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Make sure that file is created for FIO_NOEXTEND engines

This fixes a SIGBUS with the mmap engine. Reported by
"Zhang, Yanmin" <yanmin_zhang@linux.intel.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Check directory if filename= option includes dir name

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only decrement pending in reap_threads() if the reaped job was pending

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

posixaio: Missing memset()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

posixaio: speedup by using aio_suspend() instead of manual waiting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Extend ipo file action capabilities

Add FIO_LOG_UNLINK_FILE and move the handling of special ipo's
into a dedicated function.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use pthread_detach() instead of calling pthread_join() later

Unifies the thread vs process parts a bit more.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Silence gcc warning

'delay' wasn't used in that path, but gcc complained. Kill the warning.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace improvements and fixups

Remove iolog version 1 support, it's just too limited. Version 2 and
blktrace manage file events (add,open,close,tc) on their own and we
can cleanup the file creation if we kill it.

Fixup for_each_file() for no allocated files.

Start of handling notify events for blktrace. We don't see program
notifications, need to look into that.

Properly account io bytes when adding blktrace events, so that the ETA
and io count is correct on replay.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only set O_RDWR for open() when readonly isn't set

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Tweak handling of write traces with --readonly

Don't add them at all, that allows us to replay a trace with writes
included when the --readonly switch is set. Before it would tell you
that it was 'X' number of writes, and then fail when it tried to
replay then anyway. Now just don't add those events.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace bits accidentally got committed

It was the start of handling notifies correctly, didn't mean to commit
them with the previous fix. So roll them out, commit when done.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bad sscan() -> scanf() conversion

Caused fio to stall waiting for disk updates.

Also add --debug=diskutil debug option, to trace what diskutil is doing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc2

-rc1 had some bugs due to the dyn file allocation, so make an -rc2 since
those should now be shaken out.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Style fixups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Always make job use open() instead of dup(), even for shared files

The fd may be opened after other jobs are forked, thus they wont
share fd space (unless the 'thread' option is used).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File setup open can fail in multiple functions, not just open()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Be more careful about catching fsync() errors

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update to verify state setting

Only set when doing read.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

for_each_file() fix

We will deref ->files one beyond the allocated length due to the way
that C for(;;) loops work. So rework it a bit to make it more safe
and not look beyond the array. We didn't touch the memory before, but
it was still somewhat ugly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Multiple file handling fixes

Some of that got broken with the dynamically allocated file changes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Indicate 'V' verify state always

We only print 'V' for a thread if it does a verify run after a write,
however fio can be invoked for a later verify using a different job file.
So check in do_io() as well and set verify state if appropriate.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revamp file locking

Get rid of the semaphore implementation, no need to carry both.
Add different locking modes (exclusive and readwrite) to enable
a wider range of testing. Also combine lockfile and lockfile_batch,
the latter is now a postfix option to the former.

So to enable readers-excluding-writers locking mode with a lock batch
count of 4, you would write:

lockfile=readwrite:4

instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

filehash.c: remove debug hash dump

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sem.c: cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Makefile updates

Last was botched.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Makefile updates

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add rw mutex init helper

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use read-writer locks in smalloc

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add read-write mutexes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove debug printf() in net engine

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add the file sharing bits

When you use the same filename for several jobs now, they will share
the same file structure. Enable locking through two new options:

- lockfile. If set, a semaphore is associated with the file and it is
  held from ->prep() to ->queue() has done its work.
- lockfile_batch. This controls how many IOs the job gets to do per
  semaphore acqusition.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Hook up the file hashing

Add on file open, remove on close.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Missed fio.h update for filehash, oops

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add file hashing helpers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remember to init and exit the smalloc allocator

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Jobs must always open their own files

This is also related to file sharing - we cannot dup() a descriptor,
if the child hasn't inherited it. So make sure the jobs always open
the files again, even after they have been created.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add list_del_init() to list.h

The file hashing will use it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remember to free the file structure as well

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allocate file structure from shared process pool

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a semaphore implementation

To be used by the file sharing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a really simple allocator, backed with mmap'ed memory

We can use this simple allocator to get memory that can be safely
shared across processes or threads.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Missed update of dup_files() for dynamically allocated files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add file locking hooks

Does nothing so far, but adds locking calls that cover from ->prep()
to after ->queue(). That is the period where we do IO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove the file->last_completed_pos variable

This tracks where we last did IO to this file, however with file
sharing that may break. So just remove this optimization, it'll
cost an extra lseek() for the sync engine but doesn't do much else
outside of that.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make file structures dynamically allocated

Current td->files is an array of files, make it an array of pointers
instead and allocate individual file structures on the fly. This is
a preparation patch for file sharing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Enable quiet build mode, enable by default

Add V=1 to make flags to force a verbose build.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update close file handler to return potential error

Filesystems like NFS do return errors on close(), up until now we
have been ignoring them. Fix that. Adjust io_ops engine version
to 9, since this is an API change.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add close_files() that closes all files

Renames the current implementation to close_and_free_files(), since
that is what it actually does.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only initialize random map if we are actually going to use it

We alloc the randommap even for sequential workloads right now,
if the 'norandommap' option isn't given. Fix that, check for
td_random() before continuing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix potential crash in terminate_threads()

td->io_ops can be NULL, if the thread is already gone. So copy the
pointer and check before dereferencing it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

When retrieving a requeued IO, don't setup data pointers again

This is a bug, if we had a residual data count we would be
retrying the full request again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bad inlining in mutex.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix recursive dump of options

If a child also had a child, we would miss it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Confusion between mutex and semaphore naming

There's a semaphore implementation and option coming, so rename the
bits.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --debug=parse for option parsing debug

Adds log.h and debug.h to split the logging and debug bits out of
fio, so that the parser can use them.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.1: add section option and remove spurious command text

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

extend_file need continue when the file exists

If some testing files exist and some others don't exist, fio will
report failure on the no-exist file. Here is a patch to fix it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move syslet/indirect bits into the OS specific directory

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove dead FIO_FILE_EXISTS flag

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

prune_io_piece_log() also needs to take list into account

If we didn't use the rbtree but have remaining entries to prune,
loop over the list as well and free those entries.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove dead FIO_FILE_NOSORT flag

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fix hugepage-size type mismatch

hugepage_size in thread_options is of type int, but listed in
options.c as type long.  This patch reconciles the two.

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

account for delayed jobs when reaping threads

reap_threads does not account for jobs that have been delayed
(e.g. via startdelay) which may lead to all threads being
terminated.  The following job file demonstrates the problem:

[job1]
filename=job1file
size=16k
startdelay=1

Signed-off-by: Aaron Carroll <aaronc@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.19

1.18x had some stupid bugs with random IO generation, so release
a new full version.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't always print usage info

For instance, when we ask for help don't complain about missing job.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Mention new --debug=random option in README

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More random fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix TO_MAP_BLOCK() taking offset into account twice

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add FIO_SIGQUIT engine option

For network engines, we need a signal to make it abort the connection
if it isn't already running. Otherwise fio would just stall on ctrl-c
before the connection was established.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup parse_cmd_line()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add --section command line option

It enables the user to ship bigger and more complex job files, while
still allowing fio to only run a part of it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Exit on bad command line options

It could be dangerous, eg if you expected --read-only to do its job
when you really needed to type --readonly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add/correct missing command line options in help text

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.18.1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix typo in mark_random_map()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix random location generation with offset != 0

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: HOWTO update

In case of  cpuio , on smp machines we need increase numjobs
to <num of cpu's> to get the desired load across cpu's.
Just updated HOWTO with this info.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Verify doesn't really work on mixed read/write workloads, so warn

Unless the file is pre-populated, this cannot work. So warn the user
of such a bad construct, since the warning he/she receives from fio
only tells you about a verification error (which, technically, is what
is happening).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>