Add dprint() to io_u requeue

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

close_ioengine() clears ->data after calling engine cleanup

Then we can remove that bit from io engines.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

vsync: Fix issue with double issue of io_u

We'd lseek to the same location twice, making sequential
IO lseek() and read/write to each location twice.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make it work on opensolaris

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bad references to 'sgio'

The engine name is 'sg', so change bad references to sgio.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

net engine: improve host/port parsing

It was too relaxed before.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.21-rc3

Quickly approaching 1.21 final, a few more critical fixes added.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bug in put_file() and __file_invalidate_cache()

- put_file() has bad logic in detecting fsync() error, only set
  ret to f_ret if f_ret indicates failure.
- Check for open file in __file_invalidate_cache()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix refill buffers overwriting verify data

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Fixup distribution of reads and writes in a mixed workload

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup rwmixread/write options

They would always end up as 50/50.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.21-rc2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: final cleanups

Passes all regressions and tests, must be Bug Free.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: fix map overflow

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: fix off-by-one in ptr_valid()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: kill another debug printf()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: fix compile error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: cleanup and remove debug printf()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.21-rc1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: turn on the thread safe flag

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: change to a bitmap allocator

It's a lot cleaner and easier to understand than the previous one,
even if it does waste some more memory.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix out-of-band deref of (potentially) gone threads structure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove early directory check

It wont work on FIO_DISKLESSIO engines and the engine isn't loaded
at this point so we cannot check. For now just disable the check.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: add pre and post redzone checks to pointers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Non-linux Makefile updates

Need to find a build host, seems there are other issues that need
to be fixed as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Silence warning on older gcc (bogus)

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Work-around too large block count

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add job number specific dumping and fix atexit() error

The threads/process jobs should use _exit() so they don't run
the main atexit() function.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: debug

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: increase alloc size

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add logging for queue submit and complet counts

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If verify is enabled, automatically enable refill_buffers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add option for refilling IO buffers on each submit

If the device looks at whether the data changed, then this can
make a difference.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Silence put_file() complaint

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bad interaction with file open/close and queuing

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve iodepth logging

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix off-by-one in last_block()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix crash with iolog

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Allow marking of queue depth for more than 1 io_u at the time

Same code as before, just prepared for it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Put the logs in the current directory

It's nice to prefix the log with the proper job name, but that
meant that it would store them in weird places if you used /dev/sda
for the input device, for instance.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20

Lots of changes since 1.19, the major feature being proper
sharing of files between jobs, file locking, and so on.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Kill unused parameters

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: remove pool resize support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: cleanups and allow sfree(NULL)

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: remember to account for sizeof block header

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: when adding a new pool, make it big enough to hold the failing alloc

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update 'overwrite' option documentation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc4

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

README: add hint on missing libaio-devel package

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

libaio: Add hint on libaio engine init failing

If io_queue_init() fails, it's likely due to a lack of
aio request resources.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Mark rwmixcycle option as deprecated in the option parser

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove rwmixcycle HOWTO entry

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Base the rwmix switch algorithm on io issues

The time based switch can be unfair sometimes, so just simplify it a bit
and use issues only.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Need to prefix directory= setting before checking dir part of filename=

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve eta calculation and display for complex jobs

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve naming in fio gnuplot graphs

Use job name and strip the known postfix of files out of the title.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

If a file is extended, drop extended length in cache

Similar to how the cache state would be the next time the job is run,
good for consistency.

Reported and suggested by "Zhang, Yanmin" <yanmin_zhang@linux.intel.com>.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add softrandommap and --alloc-size options

The softrandommap job option allows fio to continue if it cannot
allocate from the smalloc backing for the random map. Or the user
can specify --alloc-size with a size larger than the default of 1024k
to increase the size of the shared allocation pool.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow randommap allocation to fail

It's not that critical, so just print a warning and continue
without randommap.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

smalloc: increase initial pool size from 64k to 1m

We allocate randommaps from that pool as well and they can grow
quite large.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix badly merged dprint()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

Make sure that file is created for FIO_NOEXTEND engines

This fixes a SIGBUS with the mmap engine. Reported by
"Zhang, Yanmin" <yanmin_zhang@linux.intel.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Check directory if filename= option includes dir name

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only decrement pending in reap_threads() if the reaped job was pending

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

posixaio: Missing memset()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

posixaio: speedup by using aio_suspend() instead of manual waiting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Extend ipo file action capabilities

Add FIO_LOG_UNLINK_FILE and move the handling of special ipo's
into a dedicated function.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use pthread_detach() instead of calling pthread_join() later

Unifies the thread vs process parts a bit more.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Silence gcc warning

'delay' wasn't used in that path, but gcc complained. Kill the warning.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace improvements and fixups

Remove iolog version 1 support, it's just too limited. Version 2 and
blktrace manage file events (add,open,close,tc) on their own and we
can cleanup the file creation if we kill it.

Fixup for_each_file() for no allocated files.

Start of handling notify events for blktrace. We don't see program
notifications, need to look into that.

Properly account io bytes when adding blktrace events, so that the ETA
and io count is correct on replay.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Only set O_RDWR for open() when readonly isn't set

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Tweak handling of write traces with --readonly

Don't add them at all, that allows us to replay a trace with writes
included when the --readonly switch is set. Before it would tell you
that it was 'X' number of writes, and then fail when it tried to
replay then anyway. Now just don't add those events.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace bits accidentally got committed

It was the start of handling notifies correctly, didn't mean to commit
them with the previous fix. So roll them out, commit when done.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix bad sscan() -> scanf() conversion

Caused fio to stall waiting for disk updates.

Also add --debug=diskutil debug option, to trace what diskutil is doing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc2

-rc1 had some bugs due to the dyn file allocation, so make an -rc2 since
those should now be shaken out.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Style fixups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Always make job use open() instead of dup(), even for shared files

The fd may be opened after other jobs are forked, thus they wont
share fd space (unless the 'thread' option is used).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File setup open can fail in multiple functions, not just open()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Be more careful about catching fsync() errors

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update to verify state setting

Only set when doing read.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

for_each_file() fix

We will deref ->files one beyond the allocated length due to the way
that C for(;;) loops work. So rework it a bit to make it more safe
and not look beyond the array. We didn't touch the memory before, but
it was still somewhat ugly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Multiple file handling fixes

Some of that got broken with the dynamically allocated file changes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Indicate 'V' verify state always

We only print 'V' for a thread if it does a verify run after a write,
however fio can be invoked for a later verify using a different job file.
So check in do_io() as well and set verify state if appropriate.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.20-rc1

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revamp file locking

Get rid of the semaphore implementation, no need to carry both.
Add different locking modes (exclusive and readwrite) to enable
a wider range of testing. Also combine lockfile and lockfile_batch,
the latter is now a postfix option to the former.

So to enable readers-excluding-writers locking mode with a lock batch
count of 4, you would write:

lockfile=readwrite:4

instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

filehash.c: remove debug hash dump

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

sem.c: cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Makefile updates

Last was botched.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Makefile updates

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add rw mutex init helper

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use read-writer locks in smalloc

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add read-write mutexes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove debug printf() in net engine

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add the file sharing bits

When you use the same filename for several jobs now, they will share
the same file structure. Enable locking through two new options:

- lockfile. If set, a semaphore is associated with the file and it is
  held from ->prep() to ->queue() has done its work.
- lockfile_batch. This controls how many IOs the job gets to do per
  semaphore acqusition.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Hook up the file hashing

Add on file open, remove on close.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>