syslet v4 support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Requeue io_u flags fix

We need to clear IO_U_F_FLIGHT and set IO_U_F_FREE in requeue.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

First cut at doing sequences of atoms in one commit

Needs error handling and stop conditions, so it's in an experimental
branch for now.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move completion handler into the io_u

This is needed for completions that happen outside of fio,
or more specifically, for syslet to enable completions in
a ->queue() hook combined with ->commit().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't include engines we don't have

With the new option scheme, it's easier to just diff out the option
types we don't support. So do that for the io engines.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

IO engine callback need not dump possible values

The parser will do this now. Also don't dump the worthless
"job dropped" message.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Rate must always calculate bytes done

Otherwise rate will never be checked.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve rate usec calculation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move handling of possible values into the option parser

Eliminates the need for a callback for any FIO_OPT_STR type
option, unless it needs to do something there other than just
setting the variable.

The possible options are not in an array of value pairs, so we
can easily match an string option with an integer output value.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Streamline thread_data data direction setting and checking

Currently it's a mess of ->ddir, ->iomix and ->sequential. Add
a TD_DDIR_* for each of these, so we can store them as one value.

A prerequisite for the next parsing cleanup.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add option to select how to service multiple files

Right now we just round robin the open files, but sometimes you
just want to randomly go through the files. Add a 'file_service'
option for that, default to round robin still.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Dump io_u on timeout

It's still disabled, though.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Correct spelling error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add more context to the error messages

Errors like:

fio: pid=0, err=22/file:filesetup.c:380, error=Invalid argument

do not give a lot of clue as to what is wrong, unless you
have a matching source. So add a context relevant info
message as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

List syslet-rw as a supported option in the ioengine help dump

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: syscall still needs void * cast

It avoids the long -> structure pointer cast warning.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't check st_size for special files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet: typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Further improve thread handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix crash on thread exit

If we had multiple threads, we could corrupt the heap by
freeing memory we did not alloc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Thread waitpid() error check

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve thread reap handling

It's a bit of a mess currently, streamline and clean it up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Disable timeout handling for now

It needs to get some more testing. It appears to work fine, just
want to be a little cautious.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include engines in dependency check

Changing fio.h sometimes didn't trigger rebuild of the IO engines,
causing weird problems.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

io_u timeout handling

Further measures to prevent fio getting stuck, even in case of
engine timeout errors.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Track io_u state (free or in-flight)

That way we can catch proper use by fio, so we don't get stuck
in cleanup_pending_aio() if someone forgot to put_io_u() in an
error path.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

No need to cast async_exec() syscall to void * anymore

Ingo forward declared the types.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet engine: style fix and ->queue() error return value fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

v3 syslet engine support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Still need to put io_u on early exit

The previous fix was too drastic, if we don't put the io_u on early
exit, cleanup_pending_aio() will stall forever waiting for it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Correct io_u_*_complete() return checking

An error is < 0, not any non-zero value... This unbreaks verify again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't overwrite error

The first error is usually the most interesting, so don't overwrite
in __td_verror().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix double io_u free on error in do_verify()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

64-bit compile warnings

Just some ptr -> int error casts, nothing critical.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Change IO latency histogram to be in power-of-10

Power of 2 is just confusing for latencies, make the series
more natural by doing 1, 2, 4, 10, 20, 50, etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Makefile: libdir is not used anymore

We link in the io engines.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More __must_check annotations

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Static error value checking

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mmap IO engine cannot extend a file

We need to ftruncate it to the wanted size first, or the mmap
write will terminate with SIGBUS.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Leftover debug message

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add low water mark for queuing depth

Current fio will attempt to keep the queue full at all times,
but sometimes that's not what you want. Add iodepth_low to
indicate a low water mark for queuing depth, so that when we
see a FIO_Q_BUSY or run out of free requests, let the queue
drain down to the iodepth_low setting before building it up
again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

First step for group reporting

Put most of the stats into a dedicated structure, so we can
later share such a structure between threads.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix sync engine completion latency

td_io_queue() needs to differentiate between the sync and async
engines wrt setting issue_time.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update io_u.c comments

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve submission latency calculation

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use 0 timeout for command completion peek

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update documentation wrt comment

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio: allow '#' comments

allow script-type comment's:

# comment

Signed-off-by: Ingo Molnar <mingo@elte.hu>

fio: syslet.h build fix

update syslet.h to build fine even if __user is not defined.

Signed-off-by: Ingo Molnar <mingo@elte.hu>

Be safe and re-prep requeue io_u's

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Missing clear of some IO state

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Clean core files on make clean

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix busy looping for io_u_queued_complete()

If min_events > 0, don't set a 0 timeout or we'll end up
busy looping in the io engine getevents handler.

Just disable the timeout for now, perhaps we'll reuse it
in the future to prevent a thread from stalling too long
there.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Verify requeue handling

If file is already filled, it's a requeue. In that case, don't grab
a new io_piece, we already filled the offsets in the io_u.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Retrieve next file to service in get_io_u()

This improves requeue handling, we don't want to inadvertently
skip a file because we requeue an io_u.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add support for queuing > 1 command at the time

For the async engines, we currently do queuing by issuing one
command at the the time. Improve this by adding a ->commit()
hook to complement the ->queue() hook. When ->queue() returns
FIO_Q_BUSY, call ->commit() to actually send off the io to the
kernel.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Differentiate between bool error return and real error value

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleanup end IO handling

Abstract out the end IO handling, so that callers don't have to
keep track of completion details. Then we can make the
io_completion_data structure private to io_u, and just provide to
functions to end io - one for sync completes, one for queued completes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Unify and fixup error handling

First step in getting ->queue() and ->getevents() handled in
a more sane fashion.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fully parallellize io_u verification

Keep a full queue whenever possible, do verifications while
io is in progress.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Change IO engine queuing

Instead of always pretending to be async, let the IO engines
return FIO_Q_COMPLETED or FIO_Q_QUEUED to signal async or
sync completions regardless of their nature. This cleans up
the queuing model quite a bit.

Also fixed a verification error spotted while doing this
transformation.

The main intent of this is to allow queuing more than 1 piece
of IO at the time, that will come in a later changeset.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add thinktime_spin parameter

If you specify thinktime currently, fio will sleep for the duration.
Apps will typically do some data processing before sleeping, so add
a thinktime_spin parameter to control how much CPU to burn before
sleeping.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Don't check status if ret < 0

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Catch processes/threads that unexpectedly exited

Fio will no longer stall waiting for dead children.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Further improve child exit reaping

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] file descriptor is int

This was mistakenly turned into a long, revert.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] IO completion time histograms

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix random seed for numjobs > 1

If you had numjobs larger than 1, then each shared job would get the
same random seed, resulting in the exact same io pattern. Multiply
the seed with the thread number, that will still get repeatable
patterns but only per-thread/process.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fixup client error exit

Sometimes we just quit without dumping the client error info, fix
that up.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fixup file type recognition

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Defer engine ops verification check

Just register the engine to avoid complicating the code, but
don't allow it to be loaded.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Make fio compile on non-x86 again

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] syslet: code cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] syslet: fix leak of ring and ahu

Clean it in async_unregister()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] syslet: async_head_user struct should be permanent

It's passed back in for async exit. This doesn't matter now, but
may in the future.

Spotted by Ingo Molnar.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] syslet engine: use pread instead lseek+read

And similar for write. Saves executing an atom.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Let the syslet ioengine register check supportability

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Exabytes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Document syslet-rw engine

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] First cut syslet async io support

Doesn't seem to perform as well as expected, needs investigation.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Make fio_assert() core dump the job

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Random map needs to use ->real_file_size, not ->file_size

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Make the exit value meaningfull

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Woops, left debug clear in there

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add fio_assert()

A job must not call assert(), as it wont exit and set thread
state properly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix buflen trimming

It's ok to trim to the minimum block size for RAWIO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Total io is the sum of READ and WRITE

Was broken for mixed read/write workloads.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] One more round of random map fixes

The last fixes made sure that we don't generate a block >= file size,
but for io_u's that contain multiple blocks, it could still happen.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Sign warning

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Network engine poll() paranoia

A little defensive programming never hurt anyone.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Document/comment fio.h

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Make ctrl-c work with network io and accept loop

We don't get SIGINT breaking accept(), so use poll() to poll
for incoming connects.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Move td_verror() into io_ops->queue() hook

Shows where the error occured, not where it got noticed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Allow thread/group dump regardless of error state

Just because the thread ended in error, doesn't mean the
stats aren't interesting. So dump everything and make sure
the error and verror are visible.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix stack overflow

Observed an overflow of eta_sec[32], bump it to 128 bytes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Separate bandwidth log and rate display

We used to dump status each second, but this got modified sometime in the past
to follow bw_avg_time. We don't need 250msec displays, so change it back to
use 1 second delays.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Pretty up stat output

Always convert numbers to a known base. We could have byte range values
or gigabyte range values, reading huge numbers can be difficult.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Kill redundant header files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] More random map fixes

Several optimizations and fixes:

- Add ->last_free_lookup as a cache for get_next_free_offset(). No point
  in iterating known full blocks.
- Reduce number of random loops to 5 for random map lookups, fallback to
  next free block instead of wasting cpu cycles. Was 50.
- get_next_free_block() needs to take file offset into account.
- Reverse order of retrieving buflen and offset, so we can trim
  and mark properly.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Random map fix

mark_random_map() would give up too soon, causing an infinite loop
in the block allocation.

Reported by Randy Dunlap.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>