Move thread options into a seperate structure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add some more options for commands

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Show alias in command help

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Style cleanup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Command help match also on aliases

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move setup_rate() out of log.c

Dunno why it ended up in there, doesn't make any sense.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve rate accounting

Don't assume usec_sleep() is extremely precise.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Support for setting rated based on IOPS

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blockdev_invalidate_cache(): return -1 for error

This follows the normal system calls, and makes fio pickup errno
appropriately.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Failure to put job in add_job() failure case

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Split option handling out of init.c

It grew way too large.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

More file creation improvements

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remember to account for existing files in size setup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use log_info() throughout

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

siint range parsing HOWTO update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Accept '-' as siint delimter as well.

Hope this doesn't break any parsing...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'filesize' option

Allows the user to define the range of file sizes generated.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix build on x86-64 distros without __NR_pread64/pwrite64

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix build of syslet engine on x86-64

Broke on some distros, apparently. Reported by
gurudas pai <gurudas.pai@oracle.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.14a

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup new and wrong file name behaviour

We used to default to using the jobname as the filename,
if it wasn't a regular existing file. So do that again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

posixaio engine: better handling of partial completions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't free ->files

It may be shared.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Help update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add suboption help texts

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Left justify help output

The right justification may look prettier, but it's harder
to read and find the option.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio version 1.14

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

New/old file mix fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update io engine comments

Some were plain wrong, mainly because they were born through
copying an existing engine.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mmap engine: make sure that page unaligned syncs work

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

recurse_dir(): Move . and .. check earlier

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Better handling of file creation vs existing files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix for bs shrinkage

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

When opening a new file, check file limit not total number

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix double io_u free in error path

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print informative error when we hit the max number of files open

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'opendir' option

This option adds all files from a directory and downward in the
filesystem hierarchy.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Check for open files on io operations

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'fsync_on_close' option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Obscure file randommap fix

If file size < block and no size is given, we could be generating
a random offset within -1 and deref ->file_map[] beyond its size.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

nr_files conflict with filename

If nr_files is larger than the given number of files, it has
to be lowered. Assume that if the user gives a set of filenames
that this is the number he wants, otherwise he should use not
use a filename setting.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Total file size handling fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve handling of nr_files != open_files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Init stat for all files, not just current range

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make disk_util() account for all files

Now we can have files all over the place, so we need to loop
over td->files[] to setup disk util stats.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Normal vs special files fixups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

One more f->file_name typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

td->filename vs f->filename typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Strip blank end/front of filenames

We do this for other options.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If we use jobname as file, only append job/file numer for nrfiles > 1

Otherwise we break the abillity to do [/dev/sda] for /dev/sda and
so on.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't stack allocate file name

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add file reference counting

We must not close a file, while io is in progress to it. That
will make the queuing engines barf.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Turn file ->open and ->unlink into flags

We'll need more flags in the next commits, so do this as a
preparatory patch.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow explicit setting of a number of files

We currently only allow filename=foo for one file, add the possibility
to specify any number of files by seperating with a colon.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

An option need not include ->posval[] entries

So only fail if we actually looked over some entries.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] disk_util: Allow an engine to turn off disk_util specifically

Originally from Joel Becker <Joel.Becker@oracle.com>

An engine may support disks, but be unable to work with disk_util (as
there is no fd).  Add a flag to turn off disk_util from the engine.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

init.c: Fix non-regular-file booboo

If a filename is given, and that filename is a device file, fio will
ignore the filename, using the job name.  Then it tries to open the job
name instead of the filename.  Whoops.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Group reporting fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve job grouping

Group jobs as follows:

- Jobs before or after a stonewall have different groupids
- Jobs grouped with numjobs have a private groupid

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Show IOPS as well as bw numbers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

pointer -> int conversion warning

It doesn't matter, but silence the warning.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

One more missed s/td->filename/fn_given

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File name generation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add nr parameter to file_service_type

Right now we switch for every IO, add a postfix that allows to switch
for every 'x' number of ios.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Note process vs thread in output

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

OOM fixes

Hit this with many threads running.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Quit on thread creation failure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If filename not given, use jobname

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Return EIO for verification failure

We passed back 1, where we need some sort of symbolic error.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet engine: residual fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If residual count == full count, fail the io

We always do blocking io, so regard nothing read/written as an error
condition.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Overwrite fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File truncation and extend fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Clear ->rate_bytes on do_io() loop

We don't do rates across loops, so remember to clear ->rate_bytes
when we start a new loop.

Problem report from "Ananiev, Leonid I" <leonid.i.ananiev@intel.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Turn the CPU burner into a real io engine

This removes the special casing in fio.c for the cpu engine, and
also gets rid of FIO_CPUIO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

null engine: fix queue bug with repeated commit() calls before event retrieval

Don't return anything if min_events == 0. This exposed a bug in
the commit handler, it needs to add to ->events, not set it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

null engine: update to support queuing

Useful for queue testing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document 'openfiles' option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix ->file_map leak

Just to appease valgrind.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove ->mutex after last use, not on job exit

Frees up that file descriptor.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Shrink the semaphores a little

The downside is that they hold the fd open, so it steals one
possible file open per-file. Will fix that in the next commit.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure each job loads a private io engine

Threads got it shared, breaks for obvious reasons. Also gets rid
of the free hack in ioengine unload.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mutex error handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add mutex object file to other Makefile's

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a real semaphore implemtation

I've seen races where job N+1 got started before N, this breaks
for dependent jobs. So give up and implement a real semaphore
in mmap'ed shared storage.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use DDIR_WRITE symbolic value instead of a hard coded 2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A few more stat fixes and cleanups

Mostly cleanups, but also one group status index that was
hardcoded as READ when it should be 'i' for either read or write.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup reporting for !runtime data directions

Got broken with the group reporting, the minimum time and bw
should only be accounted for data directions where actual
work has happened. Otherwise they are pretty much guarenteed
to be 0.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of reopen_files()

Move the full file state clear into td_io_open_file(), so a
reopen is a plain close/open of that file.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

null engine: don't dup() stdin anymore

We can now track fd independently of ->fd, so don't open
a file we don't have to use.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add ->open to struct fio_file

Don't use ->fd == -1 to check for the file being open or not,
an io engine could be non-fd based.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

get_next_offset() number of loops change

Commit b5af82930ccfd7dda6a1b11794efb452eb76d8dc inadvertently
changed this, revert.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

file_service_type=random fix

It generated 0..n-1, where we wanted 0..n.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Engines should not touch nr_open_files anymore

Leftover fix, should have been included with the ->open_file()
addition.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

openfiles fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix invalidate cache typo

The odirect check was reversed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revamp file open/close handling

Some IO engines need special handling for opening and closing
files, and this has complicated the fio filesetup.c file. Instead
have the io engine provide hooks for file open/close. This also
greatly cleans up the flags (we can get rid of SELFOPEN and MMAPIO)
and moves private knowledge into the engines where it belongs.

This potentially destabilizes fio somewhat, so testing is needed.
The new openfiles option that is introduced with this change isn't
verified working yet, hence it isn't documented.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move description text

It was dangling at the bottom.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>