Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

posixaio engine: better handling of partial completions

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't free ->files

It may be shared.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Help update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add suboption help texts

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Left justify help output

The right justification may look prettier, but it's harder
to read and find the option.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio version 1.14

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

New/old file mix fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update io engine comments

Some were plain wrong, mainly because they were born through
copying an existing engine.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mmap engine: make sure that page unaligned syncs work

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

recurse_dir(): Move . and .. check earlier

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Better handling of file creation vs existing files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix for bs shrinkage

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

When opening a new file, check file limit not total number

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix double io_u free in error path

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Print informative error when we hit the max number of files open

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'opendir' option

This option adds all files from a directory and downward in the
filesystem hierarchy.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Check for open files on io operations

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add 'fsync_on_close' option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Obscure file randommap fix

If file size < block and no size is given, we could be generating
a random offset within -1 and deref ->file_map[] beyond its size.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

nr_files conflict with filename

If nr_files is larger than the given number of files, it has
to be lowered. Assume that if the user gives a set of filenames
that this is the number he wants, otherwise he should use not
use a filename setting.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Total file size handling fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve handling of nr_files != open_files

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Init stat for all files, not just current range

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make disk_util() account for all files

Now we can have files all over the place, so we need to loop
over td->files[] to setup disk util stats.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Normal vs special files fixups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

One more f->file_name typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

td->filename vs f->filename typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Strip blank end/front of filenames

We do this for other options.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If we use jobname as file, only append job/file numer for nrfiles > 1

Otherwise we break the abillity to do [/dev/sda] for /dev/sda and
so on.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't stack allocate file name

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add file reference counting

We must not close a file, while io is in progress to it. That
will make the queuing engines barf.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Turn file ->open and ->unlink into flags

We'll need more flags in the next commits, so do this as a
preparatory patch.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Allow explicit setting of a number of files

We currently only allow filename=foo for one file, add the possibility
to specify any number of files by seperating with a colon.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

An option need not include ->posval[] entries

So only fail if we actually looked over some entries.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] disk_util: Allow an engine to turn off disk_util specifically

Originally from Joel Becker <Joel.Becker@oracle.com>

An engine may support disks, but be unable to work with disk_util (as
there is no fd).  Add a flag to turn off disk_util from the engine.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

init.c: Fix non-regular-file booboo

If a filename is given, and that filename is a device file, fio will
ignore the filename, using the job name.  Then it tries to open the job
name instead of the filename.  Whoops.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Group reporting fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve job grouping

Group jobs as follows:

- Jobs before or after a stonewall have different groupids
- Jobs grouped with numjobs have a private groupid

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Show IOPS as well as bw numbers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

pointer -> int conversion warning

It doesn't matter, but silence the warning.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

One more missed s/td->filename/fn_given

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File name generation fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add nr parameter to file_service_type

Right now we switch for every IO, add a postfix that allows to switch
for every 'x' number of ios.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Note process vs thread in output

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

OOM fixes

Hit this with many threads running.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Quit on thread creation failure

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If filename not given, use jobname

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Return EIO for verification failure

We passed back 1, where we need some sort of symbolic error.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

syslet engine: residual fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

If residual count == full count, fail the io

We always do blocking io, so regard nothing read/written as an error
condition.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Overwrite fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

File truncation and extend fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Clear ->rate_bytes on do_io() loop

We don't do rates across loops, so remember to clear ->rate_bytes
when we start a new loop.

Problem report from "Ananiev, Leonid I" <leonid.i.ananiev@intel.com>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Turn the CPU burner into a real io engine

This removes the special casing in fio.c for the cpu engine, and
also gets rid of FIO_CPUIO.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

null engine: fix queue bug with repeated commit() calls before event retrieval

Don't return anything if min_events == 0. This exposed a bug in
the commit handler, it needs to add to ->events, not set it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

null engine: update to support queuing

Useful for queue testing.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document 'openfiles' option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix ->file_map leak

Just to appease valgrind.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Remove ->mutex after last use, not on job exit

Frees up that file descriptor.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Shrink the semaphores a little

The downside is that they hold the fd open, so it steals one
possible file open per-file. Will fix that in the next commit.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make sure each job loads a private io engine

Threads got it shared, breaks for obvious reasons. Also gets rid
of the free hack in ioengine unload.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

mutex error handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add mutex object file to other Makefile's

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add a real semaphore implemtation

I've seen races where job N+1 got started before N, this breaks
for dependent jobs. So give up and implement a real semaphore
in mmap'ed shared storage.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Use DDIR_WRITE symbolic value instead of a hard coded 2

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A few more stat fixes and cleanups

Mostly cleanups, but also one group status index that was
hardcoded as READ when it should be 'i' for either read or write.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fixup reporting for !runtime data directions

Got broken with the group reporting, the minimum time and bw
should only be accounted for data directions where actual
work has happened. Otherwise they are pretty much guarenteed
to be 0.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Get rid of reopen_files()

Move the full file state clear into td_io_open_file(), so a
reopen is a plain close/open of that file.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

null engine: don't dup() stdin anymore

We can now track fd independently of ->fd, so don't open
a file we don't have to use.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add ->open to struct fio_file

Don't use ->fd == -1 to check for the file being open or not,
an io engine could be non-fd based.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

get_next_offset() number of loops change

Commit b5af82930ccfd7dda6a1b11794efb452eb76d8dc inadvertently
changed this, revert.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

file_service_type=random fix

It generated 0..n-1, where we wanted 0..n.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Engines should not touch nr_open_files anymore

Leftover fix, should have been included with the ->open_file()
addition.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

openfiles fix

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix invalidate cache typo

The odirect check was reversed.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Revamp file open/close handling

Some IO engines need special handling for opening and closing
files, and this has complicated the fio filesetup.c file. Instead
have the io engine provide hooks for file open/close. This also
greatly cleans up the flags (we can get rid of SELFOPEN and MMAPIO)
and moves private knowledge into the engines where it belongs.

This potentially destabilizes fio somewhat, so testing is needed.
The new openfiles option that is introduced with this change isn't
verified working yet, hence it isn't documented.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Move description text

It was dangling at the bottom.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Terse output change

- Missing a comma.
- Change comma to semicolon, less confusion over floating point numbers.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Show how many jobs are in a group

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update terse output

Several additions to the verbose output have been added since the
terse format was introduced, update it to match.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Default to using gettimeofday()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

stat.c: Superflous n

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Be sure to pick up any group error with group_reporting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Document the 'group_reporting' option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Stat summation fixup

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

td vs ts typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add group reporting

Still needs some testing, so the option isn't documented yet. The
standard deviation averaging also isn't mathematically sound.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

One step closer to group reporting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Don't kill() running threads

Just let them exit nicely.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Cleanup requeue handling

Clear ->resid automatically, and get rid of the goto construct.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Include location for RH related distros.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Forced kill is not used anymore.

So remove the parameter from terminate_thread()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Gently prod children with a SIGQUIT on terminate

This should unstuck most loops.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Improve error logging and handling

If we see an IO anomaly, make sure we dump as much info about the
filename, size, offset, etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fio 1.13

A few silly bugs in the 1.12 release, since it was a bigger change
from 1.11. So do a 1.13 maintenance release.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

fio.h: Fix TD_DDIR_RANDWRITE

A typeo had set DDIR_RANDWRITE to be "WRITE | READ" instead of
"WRITE | RAND".  Correct it.

Signed-off-by: Joel Becker <joel.becker@oracle.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio