[PATCH] Fix warnings from icc

icc spewed a bunch of warnings on building fio, but it did actually build
and work. Some of them are real bugs, most are just "helpful" warnings.

icc doesn't like pointer arithmetic, however these are not fixed up. It
works as-is, just ignore those class of warnings.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] rusage stat

Sum up total over all loops, not for each one.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Improve time accounting for a job

We need to account loop time in usecs, or the null io engine can
get the timing wrong. For the system usage stats, don't use summed
up loop counts, but calculate end-start time instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Update ioengine help text

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] 'null' ioengine

Add a null io engine, which can be used to exercise and test/debug fio
itself. It doesn't transfer any data, just pretends to.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix time debug compile

If FIO_TIME_DEBUG gets enabled, we need hash.h.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Comment typo

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Time and seek optimizations

We did too many gettimeofday() calls, this patch cuts the number by
40%. Use clock_gettime() MONOTONIC instead, it is faster on my system
at least.

This patch also optimizes calling lseek() only when necessary for the
sync io engine.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Get rid of FIO_INST_PREFIX

We don't need it anymore, since we link in known io engines and unknown
ones have to be given with a full path.

Also fixup Makefiles for Solaris and FreeBSD, they were a bit outdated.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Close files on error

The error path doesn't close already opened files. Also set
O_SYNC regardless of file type.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Always open the files from the job itself

This way we don't fork or spawn threads and make them inherit the open
file.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] File close fix

We should unlink and invalidate a closed file, to less impact on
other threads or pending jobs.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] fsync and stonewall fix

We should not terminate threads that haven't been started yet.
The fsync check was bad, it should look at td->error.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Don't segfault on missing argument data

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] nrfiles > 1 random fix

We should only generate a block within the specific file size, not
the total io size.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix signedness issue

Don't compare standard char to -1.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Improve skeleton example

Fill out stub functions and comments. Mark required vs not required
io_engine hooks.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add skeleton external io engine

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Link in known io engines

No real point in using dlopen() to find engines we know about. We still
support loading external modules, just give the name as the full path
to such a file.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Version 1.9

A few stupid problems with 1.8, so release 1.9.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix options with no parameters

Got broken yesterday, with the addition of the comma separated entries.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Remove rate_quit remnants

The option was lost in the option unification, and it can be handled
equally well with 'exitall'.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Missing memset and free-on-error in io engines

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Warn on writable strings

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Forgot to include 'M' as a unit postfix

We skipped from K to G, forgetting 'M' in between...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Version 1.8

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Print pretty bs values

Convert 1024 to 1K and so on.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Allow leading , in multi setting parameter

Allow only setting of the write end of the sizes by having an empty
text for the read side - example, use bs=,8k to just set the write
side and leave the read side with the default value.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Cleanup 2nd argument set parsing/setting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] bs= and bsrange= takes both read and write sizes

Get rid of read_bs/write_bs and read_bsrange/write_bsrange. It was ugly
and too complicated. Instead support giving both values in a single bs=
or bsrange= seperated by a comma.

Example: bs=1k,4k will use 1k blocks for reads, 4k blocks for writes.
 bs=32k will use 32k blocks for both reads and writes.

Similar for bsrange=

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] HOWTO spelling fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

[PATCH] Make fio build again on "crippled" platforms

Some time in the future we want a proper configure setup and only
install the supported io engines, for now install limited versions
that just complain on initialization.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Kill old libaio/posixaio checks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add in-progress io rate

Dumped along with percentage and eta.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Makefile update

[PATCH] Fix int vs long problems in parsing some options

The type needs to match strictly, or we get into problems on big
endian architectures.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add seperate read/write block size options

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix random_map

If alignment was unlucky, we would underestimate the num_maps entry
by 1.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] fsx example

write_iolog was just to verify that it worked, remove that again.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] String copy limiting fixes

Avoid overflows when we can.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Improve job/cmd line parsing error logging

Drop jobs when needed and so on.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add sample fsx job file

It simulates what a "normal" fsx run does. fsx-linux can also do read/write
or mmap io, change ioengine= to mimic that instead.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Print an error when parsing a job option fails

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Signedness warning

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Randomly fill output buffers

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add 'bs_unaligned' option

If this is specified with 'bsrange', fio will use any byte size value
in the bs range for an io unit buffer length. Normally fio defaults to
using a multiple of the minimum bs size, as that is required for any
type of raw io.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add 'norandommap' option

With this option given, fio will not keep track of what parts of a file
has been read/written or not. So for random io, we may read/write a block
a block more than once (or not at all). Thus this option conflicts with
doing write verification.

This is a first step for doing truly randomly sized blocks of io.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Improve job file parsing

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Potential overflow and unused variable

'tmpbuf' was unused. Limit [name] entry to 255 chars to avoid
overflowing the buffer.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Move the other parameter fixup code into fixup_options()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Don't put_job() on def_thread

It's not accounted.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Typo: jobname is 'val', not 'opt'

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add support for multiple jobs on the command line

Give --name the special meaning of starting a new job (and adding
the previous). Now the command line is just as powerful as the
job files.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix modification of const string

Copy 'ptr' to local storage first.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] FIO_OPT_RANGE breakage

After terminating the first string, remember to reset the pointer to the
beginning of the string.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Options must be integer

Make all char options integers, to avoid having to introduce a
char parse type.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add full command line parameter support

You may now give full job options on the command line. Makes it easier
to script fio or for one-off runs, as you don't have to write a job file
and run that.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] parse cleanups

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH cpu io threads need not have lots of stuff setup

Everything that has to do with io can be skipped.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Improve io logging

write_iolog was broken. Change iolog= to read_iolog= to keep things
nicely seperated.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fixup iolog config setting

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Abstract option handling

Instead of parsing manually, we abstract out everything so parse.[ch] is
now a generic config file parser. This is the next step towards unifying
command and job options.

I'm sure I broke plenty of options in the process...

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] libaio sign error

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Split config name parse functions into parse.c

The plan is to add command line options that mirror the config options,
so fio will be easier to script.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Update HOWTO

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Use posix_fallocate() to force file layout

Dunno how well this works on all filesystems, but at least it's
a good hint to send wrt fragmentation and layout.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add HOWTO

This file contains more detailed usage information, and a fuller
description of the job file parameters.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] ->queue() error handling

We return 1/0 for failure/success and put the error in io_u->error.
The libaio engine didn't quite do that.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] README updates

Put related options closer together.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Make ->buflen == 0 on SYNC io_u's

It eases the error handling in the splice and sync io engine.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Document filename= option

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] License update

We target GPL v2 exclusively. Also note that this covers all files
distributed with fio, not just fio.c itself.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Move td_io_sync()

It's not an io engine operation anymore, so move it to fio.c, make
it static, and rename it to fio_io_sync().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] mmap io engine had broken sync

It returned from ->queue() too quickly, it still needs to set the
last event handler.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Implement file syncing as data direction

Instead of defining a seperate ->sync() operation for the io engine,
reuse the io_u infrastructure for committing and reaping sync
events as well. It's a nice cleanup as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Shrink io_u a little

->index and ->seen can share the same space, they are both io engine
private.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] f->fileno is not used

Remove it

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Only unlink the same file once

If filename= is used, make sure we only do the unlink() once.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Revert some of the leak fixes

If the options are given as part of the global thread, the others
inherit the memory and thus cannot free it. Since it doesn't matter
a lot (we are talking a few hundred bytes), just leave the memory
as-is.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add option to specify the exact file used

Fio typically just makes up a filename for a job, but sometimes you want
to explicitly reuse the same file for multiple jobs. Add a filename=
option to cater to that.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Plug a few more leaks

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Be nicer about cleaning up allocated memory

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Sanity check ops on loaded io engine

We require certain handlers to be there, or fio will either
malfunction or crash.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Move related code next to each other

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Split the io_u io handling out of fio.c

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Split out the memory handling from fio.c

In the process also fix some bugs in the memory pinning.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] disk zone example needs write_bw_log

Less confusing now, since you can just run the job file. Before you
needed to know that -w was needed for the job to be meaningful.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add bw/lat log as job options

Currently you need to specify -l or -w, make them available as
a job config option as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] More size fixes

Clean it up so that the create/non-create/bdev paths are the same
to avoid further problems in this area.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fixup io size on block devices

Still leftover bugs from the > 1 file per job changes.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add for_each_td()

Similar to for_each_file(), just iterates over each td we know about.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Only the posixaio engine needs to link against -lrt

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Cleanup iolog handling

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Automatically adjust iodepth for nr_files

If iodepth isn't directly specified, allocate 1 io_u per file to
avoid serializing the workload. If iodepth is specified, use whatever
value was given as previously.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] File creation and info fixes

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Total io size / eta fix

Inadvertently the files were counted twice, hence ETA ended at 50%.
This was also the real bug for the verify ETA fixed a few days ago,
so reinstate the proper check when doing verifies as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix a bunch of bugs

- engines/fio-engine-libaio.o needs to link against -laio and fio need not
  anymore. This caused funky crashes with libaio io engine.

- Fix a few bugs in the libaio engine.

- Only do sync/cleanup in do_io() if we exit without error.

- ->io_ops may be NULL in reap_threads(), if the job exited.

- Allocate io engine, don't reuse the dlopen() object.

- Overlapping sprintf() in init_disk_util().

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://router/data/git/fio

[PATCH] Make io engines -W clean

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>