Use -pthread instead of -lpthread on FreeBSD

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of other-OS headers in .depend

It looks like blktrace_api.h is being parsed through the depend rule
in Makefile.[FreeBSD|NetBSD|mac] due to the headers being listed in
$(SOURCE) - gcc just ignores missing <> headers while clang generates an
error as it builds the dependency list. Since headers which are
included within source files will be listed as a dependency anyway, I
think they can be removed from $(SOURCE).

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44.3

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

FreeBSD build broken due to missing -lrt

The latest fio fails to link on FreeBSD because timer_create is in
librt but the -lrt flag is missing from Makefile.FreeBSD.

I also noticed a couple of compiler warnings when building with clang -
a format of "%Lu" is used but 'L' doesn't have any effect with 'u' - I
guess %llu is needed since the types are 'unsigned long long'?

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

fix ramp_in

There are a couple of problems with the relatively new ramp_in feature
of fio.  First, the estimated time to completion did not correctly take
it into account and bounces around.  Second and more importantly, the
runtime was including ramp in time in throughput calculations even
though the IO done during that time was ignored, thus making throughput
metrics incorrect. This patch fixes both.

Signed-off-by Steven Pratt <slpratt@austin.ibm.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Sync HOWTO iodepth option with man page

Also add a note on other restrictions that may cause lower IO depth
than expected.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

fio.1: Add ioengines heads up to the iodepth section

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add additional references to binary packages

This adds a couple of references to binary fio packages for Linux distros as
well as for Solaris.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

nrfiles vs nr_files mixups

The man page references nr_files, the real option is nrfiles.
Change man page and add nr_files alias to nrfiles.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Makefile.solaris: install man pages

This patch brings Makefile.solaris in sync with the other Makefiles.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

solaris: log error for failure to enable direct IO

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Call path below SIGALRM isn't safe

We do allocations, open files, printf, etc from the SIGALRM signal
handler which gets run every 250 msecs. This isn't necessarily
safe and could deadlock. Move it to thread context instead.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44.2

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: ensure we get aligned memory

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update for proper binject ioctls

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update HOWTO as well for verify_backlog

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update verify_backlog documentation

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44.1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

A few fixes for 32-bit compiles

- Change the HAVE_SSE to HAVE_SSE4_2 and only provide it on
  x86-64.
- Cast two values that otherwise cause the compiler to warn on 32-bit

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix segfault when passing in size < block_size

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Fix compile warning on platforms with posix_fallocate

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Kill -arch from OSX Makefile

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: ctl cleanups

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: fix missing includes for stat(2)

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Initial support for explicit write barriers

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add missing file.h f->file_data change

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject updates

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: setup and teardown mappings internally

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile on RHEL4/SLES10

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad setting of td->o.ddir_seq_nr in add_job()

This defaults to 1, but add_job() adds 1 again which means
that the random isn't always effective since every alternate
IO gets to bypass that logic.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Use log_err() in the io engines

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: correctly retrieve block size of device

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44-rc1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Don't add the file offset twice for trim

We added it when storing the io_piece, don't add it again
when calling trim.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Kill leftover debug printf() and re-format a long line

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix io_u depth array size

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add some comments around the terse output

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

num2str fixes

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Implement a better num2str()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router.home.kernel.dk/data/git/fio

Revert "Improvements for num2str()"

This reverts commit ef5249d5e5f0bb5f0adfb182b1dbc988aee976de.

Improvements for num2str()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add missing option type

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router.home.kernel.dk/data/git/fio

binject: use WRITE, not WRITEZERO

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router.home.kernel.dk/data/git/fio

Add binject IO engine

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Align memory buffers for RAW io engines

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fixup bad format of replay_no_stall option

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix assert

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Trim/discard fixes

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix libaio prep

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove debug TRIM #error

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add verify trim support

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add support for redirection replay of blktrace traces to another device

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.43.2

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bug with probing block size

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.43.1

The out-of-index deref and memory bugs could hit 1.43 as well
even without trim, it just made it more apparent. So tag a new
release.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add support for replaying blktrace trim/discard

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add missing types to io_u_log_error()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add missing types to log_io_u()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix access of freed memory

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Bad style

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.43

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Mark "read_iolog" as a parent for "replay_no_stall"

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add option to skip delays when replaying traces

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix blktrace replay

We would add duplicate files, if the open event comes before
the add file event. Make sure we return the current index file
instead of adding a duplicate, this causes bad file lookups.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.43-rc1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fixup misuse of get_cpu_clock()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add comment on why fallocate is disabled on AIX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update OS support line

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Cleanup MSG_DONTWAIT

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Bad indentation

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

AIX fixups

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add comment as to where getopt_long.c came from

Also fix the include path.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add support for AIX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Not all platforms have MSG_DONTWAIT

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad casting of unsigned long long to unsigned long

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add get_cpu_clock() for powerpc

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Reduce thread stack size

This patch reduces the stack size required by fio threads and hence allows
to run fio with 200 or more threads on systems with a moderate amount of
virtual memory.

Signed-off-by: Bart Van Assche <bart.vanassche@gmail.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Reduce stack consumption in blktrace load

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix leak when finding aliases in the log rbtree

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad deref of memory in parser

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add rw_sequencer option

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Rename ddir_nr -> ddir_seq_nr

Another mode will be added, so lets rename this one internally
to make the distinction clear.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Initial commit for TRIM/DISCARD support

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Have cscope look in subdirs too

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.42

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

No need to use specific flag for io_u fill length

The fill length already provides that information.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Really fix broken option length check

Commit 7b4cb1320928bdea2360cf36fc45c83700052d43 matched the
string passed in, but that doesn't work for postfix values
appended.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Turn io_u filled variable into a flag

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Reuse filled pattern

I made changes to fio so we wld re-use the already populated io_u
buffer (when there is a non-random pattern) during writes. That way
only the header will be re-calculated for every I/O. This way the
buffer wld get populated in the beginning and as long as the
subsequent ios using the same io_u structure are writes and have same
or less block size, it wld get re-used. If any of the subsequent i/o
is a read or has a block size greater than the pre-filled one, then
the buffer is invalidated and will be re-filled at the next write.

Reason for this risky change: (Performance)
I tested this change on a tmpfs(with no swap backing), with the
following config file:
[sscan_write]
filename=/mytmpfs/datafile.tmp
rw=write
bs=64k
size=3G
ioengine=libaio
iodepth=1024
iodepth_low=512
runtime=10800
bwavgtime=5000
thread=1
do_verify=0
verify=meta
verify_pattern=0x55aaa55a
verify_interval=4k
continue_on_error=1

fio-1-41-6 gave 306MB/s and the new change had a performance of 1546MB/s

Side effects/Risks:
There is a risk with this fix, that if the buffer gets corrupted then
the subsequent writes will also be corrupt. I think for both
sequential writes and random writes (with verify, where the I/O log is
replayed) we shld be able to find the first I/O that started with the
corruption and if the buffer is getting corrupted, there are other
issues here.

Testing:
I have tested this fix with sequential write(verify)/random read write
mix combination(with verify).

I think I have taken care of most of the case, but please let me know
if there is anything I have missed. I have attached the patch along
with this email. I think the performance improvement outweighs the
risk associated with the fix. But I will let you decide if you wld
like to pick it up.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.41.6

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Only flag sync_file_range() support for newer Linux versions

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update documentation on new terse format and add version number

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix startdelay option with s/m/h/d postfix

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>