Include http:// git url location

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble corruption fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix aiocb compile warnings on HPUX

Unlike other platforms, it seems to require aiocb64 explicitly
for long offsets. Add an os independent typedef for this.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Silence build warning on HPUX

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add option for controlling buffer scrambling

scramble_buffers bool option, defaults to on.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble on a 512b boundary

Instead of just scrambling the full block at the beginning at the
end, make it a bit more clever by:

- Doing it at 512b intervals to ensure full 512b de-dupe attemts, and
- Do it at a "random" offset into that block.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble default write buffer contents slightly

If we are worried about de-dupe making the output data too easy
to compress, but don't want the full incompressible guarantee
provided by refill_buffers=1 (since it's too costly), then lets
make their life a little harder by filling the offset of the IO
into the beginning of the buffer and the start time at the end
of the buffer. This will effectively default simple de-dupe
or compression attempts, while not doing the costly full buffer
refill.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 1.58

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix sum_stat() bug in group_reporting

Write samples in io_stat does not be counted with rw=randread, vice versa.
Then, in sum_stat() function, it will cause 0/0 in calculating mean and S,
and 'nan' is printed. So it should return immediately when src->samples is
equal to 0.

the error result is as follows:
  write: io=8328.0KB, bw=1582.7KB/s, iops=395 , runt=  5262msec
    clat (usec): min=58 , max=293353 , avg= -nan, stdev= -nan
     lat (usec): min=59 , max=293353 , avg= -nan, stdev= -nan
    bw (KB/s) : min=   92, max=  804, per=-nan%, avg= -nan, stdev= -nan

the configuration file used:

[global]
direct=1
ioengine=psync
bs=4k
filename=/dev/sdb1
runtime=5
group_reporting
loops=50

[read]
rw=randread
numjobs=8

[write]
rw=randwrite
numjobs=8

CC: Jens Axboe <jaxboe@fusionio.com>
CC: Yu-ju Hong <yjhong@google.com>
Signed-off-by: Zheng Liu <wenqing.lz@taobao.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix inconsistencies in with man page <param>=<value>

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Improve wording on terse Total IO (KB) field

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router/data/git/fio

Add terse version output format command line parameter

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix disk utilization for delayed jobs

We initialized it all before starting the jobs, so we would
easily see disk stats that were too low for jobs that ended
up being started later.

Fix this by moving the disk util init right before the jobs
are spawned.

Reported-by: Shrirang Phansalkar <sphansalkar@stec-inc.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Style fixup

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Better parser fix

The previous one broke all postfixes for ranges, that wasn't
very nice. This one allows the proper postfix and +/- as well,
as long as the latter is seen before a digit.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "Fix parser bug with ranges"

This reverts commit f20485ad77872d6c5084dead547420386a6ecd5e.

Fix parser bug with ranges

The change to allow -/+ for values broke ranges.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Use r/R/w/W instead of m/M for mixed workloads with 100% reads or writes

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Only clear string pointer in parser for sub-value options

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that buffer contents are random across jobs as well

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix parser using uninitialized memory

Introduced by e2979754b554d6a48cffa98f41fb59bc045922ac.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add support for backwards holes

If you did:

bs=4k
rw=read:-8k

you would essentially rewind by 8k after reading 4k, causing
the read to be sequentially backwards.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove duplicate code in parser

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix FIO_OPT_STR_STORE without posval

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add sub-option support (sort-of) and convert libaio_userspace_reap

You should now use ioengine=libaio:userspace_reap instead of
the separate option.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Adding userspace_libaio_reap option

When a single thread is reading from a libaio io_context_t object
in a non-blocking polling manner (that is, with the minimum number
of events to return being 0), then it is possible to safely read
events directly from user-space, taking advantage of the fact that
the io_context_t object is a pointer to memory with a certain layout.
This patch adds an option, userspace_libaio_reap, which allows
reading events in this manner when the libaio engine is used.

You can observe its effect by setting iodepth_batch_complete=0
and seeing the change in distribution of system/user time based on
whether this new flag is set. If userspace_libaio_reap=1, then
busy polling takes place in userspace, and there is a larger amount of
usr CPU. If userspace_libaio_reap=0 (the default), then there is a
larger amount of sys CPU from the polling in the kernel.

Polling from a queue in this manner is several times faster. In my
testing, it took less than an eighth as much time to execute a
polling operation in user-space than with the io_getevents syscall.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad latency reporting for rated IO jobs

If we are going to sleep to satisfy a given rate limit, then
ensure that we flush pending IO first. Otherwise they end up
including the sleep time in the calculated completion latencies.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile on environment of SuperH

Signed-off-by: Nobuhiro Iwamatsu <iwamatsu@nigauri.org>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add 'null' perf test

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make SH port work for packagers that don't differentiate between SH4 and SH4A

Generic bits done by me, SH specific bits implemented by
Nobuhiro Iwamatsu <iwamatsu@nigauri.org>.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add possibility to make sequential IO "holed"

For sequential IO, it is now possible to add a number of bytes to
be skipped for every block read or written. Using:

bs=8k
rw=read:8k

will first read 0k->8k, then 16k->24k, and so on. This skips 8k
for every 'bs' sized block read. Similar for writes, doing

bs=4k
rw=write:4k

will write 0k->4k, then 8k->12k, etc. End result being that every
other block is written, in a sequential fashion.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Improve Makefile for t/ test code

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add simple stest smalloc tester

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fixup bad style in plat code

- Comments
- Var declarations in code sections
- Misc style

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

stats: fix io_u_plat out-of-bound accesses (round 2)

Commit 833491908a1afd67 introduced the ability to report completion
latency percentiles. It also caused a memory corruption when running
with multiple threads due to out of bound accesses in show_run_stats().
The major index of the io_u_plat two-dimensional array is meant
to be DDIR_ value in {DDIR_READ, DDIR_WRITE} (i.e., {0, 1}). The
code in show_run_stats() incorrectly wrote into the array using
a major index with values {0, 1, 2}. Commit 0a0b49007cbce8d1 fixed
the out of bound accesses by increasing the size of the major
dimension of the io_u_plat array from 2 to 3.

This patch reverts the size change from 0a0b49007cbce8d1 in favor
of avoiding the out-of-bound accesses in show_run_stats().

Signed-off-by: Eric Gouriou <egouriou@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bug in smalloc size calculation

Jiri reports:

I think I found a bug. If the device (file) used in fio has "wrong" size, and is used with "wrong" block size, the fio fails to allocate memory for randommap.
Following conditions must be true, considering just one thread for simplicity:

 1) number of blocks on the device are too big to fill in the default's pool
 2) number of blocks on the device must be "right", so the size of newly allocated pool by smalloc.c:add_pool is exactly as big as requested size (there are some roundings in place, so not every size triggers this error)

When this is true, function smalloc.c:__smalloc_pool fails to use the newly created (exactly big enough) pool, because of this line:

                idx = find_next_zero(pool->bitmap[i], last_idx);

which always returns non-zero value (the minimum returned value is last_idx +1), and so in our case the idx is 1 even though, the block number 0 is free. As the direct consequence, the function doesn't find enough free space in the given pool and returns NULL pointer. This leads to another try to allocate enough memory in smalloc.c:smalloc_real function, and so on...

The behavior could be reprocuded using both stable 1.57 and git version of the tool. The values that triggers the error are:
init_random_map - real_file_size: 21999995584512, o.rw_min_bs: 4096, blocks: 5371092672, num_maps: 83923323, alloc size: 671386584

whereas this block device is fine:
init_random_map - real_file_size: 19999995985920, o.rw_min_bs: 4096, blocks: 4882811520, num_maps: 76293930, alloc size: 610351440

the configuration file used:

[global]
description=CESNET_test
[cesnet]
filename=/dev/sdd
rw=randread
size=10000g
ioengine=libaio
iodepth=4
bs=4k
runtime=10m
time_based
numjobs=1
group_reporting

Get rid of the +1, it looks like a remnant from when the pools
had a header associated with them.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA engine: Change wording of HOWTO section

Change "iWarp" into "iWARP" ("iWarp" is the name of a supercomputer) and
"engines" into "protocols".

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix off-by-one in io_u_plat[] array sizing

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

stats: Add a function to report completion latency percentiles

    This patch introduces two new options:
    1) Specifying --clat_percentiles enables the reporting of
       completion latency percentiles.
    2) --percentile_list allows the user to customize the
       list of percentiles to report.

Signed-off-by: Yu-ju Hong <yjhong@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

man page typo

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update softrandommap in HOWTO

Previous commit fixed the typo in the man page, update the HOWTO
as well.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router/data/git/fio

Fix a typo in fio.1

softrandommap requires an bool argument actually.

Signed-off-by: Zhu Yanhai <gaoyang.zyh@taobao.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA I/O engine: Fix compiler warnings

Fix 32-bit mode compiler warnings and a warning about an unused variable.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA engine: rewrite header comment block and man page section

Spelling and grammar fixes for the header comment. Also make it clear that
users can choose between the RDMA software provided by their Linux distributor
and OFED. Update a related paragraph in the man page too.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA engine spelling fix: change FIO_RDMA_MAX_IO_DPETH into FIO_RDMA_MAX_IO_DEPTH

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

fio_generate_plots with setable resolution

Specify xres and yres as 2nd and 3rd argument, otherwise
defaults to 1024x768.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add 'wait_for_previous' as an alias for the 'stonewall' option

Also update man page and HOWTO, plus add missing alias for
iomem_align while in there.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA update

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA IO engine

I have hacked an rdma ioengine based on OFED for fio which could test
both rdma memory semantic (rdma_write/rdma_read) and channel semantic
(send/recv). Would you like to merge this engine into fio?

notes
1) RDMA engine works in IB, iWarp and RoCE.
2) RDMA engine is disable by default. To enable it, execute the following
   before compile:

$ export EXTFLAGS="-DFIO_HAVE_RDMA"
$ export EXTLIBS="-libverbs -lrdmacm"

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add proper include to silence build warning on NetBSD/FreeBSD

Reported-by: Bruce Cran <bruce@cran.org.uk>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add version number to --help output

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

stats: Fix computation of summed standard deviation

Fix the computation of standard deviation for a group
of jobs. Please see the below link for the
approximation formula used.
<http://en.wikipedia.org/wiki/Algorithms_for_calculating_variance

The formula was originally presented here:
<ftp://reports.stanford.edu/pub/cstr/reports/cs/tr/79/773/
CS-TR-79-773.pdf>

Signed-off-by: Yu-ju Hong <yjhong@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bsrange read,write value option pairs

The 'bs' and 'bssplit' configuration variables accept separate numbers
for read and write operations if you separate them with a comma. For
example: bssplit=1k/39:8k/50:64k/11,1k/29:8k/50:64k/21

The documentation for 'bsrange' says it works the same way, but if I try
to specify two ranges with a comma, I get an error when I run the app.
E.g. if I put this line in the configuration file: bsrange=1k-16k,2k-32k

I get this error output:

fio: pid=26861, err=22/file:engines/sync.c:62, func=xfer, error=Invalid argument

This patch fixes it.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix --timeout as global parameter

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Libaio engine support for iodepth_batch_complete=0

Previously, even if iodepth_batch_complete=0, the libaio engine
passed in non-zero values for the min_nr value for io_getevents.
This patch makes min_nr always 0 if iodepth_batch_complete == 0,
and if multiple events are required at a higher level, then
we poll io_getevents multiple times for the events.

Signed-off-by: Dan Ehrenberg <dehrenberg@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Respect iodepth_batch_complete=0 in main loop

If the iodepth_batch_complete is 0, then even if the queue is full,
we still don't make min_events be 1 in the main loop. Instead, poll
in a non-blocking way until a result is found.

Signed-off-by: Dan Ehrenberg <dehrenberg@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Addes Trace file format description

Added description for iops output

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Fix Solaris compile

In file included from fio.h:24,
                  from gettime.c:10:
os/os.h:192: error: redefinition of 'gettid'
os/os-solaris.h:123: error: previous definition of 'gettid' was here
make: *** [gettime.o] Error 1

Forgot to define FIO_HAVE_GETTID

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make string-set options behave more like bool options

Before this change, string-set options (like time_based) would not
complain if passed an argument, they would just always evaluate
to being set. This is very confusing if someone uses them negated,
ala:

time_based=0

since fio would interpret that as the option being set. Now we'll
do the right thing, time_based=0 will be identical to not having
the option set. And time_based=1 or just time_based will equate
to the option being set.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.57

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Windows affinity fix for thread based jobs

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix infinite loop on platforms with severely limited aio resources

Problem hit on OSX, where with 4 jobs each with a queue depth larger
than what the system supports, you can get into a situation where
any given process can get EAGAIN on queueing AIO even if it has
nothing queued already. Check for this condition to avoid fio's
IO loop going into a death spiral.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make raw disk size detection work on OSX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile warning on OSX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix killing of threads that haven't started

If there is a thread that has not started yet (for instance with a long
startdelay or a stonewall) then a SIGINT will fire off terminate_threads
which runs through all of the threads and calls kill(pid, SIGTERM).
However the threads that have not started yet have a pid of 0.  When you
call kill(0, SIGTERM) it kills the entire thread group which can extend
out of fio.  I have included a short patch which fixes this for me.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add CPU affinity support to Windows

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix AIX Makefile

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix AIX compile

When adding HPUX support the compile for AIX was broken in "lib/getopt.h".

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.56

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

gettid() for NetBSD

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add gettid() for FreeBSD/OSX/Solaris

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add gettid() for proper thread affinity on Linux

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile on older systems that don't have fallocate() on Linux

Commit a596f047 broke build en eg CentOS 5:

filesetup.c:17:26: error: linux/falloc.h: No such file or directory
filesetup.c: In function 'extend_file':
filesetup.c:95: warning: implicit declaration of function 'fallocate'
filesetup.c:95: error: 'FALLOC_FL_KEEP_SIZE' undeclared (first use in this function)
filesetup.c:95: error: (Each undeclared identifier is reported only once
filesetup.c:95: error: for each function it appears in.)
make: *** [filesetup.o] Error 1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Allow percentage setting for size=

Sometimes it's useful to set this to a particular size of a device.
Allowing percentages makes this more easy, as one does not have to
do the math outside of fio and pass in as environment variables
or custom job files.

To use, simply add a

size=15%

or whatever is needed, then fio will use 15% of the total size of
the device(s) or file(s) given. Percentage can be from 1 to 100.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX: add fdatasync()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX: has aio_fsync() and fallocate()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX disk query size

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove old debug printf()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fill in os_phys_mem() stub for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bug in $mb_memory keyword

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Take __weak out of the compiler namespace

With Xcode 4 on OS X shipping LLVM by default, I tried building fio with
clang and found that the definition of __weak conflicts with something
clang defines.  I've attached a patch which replaces the double
underscores with a single underscore, removing it from the
compiler-dependant namespace.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

posixaio: fix for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX typo

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add note saying that HP-UX should work

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

A few HP-UX fixes

Enable posixaio and net IO engine

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make processes work on HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Improve Windows windowsaio engine performance

Always use IO completion ports on Windows since some drives benefit from
using it even with direct or sync io.
Remove PrintError function since logging of errors is done in the core.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix integer overflow in calculating large IOPS on 32-bit platforms

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of warning on platforms for casting char -> int

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add block device size detection for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Initial HP-UX port

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad start_delay type

Should be unsigned long long, causes a bus error on HP-UX.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Set affinity before doing buffer and io_u allocs

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Rewrite posixaio back off comment to be closer to actual English

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that we honor aio_read/write() returning EAGAIN

This fixes a problem on OSX, where the number of resources for
aio is woefully small.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>