Fix bug in smalloc size calculation

Jiri reports:

I think I found a bug. If the device (file) used in fio has "wrong" size, and is used with "wrong" block size, the fio fails to allocate memory for randommap.
Following conditions must be true, considering just one thread for simplicity:

 1) number of blocks on the device are too big to fill in the default's pool
 2) number of blocks on the device must be "right", so the size of newly allocated pool by smalloc.c:add_pool is exactly as big as requested size (there are some roundings in place, so not every size triggers this error)

When this is true, function smalloc.c:__smalloc_pool fails to use the newly created (exactly big enough) pool, because of this line:

                idx = find_next_zero(pool->bitmap[i], last_idx);

which always returns non-zero value (the minimum returned value is last_idx +1), and so in our case the idx is 1 even though, the block number 0 is free. As the direct consequence, the function doesn't find enough free space in the given pool and returns NULL pointer. This leads to another try to allocate enough memory in smalloc.c:smalloc_real function, and so on...

The behavior could be reprocuded using both stable 1.57 and git version of the tool. The values that triggers the error are:
init_random_map - real_file_size: 21999995584512, o.rw_min_bs: 4096, blocks: 5371092672, num_maps: 83923323, alloc size: 671386584

whereas this block device is fine:
init_random_map - real_file_size: 19999995985920, o.rw_min_bs: 4096, blocks: 4882811520, num_maps: 76293930, alloc size: 610351440

the configuration file used:

[global]
description=CESNET_test
[cesnet]
filename=/dev/sdd
rw=randread
size=10000g
ioengine=libaio
iodepth=4
bs=4k
runtime=10m
time_based
numjobs=1
group_reporting

Get rid of the +1, it looks like a remnant from when the pools
had a header associated with them.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA engine: Change wording of HOWTO section

Change "iWarp" into "iWARP" ("iWarp" is the name of a supercomputer) and
"engines" into "protocols".

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix off-by-one in io_u_plat[] array sizing

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

stats: Add a function to report completion latency percentiles

    This patch introduces two new options:
    1) Specifying --clat_percentiles enables the reporting of
       completion latency percentiles.
    2) --percentile_list allows the user to customize the
       list of percentiles to report.

Signed-off-by: Yu-ju Hong <yjhong@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

man page typo

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update softrandommap in HOWTO

Previous commit fixed the typo in the man page, update the HOWTO
as well.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router/data/git/fio

Fix a typo in fio.1

softrandommap requires an bool argument actually.

Signed-off-by: Zhu Yanhai <gaoyang.zyh@taobao.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA I/O engine: Fix compiler warnings

Fix 32-bit mode compiler warnings and a warning about an unused variable.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA engine: rewrite header comment block and man page section

Spelling and grammar fixes for the header comment. Also make it clear that
users can choose between the RDMA software provided by their Linux distributor
and OFED. Update a related paragraph in the man page too.

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA engine spelling fix: change FIO_RDMA_MAX_IO_DPETH into FIO_RDMA_MAX_IO_DEPTH

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

fio_generate_plots with setable resolution

Specify xres and yres as 2nd and 3rd argument, otherwise
defaults to 1024x768.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add 'wait_for_previous' as an alias for the 'stonewall' option

Also update man page and HOWTO, plus add missing alias for
iomem_align while in there.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA update

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA IO engine

I have hacked an rdma ioengine based on OFED for fio which could test
both rdma memory semantic (rdma_write/rdma_read) and channel semantic
(send/recv). Would you like to merge this engine into fio?

notes
1) RDMA engine works in IB, iWarp and RoCE.
2) RDMA engine is disable by default. To enable it, execute the following
   before compile:

$ export EXTFLAGS="-DFIO_HAVE_RDMA"
$ export EXTLIBS="-libverbs -lrdmacm"

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add proper include to silence build warning on NetBSD/FreeBSD

Reported-by: Bruce Cran <bruce@cran.org.uk>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add version number to --help output

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

stats: Fix computation of summed standard deviation

Fix the computation of standard deviation for a group
of jobs. Please see the below link for the
approximation formula used.
<http://en.wikipedia.org/wiki/Algorithms_for_calculating_variance

The formula was originally presented here:
<ftp://reports.stanford.edu/pub/cstr/reports/cs/tr/79/773/
CS-TR-79-773.pdf>

Signed-off-by: Yu-ju Hong <yjhong@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bsrange read,write value option pairs

The 'bs' and 'bssplit' configuration variables accept separate numbers
for read and write operations if you separate them with a comma. For
example: bssplit=1k/39:8k/50:64k/11,1k/29:8k/50:64k/21

The documentation for 'bsrange' says it works the same way, but if I try
to specify two ranges with a comma, I get an error when I run the app.
E.g. if I put this line in the configuration file: bsrange=1k-16k,2k-32k

I get this error output:

fio: pid=26861, err=22/file:engines/sync.c:62, func=xfer, error=Invalid argument

This patch fixes it.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix --timeout as global parameter

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Libaio engine support for iodepth_batch_complete=0

Previously, even if iodepth_batch_complete=0, the libaio engine
passed in non-zero values for the min_nr value for io_getevents.
This patch makes min_nr always 0 if iodepth_batch_complete == 0,
and if multiple events are required at a higher level, then
we poll io_getevents multiple times for the events.

Signed-off-by: Dan Ehrenberg <dehrenberg@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Respect iodepth_batch_complete=0 in main loop

If the iodepth_batch_complete is 0, then even if the queue is full,
we still don't make min_events be 1 in the main loop. Instead, poll
in a non-blocking way until a result is found.

Signed-off-by: Dan Ehrenberg <dehrenberg@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Addes Trace file format description

Added description for iops output

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Fix Solaris compile

In file included from fio.h:24,
                  from gettime.c:10:
os/os.h:192: error: redefinition of 'gettid'
os/os-solaris.h:123: error: previous definition of 'gettid' was here
make: *** [gettime.o] Error 1

Forgot to define FIO_HAVE_GETTID

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make string-set options behave more like bool options

Before this change, string-set options (like time_based) would not
complain if passed an argument, they would just always evaluate
to being set. This is very confusing if someone uses them negated,
ala:

time_based=0

since fio would interpret that as the option being set. Now we'll
do the right thing, time_based=0 will be identical to not having
the option set. And time_based=1 or just time_based will equate
to the option being set.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.57

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Windows affinity fix for thread based jobs

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix infinite loop on platforms with severely limited aio resources

Problem hit on OSX, where with 4 jobs each with a queue depth larger
than what the system supports, you can get into a situation where
any given process can get EAGAIN on queueing AIO even if it has
nothing queued already. Check for this condition to avoid fio's
IO loop going into a death spiral.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make raw disk size detection work on OSX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile warning on OSX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix killing of threads that haven't started

If there is a thread that has not started yet (for instance with a long
startdelay or a stonewall) then a SIGINT will fire off terminate_threads
which runs through all of the threads and calls kill(pid, SIGTERM).
However the threads that have not started yet have a pid of 0.  When you
call kill(0, SIGTERM) it kills the entire thread group which can extend
out of fio.  I have included a short patch which fixes this for me.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add CPU affinity support to Windows

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix AIX Makefile

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix AIX compile

When adding HPUX support the compile for AIX was broken in "lib/getopt.h".

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.56

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

gettid() for NetBSD

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add gettid() for FreeBSD/OSX/Solaris

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add gettid() for proper thread affinity on Linux

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile on older systems that don't have fallocate() on Linux

Commit a596f047 broke build en eg CentOS 5:

filesetup.c:17:26: error: linux/falloc.h: No such file or directory
filesetup.c: In function 'extend_file':
filesetup.c:95: warning: implicit declaration of function 'fallocate'
filesetup.c:95: error: 'FALLOC_FL_KEEP_SIZE' undeclared (first use in this function)
filesetup.c:95: error: (Each undeclared identifier is reported only once
filesetup.c:95: error: for each function it appears in.)
make: *** [filesetup.o] Error 1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Allow percentage setting for size=

Sometimes it's useful to set this to a particular size of a device.
Allowing percentages makes this more easy, as one does not have to
do the math outside of fio and pass in as environment variables
or custom job files.

To use, simply add a

size=15%

or whatever is needed, then fio will use 15% of the total size of
the device(s) or file(s) given. Percentage can be from 1 to 100.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX: add fdatasync()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX: has aio_fsync() and fallocate()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX disk query size

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove old debug printf()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fill in os_phys_mem() stub for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bug in $mb_memory keyword

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Take __weak out of the compiler namespace

With Xcode 4 on OS X shipping LLVM by default, I tried building fio with
clang and found that the definition of __weak conflicts with something
clang defines.  I've attached a patch which replaces the double
underscores with a single underscore, removing it from the
compiler-dependant namespace.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

posixaio: fix for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX typo

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add note saying that HP-UX should work

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

A few HP-UX fixes

Enable posixaio and net IO engine

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make processes work on HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Improve Windows windowsaio engine performance

Always use IO completion ports on Windows since some drives benefit from
using it even with direct or sync io.
Remove PrintError function since logging of errors is done in the core.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix integer overflow in calculating large IOPS on 32-bit platforms

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of warning on platforms for casting char -> int

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add block device size detection for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Initial HP-UX port

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad start_delay type

Should be unsigned long long, causes a bus error on HP-UX.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Set affinity before doing buffer and io_u allocs

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Rewrite posixaio back off comment to be closer to actual English

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that we honor aio_read/write() returning EAGAIN

This fixes a problem on OSX, where the number of resources for
aio is woefully small.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix ramp time random screwup

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix ramp time bug

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add --max-jobs/-j command line option

And shrink OSX max default number of jobs supported. OSX has,
by default, a very small shared memory segment available.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix for terminating threads in ramp time

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make smalloc use anonymous memory mmaps

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

patch from debian fio package to fix syntax errors in manpage.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

man page: fix incorrect description for disable_clat option

Signed-off-by: Steven Noonan <snoonan@amazon.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add ability to invoke fallocate() FALLOC_FL_KEEP_SIZE.

Linux offers fallocate() and the FALLOC_FL_KEEP_SIZE option as
an alternative to posix_fallocate(). When FALLOC_FL_KEEP_SIZE is
specified for an falloc request going beyond the end of the file,
the requested blocks get preallocated without changing the apparent
size of the file. This is is a commonly recommended use of fallocate()
for workloads performing append writes.

This patch modifies the fallocate option from a boolean option
to a string option accepting none/posix/keep/0/1. 'keep' is only
made available on systems where FALLOC_FL_KEEP_SIZE is available
(i.e., Linux at this time). If specified, fallocate() is used
with FALLOC_FL_KEEP_SIZE set. 'none' disables pre-allocation while
'posix' uses posix_fallocate(). The default behavior remains unchaned,
i.e., invoking posix_fallocate. The settings '0'/'1' are there to
provide backward compatibility for users who had explicitly set the
boolean option.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix fill_device with queue depth higher than 1

I found an interesting combination of using fill_device when the
iodepth is greater than 1.  All outstanding IO causes an ENOSPC error,
but only the first is treated specially.  The remainder come through
and cause an error exit condition when the IO queue is being cleared.
So it is impossible to use deep IO with fill device.

This patch should fix the issue.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fixup wrong enum used for __check_min_rate()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix Makefile depend issue

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.55

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Silence gcc 4.6 warnings

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix overlap io_u into outside regions

Test case is a job file ala this:

[global]
ioengine=posixaio
direct=0
filename=testfile
iodepth=128
size=50M
loops=10000000000
group_reporting=1
readwrite=randwrite
do_verify=1
verify=md5
verify_fatal=1
numjobs=1
thread
bsrange=4k:1M

[thread0]
offset=0G

[thread1]
offset=50M

[thread2]
offset=100M

[thread3]
offset=150M

[thread4]
offset=200M

[thread5]
offset=250M

[thread6]
offset=300M

[thread7]
offset=350M

where io_u units from threadN ends up crossing into the zone of threadN+1.
This is due to using file->real_file_size as the boundary check for the
buffer length, where the offset itself is correctly calculated. When
using mixed block sizes, this can cause a blocksize larger than the
minimum size to span into the next region.

Fix this by using file->io_size + offset as the end delimeter. Also
improve the logic of dropping to a smaller allowed block size if we do
end up being close to spanning into the next region.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

splice: use ->o.memalign to indicate we want aligned buffers

Vasilis Liaskovitis reports:

---

I am trying to use the splice ioengine to read/write from/to tmpfs (/dev/shm).

Writing works fine e.g. with the following fio config:
[sw]
rw=write
size=1g
directory=/dev/shm
iodepth=32
direct=0
blocksize=512k
numjobs=1
nrfiles=1
ioengine=splice
loops=1
group_reporting
create_on_open=1
create_serialize=0

But reading the same file afterwards with the splice ioengine fails:
[sw]
rw=read
size=1g
directory=/dev/shm
iodepth=32
direct=0
blocksize=512k
numjobs=1
nrfiles=1
ioengine=splice
loops=1
group_reporting

root@server1:~/fio# ./fio  /root/fior_splice.fio
sw: (g=0): rw=read, bs=512K-512K/512K-512K, ioengine=splice, iodepth=32
fio 1.53
Starting 1 process
fio: pid=17504, err=22/file:filesetup.c:502,
func=open(/dev/shm/sw.1.0), error=Invalid argument
Run status group 0 (all jobs):

Is something misconfigured in the fio read config?
The --debug=all output is:

Starting 1 process
file     17517 setup files
file     17517 get file size for 0x7f2f87451028/0/0x7f2f87451108
diskutil 17517 /dev/shm/sw.1.0 belongs to maj/min 0/17
process  17517 pid=0: runstate 0 -> 1
process  17517 will fork
mutex    17517 wait on startup_mutex
process  17519 jobs pid=17519 started
process  17519 pid=17519: runstate 1 -> 2
mutex    17519 up startup_mutex
mutex    17519 wait on td->mutex
mutex    17517 done waiting on startup_mutex
process  17517 pid=17519: runstate 2 -> 4
mutex    17519 done waiting on td->mutex
mem      17519 Alloc 16777216 for buffers
[...]
file     17519 trying file /dev/shm/sw.1.0 10
file     17519 fd open /dev/shm/sw.1.0
file     17519 file not found in hash /dev/shm/sw.1.0
file     17519 get file /dev/shm/sw.1.0, ref=0
io       17519 invalidate cache /dev/shm/sw.1.0: 0/1073741824
file     17519 fd close /dev/shm/sw.1.0
file     17519 error 1 on open of /dev/shm/sw.1.0
file     17519 get_next_file_rr: (nil)
fio: pid=17519, got signal=11
process  17517 pid=17519: runstate 4 -> 9
process  17517 terminate group_id=-1
process  17517 setting terminate on sw/17519
diskutil 17517 update io ticks

Other fio ioengines (sync, vsync) work fine for both reading/writing
on tmpfs. Also, other splice tests can do both reads and writes to
tmpfs (e.g. splice-cp).

This happens with current fio-master or fio-1.38-1 (debian package)
thanks for any comments,

---

The reason is that splice uses ->o.odirect to set that we want aligned
buffers, but we actually have a flag for that now. So just use that.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.54

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix crash on specifying bad IO engine on the command line

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

windowsaio: fix race condition between IOCP and queue functions

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Cast l_opts string names to char *

Avoids warning on Solaris

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "Constify l_opts strings"

This reverts commit e7d841768b8b6d5e081134e6e2f04f43ac870348.

Ensure we quit on SIGTERM

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Constify l_opts strings

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix signed int/long truncation on 32-bit architectures

With using our internal random generator, we generate
unsigned ints. But by mistake this was assigned to
a signed long, that doesn't work so well on 32-bit machines.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.53

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "parser: get rid of useless is_time variable"

This reverts commit 1a1137d9ba2603e295aaac579777ab0d3524faa6.

Exit with error on signal

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

sscanf fixup

I noticed that a job of:

[sequential write at  1k block size.]

Gets reported as "sequentia".

I think we need to use %255[^\n] in sscanf instead.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

windowsaio: skip uncompleted requests

Windows sometimes gives us an IO request which hasn't completed yet,
which we need to ignore.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Windows fixes

- Fix XP support: get pointer to CancelIoEx at runtime.
- Fix overlapped IO.
- Don't use overlapped IO if direct or synchronous options are set.
- Check if write option is set before opening file in read-only mode:
  fixes 'rw=rw'.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Convert left-over manual ->runstate setting to td_set_runstate()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Bump max job count to 2048

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Switch mutex to using anonymous mmap

We don't need an fd backing for this, saves on file descriptors
in use.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.52

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add space between -m and 755 for install

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove solaris posix_memalign() helper

Not used in core code anymore.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>