Style fixup

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: fix for non zero appended strings

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parser: use logging infrastructure

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: idle loop support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: probe command support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: error handling and probe command

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: handle connection failure

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: silence mem debug warning

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: remove some debug statements

Signed-off-by: Jens Axboe <axboe@kernel.dk>

poll: break on EINTR without complaining

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: fix typos in conversion

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: attempt to handle client ctrl-c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: send network copy of run_str[]

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: add ETA as a specific command

No more text passing for ETA.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Abstract out calculation of ETA from display of ETA

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add TODO list

Not complete

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: package defrag fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add type checking to 16/32/64 endianness converters

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: fixup quit

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: transmit status as structures, not text

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Allocate thread_stat name arrays statically

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move getrusage() out of thread_stat

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move stat_io_bytes/time to thread_data

Anything that isn't needed to sum/show thread stats should not be
in struct thread_stat.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: unify shm setup

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: endianness bug and exit command

- flags should be converted to network native format
- add separate EXIT command for server, regular job completion should
  not quit it

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: don't setup shared mem area for just the frontend

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: start conversion of data structures to network friendly types

Not done yet, but do the basic conversion.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: initial support for daemonizing

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: make struct group_run_stats network transfer friendly

Use explicitly sized types.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Style fixup

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: malloc/free fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup some bad file naming

log.c does not match log.h. Rename the iolog stuff to iolog.c
and infolog.c to log.c (so it matches the include).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server/client: add FD_NET debug clues

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add FD_NET debugging value

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: re-setup poll fd array in case a client disappears

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: exit gracefully on ctrl-c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: continue support for multiple connections

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: initial support for multiple connections

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: ensure payload larger than max is broken into pieces

For debug purposes, set the max payload size to 64 to catch any
further issues while developing this.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: quit client when job run is complete

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: fix error in logging output

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: serial is a 64-bit field

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: switch to 16-bit crc

Good enough and we can kill the command padding

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Reinstate double logging if f_err != stderr

Signed-off-by: Jens Axboe <axboe@kernel.dk>

crc16: use void * as the argument

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: debug fixes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Pass more arguments to fio_init_net_cmd()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use length guarded sprintf functions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Server logging cleanup/functionality

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Start of functional client

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add start of client, start of real protocol

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Properly log errors in server

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Close listen socket when done

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use poll() for connect loop

So we can exit nicely when asked to.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Hide things not appropriate behind is_backend

Also add explicit command to exit the server, FIO_QUIT.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Start of client/server

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Include http:// git url location

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble corruption fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix aiocb compile warnings on HPUX

Unlike other platforms, it seems to require aiocb64 explicitly
for long offsets. Add an os independent typedef for this.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Silence build warning on HPUX

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add option for controlling buffer scrambling

scramble_buffers bool option, defaults to on.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble on a 512b boundary

Instead of just scrambling the full block at the beginning at the
end, make it a bit more clever by:

- Doing it at 512b intervals to ensure full 512b de-dupe attemts, and
- Do it at a "random" offset into that block.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Scramble default write buffer contents slightly

If we are worried about de-dupe making the output data too easy
to compress, but don't want the full incompressible guarantee
provided by refill_buffers=1 (since it's too costly), then lets
make their life a little harder by filling the offset of the IO
into the beginning of the buffer and the start time at the end
of the buffer. This will effectively default simple de-dupe
or compression attempts, while not doing the costly full buffer
refill.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 1.58

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix sum_stat() bug in group_reporting

Write samples in io_stat does not be counted with rw=randread, vice versa.
Then, in sum_stat() function, it will cause 0/0 in calculating mean and S,
and 'nan' is printed. So it should return immediately when src->samples is
equal to 0.

the error result is as follows:
  write: io=8328.0KB, bw=1582.7KB/s, iops=395 , runt=  5262msec
    clat (usec): min=58 , max=293353 , avg= -nan, stdev= -nan
     lat (usec): min=59 , max=293353 , avg= -nan, stdev= -nan
    bw (KB/s) : min=   92, max=  804, per=-nan%, avg= -nan, stdev= -nan

the configuration file used:

[global]
direct=1
ioengine=psync
bs=4k
filename=/dev/sdb1
runtime=5
group_reporting
loops=50

[read]
rw=randread
numjobs=8

[write]
rw=randwrite
numjobs=8

CC: Jens Axboe <jaxboe@fusionio.com>
CC: Yu-ju Hong <yjhong@google.com>
Signed-off-by: Zheng Liu <wenqing.lz@taobao.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix inconsistencies in with man page <param>=<value>

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Improve wording on terse Total IO (KB) field

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router/data/git/fio

Add terse version output format command line parameter

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix disk utilization for delayed jobs

We initialized it all before starting the jobs, so we would
easily see disk stats that were too low for jobs that ended
up being started later.

Fix this by moving the disk util init right before the jobs
are spawned.

Reported-by: Shrirang Phansalkar <sphansalkar@stec-inc.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Style fixup

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Better parser fix

The previous one broke all postfixes for ranges, that wasn't
very nice. This one allows the proper postfix and +/- as well,
as long as the latter is seen before a digit.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "Fix parser bug with ranges"

This reverts commit f20485ad77872d6c5084dead547420386a6ecd5e.

Fix parser bug with ranges

The change to allow -/+ for values broke ranges.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Use r/R/w/W instead of m/M for mixed workloads with 100% reads or writes

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Only clear string pointer in parser for sub-value options

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that buffer contents are random across jobs as well

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix parser using uninitialized memory

Introduced by e2979754b554d6a48cffa98f41fb59bc045922ac.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add support for backwards holes

If you did:

bs=4k
rw=read:-8k

you would essentially rewind by 8k after reading 4k, causing
the read to be sequentially backwards.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove duplicate code in parser

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix FIO_OPT_STR_STORE without posval

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add sub-option support (sort-of) and convert libaio_userspace_reap

You should now use ioengine=libaio:userspace_reap instead of
the separate option.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Adding userspace_libaio_reap option

When a single thread is reading from a libaio io_context_t object
in a non-blocking polling manner (that is, with the minimum number
of events to return being 0), then it is possible to safely read
events directly from user-space, taking advantage of the fact that
the io_context_t object is a pointer to memory with a certain layout.
This patch adds an option, userspace_libaio_reap, which allows
reading events in this manner when the libaio engine is used.

You can observe its effect by setting iodepth_batch_complete=0
and seeing the change in distribution of system/user time based on
whether this new flag is set. If userspace_libaio_reap=1, then
busy polling takes place in userspace, and there is a larger amount of
usr CPU. If userspace_libaio_reap=0 (the default), then there is a
larger amount of sys CPU from the polling in the kernel.

Polling from a queue in this manner is several times faster. In my
testing, it took less than an eighth as much time to execute a
polling operation in user-space than with the io_getevents syscall.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad latency reporting for rated IO jobs

If we are going to sleep to satisfy a given rate limit, then
ensure that we flush pending IO first. Otherwise they end up
including the sleep time in the calculated completion latencies.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile on environment of SuperH

Signed-off-by: Nobuhiro Iwamatsu <iwamatsu@nigauri.org>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add 'null' perf test

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make SH port work for packagers that don't differentiate between SH4 and SH4A

Generic bits done by me, SH specific bits implemented by
Nobuhiro Iwamatsu <iwamatsu@nigauri.org>.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add possibility to make sequential IO "holed"

For sequential IO, it is now possible to add a number of bytes to
be skipped for every block read or written. Using:

bs=8k
rw=read:8k

will first read 0k->8k, then 16k->24k, and so on. This skips 8k
for every 'bs' sized block read. Similar for writes, doing

bs=4k
rw=write:4k

will write 0k->4k, then 8k->12k, etc. End result being that every
other block is written, in a sequential fashion.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Improve Makefile for t/ test code

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add simple stest smalloc tester

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fixup bad style in plat code

- Comments
- Var declarations in code sections
- Misc style

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

stats: fix io_u_plat out-of-bound accesses (round 2)

Commit 833491908a1afd67 introduced the ability to report completion
latency percentiles. It also caused a memory corruption when running
with multiple threads due to out of bound accesses in show_run_stats().
The major index of the io_u_plat two-dimensional array is meant
to be DDIR_ value in {DDIR_READ, DDIR_WRITE} (i.e., {0, 1}). The
code in show_run_stats() incorrectly wrote into the array using
a major index with values {0, 1, 2}. Commit 0a0b49007cbce8d1 fixed
the out of bound accesses by increasing the size of the major
dimension of the io_u_plat array from 2 to 3.

This patch reverts the size change from 0a0b49007cbce8d1 in favor
of avoiding the out-of-bound accesses in show_run_stats().

Signed-off-by: Eric Gouriou <egouriou@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bug in smalloc size calculation

Jiri reports:

I think I found a bug. If the device (file) used in fio has "wrong" size, and is used with "wrong" block size, the fio fails to allocate memory for randommap.
Following conditions must be true, considering just one thread for simplicity:

 1) number of blocks on the device are too big to fill in the default's pool
 2) number of blocks on the device must be "right", so the size of newly allocated pool by smalloc.c:add_pool is exactly as big as requested size (there are some roundings in place, so not every size triggers this error)

When this is true, function smalloc.c:__smalloc_pool fails to use the newly created (exactly big enough) pool, because of this line:

                idx = find_next_zero(pool->bitmap[i], last_idx);

which always returns non-zero value (the minimum returned value is last_idx +1), and so in our case the idx is 1 even though, the block number 0 is free. As the direct consequence, the function doesn't find enough free space in the given pool and returns NULL pointer. This leads to another try to allocate enough memory in smalloc.c:smalloc_real function, and so on...

The behavior could be reprocuded using both stable 1.57 and git version of the tool. The values that triggers the error are:
init_random_map - real_file_size: 21999995584512, o.rw_min_bs: 4096, blocks: 5371092672, num_maps: 83923323, alloc size: 671386584

whereas this block device is fine:
init_random_map - real_file_size: 19999995985920, o.rw_min_bs: 4096, blocks: 4882811520, num_maps: 76293930, alloc size: 610351440

the configuration file used:

[global]
description=CESNET_test
[cesnet]
filename=/dev/sdd
rw=randread
size=10000g
ioengine=libaio
iodepth=4
bs=4k
runtime=10m
time_based
numjobs=1
group_reporting

Get rid of the +1, it looks like a remnant from when the pools
had a header associated with them.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

RDMA engine: Change wording of HOWTO section

Change "iWarp" into "iWARP" ("iWarp" is the name of a supercomputer) and
"engines" into "protocols".

Signed-off-by: Bart Van Assche <bvanassche@acm.org>
Cc: Ren Yufei <renyufei83@yahoo.com.cn>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix off-by-one in io_u_plat[] array sizing

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

stats: Add a function to report completion latency percentiles

    This patch introduces two new options:
    1) Specifying --clat_percentiles enables the reporting of
       completion latency percentiles.
    2) --percentile_list allows the user to customize the
       list of percentiles to report.

Signed-off-by: Yu-ju Hong <yjhong@google.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

man page typo

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update softrandommap in HOWTO

Previous commit fixed the typo in the man page, update the HOWTO
as well.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://router/data/git/fio