lfsr: crank it 128 times before using the sequence

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure that lfsr_init() is always called

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add LFSR generator

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Restore BUSY_OK bypassing of bitmap

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Kill now unused bitmap defines from legacy code

Signed-off-by: Jens Axboe <axboe@kernel.dk>

bitmap: kill debug code

Signed-off-by: Jens Axboe <axboe@kernel.dk>

bitmap: fix bit_masks[] for 32-bit compiles

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Rework file random map

Fio slows down at the end of a random IO run, when the random
map is used and it gets fuller. This causes slowdowns in
IOPS. This is largely due to the file random map being an
array of bits, and with random access to single bits of the
array at the time, locality is awful. The effect is observable
throughout a run, though, where it gradually gets slower and
slower. It just becomes more apparent at near the end of the
run, where the last 10% are fairly bad. This is even with
doing a bunch of tricks to reduce that cost.

Implement an N-level bitmap, where layer N uses a single bit
to represent 32/64-bits at layer N-1. The number of layers
depends on the number of blocks.

This has slightly higher overhead initially in theory, in
practice it performs about the same. As a bonus, the throughput
remains constant during the run, and even becomes faster
near the end.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add support for Android

Signed-off-by: Jens Axboe <axboe@kernel.dk>

memory: wire up mmap huge page support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use unique seed for zipf/pareto init if rand_repeat is not set

By default, fio uses repeatable random sequences for anything.
This makes it easy to run the same job again. But if this is
disabled, ensure that the zipf/pareto sequences are also
randomized. Re-use the normal random io offset seed for
the random distribution too.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Generate a new Windows installer product code for 2.0.11.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add more examples to the Windows installer.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.11

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document random distribution

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Disable random map automatically if a non-uniform random distribution is given

Doesn't make sense to use a map, if the user specifically asked for
a non-uniform distribution.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: add help/usage screen (-h)

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of -fno-omit-frame-pointer

It costs a bit of performance. And it's trivial to re-enable
for debug/profiling purposes.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/genzfip: add -c option for csv output

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: properly reset stat_number in fio_reset_state()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client/server: fixup "All clients" reporting

We didn't properly account for no group_reporting and multiple
jobs on multiple connections.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of uninitialized_var()

It causes complaints on other compilers (clang). One case
was actually not used at all, initialize the rest to 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix wrong return type on td_error_type()

It returns enum error_type_bit, not error_type.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

e4defrag: fix always true comparison

len is unsigned so it is always >= 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

json: fix off-by-one in memory alloc

Tighten it a bit too, checking for empty string.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: use regular array + qsort() instead of rbtree

Saves lots of allocations, and actually ends up being a bit faster.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

JSON: fix escape of '"' and '\' characters

Reported-by: Kepler Kramer <kkramer@fusionio.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: add size and percentage hit rates

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: use 64-bit safe hash for zipf/pareto

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: more features

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: 2nd go at making CC assignment/check actually work

This time tested!

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use more portable construct for setting/checking CC

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use ETIMEDOUT instead of ETIME for exceeding max latency

ETIME isn't very portable...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: kill debug "generating series" messages

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: cap range calculation at 10M

It's fast enough to get rid of the fio.zipf.* file caching,
yet precise enough that we need not care more about it.
Even on a slower machines, generating a sequence of 10M takes
1-2s tops.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Zipf theta must be different than 1.0

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: seed zipf/pareto rand with filename hash and job id

We don't want 4 jobs operating on the same file to use the
same hot spots.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: cleanup

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf/pareto: ensure that 0 isn't always the hottest block

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add safe checks for valid pareto input value

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: typo

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

genzipf: fix off-by-one in output array calculation

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: improve accuracy

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rbtree: add rb_next()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf/pareto: mix blocks with hashing

We don't want to favor any end of the block spectrum.
Mix with a hash.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make the zipf/pareto state per file

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move code around to satisfy t/stest linkage

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix t/ieee754 link

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzip updates

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/genzipf update

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add t/genzipf to play with distribution settings

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: needs inttypes.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add pareto distribution randomizer

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add forgotten minmax.h include file

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add sample zipf distribution randomizer

Instead of just doing purely random IO where each block is
touched exactly (or close to, depending on random map) once,
add a zipf distribution scheme where a selectable theta
defines the spread and frequency of blocks read/written.

Committing this so I don't lose it. Needs a few changes,
for instance we need to hash the zipf output so that
the spread doesn't always just favor the lower LBA range.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

smalloc: move to size_t for allocations

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

smalloc: fix int truncation issue

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add max_latency option

If set, fio will exit if it sees a total IO latency that exceeds
this value.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma: cleanup and fixes

Mostly style cleanups, but also a fix for checking and using
OS rand if set. rdma should just always use the internal rand
generator.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma: fixup compile issue

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma: use private random state

We can't reuse td->__random_state as that will impact the sequence
of offsets we generate for random IO.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma ioengine improvement

1) Use fio shipped reentrant and thread-safe rand to replace buggy rand().
2) Add a pause time period before client start committing IOs.
In SEND/RECV test, it's a good practice to setup the iodepth of
of the RECV side deeper than that of the SEND side to
avoid RNR (receiver not ready) error. The
SEND side may send so many unsolicited message before
RECV side commits sufficient recv buffers into recv queue.
This may lead to RNR error. Here, SEND side pauses for a while
during which RECV side commits sufficient recv buffers.
3) Fix server thread hanging bug.
For RDMA WRITE/READ test, No IO bytes are accumulated in server side
during test. Server thread indicates its task completion by changing
its state into `done' as an alternitive. Add `td->done' checking in
do_io().
4) Some comments revision.
export EXTFLAGS and EXTLIBS with '+=".
explanation on exchanging steps of RDMA ioengine control messages.

All these changes are tested in 40Gbps RoCE and 56Gbps InfiniBand testbeds.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Replace FIO_HAVE_RUSAGE_THREAD with RUSAGE_THREAD

RUSAGE_THREAD is a more clear macro to enable getrusage() thread support.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add LICENSE file specyfing what I expect from people using fio

Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: only check bytes_done for engines without FIO_NOIO

This basically reverts the functional part of commit 2557f7e6.
Instead of having to fiddle with the io_u manually, have
the backend check whether we expect data to have been transerred
or not.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fine-grained job level numa control

Two new options, numa_cpu_nodes and numa_mem_policy, are created
for a fine-grained job level numa control. Please refer HOWTO and
README for detailed description.
A example job, examples/numa, is added as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

thread cpu resource statistics bug fix

If `thread' option is enabled, resource usage should be thread
based instead of process based. For the following job,

fio --ioengine=cpuio --cpuload=50 --time_based --runtime=10 --name=j0 --numjobs=4 --thread

before patch, each thread CPU statistics:
...
  cpu          : usr=199.67%, sys=0.14%, ctx=1475, majf=0, minf=24
...

after patch:
...
  cpu          : usr=49.80%, sys=0.00%, ctx=79, majf=0, minf=18446744073709538943
...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

cpuio engine cpuload bug fix

Current cpu ioengine always bruns out 100 percent cpu cycles
no matter what the cpuload value is. Since no data is transferred
with cpuio, bytes_done would be ZERO. Consequently, think_time
is omitted and loops keeps running.

A cpuio example is added as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update REPORTING-BUGS

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.10

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows: handle SIGBREAK.

The only way to send a POSIX-style signal from another application on Windows
is to use GenerateConsoleCtrlEvent with either CTRL_C_EVENT or
CTRL_BREAK_EVENT. CTRL_BREAK_EVENT is the only one which gets through to
applications, so add a signal handler for it to allow fio to quit cleanly.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows: avoid large writes during file layout.

Avoid large buffered writes during file layout by flushing changes to disk by
calling _commit() after each write.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: indentation fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio patch: Windows netio fixes

Jens,

I've attached a patch to fix netio on Windows:

Add call to WSAStartup() to engines\net.c.
Fix NULL dereference in poll().
Add inet_aton().

--
Bruce Cran

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix UDP acronym

It's 'User', not 'Unreliable'.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add pending IO to the tail of the busy list

We add at the head now. The windowsaio engine completes from
the head of the list, so lets ensure that we wait and complete
closer to the submit order.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

solaris: fix compile error on ctime_r()

On Solaris, it takes a 3rd length argument.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: cast page_size to unsigned long for sprintf()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix confusion between terse and json output

It'd segfault trying to use json when it wasn't supposed to,
since we didn't have the parent set up appropriately.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: Fix description of grouping behavior with numjobs

Signed-off-by: Akash Verma <akashv@google.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix bad check for terse version format 4

Signed-off-by: Jens Axboe <axboe@kernel.dk>

XP/2003 compatability fix

The attached patch fixes the bug that on XP fio fails with:

"The procedure entry point vsprintf_s could not be located in the
dynamic link library msvcrt.dll".

Only Vista and newer have the 'secure' functions, so we need to use
vsprintf to maintain compatibility with XP.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix segfault race on exit for platforms that don't have disk util support

We still need to quisce the disk util thread, as it also functions
as the runtime ETA status printer.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

netbsd: fix gettid

Signed-off-by: Roger Pau Monne <roger.pau@citrix.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: fix data direction flow check

This patch fix regression caused SIGSEGV in case of writeonly
or readonly mode, caused by commit 59d8d0f5.

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

parser: fix overflowing integer type options

If we use bs=4g, the parser will happily take it since it shares
the data type with unsigned long long options. Make sure that
FIO_OPT_INT types have a cap of UINT_MAX, if they haven't set
a lower limit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: don't allocate memory buffers for non-data workloads

A trim workload doesn't transfer any actual data, so don't any
backing memory for the IO buffers.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

engine: fix error handling for e4defrag/falloc

At the time I've wrote this code i don't quite understand difference
between td->error and io_u->error. It is appeared that engine should
not have to explicitly assign td->error. Just initialize io_u->error and
backed will do proper handling.

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: Add configurable non fatal error list

Sometimes it is reasonable to perform test nearly system limits where
errors are possible and expected, in that case one may provide non
fatal error list which will be ignored during execution.
This patch add two options:
    ignore_error: List of non fatal error
    error_dump:   Whenever ignored list should be dumped to log.

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Check for ENOSPC on shmget() failure

We scale down the number of jobs based on EINVAL and ENOMEM,
but ENOSPC is a valid 'segment too big' error as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Correctly apply size percentage for file iosize

The size percentage should be applied first when calculating file iosize,
otherwise it's a nop.

Signed-off-by: Shaohua Li <shli@fusionio.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Kill some newly added whitespace

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: wire up e4defrag and falloc engines

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: increase max option possible values to 24

Signed-off-by: Jens Axboe <axboe@kernel.dk>

update documentation for falloc and e4defrag engines

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>