Generate a new Windows installer product code for 2.0.11.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add more examples to the Windows installer.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.11

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document random distribution

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Disable random map automatically if a non-uniform random distribution is given

Doesn't make sense to use a map, if the user specifically asked for
a non-uniform distribution.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: add help/usage screen (-h)

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of -fno-omit-frame-pointer

It costs a bit of performance. And it's trivial to re-enable
for debug/profiling purposes.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
libfio.c
server.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/genzfip: add -c option for csv output

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: properly reset state_number in fio_reset_state()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: properly reset stat_number in fio_reset_state()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
Makefile
backend.c
client.c
fio.h
options.c
parse.c
parse.h
server.c
server.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client/server: fixup "All clients" reporting

We didn't properly account for no group_reporting and multiple
jobs on multiple connections.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of uninitialized_var()

It causes complaints on other compilers (clang). One case
was actually not used at all, initialize the rest to 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix wrong return type on td_error_type()

It returns enum error_type_bit, not error_type.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

e4defrag: fix always true comparison

len is unsigned so it is always >= 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

json: fix off-by-one in memory alloc

Tighten it a bit too, checking for empty string.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: use regular array + qsort() instead of rbtree

Saves lots of allocations, and actually ends up being a bit faster.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

JSON: fix escape of '"' and '\' characters

Reported-by: Kepler Kramer <kkramer@fusionio.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: add size and percentage hit rates

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: use 64-bit safe hash for zipf/pareto

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: more features

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: 2nd go at making CC assignment/check actually work

This time tested!

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use more portable construct for setting/checking CC

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use ETIMEDOUT instead of ETIME for exceeding max latency

ETIME isn't very portable...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: kill debug "generating series" messages

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: cap range calculation at 10M

It's fast enough to get rid of the fio.zipf.* file caching,
yet precise enough that we need not care more about it.
Even on a slower machines, generating a sequence of 10M takes
1-2s tops.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Zipf theta must be different than 1.0

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: seed zipf/pareto rand with filename hash and job id

We don't want 4 jobs operating on the same file to use the
same hot spots.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: cleanup

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf/pareto: ensure that 0 isn't always the hottest block

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add safe checks for valid pareto input value

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: typo

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

genzipf: fix off-by-one in output array calculation

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: improve accuracy

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rbtree: add rb_next()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf/pareto: mix blocks with hashing

We don't want to favor any end of the block spectrum.
Mix with a hash.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make the zipf/pareto state per file

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move code around to satisfy t/stest linkage

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix t/ieee754 link

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzip updates

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/genzipf update

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add t/genzipf to play with distribution settings

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: needs inttypes.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add pareto distribution randomizer

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add forgotten minmax.h include file

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add sample zipf distribution randomizer

Instead of just doing purely random IO where each block is
touched exactly (or close to, depending on random map) once,
add a zipf distribution scheme where a selectable theta
defines the spread and frequency of blocks read/written.

Committing this so I don't lose it. Needs a few changes,
for instance we need to hash the zipf output so that
the spread doesn't always just favor the lower LBA range.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

smalloc: move to size_t for allocations

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

smalloc: fix int truncation issue

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add max_latency option

If set, fio will exit if it sees a total IO latency that exceeds
this value.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma: cleanup and fixes

Mostly style cleanups, but also a fix for checking and using
OS rand if set. rdma should just always use the internal rand
generator.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma: fixup compile issue

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma: use private random state

We can't reuse td->__random_state as that will impact the sequence
of offsets we generate for random IO.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma ioengine improvement

1) Use fio shipped reentrant and thread-safe rand to replace buggy rand().
2) Add a pause time period before client start committing IOs.
In SEND/RECV test, it's a good practice to setup the iodepth of
of the RECV side deeper than that of the SEND side to
avoid RNR (receiver not ready) error. The
SEND side may send so many unsolicited message before
RECV side commits sufficient recv buffers into recv queue.
This may lead to RNR error. Here, SEND side pauses for a while
during which RECV side commits sufficient recv buffers.
3) Fix server thread hanging bug.
For RDMA WRITE/READ test, No IO bytes are accumulated in server side
during test. Server thread indicates its task completion by changing
its state into `done' as an alternitive. Add `td->done' checking in
do_io().
4) Some comments revision.
export EXTFLAGS and EXTLIBS with '+=".
explanation on exchanging steps of RDMA ioengine control messages.

All these changes are tested in 40Gbps RoCE and 56Gbps InfiniBand testbeds.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Replace FIO_HAVE_RUSAGE_THREAD with RUSAGE_THREAD

RUSAGE_THREAD is a more clear macro to enable getrusage() thread support.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add LICENSE file specyfing what I expect from people using fio

Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: only check bytes_done for engines without FIO_NOIO

This basically reverts the functional part of commit 2557f7e6.
Instead of having to fiddle with the io_u manually, have
the backend check whether we expect data to have been transerred
or not.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fine-grained job level numa control

Two new options, numa_cpu_nodes and numa_mem_policy, are created
for a fine-grained job level numa control. Please refer HOWTO and
README for detailed description.
A example job, examples/numa, is added as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

thread cpu resource statistics bug fix

If `thread' option is enabled, resource usage should be thread
based instead of process based. For the following job,

fio --ioengine=cpuio --cpuload=50 --time_based --runtime=10 --name=j0 --numjobs=4 --thread

before patch, each thread CPU statistics:
...
  cpu          : usr=199.67%, sys=0.14%, ctx=1475, majf=0, minf=24
...

after patch:
...
  cpu          : usr=49.80%, sys=0.00%, ctx=79, majf=0, minf=18446744073709538943
...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

cpuio engine cpuload bug fix

Current cpu ioengine always bruns out 100 percent cpu cycles
no matter what the cpuload value is. Since no data is transferred
with cpuio, bytes_done would be ZERO. Consequently, think_time
is omitted and loops keeps running.

A cpuio example is added as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update REPORTING-BUGS

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Fio 2.0.10

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows: handle SIGBREAK.

The only way to send a POSIX-style signal from another application on Windows
is to use GenerateConsoleCtrlEvent with either CTRL_C_EVENT or
CTRL_BREAK_EVENT. CTRL_BREAK_EVENT is the only one which gets through to
applications, so add a signal handler for it to allow fio to quit cleanly.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows: avoid large writes during file layout.

Avoid large buffered writes during file layout by flushing changes to disk by
calling _commit() after each write.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: indentation fix

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio patch: Windows netio fixes

Jens,

I've attached a patch to fix netio on Windows:

Add call to WSAStartup() to engines\net.c.
Fix NULL dereference in poll().
Add inet_aton().

--
Bruce Cran

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix UDP acronym

It's 'User', not 'Unreliable'.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add pending IO to the tail of the busy list

We add at the head now. The windowsaio engine completes from
the head of the list, so lets ensure that we wait and complete
closer to the submit order.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

solaris: fix compile error on ctime_r()

On Solaris, it takes a 3rd length argument.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: cast page_size to unsigned long for sprintf()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix confusion between terse and json output

It'd segfault trying to use json when it wasn't supposed to,
since we didn't have the parent set up appropriately.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: Fix description of grouping behavior with numjobs

Signed-off-by: Akash Verma <akashv@google.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix bad check for terse version format 4

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix bad check for terse version format 4

Signed-off-by: Jens Axboe <axboe@kernel.dk>

XP/2003 compatability fix

The attached patch fixes the bug that on XP fio fails with:

"The procedure entry point vsprintf_s could not be located in the
dynamic link library msvcrt.dll".

Only Vista and newer have the 'secure' functions, so we need to use
vsprintf to maintain compatibility with XP.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'gfio' of ssh://brick.kernel.dk/data/git/fio into gfio

gfio: add error option group

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Fix segfault race on exit for platforms that don't have disk util support

We still need to quisce the disk util thread, as it also functions
as the runtime ETA status printer.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: clear graphs for repeated runs on same connection

Otherwise we get overlapping data.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

netbsd: fix gettid

Signed-off-by: Roger Pau Monne <roger.pau@citrix.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

gfio: make 'light yellow' color a little lighter

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add and colorize graphs on main page, too

The main UI tab had broken support for trim, fix that up. While
doing that, also ensure that we color code the text fields like
it was done for the per-job tabs.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: fix data direction flow check

This patch fix regression caused SIGSEGV in case of writeonly
or readonly mode, caused by commit 59d8d0f5.

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: color parse stack removal

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: kill debug printf()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: color code the iops/bw fields

Use the same text colors as the graphs, then we don't need a
specific legend to explain which is which.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add trim UI support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client/server: update for trim addition

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add error_dump to option category

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

parser: fix overflowing integer type options

If we use bs=4g, the parser will happily take it since it shares
the data type with unsigned long long options. Make sure that
FIO_OPT_INT types have a cap of UINT_MAX, if they haven't set
a lower limit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: don't allocate memory buffers for non-data workloads

A trim workload doesn't transfer any actual data, so don't any
backing memory for the IO buffers.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: include new options, bump server rev

Todo: convert the new error additions across the wire.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
backend.c
fio.h
io_u.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>