Fio 2.0.12.2

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add return statements to arch_init functions for ia64 and ppc.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use clock_gettime() for CPU clock calibration

gettimeofday() has very poor resolution on some platforms. So
use clock_gettime() instead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Consistently indent using tabs in Windows files and remove trailing spaces.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Create a new Windows installer product GUID for 2.0.12.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix $(CC) override: use system compiler except on HP-UX and Solaris.

$(CC) was being overridden, preventing the system compiler from
being used. This caused a problem on FreeBSD systems where gcc has
been removed.  Since fio requires gcc on HP-UX and Solaris, always
set $(CC) on those platforms.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.12.1

Fix issue with 32-bit x86 build.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup CPUID for 32-bit x86

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.12

Signed-off-by: Jens Axboe <axboe@kernel.dk>

windowsaio: fix typo

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: make last_cycles thread local too

Avoids a lot of cache line bouncing for threads.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: use pthread_{set,get}specific() for TLS

__thread doesn't work on OSX at least (thanks...), so resort to
using the pthread functions to maintaining a per-thread clock
check.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: fix race/bug with threads and time keeping

Sam writes:

First, the 1 second latency events come in batches and those batches
occur suspiciously close to a usec wrap (0.999999 us -> 1.000000 us).
Second, if you subtract exactly 1 second from these outlier latencies,
the remaining amount is very close to what our instrumented low level
driver records for the IO latency and consistent with the expected
latencies of our SSD.  Similarly, the tv_usec portion of the timeval
structs shows increasing values.  See snippet below.

Format is like    start: <start_time.tv_sec>.<start_time.tv_usec>

latency: 1004657 us, lba: 1111289192, start: 1355776806.995294 issue: 1355776806.995312 complete: 1355776807.999969
latency: 1000494 us, lba: 203093568, start: 1355776806.999456 issue: 1355776806.999475 complete: 1355776807.999969
latency: 1000404 us, lba: 551350992, start: 1355776806.999546 issue: 1355776806.999565 complete: 1355776807.999969
latency: 1000477 us, lba: 449672928, start: 1355776806.999484 issue: 1355776806.999492 complete: 1355776807.999969

All this pointed to the time collection code being buggy.  Reviewing the
code, I spotted this in fio_gettime():

/*
 * If Linux is using the tsc clock on non-synced processors,
 * sometimes time can appear to drift backwards. Fix that up.
 */
if (last_tv_valid) {
if (tp->tv_sec < last_tv.tv_sec)
tp->tv_sec = last_tv.tv_sec;
else if (last_tv.tv_sec == tp->tv_sec &&
 tp->tv_usec < last_tv.tv_usec)
tp->tv_usec = last_tv.tv_usec;
}
last_tv_valid = 1;
memcpy(&last_tv, tp, sizeof(*tp));

This does not appear to be multi-thread safe.  Pre-emption can occur
between either comparison and the subsequent update.  Commenting it out
makes the problem go away (at the expense of being subject to drift).
How about making last_tv & last_tv_valid thread-local?

Reported-by: Sam Bradshaw <sbradshaw@micron.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add --cpuclock-test and clocksource= option help

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: include per-cpu clock calibration in cpu clock test

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: locking fix and debug check for identical sequence

Signed-off-by: Jens Axboe <axboe@kernel.dk>

cpu clock: add independent test for monotonic/sane TSC

Fire up all threads on the system, checking the clock 100,000
times on each. Then collect and compare results, to ensure we
never have a clock that goes backwards.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

clock: ensure that we re-init if the clocksource changes from the default

Signed-off-by: Jens Axboe <axboe@kernel.dk>

binject: fixup ->file_data breakage

Not sure how that was done, but I missed binject in doing
the ->file_data/->file_pos unification.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

file: unify ->file_data and ->file_pos

The only real use case of ->file_pos was by the sync engine to
avoid an lseek() if the offset was already correct. The e4defrag,
falloc, and fusion-aw engine also set ->file_pos, but that looks
like a case of copy-paste, since they don't actually use it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

file hash: don't close file fd on lookup/add race

On Linux, udev often has a rule that triggers blkid to read data off
the device, if the device has been opened for writing. This triggers
when the device is closed.

Fio has an internal file hash for lookup of files. When threads start,
it can happen that one thread does a hash lookup without finding the
file, but when it has opened the file and attempts to insert it into
the hash, another thread has already completed that operation. When
that race happens, fio closes the file handle and does the lookup
again. That then triggers blkid to read pages off the device. As data
in the cache is invalidated on open of the device, we know have page
cache entries for the device again.

This is a problem for unbuffered workloads, where the existance of
page cache pages slows it down due to having to check for invalidation.
The user observed problem is that fio exhibits bi-modal performance
results, depending on whether the file hash race was hit during setup
or not.

Fix this by NOT closing the file if we hit this race, but instead wait
until the file is closed after the run.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

cpu clock: round up when dividing by samples

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Define TSC arch_init() for PPC and IA64

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: fix CPU calibration reported mean

Bug introduced in fa80feae. It only affected the reported mean
if --debug=time was used, cosmetic issue.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: calibration rounding error

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Increase CPU clock calibration accuracy

Lets throw some more loops at it, it reduces the noise.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add check for invariant TSC on x86 and use TSC is default clock if reliable

TSC is by far the fastest clock we can use. Check the CPUID bits for
whether it is both constant rate AND synced across cores. If it is,
we can use it as our default clock source.

Fio will default to this clock source on x86 if no other clock source
is specifically given with clocksource= in the job file.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

windowsaio: create a single completion port during init, associate files during open.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document the ioengine=net pingpong= option

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix windows out-of-memory handling

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Free io_u related structures before killing IO engine

Signed-off-by: Jens Axboe <axboe@kernel.dk>

windowsaio: initialize and map windowsaio IO structure to io_u

Instead of searching for a free entry everytime we enter
queue, do this when the io_u is setup. It's cleaner and
faster.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parser: always match the correct option length for posval options

Right now we match rw=randr as rw=randrw, since we use the length
of the passed in option. Use a correct max of the ival and string
passed in, so that we fail if a full match isn't present.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix man page indentation

Was broken after the io engines.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: add HOWTO and man page documentation

Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: ensure that the cycle follows the randrepeat= setting

Use the regular block offset seed to "seed" the lfsr generator,
so that it obeys randrepeat=0/1 as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Name the various random offsets we use

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Revert "Change preferred default clocksource to gettimeofday()"

This reverts commit f7161017b75f5d3526147d42d3b583973922c444.

clock_gettime() is monotonic, so a superior clock source even
if it is slower.

engines/net.c: fix compilation error due to missing signal.h include

Corrects this build failure:

engines/net.c: In function 'fio_netio_terminate':
engines/net.c:900:2: warning: implicit declaration of function 'kill' [-Wimplicit-function-declaration]
engines/net.c:900:16: error: 'SIGUSR2' undeclared (first use in this function)
engines/net.c:900:16: note: each undeclared identifier is reported only once for each function it appears in

Signed-off-by: Steven Noonan <snoonan@amazon.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Wire up SIGUSR2 to kill blocking threads

Get rid of io engine ops SIGTERM flag, it didn't really
work.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Change preferred default clocksource to gettimeofday()

It's faster than clock_gettime()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Cache layout improvements

Signed-off-by: Jens Axboe <axboe@kernel.dk>

net: fix receiver start time

Reset epoch/start time to when we get a connection.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

net: add basic ping/pong type workload support

If you use ioengine=net and then set pingpong=1, fio will operate
in a ping pong type fashion. When the reader receives a package
from the writer, it will return the package to the writer again.
The writer, in turn, will wait for this package before writing
a new package. This makes fio useful for roundrobin measurements
on networks.

The submission latency then measures how long it took to submit
a packet to the local system, while the completion latency is how
long it takes for the package to be received and returned by
the other end.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

verify: treat as failure if given verify type is different from media

When fio verifies right now, it'll look at the on media stored type
and verify that type. This means that if verify=foo set and we
find older blocks that are written with verify=bar, we will
verify those against bar.

Change this so that if a specific verify type is given, that type
is ALWAYS used for verification. If none is given but asked to
verify, we retain the old behaviour of just verifying based on
the type given in the on-media block.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

net: sent udp open messages

The receiver goes directly into recvfrom() when it starts up,
which greatly skews the first submission latency (since it's
measure from when it enters recvfrom() and until we finally
get the first packet from the client). Add a file open
handshake to avoid this issue.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'rand-map'

solaris: enable fadvise()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix broken 'norandommap'

commit 8055e41d broke the option, always falling through to
the failure case.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: fix wrong "might be used unitialized" warning on some compilers

GCC 3.4.3 on Solaris, I'm looking at you. Apparently:

if (a || b) {
if (a)
c = foo;
else if (b)
c = bar;

*c = foobar;
}

is too hard to figure out.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Wire up _weak posix_fadvise()

The commit adding Android support included a botched
variant of posix_fadvise().

Signed-off-by: Jens Axboe <axboe@kernel.dk>

net: set runstate to SETTING_UP while waiting for a connection

Otherwise the status print thinks it's running, and displays
bad stats.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

net: exit on WAITALL and !ret

Otherwise we can loop forever if the other end hung up.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

net: fix segfault with receiver, tcp, and no hostname set

Signed-off-by: Jens Axboe <axboe@kernel.dk>

libfio: don't sent KILL signal to own process from signal handler

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add t/axmap tester

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Rename the bitmap to axmap

It's not really a bitmap, it's a bitmap of bitmaps. Now named.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

bitmap: fix off-by-8 allocation error

Was multiplying by the bit-size, not the byte-size. No algorithmic
changes, we never used the 7/8ths of the memory at the end...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix windowsaio IO error handling and document device write access issue on Windows and FreeBSD.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix compile for older Linux without mmap MAP_HUGETLB

Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: crank it 128 times before using the sequence

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure that lfsr_init() is always called

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add LFSR generator

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Restore BUSY_OK bypassing of bitmap

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Kill now unused bitmap defines from legacy code

Signed-off-by: Jens Axboe <axboe@kernel.dk>

bitmap: kill debug code

Signed-off-by: Jens Axboe <axboe@kernel.dk>

bitmap: fix bit_masks[] for 32-bit compiles

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Rework file random map

Fio slows down at the end of a random IO run, when the random
map is used and it gets fuller. This causes slowdowns in
IOPS. This is largely due to the file random map being an
array of bits, and with random access to single bits of the
array at the time, locality is awful. The effect is observable
throughout a run, though, where it gradually gets slower and
slower. It just becomes more apparent at near the end of the
run, where the last 10% are fairly bad. This is even with
doing a bunch of tricks to reduce that cost.

Implement an N-level bitmap, where layer N uses a single bit
to represent 32/64-bits at layer N-1. The number of layers
depends on the number of blocks.

This has slightly higher overhead initially in theory, in
practice it performs about the same. As a bonus, the throughput
remains constant during the run, and even becomes faster
near the end.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add support for Android

Signed-off-by: Jens Axboe <axboe@kernel.dk>

memory: wire up mmap huge page support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use unique seed for zipf/pareto init if rand_repeat is not set

By default, fio uses repeatable random sequences for anything.
This makes it easy to run the same job again. But if this is
disabled, ensure that the zipf/pareto sequences are also
randomized. Re-use the normal random io offset seed for
the random distribution too.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Generate a new Windows installer product code for 2.0.11.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add more examples to the Windows installer.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.11

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document random distribution

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Disable random map automatically if a non-uniform random distribution is given

Doesn't make sense to use a map, if the user specifically asked for
a non-uniform distribution.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: add help/usage screen (-h)

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of -fno-omit-frame-pointer

It costs a bit of performance. And it's trivial to re-enable
for debug/profiling purposes.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/genzfip: add -c option for csv output

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: properly reset stat_number in fio_reset_state()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client/server: fixup "All clients" reporting

We didn't properly account for no group_reporting and multiple
jobs on multiple connections.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of uninitialized_var()

It causes complaints on other compilers (clang). One case
was actually not used at all, initialize the rest to 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix wrong return type on td_error_type()

It returns enum error_type_bit, not error_type.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

e4defrag: fix always true comparison

len is unsigned so it is always >= 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

json: fix off-by-one in memory alloc

Tighten it a bit too, checking for empty string.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: use regular array + qsort() instead of rbtree

Saves lots of allocations, and actually ends up being a bit faster.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

JSON: fix escape of '"' and '\' characters

Reported-by: Kepler Kramer <kkramer@fusionio.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: add size and percentage hit rates

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: use 64-bit safe hash for zipf/pareto

Signed-off-by: Jens Axboe <axboe@kernel.dk>

genzipf: more features

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: 2nd go at making CC assignment/check actually work

This time tested!

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use more portable construct for setting/checking CC

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use ETIMEDOUT instead of ETIME for exceeding max latency

ETIME isn't very portable...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: kill debug "generating series" messages

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: cap range calculation at 10M

It's fast enough to get rid of the fio.zipf.* file caching,
yet precise enough that we need not care more about it.
Even on a slower machines, generating a sequence of 10M takes
1-2s tops.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Zipf theta must be different than 1.0

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: seed zipf/pareto rand with filename hash and job id

We don't want 4 jobs operating on the same file to use the
same hot spots.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf: cleanup

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf/pareto: ensure that 0 isn't always the hottest block

Signed-off-by: Jens Axboe <axboe@kernel.dk>