configure: add that windows has RUSGE_THREAD

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add lib/getrusage.c

Abstract out the SELF/THREAD complication.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use RUSAGE_THREAD, if available

Signed-off-by: Jens Axboe <axboe@kernel.dk>

init: complain on unrecognized option with builtin getopt_long_only()

It returns '?' for a bad option, whereas the glibc one does
not. Catch that so we behave identically.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix compile warnings on Windows

Signed-off-by: Jens Axboe <axboe@kernel.dk>

windows: don't provide strsep(), fio already has one

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: add default compiler on Windows

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: fixup Windows

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: add endian check

Will remove guesswork and manual hacking in the OS headers.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Kill now unneeded clock definitions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

OSX: Fixup warnings and clock_gettime() bug

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: remember to output CC for windows

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: add --cc= option to script

Get rid of uname -o usage for Windows, and specifically require
CC=bla ./configure or ./configure --cc=bla to set something else
than gcc.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix 32-bit compile warning in should_check_rate()

Introduced with the change from unsigned long -> uint64_T

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/axmap: update to catch recent bugs

Also properly include axmap.h and don't declare our own prototypes.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

axmap: ensure that we never return a value that is larger than the map size

Signed-off-by: Jens Axboe <axboe@kernel.dk>

axmap: improve axmap_find_first_free()

Add a ret variable, saves a branch on return.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

verify: stop on actual number of bytes needed to be verified

If we don't use LFSR or a random map, we don't get told when
to stop by the random generator or map. So track it on the
side, using the same mechanism as do_io().

Signed-off-by: Jens Axboe <axboe@kernel.dk>

axmap: fix bug in axmap_find_first_free()

If the map is completely full, we could return an invalid value
for the first free bit. So check if we actually found a match,
return failure if we didn't.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make experimental_verify=1 handle all cases properly

- Don't track written bytes, just replay the workload by resetting
  all the random generators. This should work for any mixture of IO.

- Handle trims for verify.

- Ensure that rwmix is replayed properly for verify.

- Fixup logging for replay.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure all random seeds are repeatable for randrepeat=1

Currently we only do the offset.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

eta: improve accuracy for rwmix workloads and verify

We assume 50/50 for mixed workloads. That's silly, use the actual
number specified instead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use unsigned long long for the uint64_t type

Signed-off-by: Jens Axboe <axboe@kernel.dk>

windows: use hweight64(), it's a 64-bit type

Courtesy of Bruce.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add hweight64()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix _SC_NPROCESSORS_ONLN on Windows

_SC_NPROCESSORS_ONLN was returning the wrong value on Windows because
GetLogicalProcessorInformation() returns data about caches, nodes and
packages in addition to processors.

Modified by Jens to use hweight32()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add generic hweight helpers

Signed-off-by: Jens Axboe <axboe@kernel.dk>

verify: add new experimental mode that requires no meta data

Should work fine, but we need to account and track trims to know
which blocks NOT to verify (or verify as zero).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Re-seed random generator when a file is reset

Signed-off-by: Jens Axboe <axboe@kernel.dk>

axmap: clear map->first_free when we reset it

Otherwise it could be left at an invalid value. When we clear the map,
we know the first free bit is 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: add lfsr_reset()

This enables us to restart a sequence.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: use proper uint64_t types where needed

Windows has 32-bit longs even on 64-bit, so we risk overflowing.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add info log on whether tsc is reliable or not for --cpuclock-test

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows: fix off-by-one error in fio_cpu_set and add affinity error messages.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make hugetlbfs maping work

If it's a file mapping, flags must be MAP_HARED; If it's an anonymous
mapping, flags must be MAP_PRIVATE|MAP_ANONYMOUS|MAP_HUGETLB (can be
shared, but doesn't matter here).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fusion-aw: make configure and compile actually work

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fusion-aw: fixes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: use exit 0 instead of just exit

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix typo (READ/DDIR_READ).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix configure script for 64-bit Windows.

Hard-code config options when building using MinGW-w64 on Windows.
For 32-bit builds, CC and CONFIG_32BIT/CONFIG_64BIT will need to be
updated manually.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add CONFIG_64BIT_LLP64, CONFIG_POSIX_FALLOCATE and CONFIG_LINUX_FALLOCATE to Makefile.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Improve documentation for end_fsync

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: enable e4defrag engine regardless of MOVE_EXTENT compile test

It may exist in the running kernel, even if the defines
and structures haven't bubbled back into userspace yet.
The engine carries it's own check and structure define
for that case.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Pre-load and sort random blocks for pure read verify workloads

If fio is run with a write phase before a read phase and the
IO type is random, the end read verify phase will get sorted
blocks to read back. But if fio is asked to verify something
that was previously randomly written, it will generate the
same random offsets in random order and verify those. This is
usually much slower than a sorted read back.

So add a verifysort_nr option that allows the user to specify
a number of random offsets to pre-generate and sort, before
reading them and verifying the contents. This greatly speeds
up pure read verify workloads.

Default to 1024, and put a max of 64K entries on the option.
We do a merge list sort on the entries, so we don't want a
huge amount of backlog.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: ensure we don't generate an offset + buflen that exceeds the max size

Currently we check for the max value, but that doesn't always
work since it may not fit the minimum block size (even if it
is guaranteed to be smaller than the max offset). Pass in the
last valid block.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

filesetup: limit rand map to the actual IO size, if needed

No need allocating a larger map than we need.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add a check avoid segfault

If new_size was zero or realloc failed, it would be segment fault.
So add a check.

Signed-off-by: Jianpeng Ma <majianpeng@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Remove repeated --readonly options in documentation

Signed-off-by: Jianpeng Ma <majianpeng@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix a potential integer overflow

Because nr_files and new_size are not same types.It can cause new_size
less than zero.Then realloc will be failed.

Signed-off-by: Jianpeng Ma <majianpeng@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add configure script

Get rid of all the fragile guessing and checking of features,
and roll a configure script instead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix variable type warning

Bruce reports:

With 2.0.13 on FreeBSD there's also a warning from client.c:

client.c:24:18: warning: field 'eta' with variable sized type 'struct
jobs_eta' not at the end of a struct or class is a GNU extension [-Wgnu]
         struct jobs_eta eta;

Re-order ->eta and ->pending.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.13

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix potential null pointer dereference on verify and requeue events

We clear io_u to NULL, but later we derefence io_u to check
the data direction. Do as we do in the main IO loop - store
the data direction in a local variable, and use that after
the main switch.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: move fio_net_cmd to the end of fio_net_int_cmd

fio_net_cmd is variably sized. We don't use any transfer space
for the internal command, but the compiler might complain about
this (since it has no way to know this fact). Move fio_net_cmd
to the end of the internal command to both avoid a warning on
clang and to make this more idiot proof.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use variable[] instead of GCC variable[0] syntax

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Enable -ffast-math

Signed-off-by: Jens Axboe <axboe@kernel.dk>

time: convert to uint64_t

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use uintptr_t for engine data

Gets rid of a warning on 32-bit builds on Linux.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Start of transition from unsigned long long to uint64_t

Signed-off-by: Jens Axboe <axboe@kernel.dk>

zipf/pareto: use min of file size and io size for init

It is valid to use size=foo, where foo is larger than the size
of the file or device. For that case, we don't want offsets
larger than the size of the file. So use the minimum of the
real or given size.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

zipf/pareto: use size= if given, not always device size

We used the full device/file size for the zipf or pareto init,
this breaks if size= is specifically given. This causes fio
to generate offsets outside the specified size= range, and fio
will then just exit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

libaio: use container_of() instead of silly casting

Signed-off-by: Jens Axboe <axboe@kernel.dk>
Conflicts:
engines/libaio.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: even rounding, don't always round up

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move 'tsc_reliable' outside of ARCH_HAVE_CPU_CLOCK

Otherwise we fail building on architectures that do not define
it, as reported by Dan:

cc -o gettime.o -c -std=gnu99 -Wwrite-strings -Wall -O3 -g -O2 -g -pipe
-Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector
--param=ssp-buffer-size=4 -m31 -march=z9-109 -mtune=z10
-DFIO_VERSION='"fio-2.0.12.2"' -D_GNU_SOURCE -D_LARGEFILE_SOURCE
-D_FILE_OFFSET_BITS=64 -D_FORTIFY_SOURCE=2 -DFIO_INC_DEBUG gettime.c
gettime.c: In function 'fio_clock_init':
gettime.c:317:6: error: 'tsc_reliable' undeclared (first use in this function)
gettime.c:317:6: note: each undeclared identifier is reported only once for each function it appears in
make: *** [gettime.o] Error 1

Reported-by: Dan Horák <dan@danny.cz>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

implement get_cpu_clock() for s390/s390x

Signed-off-by: Jens Axboe <axboe@kernel.dk>

clock: turn expensive division into multiply + cheap division

On x86-64, dividing by a variable turns into a hugely expensive
divq. It's much cheaper to invert the division. Instead of
dividing clocks by clocks-per-usec, multiply by a 16M/clocks-per-usec
constant instead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/axmap: update tester for lfsr_init() taking a seed argument

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Include <stdint.h> before checking __WORDSIZE

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.12.2

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add return statements to arch_init functions for ia64 and ppc.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use clock_gettime() for CPU clock calibration

gettimeofday() has very poor resolution on some platforms. So
use clock_gettime() instead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Consistently indent using tabs in Windows files and remove trailing spaces.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Create a new Windows installer product GUID for 2.0.12.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix $(CC) override: use system compiler except on HP-UX and Solaris.

$(CC) was being overridden, preventing the system compiler from
being used. This caused a problem on FreeBSD systems where gcc has
been removed.  Since fio requires gcc on HP-UX and Solaris, always
set $(CC) on those platforms.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.12.1

Fix issue with 32-bit x86 build.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup CPUID for 32-bit x86

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.12

Signed-off-by: Jens Axboe <axboe@kernel.dk>

windowsaio: fix typo

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: make last_cycles thread local too

Avoids a lot of cache line bouncing for threads.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: use pthread_{set,get}specific() for TLS

__thread doesn't work on OSX at least (thanks...), so resort to
using the pthread functions to maintaining a per-thread clock
check.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: fix race/bug with threads and time keeping

Sam writes:

First, the 1 second latency events come in batches and those batches
occur suspiciously close to a usec wrap (0.999999 us -> 1.000000 us).
Second, if you subtract exactly 1 second from these outlier latencies,
the remaining amount is very close to what our instrumented low level
driver records for the IO latency and consistent with the expected
latencies of our SSD.  Similarly, the tv_usec portion of the timeval
structs shows increasing values.  See snippet below.

Format is like    start: <start_time.tv_sec>.<start_time.tv_usec>

latency: 1004657 us, lba: 1111289192, start: 1355776806.995294 issue: 1355776806.995312 complete: 1355776807.999969
latency: 1000494 us, lba: 203093568, start: 1355776806.999456 issue: 1355776806.999475 complete: 1355776807.999969
latency: 1000404 us, lba: 551350992, start: 1355776806.999546 issue: 1355776806.999565 complete: 1355776807.999969
latency: 1000477 us, lba: 449672928, start: 1355776806.999484 issue: 1355776806.999492 complete: 1355776807.999969

All this pointed to the time collection code being buggy.  Reviewing the
code, I spotted this in fio_gettime():

/*
 * If Linux is using the tsc clock on non-synced processors,
 * sometimes time can appear to drift backwards. Fix that up.
 */
if (last_tv_valid) {
if (tp->tv_sec < last_tv.tv_sec)
tp->tv_sec = last_tv.tv_sec;
else if (last_tv.tv_sec == tp->tv_sec &&
 tp->tv_usec < last_tv.tv_usec)
tp->tv_usec = last_tv.tv_usec;
}
last_tv_valid = 1;
memcpy(&last_tv, tp, sizeof(*tp));

This does not appear to be multi-thread safe.  Pre-emption can occur
between either comparison and the subsequent update.  Commenting it out
makes the problem go away (at the expense of being subject to drift).
How about making last_tv & last_tv_valid thread-local?

Reported-by: Sam Bradshaw <sbradshaw@micron.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add --cpuclock-test and clocksource= option help

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: include per-cpu clock calibration in cpu clock test

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: locking fix and debug check for identical sequence

Signed-off-by: Jens Axboe <axboe@kernel.dk>

cpu clock: add independent test for monotonic/sane TSC

Fire up all threads on the system, checking the clock 100,000
times on each. Then collect and compare results, to ensure we
never have a clock that goes backwards.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

clock: ensure that we re-init if the clocksource changes from the default

Signed-off-by: Jens Axboe <axboe@kernel.dk>

binject: fixup ->file_data breakage

Not sure how that was done, but I missed binject in doing
the ->file_data/->file_pos unification.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

file: unify ->file_data and ->file_pos

The only real use case of ->file_pos was by the sync engine to
avoid an lseek() if the offset was already correct. The e4defrag,
falloc, and fusion-aw engine also set ->file_pos, but that looks
like a case of copy-paste, since they don't actually use it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

file hash: don't close file fd on lookup/add race

On Linux, udev often has a rule that triggers blkid to read data off
the device, if the device has been opened for writing. This triggers
when the device is closed.

Fio has an internal file hash for lookup of files. When threads start,
it can happen that one thread does a hash lookup without finding the
file, but when it has opened the file and attempts to insert it into
the hash, another thread has already completed that operation. When
that race happens, fio closes the file handle and does the lookup
again. That then triggers blkid to read pages off the device. As data
in the cache is invalidated on open of the device, we know have page
cache entries for the device again.

This is a problem for unbuffered workloads, where the existance of
page cache pages slows it down due to having to check for invalidation.
The user observed problem is that fio exhibits bi-modal performance
results, depending on whether the file hash race was hit during setup
or not.

Fix this by NOT closing the file if we hit this race, but instead wait
until the file is closed after the run.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

cpu clock: round up when dividing by samples

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Define TSC arch_init() for PPC and IA64

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: fix CPU calibration reported mean

Bug introduced in fa80feae. It only affected the reported mean
if --debug=time was used, cosmetic issue.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gettime: calibration rounding error

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Increase CPU clock calibration accuracy

Lets throw some more loops at it, it reduces the noise.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add check for invariant TSC on x86 and use TSC is default clock if reliable

TSC is by far the fastest clock we can use. Check the CPUID bits for
whether it is both constant rate AND synced across cores. If it is,
we can use it as our default clock source.

Fio will default to this clock source on x86 if no other clock source
is specifically given with clocksource= in the job file.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

windowsaio: create a single completion port during init, associate files during open.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document the ioengine=net pingpong= option

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix windows out-of-memory handling

Signed-off-by: Jens Axboe <axboe@kernel.dk>