backend: merge in td->o to o-> thread_main() change

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Rename job files

gfio uses a .fio or .ini ending.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move init code to libfio

More merge from gfio.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

ioengine: import whitespace changes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make lockmem a per job option

We need to get rid of per job options that fiddle with global
state. It's confusing, and it breaks remote option handling.

Signed-off-by: Jens Axboe <axboe@kernel.dk>
Conflicts:
backend.c
fio.h
init.c
options.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge in crc32c-intel probe

Then we can kill the option callback.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge in zipf differences from gfio

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge missing content to man page

We missed the two CPU engine private options.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

README: remove partial option list

The HOWTO or man page should be used, since either of those
has the full list of option keywords.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move rbtree to lib/

That's where it was moved in gfio, one further step towards unifying
the branches.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
engines/libaio.c
engines/net.c
iolog.h
options.c
options.h
parse.c
parse.h
thread_options.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

tiobench: remove duplicate profile group

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Categorize engine and profile options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: fix spelling error

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: bring in more stuff from gfio

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Unify options with gfio

Add the parser features and unify the option table.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add thread_options.h

The options are always problematic to merge between the master
repo and gfio. So import this bit from gfio.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: gfio wording

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add group/category to numa/mem node options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: set invalid group on option with no group set

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: catch all options without a group/category set

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add option group/category to filename_format

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: don't print min/max option ranges if posval[] is set

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
options.c
parse.c
server.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Convert unit_base to posval[]

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: for option with posval, dump allowed values on failure

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: make unit_base be posval[] based

We can kill the verifier and ensure we only get the
possible values we need.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: add posval support to FIO_OPT_INT

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: add posval support to FIO_OPT_INT

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: make unit_base be posval[] based

We can kill the verifier and ensure we only get the
possible values we need.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add support for FIO_OPT_INT options with posval

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: update new options for gfio opt format

And fix gclient.c updates for num2str().

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: bump protocol version

Commit ad705bcb adds member to protocol structures, bump it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: bump protocol version

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
eta.c
fio.h
init.c
options.c
stat.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

stat.c: make 'bw' summary line respect 'unit_base' option

Signed-off-by: Steven Noonan <steven@uplinklabs.net>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

stats: show summary bandwidth in terms of kb_base

Signed-off-by: Steven Noonan <steven@uplinklabs.net>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

implement 'unit_base' option to select between KB and Kbit et. al.

With network testing, it's often desirable to measure in terms of
kilobits/megabits rather than kilobytes/megabytes. This adds an option named
'unit_base' which can be set to either '1' or '8', where '1' means represent in
terms of bits and '8' means to represent rate in terms of bytes.

Signed-off-by: Steven Noonan <steven@uplinklabs.net>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

num2str: add arguments to represent values in terms of bytes/bits

This allows for representing I/O rates in terms of e.g. megabits (Mb) versus
megabytes (MB).

Signed-off-by: Steven Noonan <steven@uplinklabs.net>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'next'

Fio 2.0.15

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: use ginstall on Solaris

Regular install just doesn't seem to like man pages?!

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: use ginstall on Solaris

Regular install just doesn't seem to like man pages?!

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Man page formatting fixups

- Fix extra .B in the filename_format section
- Fix missing .RE for lockfile

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use strcasestr() for matching filename_prefix keywords

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add strcasestr()

We'll need it for the next commit, if the platform does not
provide it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: check for zlib

It's required for gfio, even if gfio isn't enabled. The client
and server uses compression for larger messages.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix merge error

Fails link because we attempt to link in fio.o twice.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
Makefile

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add filename_format option

Allows the user to set how fio should generate the file names
used by jobs. The default is $jobname.$jobnumber.$filenumber
as it always has been, but now it's configurable as well. See
the included documentation.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gitignore: ignore configure script outputs

Signed-off-by: Steven Noonan <steven@uplinklabs.net>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup json bandwidth output

The final version sent in for inclusion had the check mixed
up, so it doesn't output bandwidth unless the calculation
failed.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: fix misparse of bs=64k-128k

We failed parsing the postfix for this case, resulting in
64 and 128k being the result (instead of 64k and 128k).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

axmap: get rid of old debug ->fail_ok checking

Don't assert() on not being able to set a bit. We are returning
the number of bits we set anyway, so just have it return 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Workaround pthreads-win32 pthread_rwlock_init limitation.

On Windows, pthreads-win32 returns EINVAL if you specify an attribute when
calling pthread_rwlock_init. Work around this by only specifying the attribute
when FIO_HAVE_PSHARED_MUTEX is defined.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix rwlock error messages to specify the correct function names.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

t/axmap: add test for multi bit sets

Signed-off-by: Jens Axboe <axboe@kernel.dk>

axmap: fix bug with max_bs/min_bs ratio being > 64

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: fixup build so that it's more resilient

Allow people to clear/set EXTFLAGS/OPTFLAGS at will.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix usr/sys/ctx/majf/minf for -USR1 usage

Let the threads themselves update their stats.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix build if just one of libverbs or librdma is installed

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mutex: set pshared attributes on rw semaphore

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: check for v2 of libnuma

We use options that require 2.x.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Consider the maximum block size difference the minimum for loop exit

For mixed block sizes, we can hit the condition where we decided
to stop even if we could have done a small block size. Don't do
another loop for those cases.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

posixaio: restart suspend list after we have used aio_suspend()

Otherwise we could both end up putting entries in there twice,
if there are still in flight, or having done entries in there too.
So restart the suspend list after aio_suspend(), so we only put
truly still-pending ios in there.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mutex: fix the expression for checking the mutext magic

Signed-off-by: Jianpeng Ma <majianpeng@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Only attempt file unlock if we use locking

Fixes a segfault on exit, if file locking isn't used.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mutex: add magic checks

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
Makefile
fio.h
options.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Kill now unused lockfile_batch variable

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Rework lockfile= file lock handling

Get rid of the hand rolled rw semaphores, just use pthread
rwlocks instead. Kill the batching too, it was broken by
default, so nobody could have been using it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

lib/getopt_long: clear 'optarg' every time

We don't want a stale optarg argument to be available.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix re-run issue when job size is set to "unknown"

Assert that td->o.size is valid before comparing the IO amount
we did to it. This prevents re-running a job because we think
there's more work to do. But if we haven't set ->o.size to a
valid value, then that must not determine whether to re-run
the loop or not.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

A few ULL -> uint64_t conversions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup commit error in 56c796

I hand-fondled it, forgot to revert.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Android: remove static Android configuration

Android can now be configured dynamically, so remove the static config.
For this we need to modify the socklen_t check #includes which appear to
be wrong anyway.

Signed-off-by: Aaron Carroll <aaronc@cse.unsw.edu.au>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: endianness check for cross compile

 - Add a cross compile check: assume yes if we can't run a test binary
 - If cross compiling, revert to a compile-time endianess check. This tries
   a few possible ways to detect big endian, but otherwise assumes little. We
   rely on the run-time check to save us if the build-time check is wrong.

Signed-off-by: Aaron Carroll <aaronc@cse.unsw.edu.au>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: compile-time word size detection

Signed-off-by: Aaron Carroll <aaronc@cse.unsw.edu.au>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Propagate target OS from configure to Makefile

Propagate target OS from configure to Makefile (CONFIG_TARGET_OS) to avoid
duplicating the check in Makefile.  Also allow CROSS_COMPILE for the toolchain
prefix, which is common (e.g. Linux).

Signed-off-by: Aaron Carroll <aaronc@cse.unsw.edu.au>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

android: fix compile by not defining FIO_NO_HAVE_SHM_H twice

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make test for gnuplot work with empty strings.

When I launch fio_generate_plots on a system where gnuplot is not installed I
get this error :

$ fio_generate_plots test
Making bw logs
/usr/bin/fio_generate_plots: 42: /usr/bin/fio_generate_plots: -: not found

That's because the test checking whether gnuplot is installed is failing
because of an empty variable :
GNUPLOT=$(which gnuplot)
if [ ! -x $GNUPLOT ]; then
        echo You need gnuplot installed to generate graphs
        exit 1
fi

Indeed the command "test -x" is exiting with code 0.

To correct this we should enclose the variable with quotes :
if [ ! -x "$GNUPLOT" ]; then

Then the script is going into the test properly :
$ fio_generate_plots test
You need gnuplot installed to generate graphs

I copied problem description by Hervé from the Debian bug report below.

Fixes:
Bug#700580: /usr/bin/fio_generate_plots: -: not found
http://bugs.debian.org/700580

Reported-By: Hervé Werner <hwerner@score-md.com>
Tested-By: Hervé Werner <hwerner@score-md.com>
Tested-By: Martin Steigerwald <ms@teamix.de>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Android: add ioprio support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: fix verification and spin bugs

Changes:

1. Verification now works properly and reports for which value it fails
2. Fix a mishandling of spin incrementation which led to multiple
calculation of the same values

Signed-off-by: Alex Pyrgiotis <apyrgio@grnet.gr>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Conditionally include <sys/shm.h> based on OS support. Define missing MAP_HUGETLB for Android.

Signed-off-by: Oleg Matcovschi <olegmatcovsky@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Remove config-host.h on clean.

Signed-off-by: Oleg Matcovschi <olegmatcovsky@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: Fix spin related bug

On the previous patch on cycle detection, we would incremet spin value
when:

    num_vals % cycle_length == 0

which would evaluate always to true for the first iteration since we
start with num_vals = 0. Only one corner-case is affected by this bug
and this patch should fix it.

Signed-off-by: Alex Pyrgiotis <apyrgio@grnet.gr>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

lfsr: indent table

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add a simple test for LFSR generator

Adds a simple test suite to check the speed of the LFSR
generator and verify its results. Just run:

    make t/lfsr-test
    ./t/lfsr-test

to compile the test suite and print its usage

Signed-off-by: Alex Pyrgiotis <apyrgio@grnet.gr>
 create mode 100644 t/lfsr-test.c
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Improve LFSR implementation

Changes:

1. Use Galois LFSR instead of Fibonacci LFSR.
2. Use XNOR gates instead of XOR gates.
3. Add tap sizes for LFSRs ranging from 3-bits to 15-bits.
4. Add spin parameter.

Rationale:

1. Fibonacci LFSRs have the following drawbacks:

   a. Their next state can not be computed in one cycle, since the input
      bit must be propagated serially through the XOR gates. Galois
  LFSRs however, can be computed instantly with XOR-masks.

   b. Their state changes cannot be considered "irregular", even by I/O
      standards. Actually, if the current state of an n-bit LFSR is x,
  then the next will either be (x >> 1) or (2^n + (x >> 1)). Galois
  LFSRs have instead their XOR gates interleaved with their bits,
  which means that the inner bits are changed as well, besides of
  the shifting. If the number of taps is z, this means that the
  different outcomes are 2^(z + 1).

2. An LFSR with XOR gates has the all-zeroes state as illegal. Since
   zero is valid for most I/O operations, it would be more intuitive to
   use XNOR gates, that have as the all-ones state as illegal.

3. Allow smaller I/O benchmarks to use LFSRs.

4. The spin parameter follows the same rationale as in 1b. To make the
   LFSR outcome "appear" less predictable, we can spin internally the
   LFSR state and produce the i-th number. To understand the spin
   parameter, consider the following state sequence of a 3-bit LFSR:

                             0, 2, 3, 5, 6, 1, 4
   Same LFSR, spin value 2:  0, 3, 6, 4, 2, 5, 1
   But what is the benefit from using spin? Well, the benefits are
   two-fold:

   a. For the same I/O size, we can create a different I/O sequences.

   b. Following the rationale of 1b, we can have more variable outcomes.
      If the spin value is "i" and the taps are "z", the number of
  different outcomes become i * 2^(z + 1).

Signed-off-by: Alex Pyrgiotis <apyrgio@grnet.gr>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix skewed latencies for rate IOPS

- when -rate_iops is specified, FIO periodically calls usleep() to limit IOPS

- Before usleep(), FIO always wait until the completion of all pending I/O

- For all I/O completions, FIO shows erroneous behavior of logging their
  latency, with that of the longest latency IO sample.

- w/ QD=8/ mixed R:W=33:66, up to 7 samples may get false latency log when
  waiting all I/O completions => False report of latency distribution

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix rate iops with ramp time

When the ramp time is over, fio resets the ->io_issues[]
counters, but not the rwmix counters. This causes a problem
for mixed read/write workloads that are rate limited and
include a ramp time.

Fix it by resetting rwmix_issues with the regular issues.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add --parse-only command line option

Sometimes it's useful just being able to verify whether a job
config is valid or not, without actually starting any jobs.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
init.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: fixup __sync_fetch_and_add()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: add general libs for Solaris

Assume we just need them, this makes us find inet_aton()
on Solaris too.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

solaris: ensure that TCP_NODELAY gets picked up

Use proper libs when linking, then we can also remove
those from the Makefile.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

powerpc: use mfspr for Time Base Register reads

The 'mftb' and 'mftbu' instructions are deprecated in Power ISA v2.06 in favor
of mfspr. Since CPUs supporting mftb/mftbu also support the TBR SPRs, there's
no known reason to keep mftb/mftbu.

Signed-off-by: Steven Noonan <steven@uplinklabs.net>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix compile of RDMA engine for SunOS 5.x

- byteswap.h include that doesn't exist there. Kill it, we
  have no use for it.

- No RLIMIT_MEMLOCK on SunOS. The use in the engine is a bit
  suspect, so not a problem if we don't have it. Add configure
  check for that.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

net: fix warning for systems without TCP_NODELAY

Signed-off-by: Jens Axboe <axboe@kernel.dk>