genfio: Warn users if read occurs before write

The default mode was to generate read pattern _before_ the write ones.
On some storage device that handle read on untouch sectors by answering
zero from the cache, the result is totally invalid and cheat about the
real read capabilities of the device.

This patch does change the default mode to emit writes before reads.
It also add a warning message if user is setting up some modes by itself
and generate a read_before_write pattern.

That's only a warning message that last a few seconds but could avoid
running a wrong benchmark.

This commit occurs after a real case of invalid performances due to read
emitted to an untouched block volume.

Typical output will be:
 root@vm1-1: genfio -d vdb -s -b 4k,128k,4m -m read,randread
 ###############################################################
 # Warning : You are reading data while never wrote them before#
 # On some storage devices, this could lead to invalid results #
 #                                                             #
 # Press Ctrl-C to adjust pattern order if you have doubts     #
 # Or Wait 5 seconds before the file will be created           #
 ###############################################################
 Generating vm1-1-4k,128k,4m-sequential-read,randread-vdb.fio
 Estimated Time = 1800 seconds : 0 hour 30 minutes

fio2gnuplot: Adjusting y axis plot (2D)

It's better let gnuplot adjusting the tics on the Y axis unless that
becomes unreadble. Too many ticks where present on simple graphs.

This was a useless option, shouldn't have been here from the beginning.

fio2gnuplot: Don't graph 3D if not enough data

If the matching pattern doesn't get more than a single file, 3D plotting
doesn't have any meaning and confuse gnuplot.

So let's disable the 3D plotting if a single file matched the pattern.

fio2gnuplot: Adding sample files

This commit does add some sample log files and makefile to use
fio2gnuplot. This is very useful for understanding, developping or testing fio2gnuplot.

A simple "make" will do the job for you.

fio2gnuplot: Adding 2D graphs for each fio trace

When tracing multiple files, the 3D graph is useful to understand the
behavior of a group of disks but makes difficult to understand how a
particular disk behave during the test.

This patch does add three 2D plots for each fio trace :
- the 2D Raw tracing
This plot is the exact plotting of the raw values reported by fio.
It's very precise but hard to read when having many many traces

- the 2D Smooth tracing
This plot is a smooth version of the raw tracing. It tries to keep as
much as possible a tracing close to the raw one but makes it more
readable by aggregating points.

- the 2D Trend tracing
This plot is trying to setup a trend of the global performance. It
aggregates many points and hide peaks. It only consider at giving a very
easy to understand plotting on how the bench was performing.
It's much more easier to read but could be misleading if raw or smooth
tracing didn't got read before.

genfio: Fixing empty ETA while runtime > 0

Commit 920e0b66756814f7d01bcbbaf5cf0fd05213628d introduced the runtime=0
support but did considered the amount of minutes in addition of rounded
hours to consider if the ETA message can be shown or not.

This is perfectly wrong since it should have been the total amount of
seconds to consider. If runtime=0, the amount of seconds to run cannot
be computed as = 0.

The present code was wrong as if runtime was rounded on hours it did
show the message that ETA cannot be computed.

genfio: Adding prefix to fio filename

This patch add a prefix (-x) option to add context to fio jobs.
When running many many jobs it's pretty hard to remember which job was
made for.

Adding a prefix to the filename can give some interesting information
like the tested hardware or the day we run it, or a option you test
etc...

If the prefix owns a / in it, it will be considered as a directory and
will create it. The fio jobs will be stored into this directory.

genfio: Claryfing default options

Let's show the help if no disks are given as parameter.

This patch does also clarify the default values of each parameter.
That clearly helps understanding what's the default settings if no
option used.

genfio: Adding cached_based option

By default fio is still run in direct mode which is safer for many
benchmarking approach. In some case, you might need to enable the
cached-based IOs.

The "-c" option is now here for enabling this.

genfio: Adding runtime=0 support

If the runtime is set to 0, it will ask fio to get until the end of the
device. This could be useful in some cases.

Adding fio2gnuplot tool

fio2gnuplot aims at plotting fio output files into gnuplot traces.
It does work pretty differently from fio_generate_plots as :
- it plots simultaneous traces in 3D graphs
- it plots various histogram to represent min/max/average/stddev of the
  series
- it uses a pattern matching mecanism to select the input files
- it have a post-mortem analysis mode to compute global values across
  multiple log files
- it saves metadata to report what traces was related to what file
- it generates automatically picture's topic

fio2gnuplot aims at plotting a huge number of simultaneous fio traces in
a understable way. It got tested with up to 197 simultaneous disks traces.

The 3D rendering helps at understanding the "surface" of the benchmark
and answer is fraction of seconds about the homogenity of the results.

The histograms rendering helps at understanding the average values, the
standard deviations between hosts or storage device. By using the
pattern matching, it's really easy to select a set of files to generate
a dedicated graph.

Example:
fio2gnuplot.py -p 'm[1-3]sw[1-3]-*read*para-*iops*' -g
 Selected m1sw1-128k-sdb-read-para.results_iops.log
 Selected m1sw1-128k-sdc-read-para.results_iops.log
 Selected m1sw1-128k-sdd-read-para.results_iops.log
 Selected m1sw1-128k-sde-read-para.results_iops.log
 Selected m2sw1-128k-sdb-read-para.results_iops.log
 Selected m2sw1-128k-sdc-read-para.results_iops.log
 Selected m2sw1-128k-sdd-read-para.results_iops.log
 Selected m2sw1-128k-sde-read-para.results_iops.log
 Running gnuplot Rendering

The previous example shows how to match some iops log file from fio.
In this example, thoses files were generated by genfio.

As a result, the following files will be generated by gnuplot :
m[1-3]sw[1-3]-read-para-iops-3D.png
m[1-3]sw[1-3]-read-para-iops.max.png
m[1-3]sw[1-3]-read-para-iops.png
m[1-3]sw[1-3]-read-para-iops.average.png
m[1-3]sw[1-3]-read-para-iops.min.png
m[1-3]sw[1-3]-read-para-iops.stddev.png

Thoses files will graph all the selected files (traces) at the same time
with various goals (min/max/stddev/average/3D)

Adding genfio tool : an fio job creator

Some fio users need to create multiple fio jobs to compare storage
device's performance on different workload.

genfio is made for creating series of fio jobs based on the following
parameters:
- a disk serie
- a block size serie
- the time each job shall run (default is 300 seconds)
- the expected IO patterns to perform (read,write,randread,randwrite)
- a parameter to define if disks shall be tested one after the other or
  simultaneously

Based on all this parameters, a single fio script file will be computed
to process all this workloads.

Example:
[user@localhost]: genfio -d sdb,sdc,sdd,sde -a -b 4k,128k,1m -r 100 -a
Generating localhost-4k,128k,1m-all-read,write,randread,randwrite-sdb,sdc,sdd,sde.fio
Estimated Time = 6000 seconds : 1 hour 40 minutes

If the user run "fio
localhost-4k,128k,1m-all-read,write,randread,randwrite-sdb,sdc,sdd,sde.fio",
it will run:
- a sequential bench on /dev/sdb /dev/sdc /dev/sdd /dev/sde
    block size = 4k with read,write,randread,randwrite tests
    ETA ~ 4 tests * 4 disks * 100 seconds

- a sequential bench on /dev/sdb /dev/sdc /dev/sdd /dev/sde
    block size = 128k with read,write,randread,randwrite tests
    ETA ~ 4 tests * 4 disks * 100 seconds

- a sequential bench on /dev/sdb /dev/sdc /dev/sdd /dev/sde
    block size = 1m with read,write,randread,randwrite tests
    ETA ~ 4 tests * 4 disks * 100 seconds

- a parallel bench on /dev/sdb /dev/sdc /dev/sdd /dev/sde
    block size = 4k with read,write,randread,randwrite tests
    ETA ~ 4 tests * 100 seconds

- a parallel bench on /dev/sdb /dev/sdc /dev/sdd /dev/sde
    block size = 128k with read,write,randread,randwrite tests
    ETA ~ 4 tests * 100 seconds

- a parallel bench on /dev/sdb /dev/sdc /dev/sdd /dev/sde
    block size = 1m with read,write,randread,randwrite tests
    ETA ~ 4 tests * 100 seconds

For each job of this fio script, bandwidth & iops logs file will be
generated allow further investigations or plotting.

Init buflen for our dummy buffer

If we fail to verify our buffer we will allocate a dummy buf to fill in so we
have something to compare our bad file to.  Unfortunately we don't set the
buflen of the dummy buffer which means we will sometimes write well past the end
of our buffer and this make glibc complain loudly.  Thanks,

Signed-off-by: Josef Bacik <jbacik@fusionio.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make sure io_u->buflen is aligned to the verify_interval

If you specify verify and bs_unaligned you can make fio blow up in interesting
ways.  This is because the verify code assumes that the buflens will be bs
aligned and therefore aligned to the verify_interval.  However this isn't the
case for bs_unaligned.  So to fix this make sure we are always aligned to
verify_interval.  This keeps us from reading off the end of our io buf, or worse
writing past the end of it and makes this fio job pass properly instead of
blowing up.  Thanks,

Signed-off-by: Josef Bacik <jbacik@fusionio.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.1.1

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: don't run configure for make clean

Normally we auto-run the configure part, if config-host.mak
doesn't exist. But we don't need to do that for make clean.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows: include winsock2.h instead of windows.h to avoid a warning.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

posix_fadvise is now provided in helpers.c: remove it from the Windows posix.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update windowsaio for changes to the thread structure

The free/busy/requeue list has been replaced with a FIFO + ring: update
windowsaio.c to work with the new code.

Modified by Jens to check for IO_U_F_FLIGHT before doing engine
private checks.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix bad merge of write_iops_log= option for fio 2.1

We need to store the string.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Bump IO engine version number

We changed the layout of io_u, which isn't binary
compatible with pre-compiled external engines.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Replace list based free/busy/requeue list with FIFO + ring

Cache friendliness of the list is pretty low. This has
provably lower overhead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Catch NULL td->o.ioengine

This should not happen, except if there's a bug in the
option parsing (or profile, see commit 774a99b5). But
lets be cautious and catch it instead of seg faulting.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

act: add slice support and pass/fail end criteria

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Rework fio_generate_plots script

Signed-off-by: Jens Axboe <axboe@kernel.dk>

tiobench: ensure that ioengine is being specified

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Always exit if do_exit is set after parse

It need not be an error condition, it could be just after
doing --cmdhelp or similar.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: if profile is set, only show options relevant to the profile

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make group_reporting be a string-set option again

Otherwise it'll break job files between 2.1 and 2.0.x and earlier.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Better catch arguments with required options and none passed

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix segfault is bool option is used on command line and fails parsing

Signed-off-by: Jens Axboe <axboe@kernel.dk>

act: basic reporting

Signed-off-by: Jens Axboe <axboe@kernel.dk>

act: bring closer to real ACT

- Use the right write sizes and scale IOPS

- Use regular read(2)/write(2) and use read threads

- Add real prep phase

- Add error handling for running out of option space

Signed-off-by: Jens Axboe <axboe@kernel.dk>

act: fixes

- Use libaio to be able to drive higher loads.

- Fix error in latency calculation.

- Fix 5ms vs 8ms typo.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Start of ACT like benchmark profile

Signed-off-by: Jens Axboe <axboe@kernel.dk>

helpers: fixup bad fadvise check

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fusion atomic: retrieve all capabilities and support larger writes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fusion atomic: support for new SDK API

vsl_vectored_write() is dead, long live nvm_atomic_write().

Signed-off-by: Jens Axboe <axboe@kernel.dk>

flow: quiesce pending IO before sleep

Similar potential latency problem as was fixed for thinktime
in commit 002e7183 and for rated IO in commit c3a1b740.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update HOWTO and man page for thinktime blocks impact on queue depth

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Ensure that we have no IO pending when sleeping

For rate limiting or thinktime handling, ensure that we have
no busy IO when we do spin or sleep. Otherwise we potentially
skew the latencies a lot, since events could have been reaped.

Already working for rate iops, just abstracted it out and
ensure that we do the same for thinktime. Only a problem for
certain workloads, those with queuedepth > 1.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

sync engine: guard pvsync engine register/unregister

Need to be behind CONFIG_PWRITEV check.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document pvsync engine

Signed-off-by: Jens Axboe <axboe@kernel.dk>

sync engine: add support for pwritev/preadv

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.1

Now with the initial gfio code merged in.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: fix typo

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Honor random/zero/compressible settings for filling an initial file

Right now we only do that for when the job writes, do it for the
initial setup as well. Otherwise you just get zero filled files
initially, which might not be what you want.

Also fixes a bug with compression if compress_chunk isn't set.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

android: use ashmem

I wrapped the ashmem calls with the existing shm* function definitions.
It's a little ugly, but makes for an easy patch touching only
os/os-android.h.

Tested on both arm and x86 android phones.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

configure: remove argument for --build-32bit-win

It's an enable type option, just remove the argument.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add support for dumping the status on Windows.

Windows uses a per-user temporary directory, with the path stored in the TEMP
environment variable. Update check_status_file to check both the Unix TMPDIR
and Windows TEMP variables before falling back to /tmp.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add distclean target

And only clean cscope.out output when doing that. I'm getting
tired of having to re-do cscope for no real reason.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move __NR_shm* syscall numbers to x86-64 where they belong

The definitions are only correct for 64-bit Linux, not for 32-bit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure that stat outputs are serialized

Two issues:

- We don't want potentially two stat outputs running at the same time.
  This could potentially happen if USR1 or interval stats race with
  the thread exit.

- We could potentially crash if the interval or USR1 signaled stat
  output trigger when fio is tearing down. Let the main thread wait
  for any in-progress output in that case.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add log_info_flush()

If fio dumps status through -USR1 or similar and output is
being stored in a file, the buffering on the file descriptor
by the library can cause is not to see all the output. Ensure
that it gets flushed after dumping stats.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of td->o.perc_seq

No point in tracking both perc_seq and perc_rand, when we know
that perc_seq + perc_rand == 100.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add support for modifying the randomness of a workload

Fio supports random or sequential IO, or random IO with a number of
sequential IOs in between. The percentage_random options allows
more fine grained control over this. It defaults to 100, which would
make any random workload still purely random. If set below 100,
there will be some percentage of sequential IOs. This happens randomly,
but at the specified percentages.

The percentage_sequential option is just the complement of that, it
is guaranteed that:

percentage_sequential + percentage_random == 100%

The later setting has priority, each will adjust the other.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Catch the case where size= is less than the minimum block size

Fio will currently just attempt to start and immediately exit,
with no clue as to what went wrong. The behaviour is correct
in the sense that there's nothing to output, but it can be a
little confusing.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: add debug output when enabled

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix filling verify pattern for byte sizes of 3, 5, 7, ...

If we can't double up to the max pattern size, we leave unfilled
space. This causes verification failures. Fix this by properly
filling up to the max.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure we stop parsing and exit if a command line option fails

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update man page with new command line options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add support for other ways of triggering intermediate result outputs

Fio has support for using the USR1 signal to dump the current
results while continuing to run. Add a --status-interval parameter
to allow this to be configured to automatically happen every X
seconds.

There's also support for signaling fio through the file system. To
do that, simply touch /tmp/fio-dump-status. When fio sees this file,
it will unlink and dump the current results.

A small tweak is needed for the file approach to work in Windows.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fix memory allocation in the cases we may need to align

when using the sg backend we crash w/ a SEGV in fio_sgio_getevents()
because of memory corruption from the IO. when we allocate the td's
backing store there's a possible post-allocation adjustment to page
align the buffers. however, the extra memory that this alignment may
need is not taken into account when allocating the buffer.

Tested:
  - the problematic fio file looks like
  fdha347:~# cat foo.fio
  [global]
  bs=64k
  thread
  rw=read
  size=100g
  time_based=1
  runtime=60
  iodepth=1

  [sdc]
  ioengine=sg
  filename=/dev/sg2
  numjobs=1

Signed-off-by: peter chang <dpf@google.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Really suppress ICE61 when building the Windows installer.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix Windows build warnings.

winsock2.h needs to be included before windows.h.
Separate declarations and code.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gerror: mixed code/data section

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add -Wdeclaration-after-statement to compiler flags

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of mixed code/data sections

Signed-off-by: Jens Axboe <axboe@kernel.dk>

ioengine: kill unneeded thread_data forward declaration

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Kil unneeded forward declaration

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move unused and other attributes to the compiler section

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Split out td error handling code

Signed-off-by: Jens Axboe <axboe@kernel.dk>

null: 'td' isn't actually unused, unmark it

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Propagate io engine error back to 'td', if not already done

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: fix bad log_err() type

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update the examples filenames in the Windows installer.

The examples now have a ".fio" suffix - update the Windows installer.
Also, allow same version upgrades to avoid installing over the top of
an existing installation.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup bad logging types

Signed-off-by: Jens Axboe <axboe@kernel.dk>

log: add printf() attribute to log_*() functions

Similarly to how it's done for dprint(), so we can catch
format errors.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: fix segfault on 32bits platforms

Uses wrong type in log_info().

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

eta: improve output for threads sitting in TD_SETTING_UP

Signed-off-by: Jens Axboe <axboe@kernel.dk>

ARM: Use generic assembly nop and barrier code for armv6

Signed-off-by: Otavio Salvador <otavio@ossystems.com.br>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

README: quick note on how to cross compile

Signed-off-by: Aaron Carroll <aaronc@cse.unsw.edu.au>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

filesetup: set TD_SETTING_UP runstate when laying out files

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Revert change that set group_reporting to 1

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix warning on platforms without disk util support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

server: include uio.h for writev()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gclient: update to new probe command format

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make use of zlib optional

Fio uses it to compress io logs between the client and server.
But let them handshake on this requirement when they connect
and probe, and fallback to just sending the logs in plain
format if both of them do not support zlib compression.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

configure: add needed packages hints

Signed-off-by: Jens Axboe <axboe@kernel.dk>

x86: fixup cpuid for some odd (android) 32-bit variants

Signed-off-by: Jens Axboe <axboe@kernel.dk>

android: add byteorder for the swab routines

Signed-off-by: Jens Axboe <axboe@kernel.dk>

android: add shm syscalls and fix ioprio definitions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: fix 32-bit build warning

Cast the 64-bit tag to a 32-bit pointer first, before
casting to the fio_net_cmd_reply pointer.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: clean $(FIO_OBJS) too

Otherwise fio.o gets left behind after a clean.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

README: update

Signed-off-by: Jens Axboe <axboe@kernel.dk>