Merge branch 'master' into gfio

Conflicts:
iolog.h
stat.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

diskutil: ensure that we lock around disk_list access

And also ensure that before we free the disk util structures,
we wait for the disk util thread to exit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix fallocate erroneously returning ENOSYS on Linux systems

Currently, the helpers.c file provides a function defintion for Linux
fallocate that sets errno to ENOSYS and returns failure; this is useful
for a non-Linux OS. However, this definition will override the Linux
implementation of fallocate when 'fallocate=keep' is set. Adding a
preprocessor macro to check if Linux fallocate is defined fixes this
issue.

Signed-off-by: Wade Cline <wcline@us.ibm.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add missing arch_mips

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Include end-of-run time in the output

When results are stored, it's convenient to be able to tell
when they were run.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Revert "blktrace: use for_each_file() instead of open coding the loop"

There's another bug in where we don't have the number of
files in replay mode correctly stored in td->o.nr_files. So
revert this until that bug is fixed as well.

This reverts commit adfc73488616bac66f910d53c75202d5be8afe87.

blktrace: use for_each_file() instead of open coding the loop

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix "fio: file hash not empty on exit" with blktrace replay

There are two problems:
1. blktrace data hasn't file close action
2. redirect file fileno isn't correct

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add a more verbose/immediate warning if we fail open with O_DIRECT

If we get EINVAL with O_DIRECT open of the file, then that means
that the file system does not support direct IO. Warn as such
from fio.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows 32-bit fio fixes

Fix no-op shift in shmget by casting to 64-bit.
Generate a new Product GUID for fio 2.0.8.
Add the 32-bit MinGW-w64 compiler executable name in Makefile.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure that non-git basic installs return sane version information

If git wasn't available, we'd return 2.0.8 as the version info
instead of fio-2.0.8 like we otherwise would.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.8

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
client.c
eta.c
server.c
server.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

eta: ETA bandwidth was off by 1.024

Same fix as 033bbb51 essentially. Since mtime is a 1000th of a second,
for the usual option of having 1024 be the KB base, we end up being
off by 1.024 if we don't multiply by 1000 before dividing by the
runtime (and then dividing by 1024 to get to next power-of-2).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix hyphen as minus sign errors by escaping minus signs.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix manpage error warning: macro `hostname'' not defined.

Fix manpage error warning: macro `hostname'' not defined by using
different line wrapping.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix spelling error in manpage.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: set option category for create_only

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
Makefile
backend.c
client.c
fio.h
os/windows/install.wxs
server.c
server.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix terse bandwidth

Off by 1.024

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Remove deprecated rwmixcycle option from the man page

It has no effect, remove it.

Suggested-by: Roger Sibert <Roger_Sibert@xyratex.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add create_only option

If this option is set, then fio will only run the preparation
phase of a job. This means it will create all the files it
needs, but exit after that.

Suggested-by: Georg Schönberger <gschoenberger@thomas-krenn.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix man page type

"one" -> "done".

Reported-by: Roger Sibert <Roger_Sibert@xyratex.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: Add to cgroup if parameter "cgroup" is enabled.

Currently, we only add the tasks to cgroup if cgroup_weight is set by
the user. But if we want to test other blkcg parameters like block
throttle, the fio tasks isn't added to the corresponding cgroup and
it doesn't make sense.

So add the task to the corresponding cgroup if the cgroup name is given.

Signed-off-by: Tao Ma <boyu.mt@taobao.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix for crash with more than ~500 jobs

We simply overwrite our status output buffer, not a terribly
good idea.

Reported-by: Roger Sibert <Roger_Sibert@xyratex.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows build fixes

Bruce writes:

SIGUSR1 isn't defined on Windows so I've defined it.

Also, MSI packages need a version string of x.x.x.x where x is between 0
and 65535 so we can't include the git hash. It's easier just to go back
to hard-coding the version for now, and I'll update it (and the product
GUID) when I create a new package (it doesn't need checked in each
time).

Also, Cygwin doesn't like $(SHELL_PATH) but $(SHELL) seems to work -
does $(SHELL) cause a problem on other platforms?

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Enlarge probe version field

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use light yellow as graph background

Easier on the eyes.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Enlarge probe version field

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of fio_version.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Get rid of fio_version.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>
Conflicts:

fio_version.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix for non-git versions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix for non-git versions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: use rounded graph connections

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure that init depends on FIO-VERSION-FILE

Signed-off-by: Jens Axboe <axboe@kernel.dk>
Conflicts:

Makefile

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Ensure that init depends on FIO-VERSION-FILE

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: tighten up tickmark lines a bit

Still have a fuzzy feel at some of the boundaries, not sure why yet.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: add shading for line graphs

Pretty simple, just a continually ligher shade of gray off the
top X border, and rightmost Y border.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document the use of the USR1 signal for dumping runtime statistics

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix repeated link of fio

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix repeated link of fio

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make fio include the git version in the version output

Makes it easier in bug reporting, don't have to ask people what
they are running...

Here's to you, Kep.

Signed-off-by: Jens Axboe <axboe@kernel.dk>
Conflicts:

Makefile

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Define SIGUSR1 to inform fio to dump run stats while continuing to run

For long running jobs, it may be interesting to see the stats without
having to terminate the job. Set up SIGUSR1 so that it does that,
gives you the stats at that point in time.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Free disk util on exit, not on stats display

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.7

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: typo: write_log_log -> write_lat_log + use suffix

- I guess 'write_log_log' was a copy-pasta typo.

- You used 'suffix' everywhere except for two places where you said
  'postfix'.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
fio.c
fio.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

group reporting: fix bad values of min/max

If you look at the fio output, the group reporting min and max
bandwidth don't match what the actual job reports. This is due
to an error in calculating the min and max values. The aggregate
value is correct, and matches what the job reports.

This did not affect the values that are usually used for reporting,
it's only affecting the group run status output.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

iolog: remove assert in io_u overlap

This can happen very rarely for time based jobs. Before we
had this as an assert since it was an impossible to hit
condition, but now it can be expected very rarely with
verify and time based jobs.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Windows fixes

Only return from fio_windowsaio_getevents if the minimum number of IOs has
completed.

Add posix_fallocate implementation to avoid extending the file during the test.

Move call to ResetEvent into windowsaio_getevents where other reset code is
located.

Fix tabs vs. spaces in windowsaio.c and the installer sources.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix address truncation on Windows

Avoid having PAGE_ALIGN truncate addresses by using a pointer-sized
variable for the page size and mask.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: emphasize units in --minimal mode: latency in usec, bw in KB/s

It wasn't clear what unit were used in --minimal mode.

Signed-off-by: Lucian Adrian Grijincu <lucian@fb.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Add indication of whether a job got killed

We have 'X' for exited with error, add 'K' for killed by
signal as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

HOWTO: update to note base of latencies in minimal/terse output

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup link of t/ieee754 test

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: group tiobench options together

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Enhance the reaped status display

Instead of just printing a '_' for a job that has exited,
allow the user to tell if the job exited with an error or
not. A normally reaped job that ran to completion without
errors will have the '_' displayed. If the job exited with
an error, then an 'X' will be displayed instead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Define SIGUSR1 to inform fio to dump run stats while continuing to run

For long running jobs, it may be interesting to see the stats without
having to terminate the job. Set up SIGUSR1 so that it does that,
gives you the stats at that point in time.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Free disk util on exit, not on stats display

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: get rid of more .cb option usage we don't need

- The lat/bw/iops log does not need two ways of storing whether
  they are enabled or not. Just change the option to a string
  storing variant, and use the existance of a filename to see
  if it's set or not.

- The trim_percentage option need not have a callback, the
  parser knows the limits and can store it appropriately.

- The verify_offset option can express it's minimum value
  directly, it doesn't need a callback to set it on its own.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: move ioprio/ioprio_class into thread_options space

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: include number of CPUs in probe reply

We'll need this for affinity mask setting. Also add room
for flags, we'll want to pass back a flag mask of supported
features on the remote end.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add o->lockmem to conversion functions

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make lockmem a per job option

We need to get rid of per job options that fiddle with global
state. It's confusing, and it breaks remote option handling.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Start the process of making options more gfio friendly

We either need to eliminate the option callbacks, or ensure that
they don't have side effects outside of touching td->o. We will
need to use &td->o as the data passed in for the callbacks, not
the full td.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: ensure that server side releases/frees shm segment on exit

We were leaking one for every job run.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

cairo_text_helpers: fix left justified text

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: change job option view

Instead of having a top notebook containing jobs, and subnotebooks
containing options, have just the one subnotebook and change the
viewed options by selecting the job in a combo box at the top.
This greatly reduces the number of widgets displayed for a big
number of jobs, speeding it up.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: remove command reply after calling into client update_job

Ensures that it's definitely processed by the time the client
has waited for it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: fix bug in going from thread_number to thread

thread_numbers start at 1, not 0.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: start of being able to update options

Not quite done yet, but it's a start.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: add support for updating job options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

White space spring cleaning

Lets squash them all, with a bit of tooling help.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

printing: whitespace damage

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: Add "print" option for results page.

It doesn't really print the results page yet, just a kind of test page.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: factor out cairo text drawing helpers

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add named log level

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gcompat: gtk_widget_set_can_focus() for below 2.18

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gcompat: gtk_widget_get_window() for below 2.14

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use appropriate gtk signal for draw/expose of graphs

draw on gtk3, expose_event on gtk2.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gcompat: get closer to working with gtk3

Just need the draw event now, instead of the expose_event.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: ensure that gopt_str_multi options get freed

Was missing the destroy handler.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: let destroy handler free changed options too

We can't touch the memory in the destroy handler, since it could
already have been freed. Just always leave the freeing of option
memory to the destructors.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gcompat: provide backwards compatible functions for older gtk versions

Attempt to do something that'll work equally well across gtk versions,
to improve the supported range.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use G_OBJECT(), not GTK_OBJECT()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: fix check button storaage for FIO_OPT_STR_MULTI

i was not incremented...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: handle changing of options in job edit

Track what options have changed, and store them into the
options structure that we have for the given job.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: use gopt->gjv for option hiding

We can't rely on gui_data for the gjv lookup, since it'll be
different for each job tab. Instead use the cached value
in the gopt structure, since that is allocate for each client.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: don't override gopt dep tree by mistake

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add per-job option view

The option view is now a master notebook of jobs that got added
from a given job file, with each tab holding a new notebook
with tabs for the options.

This is pretty slow for big jobs. Adding eg the 1mbs-clients.fio
example job file shows this nicely, since it contains 32 jobs.
Will need to look into how to speed this up.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: start of per-job option edit

Currently we don't properly handle job files with multiple
job entries in them, each one just overwrites the last.
Start tracking all of them.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

stat: move final \n of terse output to the end

Don't print a new line, description, then another new line.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add regression test for ae2fafc8

Signed-off-by: Jens Axboe <axboe@kernel.dk>

verify: verify bytes should not add to this_io_bytes

When rw=readwrite,verify+backlog, the verify are treated as normal
read, and bytes are added to this_io_bytes, cause fio terminate early.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Allow readwrite as an alias for rw in setting sequential read/write

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: use eta msec as the poll interval

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: idle a bit more of we are not expecting work

Don't wakeup every 100msec if we are not expecting an event
that wont already wakes up poll() automatically.

Signed-off-by: Jens Axboe <axboe@kernel.dk>