gfio: add per-job option view

The option view is now a master notebook of jobs that got added
from a given job file, with each tab holding a new notebook
with tabs for the options.

This is pretty slow for big jobs. Adding eg the 1mbs-clients.fio
example job file shows this nicely, since it contains 32 jobs.
Will need to look into how to speed this up.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: start of per-job option edit

Currently we don't properly handle job files with multiple
job entries in them, each one just overwrites the last.
Start tracking all of them.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: use eta msec as the poll interval

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: idle a bit more of we are not expecting work

Don't wakeup every 100msec if we are not expecting an event
that wont already wakes up poll() automatically.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: improve and remember font selection

Redraw/expose doesn't quite work yet, though.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: indentation fixup

Use tabs, not spaces.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix reversal of IOPS and BW graphs

Commit 8dfd6071 inadvertently mixed them up, restore original
behaviour.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make completion percentiles graphs expand to window width

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make completion percentiles boxes expand to container width

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make io depths expand to window width

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make latency buckets expand to window width

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: return opaque graph_label_t for each label added

Gets rid of the strcmp() lookup, store the graph label locally
instead and just pass that in.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: leave notebook entry as the file name

We have the job name(s) in the combo box already, it's nicer to
just leave the tab as the filename.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixes for 32-bit compile

- uint32/64 casting
- Real bug fix in types[] index beyond length.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: hide graph if all values are zero

If all visible data points in a label are zero, don't display it
and don't show tooltips.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: fix finding tooltips from label 1+

Only break if we actually found a tooltip, not unconditionally.
Cleanups.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: fix missing else

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: prio tree alias handling

Store aliases in a list off the prio node.

Switch graph internals to use flist, instead of home brew list.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Make fio include the git version in the version output

Makes it easier in bug reporting, don't have to ask people what
they are running...

Here's to you, Kep.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: remove unnecessary float multiplier

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: yet one tooltip tweaking

Don't use a percentage of the data value as the check point, that
makes it increasingly difficult to pin point a tooltip for a graph
that is near the bottom end of the range. Instead use a fixed
percentage of the first tickmark, that makes it equally fair
across the range.

Also switch to using the X axis as the prio tree index, since that
should be increasing nicely all the time.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: bump prio end value by ytick delta, if all zeroes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: cleanup tooltip alias handling

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: fix crash on alias in prio tree

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: clear prio root iter on extra loop

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: fix for unitialized graph_value nodes

And leaking tooltip/node on free.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: remove debug printf

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: switch tooltip lookups to being range based in a prio tree

This cuts a lot of the CPU usage from browsing bigger graphs. Even
the normal graphs are typically cut in half.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move rbtree into lib/

And make ARRAY_SIZE() generally available, also outside gfio.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: stop matching tooltips if X diff is too large

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: set notebook label to base filename

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use glib hash for tab lookup

Not really a CPU saver, but it reduces the amount of code we have
to maintain by getting rid of the list lookup.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix gc leak

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fixup spurious editor indent

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: split some parts into gclient.c

We'll probably want to split gclient.c into op code handling and
results display/view.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add gerror.c for reporting errors

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: update for handling files, connections, states

Big update, changes:

- Notify from client helpers when a client is removed. This helps
  gfio track this.

- Make the connection states more bullet proof. You can now connect
  and disconnect, and expect connect to work again.

- Limit number of files opened through file selection or drag'n drop
  to just 1.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: don't leak file descriptor on exit

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: use passed in sk in send functions

It's not always server_fd, for client communication it's the
client fd.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: lessen use of main_ui directly

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: remember to mark option index for FIO_OPT_STR_VAL

Fixes hiding of these options.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: use glib n-ary tree for option dependencies

We didn't support looking up children of children before, since
it would just be too costly (making the whole 'visible' thing
be N!). Move to a glib n-ary tree for option dependencies, this
is a lot cleaner and faster.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: enable combo box hiding

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: add ->hide_on_set

Normally we hide children if the parent isn't set, but for some
options it's the other way around.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: don't emit change signals during setup

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: ensure that FIO_OPT_STR_VAL doesn't exceed max multiplier

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: better support for FIO_OPT_STR_VAL

Split the value into two components, an integer 0-1023 value
and a combo box with a b/kb/gb/tb/etc multiplier.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: free opt types on exit from edit options view

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: kill ge on widget destroy

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'gfio' of ssh://brick.kernel.dk/data/git/fio into gfio

gfio: fix crash on exit

Pass in correct data pointer.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: clear stale widget pointers on dialog destruction

gopt_widgets and gopt_g_widgets arrays need to be cleared when
the job editing dialog widget tree is destroyed, otherwise you
get a crash or weird behavior if you attempt to edit a job more
than once.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

goptions: block gtk signal handlers instead of hacking around them

Turns out g_signal_handler_{block,unblock} exists and do exactly
what we need. Use them.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

cpu: move cpuload/cpuchunks options into private engine option space

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: more groupings

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: apply inverse options to buffered/direct

For these, we'd ideally use radio buttons instead. But hard to
pass that info from the options structure, so lets just punt
to inverse check buttons for now.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: more option grouping

Signed-off-by: Jens Axboe <axboe@kernel.dk>

options: group cgroups and jobs

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fill default options on new job

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add support for inverse options

Options that are tied to each other, meaning that if one is
incremented by X, the other is decremented by X automatically.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: option improvements

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add support for FIO_OPT_STR_MULTI options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Categorize a few more options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: improve option edit

Allow grouping of options into both categories, and groups. The
groups are within a category. This shrinks down the number of
job edit tabs a lot.

Work in progress...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

backend: privatize nr_thread/nr_process

We need to start moving init items out of add_job(), to allow
for updating of job options. The number of threads and processes
can be calculated before running jobs, so move them there.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: make client connections fork off

Instead of handling connections inline from the server, fork
them off before running them. This makes the able to handle
the idle loop command send/reply directly, without being
invoked from the idle loop.

New connections are forked off automatically as well, leaving
the server free to accept new connections. Not sure we want that,
or at least it should be an option to return BUSY on attempted
new connections.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: set clat/lat bucket graph Y title

And ensure that disk utilization lines up from the top of the notebook page,
not centered in the middle.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Added 99.95 and 99.99 default percentiles.

Since there are 20 slots for percentiles, but not all used by default,
I figure it doesn't hurt to add a couple extra percentiles to the
default for tail latency capture.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Add regression test for 37cf9e3c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Enable read/write sequential offset to be a non-multiple of the block size

The way that fio does offset math internally, if a non-multiple
of the blocksize was given as a sequence offset, it would simply
be ignored due to the block offset division rounding it down.
In other words, if you did:

rw=read:512k
bs=1m

it did not read 1m and 0 offset, 1m at 512k offset, etc. Instead
the hole is ignored.

Fix this by leaving the generated sequential offset in bytes
instead of turning it into a 'fio block'.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make option hiding actually work

We have multiple widgets if they appear in multiple tabs. Keep
track of that and hide them all.

Still need to handle non-bool options, but at least the logic
is sound now.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: initial support for hiding child options

If children depend on a parent, we want to hide them if the parent
isn't set. This is initial support for doing that.

Nevermind that it doesn't actually work, the hiding is buggy. And
it's only implemented for the check button type options for now.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add hint on whether to hide a sub option if a parent isn't set

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Allow options to specify intervals

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: sync range spin buttons in edit view

They are paired, min/max for read, and min/max for write. If the user
adjusts the min value larger than max, adjust the max automatically.
And vice versa for the max value.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add FIO_OPT_G_IO_ENG category

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add categories for missing options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parse: ensure that an option has a category

If not, set it to misc and complain.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

time_based: Avoid restarting main I/O loop

Previously, when fio had written a volume of I/O equal to the size
argument, it restarted the main do_io loop.

This patch allows time_based tests to be run for longer than one
cycle in the do_io main loop. This has a couple of advantages:
 * The random number generator is not reset on each iteration
   of the loop, so running longer will reach different locations.
 * There is not a throughput-reducing point where all operations
   must be reaped before new operations are submitted.

The implementation consists of two minor changes:
 * In the do_io loop, a time_based test will not exit the loop for
   reading or writing too much data.
 * When reading or writing sequentially, the operations wrap around
   to the beginning after reading the end within the
   get_next_seq_block function.

Modified by Jens to properly restart when using a randommap
as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: correctly input stored FIO_OPT_STR_STORE options

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: inherit and show more options correctly in edit job

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: demo of how to inherit option values into edit window

We now fill FIO_OPT_STR_STORE options directly into the edited
values.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
fio.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix problem with iodepth_batch_complete=0 and accounting

If the queue is full, we always need to reap at least one event.
Otherwise we end up failing get_io_u() and restarting the file.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix wrap bug in mtime_since()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: move more code to ghelpers.c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: use 0 as the floor for the line graph

Unless we have values below 0, in which case use that.

This makes it easier to visually compare a running read/write
workload. Without this change, the lowest valued graph would define
the floor of the graph view.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: start of options view and edit

This is pretty crap right now, but it's exposing all the options.
Now we just need them to reflect the current job, and be able to
update a remote job with a new set of options.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use ctrl-d for connect/disconnect

ctrl-e is used by job edit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: start of splitting up the source a bit

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: include direct/buffered IO type in the iotype field

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add bs display

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: put disk utilization tab in a scrolled window

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: tighten x-axis tooltip hit

Make it 10, like the Y-axis. Seems to work well in practice.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Document compress_buffer_percentage, compress_buffer_chunk

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Note offset_increment parent option

And move it up near "offset".

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix offset_increment option and add man page entry for it

td->thread_number starts at 1, not 0. So we need to subtract
one before multiplying with the offset.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

rdma engine graceful teardown

For rdma ioengine's one side operation, RDMA_WRITE or RDMA_READ,
server side gets a message from client side that the task is finished.
In previous version, the server simply exit() in td_io_commit() which
causes segmentation fault in thread mode or process hanging in process
mode. This patch achieves graceful tear down by setting up `td->done`
as UDP engine did.

Signed-off-by: Jens Axboe <axboe@kernel.dk>