gfio: update TODO

We have recent file support now.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: Add Drag'n drop support

And unify the file-open-in-a-tab functionality.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Rename t0001 regression job to have .fio file extension

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Conflicts:
client.c
fio.h

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add regression test for 82af2a7c

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix failure to verify in mixed read/write workload with backlog

If you run a workload like this:

fio --rw=randrw --bs=4k --direct=1 --ioengine=libaio --iodepth=32
--verify=meta --verify_backlog=1024 --verify_fatal=1 --name=ver-test
--filename=foo --size=1G --verify_pattern=0xaaa

Fio ends up never actually verifying the written blocks. This happens
because as we generate an entry to be verified, the backend checks
whether this is a read/write mixed workload. It then thinks that the
READ is just that, a normal READ, when in fact it could be coming
from our verify list.

Mark such a read as coming from our verify list, so that we know if
it's a "normal" read or one generated to verify previously written
data.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add recently opened files to File menu

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: change Job->Connect menu item string

Change it from Connect <-> Disconnect, same as how we handle
the button.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add gfio TODO file

Not complete, but it's a start.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: remove widgets from struct gui/gui_entry that we don't really use

Lots of these are only used for initial setup of the page, other
entries are the ones we reuse later. So kill the entries to avoid
confusing them post init.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Client reference fixes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add support for graph tooltips

Will show the actual value logged at that point.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: allow close with ctrl-w if there are no clients

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'gfio' of ssh://brick.kernel.dk/data/git/fio into gfio

gfio: fix hiding of menu entries

It helps a lot to use the proper casing...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix crash when pushing 'start job' and no client connected

We should not really need this fix, but until the menu item
sensitivity is fixed, they are visible and we should avoid
the crash.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Makefile: properly clean all objects on make clean

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix wrong pointer being passed into file_open()

We passed the gui_entry, it wants the gui. Fixes segfault
on clicking "Connect", when attempting to auto-load the
file open dialog.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: prep for recent files

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: improve Job menu

Still need to figure out how to make certain items in the
job menu sensitive/insensitive, apparently I can't lookup
the item widgets (only the menu widget).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add support for making job menu visible or not

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add close-tab functionality

And start Job menu.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: prevent multitext crash on invalid update

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Group options into categories

Each option can belong to several categories. This is going to
help us make some sort of sane GUI representation of options.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: pack per-job info in a multitext structure

Just like the name entry, we can have differing io engines, depth,
etc. Allow these to be stored and set when the user selects the
appropriate entry in the combo box.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Only send job options once

If we have numjobs=x set with x higher than 1, the CLI client
prints the first and last job. But for the GUI, we just want
the one notification of an added job.

This fixes the case where we seem to have loaded two jobs,
but it is just one.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add extra space to the graphs at the edges

This is to make it easier to read and also keeps the lines from
going beyond the edges of the graph.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix tickmark shortening for zero special case

"0" tickmark can effectively be shortened by dividing by
any number as 0 / anything is still 0, but the code was
considering "0" to be unshortenable.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: drop more than 1 entry, if we are more than 1 above the limit

If we dynamically reduce the data entry limit, it's not enough to
drop one entry when we add one. In that case, drop two everytime
we add one. Then we'll eventually get smoothly down to the specified
limit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use current value of graph limit as the default

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: encapsulate x- and y-offsets into graph library

Don't need to carry around drawing area dimensions alongside
the graphs, the size and xy-offsets of the graphs can be set
directly in the drawing area configure callback.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add comments to interface of graph mini library

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use graph axis unit change notification callbacks

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add graph axis unit change notification callbacks

This enables code that uses the graph functions to change the axis
titles on the fly to display unit information which matches how the
tick labels are shortened.

Signed-off-by: Stephen M. Cameron <scameron@beardog.cce.hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix discrepancies between graph header and implementation

Header defined a couple functions as returning void, but they really return int.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: do not mix K M and G when shortening axis labels

That is, do not scale axis labels by differing amounts
like 900K, 1M, 1100K, instead: 900k, 1000k, 1100k.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: move debug preferences last

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add eta msec interval preference

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: make ETA interval poll period configurage in fio_client_ops

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add preference entry for number of values to keep in graph

It's not really seconds, but pretty close since ETA interval is
close to that now. Will make it really seconds later.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Mark buffer_compress_chunk as child of buffer_compress_percentage

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add buffer_compress_chunk option

Instead of doing bs/2 of incompressible and zeroed data for a 50%
compression setting, use the smaller chunk size specified by
this option.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Honor refill_buffers even for verifies

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Compression buffer fill fix

We need to advance after the zero fill as well.

Reported-by: David Sterba <dsterba@suse.cz>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: send probe from fio_client_connect()

We only do it from fio_clients_connect() now, better move it
into the lower per-client handler. This gets probes working
with gfio again.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: better handle multiple threads/processes in a job

Make the name entry a combo, before we were just overwriting
so it would contain the last entry noted.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make results notebook scrollable too

And also adds menus to both results and job notebook.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make notebooks scrollable if there are too many

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: hold a reference to the fio_client structure

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: more error reporting

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: return real error from fio_send_data()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: return more errors

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: return errno on connection failure

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: handle clients individually

Now we have per-client support, don't use any of the "do FOO for
all clients" functions.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: only start one client net handler

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: start of support for notebooked jobs

We split struct gui into a main window and per-client part,
having a separate style of layout for each.

This needs a lot of work still, but it gets the point across.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: ignore group stats for now

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add basic cconv test

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Separate the act of adding and starting a job

CMD_JOB or CMD_JOB_LINE only adds the necessary jobs, which will
automatically return the job option info to the client. Let the
client do what it wants with the options, then have the client
send a CMD_RUN command to actually start the jobs.

Next we'll have a command for passing back edited options, so that
the client can update existing options.

This adds a new button to gfio, to note this split of add and run
as well.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

example: bump netio example to 100g transfer

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: rename CMD_RUN to CMD_SERVER_START

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client/server: pass back packed thread_options in add_job()

Now the client can see the parsed options. As it turns out,
we need to parse locally since the client and server can be
vastly different operating systems and architectures. Pass
back the options, allowing the client to change them before
starting the job.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: Add y-axis labels

"Kbytes /sec" for bandwidth, and "IOs / sec" for IOPS.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: move graph area a bit to the right

To make more room for y-axis title text.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix a bug in the y-axis label shortening algorithm

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add thread_options_pack structure

First step towards having an on-disk and on-wire independent
options structure, with the goal being that we parse options
locally (hence allowing them to be edited sanely) and send them
to the server in one nice package.

Additionally, this is a step towards being able to have a new
fio/gfio "project" file format, which includes all the info a
given client needs. This includes job options, where to connect,
etc.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Abstract out the thread_options structure

We need to prepare to have an on-disk/net version of the same.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

client/server: store/convert/send jobs_eta->nr_threads too

We still need to handle jobs_eta->run_str[] as well...

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: improve stop handling

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make the end results window a scrolled one

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: don't use gtk_dialog_get_content_area()

It's not available in gtk 2.10, which we'd like to work with.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add missing disk utilization stat to end results

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: allow graph to stretch or shrink as window expands or contracts

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: right justify y-axis labels

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix problem with graph finding data range.

In finding minimum value, it used zero as an initializer
but if the graph had no data below say, 1000, it would still
find zero as the minimum, which was incorrect.

Signed-off-by: Stephen M. Cameron <scameron@beardog.cce.hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: get rid of invisible data

At first the invisible data seemed like an elegant way to get
reasonable graph ticks when no data was really present, but it
proved to be an ugly hack that caused other problems later,e.g.
when you want to cap other data so the xy graph scrolls, the
invisible data kept it from scrolling, etc.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: shorten graph tick lables so x000000000 becomes

xG, x000000 becomes xM, and x000 becomes xK

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: cap graph data count

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: change color of graphs

Green for reads, and red for writes. Seems to be what people
use mostly, so lets make it less confusing. Will also want
a title for that.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: remove a few debug printfs

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: remove boxes between graphs

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add units to x-axis labels and remove redundant y-axis labels

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make empty graph show grid lines, not "No good data"

This is done by adding a bit of "invisible data" to the graph
at the beginning.

Signed-off-by: Stephen M. Cameron <scameron@beardog.cce.hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: make graph background white

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add license

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: update about dialog

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add font selection and resize original window

Font doesn't quite work yet, since we still setup the graphs
before anything is loaded. Will fix that later.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

graph: use unsigned ints

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: be a bit more clever on when to auto-start backend or not

If we are connecting remotely, don't show the option.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

parser: relax restriction on postfix ranges

Currently we misparse this option:

bs=1k,4k

as read_bs=1, and write_bs=4096, since we compare the postfix
strictly against "k,4k". Use range compares instead.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix batch mismatch for verifies

If we set verify_backlog=32, we expect 32 writes followed by 32
reads that verify the written data. But if we fail getting a
verify io_u, then we may decrement the batch counter when we should
not. The result is that we write 32, read 32, write 1, read 1, repeat.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add regression test for f7078f7b

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix bug that causes early termination of fio with verify_backlog

Running this job:

[global]
bs=4k
ioengine=sync
size=100m
direct=1
filename=xxx

[write]
verify=md5
verify_backlog=32
rw=write

causes fio to exit when reads + writes have exceeded 100m, where
it should only exit when writes have exceeded 100m. Fix this by
checking the appropriate counters based on what type of job it is.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add *.ini as fio job file filter

Lots of people seem to name their job files that, so
lets add the filter.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: Add graphs for read/write bandwidth and read/write IOPS

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: Add mini library to draw bar graphs and line graphs

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: clear progress bar on job end

And detach fio server thread.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: first attempt at actually automatically starting backend server

It doesn't handle multiple connections, after the first job completes,
gfio must be restarted.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

server: fix bad win32 indentation

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add regression test for 8a99fdf6

Signed-off-by: Jens Axboe <axboe@kernel.dk>