gfio: add disk utilization output to end results

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add log viewer

Replaces old text_op.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: put results from same job file into a notebook

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: use a window for results, not a dialog box

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: ensure all command opcode handlers are properly gdk thread protected

Since we get this callback from our handling thread, we
need to use gdk_threads_enter() and gdk_threads_leave()
to ensure proper locking.

This fixes various crashes.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: correct depths view

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: move bandwidth stats

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add os resource usage and io depth display

IO depths is a bit of a hack, needs work.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: add latency bucket display

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move stat arrays into show/calc func

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fixup bw display

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: Change some labels to entries and add bw stats to final output

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add completion percentiles to results output

Signed-off-by: Jens Axboe <axboe@kernel.dk>

End results fixes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: start of proper end results data display

Incomplete, it's just a start.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

stat: move calc of latencies into show function

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add client references

We have a use-after-free in the fio_handle_clients() loop.
If we receive a QUIT command, we remove the client in
fio_handle_client(). But fio_handle_clients() doesn't
have a way to detect this, so it checks client->error
after it has potentially been freed.

Add a simple reference to get rid of this problem.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Unify cli latency display

And export usec_to_msec().

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Pass in client for thread/group status op

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Store specific client ops in the fio_client structure

We could be handling a mix of gui and cli clients from the server,
so passing. Plus this is a lot cleaner.

Also unify ETA opcode handling between clients.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Convert net commands in the generic command handler

Removes this from the cli/gui client, it can be handled
generically.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add new net command for text logging

Encapsulate the text in a payload, that also includes the
logging level and the time the event took place. The text
client will do as it always has done, but the gui client
can now do proper logging and knows if this is debug/info
or error messages.

No functional change in the GUI.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add preferences help tooltips

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add Preferences dialog

Allows you to set debug options for the client.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

GUI fixes

- Don't use clear_ui_info() on normal quit
- Remove setting of all debug flags

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Start of support for auto-starting the backend

When running fio as a client only, you need the backend running
on the system. Start adding support for letting gfio auto-fork
the backend, if it isn't already running.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Clear UI/progress bar on disconnect/quit

And ensure that server idle loop sends run command once per
idle loop entry.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Terminate clients when 'Disconnect' is clicked

And reports errors in error bar.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move connection details to separate dialog box

No need to view that in the main window, we need the space.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add support for client timed out ops

Just opens a dialog window.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Don't update CR fields

They have been disabled for now.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add more job info

Adds a specific command to be sent when a job is received by
the backend. Helps fill out the GUI fields for job values.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

More gui changes

- Move progress bar into connect/start field
- Pretty up port/type boxes
- Hook better into adding clients
- Add ->quit hook for client ops
- Ensure fio_handle_clients() stays connected for GUI clients
- Stop server from repeatedly sending RUN commands

Signed-off-by: Jens Axboe <axboe@kernel.dk>

gfio: fix error handling in send_job_files()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Update GUI to attempt to graphically handle ETA output

The whole layout will probably be changed, but for now it
demonstrates how to properly integrate with the net client
to handle the data and output it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add GUI probe support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move client structure into client.h

GUI will need it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Various GUI updates

- Add File menu, move job file to File -> Open
- Kill Quit button, move to File -> Quit
- Move client setup and load closer to what we want
- Use c99 style for client ops

Various little changes.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Rename job files

The GUI would prefer job files to have a fixed extensions,
makes it much easier to navigate. So hence forth all fio
job files shall be named foo.fio.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

We need the crc function namespace change.

Rename crc functions to private namespace

Apparently we overlap with some gtk (?) crc32() functions, causing
ours to be called and subsequently crashing since the arguments
aren't the same.

Move everything to a fio_ protected namespace.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.5

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Really fix IOPS logging

Commit 9602d8df had a bug where it mistakenly stored
the bytes last seen when doing an IOPS log entry, instead
of the blocks last seen.

Reported-by: Bill Hooper <whooper@micron.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix Makefile for gfio build

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move init code info libfio.c

Kill off endian_check.{c,h} and fio_initialization.{c,h}

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fio 2.0.4

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' into gfio

Fix verify

The hole commit from yesterday (d3a173a9) had a bug, where
we would checksum too much.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: work on textview alignment

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: work on widget alignment

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: make gui capture text ops

Signed-off-by: Stephen M. Cameron <scameron@beardog.cce.hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: construct options from gui

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: add job file to gui temporarily

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: add hostname, port, and address type (ipv4, ipv6, or socket) to gui

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: factor out FIO_NET_PORT

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: Use a progress bar instead of a label

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: make gui status update in timely fashion

Needs inexplicable special gtk/gdk magic code for some reason.
(Learned this by hard won experience on Word War vi.)

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: make the gui display thread status

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: capture thread status display

The thread status display uses printf to stdout.
Need a way to capture it for the gui.

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: make gui actually do something

Signed-off-by: Stephen M. Cameron <scameron@beardog.cce.hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: add placeholder gui client ops

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: link fio code with gui code

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: factor out fio initialization code

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: factor out endian_check

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: add send job and quit buttons to gui

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: add minimal gui program

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

fio: make client operations pluggable

Signed-off-by: Stephen M. Cameron <stephenmcameron@gmail.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

client: exit if no jobs were sent and client is idle

If we invoke the client without arguments, it gets the probe
response and then waits for further response from the server.
But if no command line or job files were sent, the server
is idle. In that case, just quit.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

verify: put all header verification in one place

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix // comment

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Remove holes in verify_header structure

Shrink the magic and verify_type members, and reorder so that
it packs nicely. Incompatible change, write workloads must be
re-run.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Implement sigaction for Windows.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

stat() doesn't work with devices on Windows, so move check for '\\.\' earlier.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Use crc32c for the verify_header checksum

It's the only hardware assisted crypto we have, and it's
widely available in any recent Intel CPU.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Auto-detect whether to use hw assisted crc32c

Little point in separating the two. If the hardware assisted
crypto is available, always use it.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add checksum to verify_header

Currently we don't know if the verify_header itself is
valid when pulled off a disk. While it will fail verify
if it is, fio might then confuse the 'expected' and
'received' data since it re-generates the corrupted
crc with the seed stored. But if the seed is corrupt,
then we fail.

So checksum the verify header, so that we know for a fact
whether the header is valid or not.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

flow: Fixing uninitialized variable

In the flow initialization code path, there was an uninitialized
variable that led to memory corruption in certain cases. This
patch should initialize the variable properly.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix tabbing and comment characters in Windows code.

Update syslog.h with proper flag values.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Remove unused Windows version.h and version.rc files.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add missing os/windows/posix.c file.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix IOPS logging for mixed read/write workloads

Similar to commit 5daa4ebe, but for the IOPS logging.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Move Windows port to MinGW

- Add calls to WSAStartup in the network code as required by
  Winsock.
- Add Windows-specific init_random_state function which uses the
  Crypto API.
- Move Windows port to MinGW and update build system to create a
  64-bit binary by default.
- Install text files as .rtf so they won't open in Notepad by default
  (Wordpad understands Unix line endings; Notepad doesn't).
- Simplify WiX installer code.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add FIO_PREFERRED_CLOCK_SOURCE to allow selection of clock source on a per-platform basis.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Add OS_PATH_SEPARATOR for platforms which have different path separator characters (e.g. Windows and 'classic' MacOS).

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Token-based flow control

This patch allows two fio jobs to be kept to a certain
proportion of each other using token-based flow control.
There are three new parameters: flow, flow_watermark, and
flow_sleep, documented in the fio options. An example of an fio
job using these parameters is below:

[global]
norandommap
thread
time_based
runtime=30
direct=1
ioengine=libaio
iodepth=256
size=100g
bs=8k
filename=/tmp/testfile
flow_watermark=100
flow_sleep=1000

[job2]
numjobs=1
rw=write
flow=-8

[job1]
numjobs=1
rw=randread
flow=1

The motivating application of this patch was to allow random reads
and sequential writes at a particular given proportion.

This initial version is only correct when run with 'thread', as shared
state is represented with a global variable. It also only allows two
jobs to be synchronized properly. A future version might do more, but
no more functionality was needed for my application.

Tested: Ran a few fio jobs with this flow control, observing
the proportion of IOPS to match what was intended by the job file.
Varied the flow_watermark and flow_sleep parameters and observed
the effect on throughput.

Signed-off-by: Dan Ehrenberg <dehrenberg@google.com>
Modified by me to support flow_id, so an arbitrary number of flows can
be used. This means it no longer relies on global context, so it can be
used from a thread or process alike. Also added man page documentation.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix bandwidth logging for mixed read/write workloads.

fio was maintaining separate read/write stats, but only one timer for
bw_avg_time. Whichever IO direction happened to cross the timer would
get its interval logged; the other data direction would not. Now both
ddir are logged each time we cross bw_avg_time.

Where intervals don't contain any activity in a given ddir, no log
entry is made.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix assumption that pointers fits in a 'long'

Windows uses LLP64 model so [u]intptr_t is more correct.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Need glibc 2.8 or bigger for fallocate

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mutex: don't attempt to use CLOCK_MONOTONIC

It's a bit of a mess. Some platforms don't have
pthread_condattr_setclock(), some have it but it appears NOT to set
the block correctly.

Accept that we have to use the realtime clock for timed mutex and just
don't touch the clock settings.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

nice() error handling

I've attached a patch which fixes a potential issue I noticed while
reading the POSIX specs: nice() can succeed and return -1, so it's
recommended to set errno to 0 and check it afterwards:

"As -1 is a permissible return value in a successful situation, an
application wishing to check for error situations should set errno to 0,
then call nice(), and if it returns -1, check to see whether errno is
non-zero."

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mac: doesn't have pthread_condattr_setclock()

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mutex: guard pthread_condattr_setclock() by defined "have ifdef"

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mutex: more clock fixes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Mutex timeout work-around

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Mutex fixes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fixup includes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix typo

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix build issue for non-cgroup support

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Fix grammatical error

Signed-off-by: Jens Axboe <axboe@kernel.dk>

mutex: set and use the proper clock source

Signed-off-by: Jens Axboe <axboe@kernel.dk>