bloom: up hashes to 5 by default

Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test: add fnv

Signed-off-by: Jens Axboe <axboe@fb.com>

Add fnv hash

Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test: if the checksum needs a _final(), do it in the loop

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: print dedupe ratio instead of made-up factor

Signed-off-by: Jens Axboe <axboe@fb.com>

Move murmur3 hash to crc/

Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test: add jhash

Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test: fix alignment

Signed-off-by: Jens Axboe <axboe@fb.com>

Add murmurhash3

And use it in bloom, add it to the crc tester as well.

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: exit gracefully if device/file open fails

Signed-off-by: Jens Axboe <axboe@fb.com>

parse: fix issue with not filling leftover percentages correctly

Signed-off-by: Jens Axboe <axboe@fb.com>

Improve dedupe/compression buffer filling for mixed block sizes

Signed-off-by: Jens Axboe <axboe@fb.com>

bloom: use independent hashes

Signed-off-by: Jens Axboe <axboe@fb.com>

Clarify that include files may not contain job sections

Signed-off-by: Jens Axboe <axboe@fb.com>

bloom: always use a larger minimum size for bloom filter

Increases accuracy at the lower end.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add HOWTO section on include files

Signed-off-by: Jens Axboe <axboe@fb.com>

Add ability to use an include file in a fio job file

With this patch, we can use the 'include' directive to tell
fio to include the contents of a file inside a job file.

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: read in larger chunks at the time

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: fix warning and segfault on -B0

Signed-off-by: Jens Axboe <axboe@fb.com>

t/lfsr-test: fixup time

Signed-off-by: Jens Axboe <axboe@fb.com>

Add debug helper stub for t/ programs

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: default to using a bloom filter to save memory

With the bloom filter, we can comfortably check devices up to
the petabyte range, which isn't feasible if we track each
extent.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add bloom filter

Very basic, but seems to do the job.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix compile for FIO_INC_DEBUG not set

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: print threads used up front

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: remove rb_lock when done

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: cleanups and rate estimation

Signed-off-by: Jens Axboe <axboe@fb.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

dedupe: don't add extent items unless we use them

Only used for collision_check and debug output, so save memory
if those aren't enabled.

Signed-off-by: Jens Axboe <axboe@fb.com>

t/dedupe: Linux only for now

Just need to fix up the file sizing, that's the only Linux
dependency.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix 32-bit compile warnings

Signed-off-by: Jens Axboe <axboe@fb.com>

Build t/ tools by default

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: print progress indicator

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: improve wording in output

Signed-off-by: Jens Axboe <axboe@fb.com>

Add small tool to check for dedupable contents in a file/device

Signed-off-by: Jens Axboe <axboe@fb.com>

Checksumming updates

Signed-off-by: Jens Axboe <axboe@fb.com>

memalign: fix off-by-one bug in alignment

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix min/max typeof warnings

Signed-off-by: Jens Axboe <axboe@fb.com>

fifo: use minmax.h instead of rolling its own min/max

Signed-off-by: Jens Axboe <axboe@fb.com>

dedupe: if percentage is 100, don't go through random + math

Signed-off-by: Jens Axboe <axboe@fb.com>

Basic support for dedupe

This adds and option, dedupe_percentage, that controls how many of
the write IO buffers are identical. For instance, if this is set:

dedupe_percentage=70

then 70% of the write IO buffers will have identical contents. The
specific contents are, as before, controlled by the various options
that set buffer contents or buffer compressibility.

Signed-off-by: Jens Axboe <axboe@fb.com>

btrace2fio: expand rate options, bug fixes

Signed-off-by: Jens Axboe <axboe@kernel.dk>

btrace2fio: add rate output

Signed-off-by: Jens Axboe <axboe@fb.com>

btrace2fio: move file tracking to btrace_pid

We want to keep btrace_out as per-device, potentially. So move
this part since it's per process.

Signed-off-by: Jens Axboe <axboe@fb.com>

fio: print io_u errors on one line

Print io_u errors on one line and with one log_err command
to keep them from being interrupted by other prints

Old:
fio: io_u error on file /dev/sdt: Input/output error5.1MB/0KB/0KB /s]
[227K/0/0 iops] [eta 02d:10h:53m:36s]
     read offset=145442430976, buflen=4096
fio: io_u error on file /dev/sdt: Input/output error
     read offset=397760724992, buflen=4096

New:
fio: io_u error on file /dev/sdr: Input/output error: write offset=1532626153472, buflen=4096
fio: io_u error on file /dev/sdt: Input/output error: write offset=102684229632, buflen=4096

Signed-off-by: Robert Elliott <elliott@hp.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

Fixup data-direction to name translation

We had two of them, and they were both wrong since trim got
introduced. Replace by a single implementation in io_ddir.h,
right where it's defined.

Reported-by: Elliott, Robert <Elliott@hp.com>
Signed-off-by: Jens Axboe <axboe@fb.com>

btrace2fio: cleanups and inflight hashing

Signed-off-by: Jens Axboe <axboe@kernel.dk>

btrace2fio: use percentage_random and add filename option

Signed-off-by: Jens Axboe <axboe@kernel.dk>

btrace2fio: set runtime

Signed-off-by: Jens Axboe <axboe@kernel.dk>

Merge branch 'master' of ssh://git.kernel.dk/data/git/fio

Add basic tool to turn blktrace into fio job file

No documentation yet, it's just a start.

Signed-off-by: Jens Axboe <axboe@fb.com>

options: fix single use if / for bssplit

It was buggy in that it did not extend to 100%, if nobody else
was part of the group.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.1.12

Signed-off-by: Jens Axboe <axboe@fb.com>

server: fix wrong use of exit() in server when daemonized

We can't use exit(), or we'll trigger the atexit() hook and
free the shared mem used for mutexes, etc. This can cause a
hang when using a daemonized fio server.

Reported-by: Castor Fu <castor@egocast.org>
Signed-off-by: Jens Axboe <axboe@fb.com>

Fix hangs due to iodepth_low

With some combinations of iodepth, iodepth_batch, iodepth_batch_complete,
and io_depth_low, do_io hangs after reaping the first set of completions
since io_u_queued_complete is called requesting more completions than
td->cur_depth.

Example printing min_evts and td->cur_depth in the do/while loop:
waiting on min=96 cd=627
waiting on min=96 cd=531
waiting on min=96 cd=435
waiting on min=96 cd=339
waiting on min=96 cd=243
waiting on min=96 cd=147
waiting on min=96 cd=51
Jobs: 12 (f=12): [r(12)] [43.8% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 00m:09s]
...
Jobs: 12 (f=12): [r(12)] [0.0% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 2863d:18h:28m:38s]
<fio never exits>

Fix this by adjusting min_evts to the current_depth if that is smaller.

Tested with a jobfile including:
iodepth=1011
iodepth_batch=96
iodepth_batch_complete=96
iodepth_low=1
runtime=15
time_based

Modified by Jens to fix the check, and move it into
io_u_queued_complete() instead of at the caller site.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix crash in client with NULL hostname

Fix this by adding an empty hostname.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add string support for buffer_pattern

Signed-off-by: Jens Axboe <axboe@fb.com>

options: warn if we fail to make sense of buffer_pattern

Signed-off-by: Jens Axboe <axboe@fb.com>

Update io engine version

Signed-off-by: Jens Axboe <axboe@fb.com>

Add unlink hook to ioengine API, gluster ioengine

fio would just call unlink even with engines that are not using the
operating systems file namespace... This provides a hook to allow
overriding that, with a default handler, and implements it for the
gluster ioengine.

There are others which it'd probably make sense I'm sure.

Huamin Chen looked over my changes to the gluster code earlier...
>I like this unlink idea, it would be great if you can also make unlink optional (if my coding reading is correct). This looks a great pull request candidate to fio. Please ping Axboe after you are done. He is not actively watching pull requests.

>Please also feel free to augment gluster code and pull me for review if necessary.

-castor

Signed-off-by: Jens Axboe <axboe@fb.com>

fix re-open failure issue when using gluster ioengine

Signed-off-by: rootfs <hchen@redhat.com>

Update libhdfs engine documention and options

Signed-off-by: Jens Axboe <axboe@fb.com>

Add support for HDFS IO engine

Signed-off-by: Jens Axboe <axboe@fb.com>

Add missing IO engines to the HOWTO

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: turn off numberio verification for meta and time_based

Will only work for the first iteration, then fail miserably.

Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test: a few more cleanups and code unifications

Signed-off-by: Jens Axboe <axboe@fb.com>

crc/test: cleanup and better precision

Make sure we're a bit cache warm at least, and don't allocate, free,
and randomize a buffer for each hash.

Signed-off-by: Jens Axboe <axboe@fb.com>

Allow reset of offset_increment counter

Reset offset_increment only within a sub-group of jobs, eg when
numjobs=x is used to automatically group jobs together.

Signed-off-by: Jens Axboe <axboe@fb.com>

Don't grab stat mutex for final stat output

We should not need it, and there's a bug with getting stuck on it
that hasn't been fully debugged/understood yet. So for now, lets
just forget about the mutex for final output.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add test case for previous verify crash

Signed-off-by: Jens Axboe <axboe@fb.com>

null: add FIO_FAKEIO flag

Tell the backend that null just fakes IO, and use this knowledge
to have verifies automagically work when using null. This allows
testing of a wider range of paths with ioengine=null.

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: fix a bug with verify_async

There's a race between marking an io_u as deferred, completing it,
and checking of that flag. It cannot be done reliably for async
verify threads. So change the mechanism to have the verify_async
part pull the io_u completely, so we don't have to check for a flag
in it after we have run ->end_io().

This fixes a bug with verify_async, where fio would crash with
this message:

fio: io_u.c:1315: __get_io_u: Assertion `io_u->flags & IO_U_F_FREE' failed

This race has always existed, but was made considerably worse with
this commit:

commit 2ae0b204743d6b4048c6fffd46c6280a70f2ecd1
Author: Jens Axboe <axboe@kernel.dk>
Date:   Tue May 28 14:16:55 2013 +0200

    Replace list based free/busy/requeue list with FIFO + ring

    Cache friendliness of the list is pretty low. This has
    provably lower overhead.

since we moved from a single list holding the io, to a separate
verify list and io_u queues. The above bug is happening because
the io_u ends up on both the freelist and the pending verify list,
causing mayhem.

Reported-by: scameron@beardog.cce.hp.com
Signed-off-by: Jens Axboe <axboe@fb.com>

verify: ensure that verify interval is smaller or equal to blocksize

Signed-off-by: Jens Axboe <axboe@fb.com>

stat: move stat mutex grab to thread

No need to grab it from the parent.

Signed-off-by: Jens Axboe <axboe@fb.com>

verify: disable numberio check for multiple block sizes

Yet another corner case that doesn't work...

Signed-off-by: Jens Axboe <axboe@fb.com>

Fio 2.1.11

Signed-off-by: Jens Axboe <axboe@fb.com>

blktrace: various bug fixes and improvements

- Use the normal debug logging for notify events, as they are expected
  to happen.

- Correct a bug where a workload is considered mixed, even if it is
  only reads (note: just cosmetical, no writes were issued by fio).

- Handle trim more appropriately - fio supports it as a separate
  'data direction', so handle it as such.

- Fix a bug in the delay accounting, causing blktrace to not replay
  correctly. This could cause either too fast replays, or replays
  that would delay way too much.

- Consider TRIMs as writes, as far as --readonly being set is
  concerned.

- Don't consider < 100 usec delays noise, fio can do this quite
  accurately.

Signed-off-by: Jens Axboe <axboe@fb.com>

Add some basic debug output for log compression

Guarded by --debug=compress, like the other debug measures.

Signed-off-by: Jens Axboe <axboe@fb.com>

Fix two error paths

In generic_open_file(), when an error is detected, return 1 to indicate
the failure.

In get_file_sizes(), when an error other than ENOENT is detected, fail
immediately and don't clear the error.

Fix cases where td->terminate is set, but terminate clock not marked

Signed-off-by: Jens Axboe <axboe@fb.com>

Add thread number to log filename

Since commit aee2ab6775d9, we open the log files for writing and
truncate the output. This breaks when you have multiple jobs with
the same name, as will happen with numjobs=x. Instead of reverting
this part of the commit, lets keep the truncate open and instead
store log files separately. This makes more sense anyway, since
otherwise the logs are all the entries from job X, then all the
entries from job Y, etc. It's easy enough to collate the logs,
should anyone want to do that.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: run compression work at slightly elevated nice level

Add support for work items to contain a priority, and use this
directly with nice. Run compression at nice 1, to make it slightly
less important than the actual IO jobs.

Signed-off-by: Jens Axboe <axboe@fb.com>

Allow threads 60 seconds to exit before being forceful

Right now the fio status thread can sit forever waiting for jobs
to exit, when ctrl-c (or another signal) is sent. Be a bit more
brutal and force quit jobs if they haven't exited on their own
in 60 seconds. That should be long enough to ensure that they
are stuck in some way.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix link without zlib

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix compile error for non-zlib

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: propagate errors to caller

Signed-off-by: Jens Axboe <axboe@fb.com>

mutex: move pthread_cond_signal() outside of lock

Generally best practice to drop the lock before waking, if
possible.

Signed-off-by: Jens Axboe <axboe@fb.com>

tp: move pthread_cond_signal() outside of lock

Signed-off-by: Jens Axboe <axboe@fb.com>

Add some new code comments on the log compress/decompress

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: fix bug when decompressing chunks with different sequence numbers

We need to re-start on inflate, like we do on deflate. Otherwise
we get stream end when the first chunk is done. Keep track of
this in iolog_file_inflate(), since we know how much we need to
decompress.

Signed-off-by: Jens Axboe <axboe@fb.com>

flist: add flist_first_entry()

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: use a define instead of a raw bit mask

Add a comment too, while in there.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: get rid of ic->nofree

Push the free out of flush_chunk(), then the caller just does it
instead. Unifies the log write vs compress as well.

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: get rid of one section of CONFIG_ZLIB ifdef

Signed-off-by: Jens Axboe <axboe@fb.com>

configure: add a note to install zlib-devel, if not there

Signed-off-by: Jens Axboe <axboe@fb.com>

init: fix dead check for !td

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: do stat() after fopen()

Avoid static checker complaining about a potential race here,
ordering doesn't matter to fio.

Signed-off-by: Jens Axboe <axboe@fb.com>

rbd: fix leak in error path

Signed-off-by: Jens Axboe <axboe@fb.com>

glusterfs: fix leak in error path

Signed-off-by: Jens Axboe <axboe@fb.com>

iolog: remove dead code that stored a gzip header

Signed-off-by: Jens Axboe <axboe@fb.com>