Fix end-of-job slowdown for random IO with a random map

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Kill flist_sort from Makefiles

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "Unify makefiles"

This reverts commit 7d130d8d2a5638ca91dc81ec085acef4d3c3ad08.

It requires make 3.81, and some popular distros are still using
make 3.80.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

solaris: OpenSolaris already has the madvise advice defined

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50.1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

solaris: char dev size fixes

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Move version logging

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove flist_sort(), it's no longer used

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Unify makefiles

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

mmap: catch invalid msync() errors early

Reported-by: Bruce Cran <bruce@cran.org.uk>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that we exit with non-zero status on IO engine load failure

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50-rc4

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add fill_fs alias for fill_device

Name implies that it works on a device, which isn't quite correct.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Expand on fill_device option since it apparently causes confusion

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of shadow declarations

Reported-by: Bruce Cran <bruce@cran.org.uk>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Define OS preferred IO engine

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix merge error hiding mmap ioengine under Windows build

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove version number from Windows MSI file

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Re-tab some parts of README

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add instructions for building and running the Windows version of fio to README

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remember to initialize return value in fixup_options()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Multiple jobs and verify will not fail if do_verify=0

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that short command line options work

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Correct check to o->numjobs > 1 for verify warning

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add --warnings-fatal/-w option

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Clean io_u->buf_filled_len in io_u_fill_buffer()

Not a bug as such, but it could be if we used it in other
locations in the future. So better be safe.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Streamline pattern/meta verifies instead of special casing them

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50-rc3

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Cleanup some verify bits

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Print error if max number of jobs is exceeded

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Eta/disk thread uses more than the minimum stack

Causes crashes on FreeBSD. Just kill it, it's only really
important on the threads we potentially create tons of.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Comment out ->buf_filled_len in pattern fill

It's buggy, needs to be debugged. Disable for now. It can cause
verify failures.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix race in exit of eta/util thread

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make sure that pattern verifies also dump contents

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Change disk util / eta method from signal to thread

We used a thread based signal, but that causes a thread to
get created and killed every 250msecs. Lets just setup a
dedicated thread for this.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

We need libgen.h for basename()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Correct basename usage for verify dump

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50-rc2

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Don't double print version when invoked with --version

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add verify_dump option to control whether to dump bad/good blocks or not

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that random_seed is also added to dummy io_buf for dumping

Now everything verifies correctly.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Pretty up the good/bad block verify dumping

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

When verify fails, dump the good/bad blocks to files

This makes it easy to compare afterwards to see what kind of
corruption was experienced.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update Windows version

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'winfio'

Merge branch 'master' of ssh://router/data/git/fio

Fio 1.50-rc1

Now that we have Windows support pretty much done, lets rev
the version.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'winfio'

Remove left-over files

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Windows updates

- Remove files which are present in a minimal/default installation
  of Cygwin but which aren't needed to run fio. These include man pages,
  awk, groff etc.

- Remove CR from Makefile.Windows in order to maintain consistency with
  the rest of the files.

- Improve the documentation given when starting the FIO environment.

- Rename Cygwin.bat to FIO.bat and add FIO.lnk which is a shortcut to
  FIO.bat configured with QuickEdit and a larger window.

- Reformat install.wxs and move documentation from
  Program Files\FIO\usr\share\doc to Program Files\FIO.

- Restore $(EXTFLAGS) in the Makefile's to enable extra flags to be
  passed on the command-line.

- Remove os/windows/fio.sh which was an experimental way of setting up
  the Cygwin environment that has been replaced with FIO.bat.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

setgid first, setuid second

Setting a new effective gid requires privileges.  We must set the gid
while we potentially still have superuser privileges.  Otherwise
setgid(2) fails because we've already changed to an unprivileged uid.

Here is a test case:
[global]
rw=read
directory=tmp
size=512m
buffered=0

[file1]
uid=1000
gid=1000

Without this patch fio will fail when invoked by root.

Signed-off-by: Stefan Hajnoczi <stefanha@linux.vnet.ibm.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Document that write_iolog is unsafe for concurrent jobs

The write_iolog parameter should not be used in the global section since
each job will independently write to the same file.  The output will be
interspersed and the file will be corrupt.

Document that each job should write to its own iolog file.  This will
save users time when trying out the iolog feature for the first time.

Signed-off-by: Stefan Hajnoczi <stefanha@linux.vnet.ibm.com>
Updated by me to make the same change to the man page.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Various fixes/updates

- Update HOWTO to note that directio and fallocate don't work with ZFS
  on Solaris.

Refactor the Makefile's to add CPPFLAGS and LIBS.
- Add -fno-omit-frame-pointer from Linux Makefile to every platform
- Change undefined $(ALL_CFLAGS) to $(CFLAGS)
- Pass -std=gnu99, without which OS X fails to build.
- Add -D__EXTENSIONS__ on Solaris since some functions we need are
  behind it.

- Pull in <limits.h> in fio.c to get PTHREAD_STACK_MIN.
- NetBSD doesn't define PTHREAD_STACK_MIN so set it to 4k in
   os-netbsd.h

- If we have posix_fallocate don't error out if it fails during mutex
  and malloc operations since it will fail on Solaris with a ZFS
  filesystem. As I understand it these aren't performance-critical
  operations so do they need to be considered critical?

- Remove fio_unused from os-* files since it's defined in fio.h and we
  don't really need it.

- FreeBSD has an idprio command but not the API so don't claim it does.

- OS X doesn't have the timer_* API so emulate it using
  setitimer/sigaction.

- NetBSD and Solaris don't support CLOCK_MONOTONIC in timer_create so
  remove FIO_HAVE_CLOCK_MONOTONIC from their os-* files.

I've noticed that a change I made a while ago to use fmin/fmax could
cause issues on older OSes - I had a CD with NetBSD 5.0.2 and found
they had only been implemented in 5.1 so I'm not sure if I should
revert it.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Close iolog file if reading version string fails

Signed-off-by: Stefan Hajnoczi <stefanha@linux.vnet.ibm.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio Windows update

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

OS headers need fio_file definition now

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

FIO Windows update

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

First snapshot of FIO for Windows

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Include fio version in normal output

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Use -pthread instead of -lpthread on FreeBSD

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of other-OS headers in .depend

It looks like blktrace_api.h is being parsed through the depend rule
in Makefile.[FreeBSD|NetBSD|mac] due to the headers being listed in
$(SOURCE) - gcc just ignores missing <> headers while clang generates an
error as it builds the dependency list. Since headers which are
included within source files will be listed as a dependency anyway, I
think they can be removed from $(SOURCE).

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44.3

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

FreeBSD build broken due to missing -lrt

The latest fio fails to link on FreeBSD because timer_create is in
librt but the -lrt flag is missing from Makefile.FreeBSD.

I also noticed a couple of compiler warnings when building with clang -
a format of "%Lu" is used but 'L' doesn't have any effect with 'u' - I
guess %llu is needed since the types are 'unsigned long long'?

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

fix ramp_in

There are a couple of problems with the relatively new ramp_in feature
of fio.  First, the estimated time to completion did not correctly take
it into account and bounces around.  Second and more importantly, the
runtime was including ramp in time in throughput calculations even
though the IO done during that time was ignored, thus making throughput
metrics incorrect. This patch fixes both.

Signed-off-by Steven Pratt <slpratt@austin.ibm.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Sync HOWTO iodepth option with man page

Also add a note on other restrictions that may cause lower IO depth
than expected.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

fio.1: Add ioengines heads up to the iodepth section

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add additional references to binary packages

This adds a couple of references to binary fio packages for Linux distros as
well as for Solaris.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

nrfiles vs nr_files mixups

The man page references nr_files, the real option is nrfiles.
Change man page and add nr_files alias to nrfiles.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Makefile.solaris: install man pages

This patch brings Makefile.solaris in sync with the other Makefiles.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

solaris: log error for failure to enable direct IO

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Call path below SIGALRM isn't safe

We do allocations, open files, printf, etc from the SIGALRM signal
handler which gets run every 250 msecs. This isn't necessarily
safe and could deadlock. Move it to thread context instead.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44.2

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: ensure we get aligned memory

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update for proper binject ioctls

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update HOWTO as well for verify_backlog

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Update verify_backlog documentation

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44.1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

A few fixes for 32-bit compiles

- Change the HAVE_SSE to HAVE_SSE4_2 and only provide it on
  x86-64.
- Cast two values that otherwise cause the compiler to warn on 32-bit

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix segfault when passing in size < block_size

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Fix compile warning on platforms with posix_fallocate

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Kill -arch from OSX Makefile

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: ctl cleanups

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: fix missing includes for stat(2)

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Initial support for explicit write barriers

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add missing file.h f->file_data change

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject updates

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: setup and teardown mappings internally

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix compile on RHEL4/SLES10

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad setting of td->o.ddir_seq_nr in add_job()

This defaults to 1, but add_job() adds 1 again which means
that the random isn't always effective since every alternate
IO gets to bypass that logic.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Use log_err() in the io engines

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

binject: correctly retrieve block size of device

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.44-rc1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Don't add the file offset twice for trim

We added it when storing the io_piece, don't add it again
when calling trim.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Kill leftover debug printf() and re-format a long line

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>