Remove old debug printf()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fill in os_phys_mem() stub for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bug in $mb_memory keyword

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Take __weak out of the compiler namespace

With Xcode 4 on OS X shipping LLVM by default, I tried building fio with
clang and found that the definition of __weak conflicts with something
clang defines.  I've attached a patch which replaces the double
underscores with a single underscore, removing it from the
compiler-dependant namespace.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

posixaio: fix for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

HP-UX typo

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add note saying that HP-UX should work

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

A few HP-UX fixes

Enable posixaio and net IO engine

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make processes work on HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Improve Windows windowsaio engine performance

Always use IO completion ports on Windows since some drives benefit from
using it even with direct or sync io.
Remove PrintError function since logging of errors is done in the core.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix integer overflow in calculating large IOPS on 32-bit platforms

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of warning on platforms for casting char -> int

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add block device size detection for HP-UX

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Initial HP-UX port

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix bad start_delay type

Should be unsigned long long, causes a bus error on HP-UX.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Set affinity before doing buffer and io_u allocs

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Rewrite posixaio back off comment to be closer to actual English

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that we honor aio_read/write() returning EAGAIN

This fixes a problem on OSX, where the number of resources for
aio is woefully small.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix ramp time random screwup

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix ramp time bug

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Add --max-jobs/-j command line option

And shrink OSX max default number of jobs supported. OSX has,
by default, a very small shared memory segment available.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix for terminating threads in ramp time

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Make smalloc use anonymous memory mmaps

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

patch from debian fio package to fix syntax errors in manpage.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

man page: fix incorrect description for disable_clat option

Signed-off-by: Steven Noonan <snoonan@amazon.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add ability to invoke fallocate() FALLOC_FL_KEEP_SIZE.

Linux offers fallocate() and the FALLOC_FL_KEEP_SIZE option as
an alternative to posix_fallocate(). When FALLOC_FL_KEEP_SIZE is
specified for an falloc request going beyond the end of the file,
the requested blocks get preallocated without changing the apparent
size of the file. This is is a commonly recommended use of fallocate()
for workloads performing append writes.

This patch modifies the fallocate option from a boolean option
to a string option accepting none/posix/keep/0/1. 'keep' is only
made available on systems where FALLOC_FL_KEEP_SIZE is available
(i.e., Linux at this time). If specified, fallocate() is used
with FALLOC_FL_KEEP_SIZE set. 'none' disables pre-allocation while
'posix' uses posix_fallocate(). The default behavior remains unchaned,
i.e., invoking posix_fallocate. The settings '0'/'1' are there to
provide backward compatibility for users who had explicitly set the
boolean option.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix fill_device with queue depth higher than 1

I found an interesting combination of using fill_device when the
iodepth is greater than 1.  All outstanding IO causes an ENOSPC error,
but only the first is treated specially.  The remainder come through
and cause an error exit condition when the IO queue is being cleared.
So it is impossible to use deep IO with fill device.

This patch should fix the issue.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fixup wrong enum used for __check_min_rate()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix Makefile depend issue

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.55

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

Silence gcc 4.6 warnings

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix overlap io_u into outside regions

Test case is a job file ala this:

[global]
ioengine=posixaio
direct=0
filename=testfile
iodepth=128
size=50M
loops=10000000000
group_reporting=1
readwrite=randwrite
do_verify=1
verify=md5
verify_fatal=1
numjobs=1
thread
bsrange=4k:1M

[thread0]
offset=0G

[thread1]
offset=50M

[thread2]
offset=100M

[thread3]
offset=150M

[thread4]
offset=200M

[thread5]
offset=250M

[thread6]
offset=300M

[thread7]
offset=350M

where io_u units from threadN ends up crossing into the zone of threadN+1.
This is due to using file->real_file_size as the boundary check for the
buffer length, where the offset itself is correctly calculated. When
using mixed block sizes, this can cause a blocksize larger than the
minimum size to span into the next region.

Fix this by using file->io_size + offset as the end delimeter. Also
improve the logic of dropping to a smaller allowed block size if we do
end up being close to spanning into the next region.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

splice: use ->o.memalign to indicate we want aligned buffers

Vasilis Liaskovitis reports:

---

I am trying to use the splice ioengine to read/write from/to tmpfs (/dev/shm).

Writing works fine e.g. with the following fio config:
[sw]
rw=write
size=1g
directory=/dev/shm
iodepth=32
direct=0
blocksize=512k
numjobs=1
nrfiles=1
ioengine=splice
loops=1
group_reporting
create_on_open=1
create_serialize=0

But reading the same file afterwards with the splice ioengine fails:
[sw]
rw=read
size=1g
directory=/dev/shm
iodepth=32
direct=0
blocksize=512k
numjobs=1
nrfiles=1
ioengine=splice
loops=1
group_reporting

root@server1:~/fio# ./fio  /root/fior_splice.fio
sw: (g=0): rw=read, bs=512K-512K/512K-512K, ioengine=splice, iodepth=32
fio 1.53
Starting 1 process
fio: pid=17504, err=22/file:filesetup.c:502,
func=open(/dev/shm/sw.1.0), error=Invalid argument
Run status group 0 (all jobs):

Is something misconfigured in the fio read config?
The --debug=all output is:

Starting 1 process
file     17517 setup files
file     17517 get file size for 0x7f2f87451028/0/0x7f2f87451108
diskutil 17517 /dev/shm/sw.1.0 belongs to maj/min 0/17
process  17517 pid=0: runstate 0 -> 1
process  17517 will fork
mutex    17517 wait on startup_mutex
process  17519 jobs pid=17519 started
process  17519 pid=17519: runstate 1 -> 2
mutex    17519 up startup_mutex
mutex    17519 wait on td->mutex
mutex    17517 done waiting on startup_mutex
process  17517 pid=17519: runstate 2 -> 4
mutex    17519 done waiting on td->mutex
mem      17519 Alloc 16777216 for buffers
[...]
file     17519 trying file /dev/shm/sw.1.0 10
file     17519 fd open /dev/shm/sw.1.0
file     17519 file not found in hash /dev/shm/sw.1.0
file     17519 get file /dev/shm/sw.1.0, ref=0
io       17519 invalidate cache /dev/shm/sw.1.0: 0/1073741824
file     17519 fd close /dev/shm/sw.1.0
file     17519 error 1 on open of /dev/shm/sw.1.0
file     17519 get_next_file_rr: (nil)
fio: pid=17519, got signal=11
process  17517 pid=17519: runstate 4 -> 9
process  17517 terminate group_id=-1
process  17517 setting terminate on sw/17519
diskutil 17517 update io ticks

Other fio ioengines (sync, vsync) work fine for both reading/writing
on tmpfs. Also, other splice tests can do both reads and writes to
tmpfs (e.g. splice-cp).

This happens with current fio-master or fio-1.38-1 (debian package)
thanks for any comments,

---

The reason is that splice uses ->o.odirect to set that we want aligned
buffers, but we actually have a flag for that now. So just use that.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.54

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix crash on specifying bad IO engine on the command line

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

windowsaio: fix race condition between IOCP and queue functions

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Cast l_opts string names to char *

Avoids warning on Solaris

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "Constify l_opts strings"

This reverts commit e7d841768b8b6d5e081134e6e2f04f43ac870348.

Ensure we quit on SIGTERM

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Constify l_opts strings

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix signed int/long truncation on 32-bit architectures

With using our internal random generator, we generate
unsigned ints. But by mistake this was assigned to
a signed long, that doesn't work so well on 32-bit machines.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.53

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "parser: get rid of useless is_time variable"

This reverts commit 1a1137d9ba2603e295aaac579777ab0d3524faa6.

Exit with error on signal

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

sscanf fixup

I noticed that a job of:

[sequential write at  1k block size.]

Gets reported as "sequentia".

I think we need to use %255[^\n] in sscanf instead.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

windowsaio: skip uncompleted requests

Windows sometimes gives us an IO request which hasn't completed yet,
which we need to ignore.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Windows fixes

- Fix XP support: get pointer to CancelIoEx at runtime.
- Fix overlapped IO.
- Don't use overlapped IO if direct or synchronous options are set.
- Check if write option is set before opening file in read-only mode:
  fixes 'rw=rw'.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Convert left-over manual ->runstate setting to td_set_runstate()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Bump max job count to 2048

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Switch mutex to using anonymous mmap

We don't need an fd backing for this, saves on file descriptors
in use.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.52

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add space between -m and 755 for install

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove solaris posix_memalign() helper

Not used in core code anymore.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add simple aligned alloc helper

We don't have posix_memalign() on some Solaris and Darwin, so just
add a poor mans implementation of it. Outside of arch code where
we have proper posix_memalign(), this is only used to ensure good
alignment of the io_u in the core code.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

os-mac.h: implement fio_set_odirect()

Signed-off-by: Steven Noonan <snoonan@amazon.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

os-mac.h: implement blockdev_size()

Signed-off-by: Steven Noonan <snoonan@amazon.com>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Switch all random generators to be decided by use_os_rand

This includes file sizing, next file, block size selection,
trim state, and verify state.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Switch the latter part of the offset generation to __rand() too

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Switch to using our internal Tausworthe based random generator for offsets

It's both faster and more exhaustive than what is available on
glibc on my test systems. So no downsides, and the upside of having
the same offset generator across all platforms.

This will change the random series, so could alter performance for
your workload since the pattern will be different in sequence. There's
an option to revert to the OS generator, you can add use_us_rand=1
on your job files to retain the old generator offsets.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix parser bug dealing with range options and postfix

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of mixed rw and verify warning

Should workd fine.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

parser: get rid of useless is_time variable

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix unsigned integer overflow in IO buffer allocator

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.51

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix linking of fio executable

First of all make sure that $(LDFLAGS) are used during linking so that the
user can set the linker's flags.

Then also make sure that libraries are listed after the objects, so that
GNU ld's --as-needed option will not cause fio linking to fail.

Cc: Robin H. Johnson <robbat2@gentoo.org>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add support for giving multiple --section options

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Windows: add missing files needed for msi build

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Reinstate unified Makefile

Don't use ifeq statements.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50.2

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix end-of-job slowdown for random IO with a random map

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Kill flist_sort from Makefiles

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Revert "Unify makefiles"

This reverts commit 7d130d8d2a5638ca91dc81ec085acef4d3c3ad08.

It requires make 3.81, and some popular distros are still using
make 3.80.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

solaris: OpenSolaris already has the madvise advice defined

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50.1

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Merge branch 'master' of ssh://brick.kernel.dk/data/git/fio

solaris: char dev size fixes

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Move version logging

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove flist_sort(), it's no longer used

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Unify makefiles

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

mmap: catch invalid msync() errors early

Reported-by: Bruce Cran <bruce@cran.org.uk>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that we exit with non-zero status on IO engine load failure

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fio 1.50-rc4

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add fill_fs alias for fill_device

Name implies that it works on a device, which isn't quite correct.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Expand on fill_device option since it apparently causes confusion

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Get rid of shadow declarations

Reported-by: Bruce Cran <bruce@cran.org.uk>
Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Define OS preferred IO engine

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Fix merge error hiding mmap ioengine under Windows build

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remove version number from Windows MSI file

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Re-tab some parts of README

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add instructions for building and running the Windows version of fio to README

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Remember to initialize return value in fixup_options()

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Multiple jobs and verify will not fail if do_verify=0

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Ensure that short command line options work

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Correct check to o->numjobs > 1 for verify warning

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Add --warnings-fatal/-w option

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Clean io_u->buf_filled_len in io_u_fill_buffer()

Not a bug as such, but it could be if we used it in other
locations in the future. So better be safe.

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>

Streamline pattern/meta verifies instead of special casing them

Signed-off-by: Jens Axboe <jaxboe@fusionio.com>