Reinstate unified Makefile
[fio.git] / README
diff --git a/README b/README
index ea8f5ef8e22c47462abafae9faf53e03509bc24f..cc84fede5054adf38003872a21d93fa7bf92bcd7 100644 (file)
--- a/README
+++ b/README
@@ -23,39 +23,71 @@ well. You can download them here:
 
 http://brick.kernel.dk/snaps/
 
-Pascal Bleser <guru@unixtech.be> has fio RPMs in his repository for
-SUSE variants, you can find them here:
 
+Binary packages
+---------------
+
+Debian:
+Starting with Debian "Squeeze", fio packages are part of the official
+Debian repository. http://packages.debian.org/search?keywords=fio
+
+Ubuntu:
+Starting with Ubuntu 10.04 LTS (aka "Lucid Lynx"), fio packages are part
+of the Ubuntu "universe" repository.
+http://packages.ubuntu.com/search?keywords=fio
+
+SUSE:
+Pascal Bleser <guru@unixtech.be> has fio RPMs in his repository for SUSE
+variants, you can find them here:
 http://linux01.gwdg.de/~pbleser/rpm-navigation.php?cat=System/fio
 
+Red Hat, CentOS & Co:
 Dag WieĆ«rs has RPMs for Red Hat related distros, find them here:
-
 http://dag.wieers.com/rpm/packages/fio/
 
+Mandriva:
 Mandriva has integrated fio into their package repository, so installing
 on that distro should be as easy as typing 'urpmi fio'.
 
+Solaris:
+Packages for Solaris are available from OpenCSW. Install their pkgutil
+tool (http://www.opencsw.org/get-it/pkgutil/) and then install fio via
+'pkgutil -i fio'.
+
+Windows:
+Bruce Cran <bruce@cran.org.uk> has fio packages for Windows at
+http://www.bluestop.org/fio .
+
 
 Mailing list
 ------------
 
 There's a mailing list associated with fio. It's meant for general
-discussion, bug reporting, questions - basically anything that has to
-do with fio. An automated mail detailing recent commits is automatically
-sent to the list at most daily. The list address is fio-devel@kernel.dk,
-subscribe by sending an empty email to fio-devel+subscribe@kernel.dk.
+discussion, bug reporting, questions, and development - basically anything
+that has to do with fio. An automated mail detailing recent commits is
+automatically sent to the list at most daily. The list address is
+fio@vger.kernel.org, subscribe by sending an email to
+majordomo@vger.kernel.org with
+
+subscribe fio
+
+in the body of the email. Archives can be found here:
+
+http://www.spinics.net/lists/fio/
+
+and archives for the old list can be found here:
+
+http://maillist.kernel.dk/fio-devel/
 
 
 Building
 --------
 
-Just type 'make' and 'make install'. If on FreeBSD, for now you have to
-specify the FreeBSD Makefile with -f, eg:
-
-$ make -f Makefile.Freebsd && make -f Makefile.FreeBSD install
+Just type 'make' and 'make install'.
 
-Likewise with OpenSolaris, use the Makefile.solaris to compile there.
-This might change in the future if I opt for an autoconf type setup.
+Note that GNU make is required. On BSD it's available from devel/gmake;
+on Solaris it's in the SUNWgmake package. On platforms where GNU make
+isn't the default, type 'gmake' instead of 'make'.
 
 If your compile fails with an error like this:
 
@@ -71,25 +103,46 @@ Check that you have the libaio development package installed. On RPM
 based distros, it's typically called libaio-devel.
 
 
+Windows
+-------
+
+On Windows Cygwin (http://www.cygwin.com) is required with at least
+devel/gcc4 and devel/make installed in order to build fio, and
+admin/cygrunsrv to run it. You can also install devel/git to fetch/update
+the source files. To create an MSI installer package, install WiX 3.6 from
+http://wix.sourceforge.net/releases/ and run dobuild.cmd from the
+os/windows directory.
+
+Before running fio you'll need to have a copy of cygserver running. Run 
+"/usr/bin/cygserver-config" from an elevated Cygwin shell (i.e. launch the
+Cygwin shell under the Administrator account) to configure it. Once
+configured, run "net start cygserver" to start it, or type
+"/usr/sbin/cygserver &" in the Cygwin shell to start a local copy. 
+
+If fio exits with the message "Bad system call" it normally means that
+Cygserver isn't running.
+
+
 Command line
 ------------
 
 $ fio
-        --debug         Enable some debugging options (see below)
-        --output        Write output to file
-        --timeout       Runtime in seconds
-        --latency-log   Generate per-job latency logs
-        --bandwidth-log Generate per-job bandwidth logs
-        --minimal       Minimal (terse) output
-        --version       Print version info and exit
-       --help          Print this page
+       --debug                 Enable some debugging options (see below)
+       --output                Write output to file
+       --timeout               Runtime in seconds
+       --latency-log   Generate per-job latency logs
+       --bandwidth-log Generate per-job bandwidth logs
+       --minimal               Minimal (terse) output
+       --version               Print version info and exit
+       --help                  Print this page
        --cmdhelp=cmd   Print command help, "all" for all of them
-       --showcmd       Turn a job file into command line options
-       --readonly      Turn on safety read-only checks, preventing writes
-       --eta=when      When ETA estimate should be printed
-                       May be "always", "never" or "auto"
+       --showcmd               Turn a job file into command line options
+       --readonly              Turn on safety read-only checks, preventing writes
+       --eta=when              When ETA estimate should be printed
+                                       May be "always", "never" or "auto"
        --section=name  Only run specified section in job file
        --alloc-size=kb Set smalloc pool to this size in kb (def 1024)
+       --warnings-fatal Fio parser warnings are fatal
 
 
 Any parameters following the options will be assumed to be job files,
@@ -97,7 +150,7 @@ unless they match a job file parameter. You can add as many as you want,
 each job file will be regarded as a separate group and fio will stonewall
 its execution.
 
-The --readonly switch is an extra safety guard to prevent accidentically
+The --readonly switch is an extra safety guard to prevent accidentally
 turning on a write setting when that is not desired. Fio will only write
 if rw=write/randwrite/rw/randrw is given, but this extra safety net can
 be used as an extra precaution. It will also enable a write check in the
@@ -108,14 +161,18 @@ options in fio. Currently the options are:
 
        process         Dump info related to processes
        file            Dump info related to file actions
-       io              Dump info related to IO queuing
-       mem             Dump info related to memory allocations
+       io                      Dump info related to IO queuing
+       mem                     Dump info related to memory allocations
        blktrace        Dump info related to blktrace setup
        verify          Dump info related to IO verification
-       all             Enable all debug options
+       all                     Enable all debug options
        random          Dump info related to random offset generation
        parse           Dump info related to option matching and parsing
        diskutil        Dump info related to disk utilization updates
+       job:x           Dump info only related to job number x
+       mutex           Dump info only related to mutex up/down ops
+       profile         Dump info related to profile extensions
+       time            Dump info related to internal time keeping
        ? or help       Show available debug options.
 
 You can specify as many as you want, eg --debug=file,mem will enable
@@ -130,9 +187,11 @@ always parsed and taken into account.
 
 Fio has an internal allocator for shared memory called smalloc. It
 allocates shared structures from this pool. The pool defaults to 1024k
-in size, and can grow to 32 pools. If running large jobs with randommap
+in size, and can grow to 128 pools. If running large jobs with randommap
 enabled it can run out of memory, in which case the --alloc-size switch
-is handy for starting with a larger pool size.
+is handy for starting with a larger pool size. The backing store is
+files in /tmp. Fio cleans up after itself, while it is running you
+may see .fio_smalloc.* files in /tmp.
 
 
 Job file
@@ -166,12 +225,14 @@ The job file parameters are:
                        across runs, if 'x' is 1.
        size=x          Set file size to x bytes (x string can include k/m/g)
        ioengine=x      'x' may be: aio/libaio/linuxaio for Linux aio,
-                       posixaio for POSIX aio, sync for regular read/write io,
+                       posixaio for POSIX aio, solarisaio for Solaris
+                       native async IO, windowsaio for Windows native async IO,
+                       sync for regular read/write io,
                        psync for regular pread/pwrite io, vsync for regular
                        readv/writev (with queuing emulation) mmap for mmap'ed
                        io, syslet-rw for syslet driven read/write, splice for
-                       using splice/vmsplice, sgio for direct SG_IO io, net
-                       for network io, or cpuio for a cycler burner load. sgio
+                       using splice/vmsplice, sg for direct SG_IO io, net
+                       for network io, or cpuio for a cycler burner load. sg
                        only works on Linux on SCSI (or SCSI-like devices, such
                        as usb-storage or sata/libata driven) devices. Fio also
                        has a null io engine, which is mainly used for testing
@@ -188,8 +249,8 @@ The job file parameters are:
                        also include k/m postfix.
        direct=x        1 for direct IO, 0 for buffered IO
        thinktime=x     "Think" x usec after each io
-       rate=x          Throttle rate to x KiB/sec
-       ratemin=x       Quit if rate of x KiB/sec can't be met
+       rate=x          Throttle rate to x KB/sec
+       ratemin=x       Quit if rate of x KB/sec can't be met
        ratecycle=x     ratemin averaged over x msecs
        cpumask=x       Only allow job to run on CPUs defined by mask.
        cpus_allowed=x  Like 'cpumask', but allow text setting of CPU affinity.
@@ -215,6 +276,7 @@ The job file parameters are:
        verify=x        If 'x' == md5, use md5 for verifies. If 'x' == crc32,
                        use crc32 for verifies. md5 is 'safer', but crc32 is
                        a lot faster. Only makes sense for writing to a file.
+                       For other types of checksumming, see HOWTO.
        stonewall       Wait for preceeding jobs to end before running.
        numjobs=x       Create 'x' similar entries for this job
        thread          Use pthreads instead of forked jobs
@@ -231,7 +293,9 @@ The job file parameters are:
                        and length entries being in bytes.
        write_iolog=x   Write an iolog to file 'x' in the same format as iolog.
                        The iolog options are exclusive, if both given the
-                       read iolog will be performed.
+                       read iolog will be performed.  Specify a separate file
+                       for each job, otherwise the iologs will be interspersed
+                       and the file may be corrupt.
        write_bw_log    Write a bandwidth log.
        write_lat_log   Write a latency log.
        lockmem=x       Lock down x amount of memory on the machine, to
@@ -246,6 +310,50 @@ The job file parameters are:
        cpuchunks=x     Split burn cycles into pieces of x usecs.
 
 
+
+Platforms
+---------
+
+Fio works on (at least) Linux, Solaris, AIX, OSX, NetBSD, Windows and FreeBSD.
+Some features and/or options may only be available on some of the platforms,
+typically because those features only apply to that platform (like the
+solarisaio engine, or the splice engine on Linux).
+
+Some features are not available on FreeBSD/Solaris even if they could be
+implemented, I'd be happy to take patches for that. An example of that is
+disk utility statistics and (I think) huge page support, support for that
+does exist in FreeBSD/Solaris.
+
+Fio uses pthread mutexes for signalling and locking and FreeBSD does not
+support process shared pthread mutexes. As a result, only threads are
+supported on FreeBSD. This could be fixed with sysv ipc locking or
+other locking alternatives.
+
+Other *BSD platforms are untested, but fio should work there almost out
+of the box. Since I don't do test runs or even compiles on those platforms,
+your mileage may vary. Sending me patches for other platforms is greatly
+appreciated. There's a lot of value in having the same test/benchmark tool
+available on all platforms.
+
+Note that POSIX aio is not enabled by default on AIX. If you get messages like:
+
+    Symbol resolution failed for /usr/lib/libc.a(posix_aio.o) because:
+        Symbol _posix_kaio_rdwr (number 2) is not exported from dependent module /unix.
+
+you need to enable POSIX aio. Run the following commands as root:
+
+    # lsdev -C -l posix_aio0
+        posix_aio0 Defined  Posix Asynchronous I/O
+    # cfgmgr -l posix_aio0
+    # lsdev -C -l posix_aio0
+        posix_aio0 Available  Posix Asynchronous I/O
+
+POSIX aio should work now. To make the change permanent:
+
+    # chdev -l posix_aio0 -P -a autoconfig='available'
+        posix_aio0 changed
+
+
 Author
 ------