Add comment on cpumask not working with a CPU count > 32
[fio.git] / HOWTO
diff --git a/HOWTO b/HOWTO
index 5e5b212b1ad28d5e83d4f64bab7a109521a65d5d..5a55c1a21b574a3adba1aa52f4f0fee6f42458c7 100644 (file)
--- a/HOWTO
+++ b/HOWTO
@@ -111,7 +111,7 @@ several global sections if so desired. A job is only affected by a global
 section residing above it. If the first character in a line is a ';' or a
 '#', the entire line is discarded as a comment.
 
-So lets look at a really simple job file that define to threads, each
+So let's look at a really simple job file that defines two processes, each
 randomly reading from a 128MiB file.
 
 ; -- start job file --
@@ -133,7 +133,7 @@ line, this job would look as follows:
 $ fio --name=global --rw=randread --size=128m --name=job1 --name=job2
 
 
-Lets look at an example that have a number of processes writing randomly
+Let's look at an example that has a number of processes writing randomly
 to files.
 
 ; -- start job file --
@@ -158,6 +158,33 @@ specify:
 
 $ fio --name=random-writers --ioengine=libaio --iodepth=4 --rw=randwrite --bs=32k --direct=0 --size=64m --numjobs=4
 
+fio also supports environment variable expansion in job files. Any
+substring of the form "${VARNAME}" as part of an option value (in other
+words, on the right of the `='), will be expanded to the value of the
+environment variable called VARNAME.  If no such environment variable
+is defined, or VARNAME is the empty string, the empty string will be
+substituted.
+
+As an example, let's look at a sample fio invocation and job file:
+
+$ SIZE=64m NUMJOBS=4 fio jobfile.fio
+
+; -- start job file --
+[random-writers]
+rw=randwrite
+size=${SIZE}
+numjobs=${NUMJOBS}
+; -- end job file --
+
+This will expand to the following equivalent job file at runtime:
+
+; -- start job file --
+[random-writers]
+rw=randwrite
+size=64m
+numjobs=4
+; -- end job file --
+
 fio ships with a few example job files, you can also look there for
 inspiration.
 
@@ -556,7 +583,10 @@ cpumask=int        Set the CPU affinity of this job. The parameter given is a
                the allowed CPUs to be 1 and 5, you would pass the decimal
                value of (1 << 1 | 1 << 5), or 34. See man
                sched_setaffinity(2). This may not work on all supported
-               operating systems or kernel versions.
+               operating systems or kernel versions. This option doesn't
+               work well for a higher CPU count than what you can store in
+               an integer mask, so it can only control cpus 1-32. For
+               boxes with larger CPU counts, use cpus_allowed.
 
 cpus_allowed=str Controls the same options as cpumask, but it allows a text
                setting of the permitted CPUs instead. So to use CPUs 1 and
@@ -777,14 +807,23 @@ read_iolog=str    Open an iolog with the specified file name and replay the
                the file needs to be turned into a blkparse binary data
                file first (blktrace <device> -d file_for_fio.bin).
 
-write_bw_log   If given, write a bandwidth log of the jobs in this job
+write_bw_log=str If given, write a bandwidth log of the jobs in this job
                file. Can be used to store data of the bandwidth of the
                jobs in their lifetime. The included fio_generate_plots
                script uses gnuplot to turn these text files into nice
-               graphs.
+               graphs. See write_log_log for behaviour of given
+               filename. For this option, the postfix is _bw.log.
+
+write_lat_log=str Same as write_bw_log, except that this option stores io
+               completion latencies instead. If no filename is given
+               with this option, the default filename of "jobname_type.log"
+               is used. Even if the filename is given, fio will still
+               append the type of log. So if one specifies
+
+               write_lat_log=foo
 
-write_lat_log  Same as write_bw_log, except that this option stores io
-               completion latencies instead.
+               The actual log names will be foo_clat.log and foo_slat.log.
+               This helps fio_generate_plot fine the logs automatically.
 
 lockmem=siint  Pin down the specified amount of memory with mlock(2). Can
                potentially be used instead of removing memory or booting
@@ -808,6 +847,26 @@ cpuchunks=int      If the job is a CPU cycle eater, split the load into
 disk_util=bool Generate disk utilization statistics, if the platform
                supports it. Defaults to on.
 
+disable_clat=bool Disable measurements of completion latency numbers. Useful
+               only for cutting back the number of calls to gettimeofday,
+               as that does impact performance at really high IOPS rates.
+               Note that to really get rid of a large amount of these
+               calls, this option must be used with disable_slat and
+               disable_bw as well.
+
+disable_slat=bool Disable measurements of submission latency numbers. See
+               disable_clat.
+
+disable_bw=bool        Disable measurements of throughput/bandwidth numbers. See
+               disable_clat.
+
+gtod_reduce=bool Enable all of the gettimeofday() reducing options
+               (disable_clat, disable_slat, disable_bw) plus reduce
+               precision of the timeout somewhat to really shrink
+               the gettimeofday() call count. With this option enabled,
+               we only do about 0.4% of the gtod() calls we would have
+               done if all time keeping was enabled.
+
 
 6.0 Interpreting the output
 ---------------------------
@@ -948,6 +1007,8 @@ The format is one long line of values, such as:
 client1;0;0;1906777;1090804;1790;0;0;0.000000;0.000000;0;0;0.000000;0.000000;929380;1152890;25.510151%;1078276.333333;128948.113404;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;100.000000%;0.000000%;324;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%
 ;0.0%;0.0%;0.0%;0.0%;0.0%
 
+To enable terse output, use the --minimal command line option.
+
 Split up, the format is as follows:
 
        jobname, groupid, error