Update documentation for random_distribution=gauss
[fio.git] / HOWTO
diff --git a/HOWTO b/HOWTO
index eb9c8245d4e3253bd311756cafc0708f9538ef83..d70c9afebf04b9f0a2114e838dc340db3eeccf03 100644 (file)
--- a/HOWTO
+++ b/HOWTO
@@ -10,6 +10,7 @@ Table of contents
 7. Terse output
 8. Trace file format
 9. CPU idleness profiling
+10. Verification and triggers
 
 1.0 Overview and history
 ------------------------
@@ -305,6 +306,16 @@ name=str   ASCII name of the job. This may be used to override the
                special purpose of also signaling the start of a new
                job.
 
+wait_for=str   Specifies the name of the already defined job to wait
+               for. Single waitee name only may be specified. If set, the job
+               won't be started until all workers of the waitee job are done.
+
+               Wait_for operates on the job name basis, so there are a few
+               limitations. First, the waitee must be defined prior to the
+               waiter job (meaning no forward references). Second, if a job
+               is being referenced as a waitee, it must have a unique name
+               (no duplicate waitees).
+
 description=str        Text description of the job. Doesn't do anything except
                dump this text description when this job is run. It's
                not parsed.
@@ -767,20 +778,14 @@ ioengine=str      Defines how the job issues io to the file. The following
                                defines engine specific options.
 
                        libhdfs Read and write through Hadoop (HDFS).
-                               The 'filename' option is used to specify host,
-                               port of the hdfs name-node to connect. This
-                               engine interprets offsets a little
+                               This engine interprets offsets a little
                                differently. In HDFS, files once created
                                cannot be modified. So random writes are not
                                possible. To imitate this, libhdfs engine
-                               expects bunch of small files to be created
-                               over HDFS, and engine will randomly pick a
-                               file out of those files based on the offset
-                               generated by fio backend. (see the example
-                               job file to create such files, use rw=write
-                               option). Please note, you might want to set
-                               necessary environment variables to work with
-                               hdfs/libhdfs properly.
+                               creates bunch of small files, and engine will
+                               pick a file out of those files based on the 
+                               offset enerated by fio backend. Each jobs uses
+                               it's own connection to HDFS.
 
                        mtd     Read, write and erase an MTD character device
                                (e.g., /dev/mtd0). Discards are treated as
@@ -958,6 +963,7 @@ random_distribution=str:float       By default, fio will use a completely uniform
                random          Uniform random distribution
                zipf            Zipf distribution
                pareto          Pareto distribution
+               gauss           Normal (guassian) distribution
 
                When using a zipf or pareto distribution, an input value
                is also needed to define the access pattern. For zipf, this
@@ -966,7 +972,9 @@ random_distribution=str:float       By default, fio will use a completely uniform
                what the given input values will yield in terms of hit rates.
                If you wanted to use zipf with a theta of 1.2, you would use
                random_distribution=zipf:1.2 as the option. If a non-uniform
-               model is used, fio will disable use of the random map.
+               model is used, fio will disable use of the random map. For
+               the gauss distribution, a normal deviation is supplied as
+               a value between 0 and 100.
 
 percentage_random=int  For a random workload, set how big a percentage should
                be random. This defaults to 100%, in which case the workload
@@ -1009,7 +1017,9 @@ random_generator=str      Fio supports the following engines for generating
                typically good enough. LFSR only works with single
                block sizes, not with workloads that use multiple block
                sizes. If used with such a workload, fio may read or write
-               some blocks multiple times.
+               some blocks multiple times. The default value is tausworthe,
+               unless the required space exceeds 2^32 blocks. If it does,
+               then tausworthe64 is selected automatically.
 
 nice=int       Run the job with the given nice value. See man nice(2).
 
@@ -1227,6 +1237,9 @@ exitall           When one job finishes, terminate the rest. The default is
                to wait for each job to finish, sometimes that is not the
                desired action.
 
+exitall_on_error       When one job finishes in error, terminate the rest. The
+               default is to wait for each job to finish.
+
 bwavgtime=int  Average the calculated bandwidth over the given time. Value
                is specified in milliseconds.
 
@@ -1561,8 +1574,12 @@ log_avg_msec=int By default, fio will log an entry in the iops, latency,
                disk log, that can quickly grow to a very large size. Setting
                this option makes fio average the each log entry over the
                specified period of time, reducing the resolution of the log.
-               Defaults to 0.
+               See log_max as well. Defaults to 0, logging all entries.
 
+log_max=bool   If log_avg_msec is set, fio logs the average over that window.
+               If you instead want to log the maximum value, set this option
+               to 1. Defaults to 0, meaning that averaged values are logged.
+.
 log_offset=int If this is set, the iolog options will include the byte
                offset for the IO entry as well as the other data values.
 
@@ -1770,6 +1787,9 @@ that defines them is selected.
                enabled when polling for a minimum of 0 events (eg when
                iodepth_batch_complete=0).
 
+[psyncv2] hipri                Set RWF_HIPRI on IO, indicating to the kernel that
+                       it's of higher priority than normal.
+
 [cpu] cpuload=int Attempt to use the specified percentage of CPU cycles.
 
 [cpu] cpuchunks=int Split the load into cycles of the given time. In
@@ -1782,11 +1802,13 @@ that defines them is selected.
                If the job is a TCP listener or UDP reader, the hostname is not
                used and must be omitted unless it is a valid UDP multicast
                address.
+[libhdfs] namenode=str The host name or IP address of a HDFS cluster namenode to contact.
 
 [netsplice] port=int
 [net] port=int The TCP or UDP port to bind to or connect to. If this is used
 with numjobs to spawn multiple instances of the same job type, then this will
 be the starting port number since fio will use a range of ports.
+[libhdfs] port=int     the listening port of the HFDS cluster namenode.
 
 [netsplice] interface=str
 [net] interface=str  The IP address of the network interface used to send or
@@ -1845,6 +1867,9 @@ be the starting port number since fio will use a range of ports.
 
 [mtd] skip_bad=bool    Skip operations against known bad blocks.
 
+[libhdfs] hdfsdirectory        libhdfs will create chunk in this HDFS directory
+[libhdfs] chunck_size  the size of the chunck to use for each file.
+
 
 6.0 Interpreting the output
 ---------------------------
@@ -2201,7 +2226,7 @@ localbox$ fio --client=server --trigger-file=/tmp/my-trigger --trigger="ipmi-reb
 For this case, fio would wait for the server to send us the write state,
 then execute 'ipmi-reboot server' when that happened.
 
-10.1 Loading verify state
+10.2 Loading verify state
 -------------------------
 To load store write state, read verification job file must contain
 the verify_state_load option. If that is set, fio will load the previously