Token-based flow control
authorDan Ehrenberg <dehrenberg@google.com>
Mon, 20 Feb 2012 10:05:14 +0000 (11:05 +0100)
committerJens Axboe <axboe@kernel.dk>
Mon, 20 Feb 2012 10:07:58 +0000 (11:07 +0100)
commit9e684a4976b7934f5ce011ea281dfef3352e5738
treef59e286577c463ac376913281efb2bfcd3e6e779
parent5daa4ebed724cb0223dac4a1386e068f59722dab
Token-based flow control

This patch allows two fio jobs to be kept to a certain
proportion of each other using token-based flow control.
There are three new parameters: flow, flow_watermark, and
flow_sleep, documented in the fio options. An example of an fio
job using these parameters is below:

[global]
norandommap
thread
time_based
runtime=30
direct=1
ioengine=libaio
iodepth=256
size=100g
bs=8k
filename=/tmp/testfile
flow_watermark=100
flow_sleep=1000

[job2]
numjobs=1
rw=write
flow=-8

[job1]
numjobs=1
rw=randread
flow=1

The motivating application of this patch was to allow random reads
and sequential writes at a particular given proportion.

This initial version is only correct when run with 'thread', as shared
state is represented with a global variable. It also only allows two
jobs to be synchronized properly. A future version might do more, but
no more functionality was needed for my application.

Tested: Ran a few fio jobs with this flow control, observing
the proportion of IOPS to match what was intended by the job file.
Varied the flow_watermark and flow_sleep parameters and observed
the effect on throughput.

Signed-off-by: Dan Ehrenberg <dehrenberg@google.com>
Modified by me to support flow_id, so an arbitrary number of flows can
be used. This means it no longer relies on global context, so it can be
used from a thread or process alike. Also added man page documentation.

Signed-off-by: Jens Axboe <axboe@kernel.dk>
HOWTO
Makefile
backend.c
examples/flow [new file with mode: 0644]
fio.1
fio.h
flow.c [new file with mode: 0644]
flow.h [new file with mode: 0644]
init.c
options.c