[PATCH] Include ETA for job(s) to finish
[fio.git] / fio.h
1 #ifndef FIO_H
2 #define FIO_H
3
4 #include <sched.h>
5 #include <limits.h>
6 #include <pthread.h>
7 #include <sys/time.h>
8 #include <sys/resource.h>
9 #include <semaphore.h>
10
11 #include "list.h"
12 #include "md5.h"
13 #include "crc32.h"
14 #include "arch.h"
15 #include "os.h"
16
17 struct io_stat {
18         unsigned long val;
19         unsigned long val_sq;
20         unsigned long max_val;
21         unsigned long min_val;
22         unsigned long samples;
23 };
24
25 struct io_sample {
26         unsigned long time;
27         unsigned long val;
28         unsigned int ddir;
29 };
30
31 struct io_log {
32         unsigned long nr_samples;
33         unsigned long max_samples;
34         struct io_sample *log;
35 };
36
37 struct io_piece {
38         struct list_head list;
39         unsigned long long offset;
40         unsigned int len;
41 };
42
43 /*
44  * The io unit
45  */
46 struct io_u {
47         union {
48 #ifdef FIO_HAVE_LIBAIO
49                 struct iocb iocb;
50 #endif
51 #ifdef FIO_HAVE_POSIXAIO
52                 struct aiocb aiocb;
53 #endif
54 #ifdef FIO_HAVE_SGIO
55                 struct sg_io_hdr hdr;
56 #endif
57         };
58         struct timeval start_time;
59         struct timeval issue_time;
60
61         char *buf;
62         unsigned int buflen;
63         unsigned long long offset;
64
65         unsigned int resid;
66         unsigned int error;
67
68         unsigned char seen;
69         unsigned char ddir;
70
71         struct list_head list;
72 };
73
74 #define FIO_HDR_MAGIC   0xf00baaef
75
76 enum {
77         VERIFY_NONE = 0,
78         VERIFY_MD5,
79         VERIFY_CRC32,
80 };
81
82 struct verify_header {
83         unsigned int fio_magic;
84         unsigned int len;
85         unsigned int verify_type;
86         union {
87                 char md5_digest[MD5_HASH_WORDS * 4];
88                 unsigned long crc32;
89         };
90 };
91
92 struct group_run_stats {
93         unsigned long max_run[2], min_run[2];
94         unsigned long max_bw[2], min_bw[2];
95         unsigned long io_mb[2];
96         unsigned long agg[2];
97 };
98
99 struct thread_data {
100         char file_name[256];
101         char directory[256];
102         char verror[80];
103         pthread_t thread;
104         int thread_number;
105         int groupid;
106         int filetype;
107         int error;
108         int fd;
109         void *mmap;
110         pid_t pid;
111         char *orig_buffer;
112         size_t orig_buffer_size;
113         volatile int terminate;
114         volatile int runstate;
115         volatile int old_runstate;
116         unsigned int ddir;
117         unsigned int ioprio;
118         unsigned int sequential;
119         unsigned int bs;
120         unsigned int min_bs;
121         unsigned int max_bs;
122         unsigned int odirect;
123         unsigned int thinktime;
124         unsigned int fsync_blocks;
125         unsigned int start_delay;
126         unsigned int timeout;
127         unsigned int io_engine;
128         unsigned int create_file;
129         unsigned int overwrite;
130         unsigned int invalidate_cache;
131         unsigned int bw_avg_time;
132         unsigned int create_serialize;
133         unsigned int create_fsync;
134         unsigned int loops;
135         unsigned long long file_size;
136         unsigned long long file_offset;
137         unsigned int sync_io;
138         unsigned int mem_type;
139         unsigned int verify;
140         unsigned int stonewall;
141         unsigned int numjobs;
142         unsigned int use_thread;
143         unsigned int iodepth;
144         os_cpu_mask_t cpumask;
145
146         struct drand48_data bsrange_state;
147         struct drand48_data verify_state;
148
149         int shm_id;
150
151         void *io_data;
152         char io_engine_name[16];
153         int (*io_prep)(struct thread_data *, struct io_u *);
154         int (*io_queue)(struct thread_data *, struct io_u *);
155         int (*io_getevents)(struct thread_data *, int, int, struct timespec *);
156         struct io_u *(*io_event)(struct thread_data *, int);
157         int (*io_cancel)(struct thread_data *, struct io_u *);
158         void (*io_cleanup)(struct thread_data *);
159         int (*io_sync)(struct thread_data *);
160
161         unsigned int cur_depth;
162         struct list_head io_u_freelist;
163         struct list_head io_u_busylist;
164
165         unsigned int rate;
166         unsigned int ratemin;
167         unsigned int ratecycle;
168         unsigned long rate_usec_cycle;
169         long rate_pending_usleep;
170         unsigned long rate_bytes;
171         struct timeval lastrate;
172
173         unsigned long runtime[2];               /* msec */
174         unsigned long long io_size;
175         unsigned long long total_io_size;
176
177         unsigned long io_blocks[2];
178         unsigned long io_bytes[2];
179         unsigned long this_io_bytes[2];
180         unsigned long last_bytes;
181         sem_t mutex;
182
183         struct drand48_data random_state;
184         unsigned long *file_map;
185         unsigned int num_maps;
186
187         /*
188          * bandwidth and latency stats
189          */
190         struct io_stat clat_stat[2];            /* completion latency */
191         struct io_stat slat_stat[2];            /* submission latency */
192         struct io_stat bw_stat[2];              /* bandwidth stats */
193
194         unsigned long stat_io_bytes[2];
195         struct timeval stat_sample_time[2];
196
197         struct io_log *slat_log;
198         struct io_log *clat_log;
199         struct io_log *bw_log;
200
201         struct timeval start;   /* start of this loop */
202         struct timeval epoch;   /* time job was started */
203
204         struct rusage ru_start;
205         struct rusage ru_end;
206         unsigned long usr_time;
207         unsigned long sys_time;
208         unsigned long ctx;
209
210         unsigned int do_disk_util;
211         unsigned int override_sync;
212
213         struct list_head io_hist_list;
214 };
215
216 #define td_verror(td, err)                                              \
217         do {                                                            \
218                 int e = (err);                                          \
219                 (td)->error = e;                                        \
220                 snprintf(td->verror, sizeof(td->verror) - 1, "file:%s:%d, error=%s", __FILE__, __LINE__, strerror(e));  \
221         } while (0)
222
223 extern int parse_jobs_ini(char *);
224 extern int parse_options(int, char **);
225 extern void finish_log(struct thread_data *, struct io_log *, const char *);
226 extern int init_random_state(struct thread_data *);
227
228 extern int rate_quit;
229 extern int write_lat_log;
230 extern int write_bw_log;
231 extern int exitall_on_terminate;
232 extern int thread_number;
233 extern int shm_id;
234 extern int groupid;
235
236 extern struct thread_data *threads;
237
238 enum {
239         DDIR_READ = 0,
240         DDIR_WRITE,
241 };
242
243 /*
244  * What type of allocation to use for io buffers
245  */
246 enum {
247         MEM_MALLOC,     /* ordinary malloc */
248         MEM_SHM,        /* use shared memory segments */
249         MEM_MMAP,       /* use anonynomous mmap */
250 };
251
252 /*
253  * The type of object we are working on
254  */
255 enum {
256         FIO_TYPE_FILE = 1,
257         FIO_TYPE_BD,
258 };
259
260 enum {
261         FIO_SYNCIO      = 1 << 0,
262         FIO_MMAPIO      = 1 << 1 | FIO_SYNCIO,
263         FIO_LIBAIO      = 1 << 2,
264         FIO_POSIXAIO    = 1 << 3,
265         FIO_SGIO        = 1 << 4,
266 };
267
268 #define td_read(td)             ((td)->ddir == DDIR_READ)
269 #define td_write(td)            ((td)->ddir == DDIR_WRITE)
270
271 #define BLOCKS_PER_MAP          (8 * sizeof(long))
272 #define TO_MAP_BLOCK(td, b)     ((b) - ((td)->file_offset / (td)->min_bs))
273 #define RAND_MAP_IDX(td, b)     (TO_MAP_BLOCK(td, b) / BLOCKS_PER_MAP)
274 #define RAND_MAP_BIT(td, b)     (TO_MAP_BLOCK(td, b) & (BLOCKS_PER_MAP - 1))
275
276 #define MAX_JOBS        (1024)
277
278 struct disk_util_stat {
279         unsigned ios[2];
280         unsigned merges[2];
281         unsigned long long sectors[2];
282         unsigned ticks[2];
283         unsigned io_ticks;
284         unsigned time_in_queue;
285 };
286
287 struct disk_util {
288         struct list_head list;
289
290         char *name;
291         char path[256];
292         dev_t dev;
293
294         struct disk_util_stat dus;
295         struct disk_util_stat last_dus;
296
297         unsigned long msec;
298         struct timeval time;
299 };
300
301 struct io_completion_data {
302         int nr;                         /* input */
303
304         int error;                      /* output */
305         unsigned long bytes_done[2];    /* output */
306 };
307
308 #define DISK_UTIL_MSEC  (250)
309
310 #endif