t/axmap: print explicit overlap ranges tested
[fio.git] / io_u.h
1 #ifndef FIO_IO_U
2 #define FIO_IO_U
3
4 #include "compiler/compiler.h"
5 #include "os/os.h"
6 #include "io_ddir.h"
7 #include "debug.h"
8 #include "file.h"
9 #include "workqueue.h"
10
11 #ifdef CONFIG_LIBAIO
12 #include <libaio.h>
13 #endif
14 #ifdef CONFIG_GUASI
15 #include <guasi.h>
16 #endif
17
18 enum {
19         IO_U_F_FREE             = 1 << 0,
20         IO_U_F_FLIGHT           = 1 << 1,
21         IO_U_F_NO_FILE_PUT      = 1 << 2,
22         IO_U_F_IN_CUR_DEPTH     = 1 << 3,
23         IO_U_F_BUSY_OK          = 1 << 4,
24         IO_U_F_TRIMMED          = 1 << 5,
25         IO_U_F_BARRIER          = 1 << 6,
26         IO_U_F_VER_LIST         = 1 << 7,
27 };
28
29 /*
30  * The io unit
31  */
32 struct io_u {
33         struct timespec start_time;
34         struct timespec issue_time;
35
36         struct fio_file *file;
37         unsigned int flags;
38         enum fio_ddir ddir;
39
40         /*
41          * For replay workloads, we may want to account as a different
42          * IO type than what is being submitted.
43          */
44         enum fio_ddir acct_ddir;
45
46         /*
47          * Write generation
48          */
49         unsigned short numberio;
50
51         /*
52          * Allocated/set buffer and length
53          */
54         unsigned long long buflen;
55         unsigned long long offset;
56         void *buf;
57
58         /*
59          * Initial seed for generating the buffer contents
60          */
61         uint64_t rand_seed;
62
63         /*
64          * IO engine state, may be different from above when we get
65          * partial transfers / residual data counts
66          */
67         void *xfer_buf;
68         unsigned long long xfer_buflen;
69
70         /*
71          * Parameter related to pre-filled buffers and
72          * their size to handle variable block sizes.
73          */
74         unsigned long long buf_filled_len;
75
76         struct io_piece *ipo;
77
78         unsigned long long resid;
79         unsigned int error;
80
81         /*
82          * io engine private data
83          */
84         union {
85                 unsigned int index;
86                 unsigned int seen;
87                 void *engine_data;
88         };
89
90         union {
91                 struct flist_head verify_list;
92                 struct workqueue_work work;
93         };
94
95         /*
96          * Callback for io completion
97          */
98         int (*end_io)(struct thread_data *, struct io_u **);
99
100         union {
101 #ifdef CONFIG_LIBAIO
102                 struct iocb iocb;
103 #endif
104 #ifdef CONFIG_POSIXAIO
105                 os_aiocb_t aiocb;
106 #endif
107 #ifdef FIO_HAVE_SGIO
108                 struct sg_io_hdr hdr;
109 #endif
110 #ifdef CONFIG_GUASI
111                 guasi_req_t greq;
112 #endif
113 #ifdef CONFIG_SOLARISAIO
114                 aio_result_t resultp;
115 #endif
116 #ifdef CONFIG_RDMA
117                 struct ibv_mr *mr;
118 #endif
119                 void *mmap_data;
120         };
121 };
122
123 /*
124  * io unit handling
125  */
126 extern struct io_u *__get_io_u(struct thread_data *);
127 extern struct io_u *get_io_u(struct thread_data *);
128 extern void put_io_u(struct thread_data *, struct io_u *);
129 extern void clear_io_u(struct thread_data *, struct io_u *);
130 extern void requeue_io_u(struct thread_data *, struct io_u **);
131 extern int __must_check io_u_sync_complete(struct thread_data *, struct io_u *);
132 extern int __must_check io_u_queued_complete(struct thread_data *, int);
133 extern void io_u_queued(struct thread_data *, struct io_u *);
134 extern int io_u_quiesce(struct thread_data *);
135 extern void io_u_log_error(struct thread_data *, struct io_u *);
136 extern void io_u_mark_depth(struct thread_data *, unsigned int);
137 extern void fill_io_buffer(struct thread_data *, void *, unsigned long long, unsigned long long);
138 extern void io_u_fill_buffer(struct thread_data *td, struct io_u *, unsigned long long, unsigned long long);
139 void io_u_mark_complete(struct thread_data *, unsigned int);
140 void io_u_mark_submit(struct thread_data *, unsigned int);
141 bool queue_full(const struct thread_data *);
142
143 int do_io_u_sync(const struct thread_data *, struct io_u *);
144 int do_io_u_trim(const struct thread_data *, struct io_u *);
145
146 #ifdef FIO_INC_DEBUG
147 static inline void dprint_io_u(struct io_u *io_u, const char *p)
148 {
149         struct fio_file *f = io_u->file;
150
151         if (f)
152                 dprint(FD_IO, "%s: io_u %p: off=0x%llx,len=0x%llx,ddir=%d,file=%s\n",
153                                 p, io_u,
154                                 (unsigned long long) io_u->offset,
155                                 io_u->buflen, io_u->ddir,
156                                 f->file_name);
157         else
158                 dprint(FD_IO, "%s: io_u %p: off=0x%llx,len=0x%llx,ddir=%d\n",
159                                 p, io_u,
160                                 (unsigned long long) io_u->offset,
161                                 io_u->buflen, io_u->ddir);
162 }
163 #else
164 #define dprint_io_u(io_u, p)
165 #endif
166
167 static inline enum fio_ddir acct_ddir(struct io_u *io_u)
168 {
169         if (io_u->acct_ddir != -1)
170                 return io_u->acct_ddir;
171
172         return io_u->ddir;
173 }
174
175 #define io_u_clear(td, io_u, val)       \
176         td_flags_clear((td), &(io_u->flags), (val))
177 #define io_u_set(td, io_u, val)         \
178         td_flags_set((td), &(io_u)->flags, (val))
179
180 #endif