engines/libzbc: set FIO_RO_NEEDS_RW_OPEN engine flag
[fio.git] / file.h
1 #ifndef FIO_FILE_H
2 #define FIO_FILE_H
3
4 #include <string.h>
5 #include "compiler/compiler.h"
6 #include "io_ddir.h"
7 #include "flist.h"
8 #include "lib/zipf.h"
9 #include "lib/axmap.h"
10 #include "lib/lfsr.h"
11 #include "lib/gauss.h"
12
13 /* Forward declarations */
14 struct zoned_block_device_info;
15
16 /*
17  * The type of object we are working on
18  */
19 enum fio_filetype {
20         FIO_TYPE_FILE = 1,              /* plain file */
21         FIO_TYPE_BLOCK,                 /* block device */
22         FIO_TYPE_CHAR,                  /* character device */
23         FIO_TYPE_PIPE,                  /* pipe */
24 };
25
26 enum fio_file_flags {
27         FIO_FILE_open           = 1 << 0,       /* file is open */
28         FIO_FILE_closing        = 1 << 1,       /* file being closed */
29         FIO_FILE_extend         = 1 << 2,       /* needs extend */
30         FIO_FILE_done           = 1 << 3,       /* io completed to this file */
31         FIO_FILE_size_known     = 1 << 4,       /* size has been set */
32         FIO_FILE_hashed         = 1 << 5,       /* file is on hash */
33         FIO_FILE_partial_mmap   = 1 << 6,       /* can't do full mmap */
34         FIO_FILE_axmap          = 1 << 7,       /* uses axmap */
35         FIO_FILE_lfsr           = 1 << 8,       /* lfsr is used */
36         FIO_FILE_smalloc        = 1 << 9,       /* smalloc file/file_name */
37 };
38
39 enum file_lock_mode {
40         FILE_LOCK_NONE,
41         FILE_LOCK_EXCLUSIVE,
42         FILE_LOCK_READWRITE,
43 };
44
45 /*
46  * How fio chooses what file to service next. Choice of uniformly random, or
47  * some skewed random variants, or just sequentially go through them or
48  * roundrobing.
49  */
50 enum {
51         FIO_FSERVICE_RANDOM             = 1,
52         FIO_FSERVICE_RR                 = 2,
53         FIO_FSERVICE_SEQ                = 3,
54         __FIO_FSERVICE_NONUNIFORM       = 0x100,
55         FIO_FSERVICE_ZIPF               = __FIO_FSERVICE_NONUNIFORM | 4,
56         FIO_FSERVICE_PARETO             = __FIO_FSERVICE_NONUNIFORM | 5,
57         FIO_FSERVICE_GAUSS              = __FIO_FSERVICE_NONUNIFORM | 6,
58
59         FIO_FSERVICE_SHIFT              = 10,
60 };
61
62 /*
63  * No pre-allocation when laying down files, or call posix_fallocate(), or
64  * call fallocate() with FALLOC_FL_KEEP_SIZE set.
65  */
66 enum fio_fallocate_mode {
67         FIO_FALLOCATE_NONE      = 1,
68         FIO_FALLOCATE_POSIX     = 2,
69         FIO_FALLOCATE_KEEP_SIZE = 3,
70         FIO_FALLOCATE_NATIVE    = 4,
71         FIO_FALLOCATE_TRUNCATE  = 5,
72 };
73
74 /*
75  * Each thread_data structure has a number of files associated with it,
76  * this structure holds state information for a single file.
77  */
78 struct fio_file {
79         struct flist_head hash_list;
80         enum fio_filetype filetype;
81
82         int fd;
83         int shadow_fd;
84 #ifdef WIN32
85         HANDLE hFile;
86         HANDLE ioCP;
87 #endif
88
89         /*
90          * filename and possible memory mapping
91          */
92         unsigned int major, minor;
93         int fileno;
94         char *file_name;
95
96         /*
97          * size of the file, offset into file, and io size from that offset
98          * (be aware io_size is different from thread_options::io_size)
99          */
100         uint64_t real_file_size;
101         uint64_t file_offset;
102         uint64_t io_size;
103
104         /*
105          * Zoned block device information. See also zonemode=zbd.
106          */
107         struct zoned_block_device_info *zbd_info;
108         /* zonemode=zbd working area */
109         uint32_t min_zone;      /* inclusive */
110         uint32_t max_zone;      /* exclusive */
111
112         /*
113          * Track last end and last start of IO for a given data direction
114          */
115         uint64_t last_pos[DDIR_RWDIR_CNT];
116         uint64_t last_start[DDIR_RWDIR_CNT];
117
118         uint64_t first_write;
119         uint64_t last_write;
120
121         /*
122          * Tracks the last iodepth number of completed writes, if data
123          * verification is enabled
124          */
125         uint64_t *last_write_comp;
126         unsigned int last_write_idx;
127
128         /*
129          * For use by the io engine to store offset
130          */
131         uint64_t engine_pos;
132
133         /*
134          * For use by the io engine for private data storage
135          */
136         void *engine_data;
137
138         /*
139          * if io is protected by a semaphore, this is set
140          */
141         union {
142                 struct fio_sem *lock;
143                 struct fio_rwlock *rwlock;
144         };
145
146         /*
147          * block map or LFSR for random io
148          */
149         union {
150                 struct axmap *io_axmap;
151                 struct fio_lfsr lfsr;
152         };
153
154         /*
155          * Used for zipf random distribution
156          */
157         union {
158                 struct zipf_state zipf;
159                 struct gauss_state gauss;
160         };
161
162         int references;
163         enum fio_file_flags flags;
164
165         struct disk_util *du;
166 };
167
168 #define FILE_ENG_DATA(f)                ((f)->engine_data)
169 #define FILE_SET_ENG_DATA(f, data)      ((f)->engine_data = (data))
170
171 #define FILE_FLAG_FNS(name)                                             \
172 static inline void fio_file_set_##name(struct fio_file *f)              \
173 {                                                                       \
174         (f)->flags = (enum fio_file_flags) ((f)->flags | FIO_FILE_##name);      \
175 }                                                                       \
176 static inline void fio_file_clear_##name(struct fio_file *f)            \
177 {                                                                       \
178         (f)->flags = (enum fio_file_flags) ((f)->flags & ~FIO_FILE_##name);     \
179 }                                                                       \
180 static inline int fio_file_##name(struct fio_file *f)                   \
181 {                                                                       \
182         return ((f)->flags & FIO_FILE_##name) != 0;                     \
183 }
184
185 FILE_FLAG_FNS(open);
186 FILE_FLAG_FNS(closing);
187 FILE_FLAG_FNS(extend);
188 FILE_FLAG_FNS(done);
189 FILE_FLAG_FNS(size_known);
190 FILE_FLAG_FNS(hashed);
191 FILE_FLAG_FNS(partial_mmap);
192 FILE_FLAG_FNS(axmap);
193 FILE_FLAG_FNS(lfsr);
194 FILE_FLAG_FNS(smalloc);
195 #undef FILE_FLAG_FNS
196
197 /*
198  * File setup/shutdown
199  */
200 struct thread_data;
201 extern void close_files(struct thread_data *);
202 extern void close_and_free_files(struct thread_data *);
203 extern uint64_t get_start_offset(struct thread_data *, struct fio_file *);
204 extern int __must_check setup_files(struct thread_data *);
205 extern int __must_check file_invalidate_cache(struct thread_data *, struct fio_file *);
206 #ifdef __cplusplus
207 extern "C" {
208 #endif
209 extern int __must_check generic_open_file(struct thread_data *, struct fio_file *);
210 extern int __must_check generic_close_file(struct thread_data *, struct fio_file *);
211 extern int __must_check generic_get_file_size(struct thread_data *, struct fio_file *);
212 extern int __must_check generic_prepopulate_file(struct thread_data *, struct fio_file *);
213 #ifdef __cplusplus
214 }
215 #endif
216 extern int __must_check file_lookup_open(struct fio_file *f, int flags);
217 extern bool __must_check pre_read_files(struct thread_data *);
218 extern unsigned long long get_rand_file_size(struct thread_data *td);
219 extern int add_file(struct thread_data *, const char *, int, int);
220 extern int add_file_exclusive(struct thread_data *, const char *);
221 extern void get_file(struct fio_file *);
222 extern int __must_check put_file(struct thread_data *, struct fio_file *);
223 extern void put_file_log(struct thread_data *, struct fio_file *);
224 extern void lock_file(struct thread_data *, struct fio_file *, enum fio_ddir);
225 extern void unlock_file(struct thread_data *, struct fio_file *);
226 extern void unlock_file_all(struct thread_data *, struct fio_file *);
227 extern int add_dir_files(struct thread_data *, const char *);
228 extern bool init_random_map(struct thread_data *);
229 extern void dup_files(struct thread_data *, struct thread_data *);
230 extern int get_fileno(struct thread_data *, const char *);
231 extern void free_release_files(struct thread_data *);
232 extern void filesetup_mem_free(void);
233 extern void fio_file_reset(struct thread_data *, struct fio_file *);
234 extern bool fio_files_done(struct thread_data *);
235 extern bool exists_and_not_regfile(const char *);
236 extern int fio_set_directio(struct thread_data *, struct fio_file *);
237 extern void fio_file_free(struct fio_file *);
238
239 #endif