e9d7cf3e6f6e0cf4af791bab019fc9faf9586e21
[fio.git] / os / os-linux.h
1 #ifndef FIO_OS_LINUX_H
2 #define FIO_OS_LINUX_H
3
4 #define FIO_OS  os_linux
5
6 #include <sys/ioctl.h>
7 #include <sys/uio.h>
8 #include <sys/syscall.h>
9 #include <sys/vfs.h>
10 #include <sys/mman.h>
11 #include <unistd.h>
12 #include <fcntl.h>
13 #include <errno.h>
14 #include <sched.h>
15 #include <linux/unistd.h>
16 #include <linux/raw.h>
17 #include <linux/major.h>
18 #include <endian.h>
19
20 #include "indirect.h"
21 #include "binject.h"
22 #include "../file.h"
23
24 #define FIO_HAVE_LIBAIO
25 #define FIO_HAVE_POSIXAIO
26 #define FIO_HAVE_FADVISE
27 #define FIO_HAVE_CPU_AFFINITY
28 #define FIO_HAVE_DISK_UTIL
29 #define FIO_HAVE_SGIO
30 #define FIO_HAVE_IOPRIO
31 #define FIO_HAVE_SPLICE
32 #define FIO_HAVE_IOSCHED_SWITCH
33 #define FIO_HAVE_ODIRECT
34 #define FIO_HAVE_HUGETLB
35 #define FIO_HAVE_RAWBIND
36 #define FIO_HAVE_BLKTRACE
37 #define FIO_HAVE_STRSEP
38 #define FIO_HAVE_POSIXAIO_FSYNC
39 #define FIO_HAVE_PSHARED_MUTEX
40 #define FIO_HAVE_CL_SIZE
41 #define FIO_HAVE_CGROUPS
42 #define FIO_HAVE_FDATASYNC
43 #define FIO_HAVE_FS_STAT
44 #define FIO_HAVE_TRIM
45 #define FIO_HAVE_BINJECT
46 #define FIO_HAVE_CLOCK_MONOTONIC
47 #define FIO_HAVE_GETTID
48 #define FIO_USE_GENERIC_INIT_RANDOM_STATE
49 #define FIO_HAVE_E4_ENG
50
51 #ifdef MAP_HUGETLB
52 #define FIO_HAVE_MMAP_HUGE
53 #endif
54
55 /*
56  * Can only enable this for newer glibcs, or the header and defines are
57  * missing
58  */
59 #if __GLIBC__ >= 2 && __GLIBC_MINOR__ >= 6
60 #define FIO_HAVE_FALLOCATE
61 #endif
62 #if __GLIBC__ >= 2 && __GLIBC_MINOR__ >= 8
63 #define FIO_HAVE_LINUX_FALLOCATE
64 #endif
65
66 #ifdef FIO_HAVE_LINUX_FALLOCATE
67 #define FIO_HAVE_FALLOC_ENG
68 #endif
69
70 #ifdef SYNC_FILE_RANGE_WAIT_BEFORE
71 #define FIO_HAVE_SYNC_FILE_RANGE
72 #endif
73
74 #define OS_MAP_ANON             MAP_ANONYMOUS
75
76 #ifndef CLOCK_MONOTONIC
77 #define CLOCK_MONOTONIC 1
78 #endif
79
80 typedef cpu_set_t os_cpu_mask_t;
81
82 typedef struct drand48_data os_random_state_t;
83
84 /*
85  * we want fadvise64 really, but it's so tangled... later
86  */
87 #ifdef FIO_HAVE_FADVISE
88 #define fadvise(fd, off, len, advice)   \
89         posix_fadvise((fd), (off_t)(off), (len), (advice))
90 #endif
91
92 /*
93  * If you are on an ancient glibc (2.3.2), then define GLIBC_2_3_2 if you want
94  * the affinity helpers to work.
95  */
96 #ifndef GLIBC_2_3_2
97 #define fio_setaffinity(pid, cpumask)           \
98         sched_setaffinity((pid), sizeof(cpumask), &(cpumask))
99 #define fio_getaffinity(pid, ptr)       \
100         sched_getaffinity((pid), sizeof(cpu_set_t), (ptr))
101 #else
102 #define fio_setaffinity(pid, cpumask)   \
103         sched_setaffinity((pid), &(cpumask))
104 #define fio_getaffinity(pid, ptr)       \
105         sched_getaffinity((pid), (ptr))
106 #endif
107
108 #define fio_cpu_clear(mask, cpu)        (void) CPU_CLR((cpu), (mask))
109 #define fio_cpu_set(mask, cpu)          (void) CPU_SET((cpu), (mask))
110
111 static inline int fio_cpuset_init(os_cpu_mask_t *mask)
112 {
113         CPU_ZERO(mask);
114         return 0;
115 }
116
117 static inline int fio_cpuset_exit(os_cpu_mask_t *mask)
118 {
119         return 0;
120 }
121
122 #define FIO_MAX_CPUS                    CPU_SETSIZE
123
124 static inline int ioprio_set(int which, int who, int ioprio)
125 {
126         return syscall(__NR_ioprio_set, which, who, ioprio);
127 }
128
129 static inline int gettid(void)
130 {
131         return syscall(__NR_gettid);
132 }
133
134 /*
135  * Just check for SPLICE_F_MOVE, if that isn't there, assume the others
136  * aren't either.
137  */
138 #ifndef SPLICE_F_MOVE
139 #define SPLICE_F_MOVE   (0x01)  /* move pages instead of copying */
140 #define SPLICE_F_NONBLOCK (0x02) /* don't block on the pipe splicing (but */
141                                  /* we may still block on the fd we splice */
142                                  /* from/to, of course */
143 #define SPLICE_F_MORE   (0x04)  /* expect more data */
144 #define SPLICE_F_GIFT   (0x08)  /* pages passed in are a gift */
145
146 static inline int splice(int fdin, loff_t *off_in, int fdout, loff_t *off_out,
147                          size_t len, unsigned int flags)
148 {
149         return syscall(__NR_sys_splice, fdin, off_in, fdout, off_out, len, flags);
150 }
151
152 static inline int tee(int fdin, int fdout, size_t len, unsigned int flags)
153 {
154         return syscall(__NR_sys_tee, fdin, fdout, len, flags);
155 }
156
157 static inline int vmsplice(int fd, const struct iovec *iov,
158                            unsigned long nr_segs, unsigned int flags)
159 {
160         return syscall(__NR_sys_vmsplice, fd, iov, nr_segs, flags);
161 }
162 #endif
163
164 #define SPLICE_DEF_SIZE (64*1024)
165
166 #ifdef FIO_HAVE_SYSLET
167
168 struct syslet_uatom;
169 struct async_head_user;
170
171 /*
172  * syslet stuff
173  */
174 static inline struct syslet_uatom *
175 async_exec(struct syslet_uatom *atom, struct async_head_user *ahu)
176 {
177         return (struct syslet_uatom *) syscall(__NR_async_exec, atom, ahu);
178 }
179
180 static inline long
181 async_wait(unsigned long min_wait_events, unsigned long user_ring_idx,
182            struct async_head_user *ahu)
183 {
184         return syscall(__NR_async_wait, min_wait_events,
185                         user_ring_idx, ahu);
186 }
187
188 static inline long async_thread(void *event, struct async_head_user *ahu)
189 {
190         return syscall(__NR_async_thread, event, ahu);
191 }
192
193 static inline long umem_add(unsigned long *uptr, unsigned long inc)
194 {
195         return syscall(__NR_umem_add, uptr, inc);
196 }
197 #endif /* FIO_HAVE_SYSLET */
198
199 enum {
200         IOPRIO_CLASS_NONE,
201         IOPRIO_CLASS_RT,
202         IOPRIO_CLASS_BE,
203         IOPRIO_CLASS_IDLE,
204 };
205
206 enum {
207         IOPRIO_WHO_PROCESS = 1,
208         IOPRIO_WHO_PGRP,
209         IOPRIO_WHO_USER,
210 };
211
212 #define IOPRIO_BITS             16
213 #define IOPRIO_CLASS_SHIFT      13
214
215 #ifndef BLKGETSIZE64
216 #define BLKGETSIZE64    _IOR(0x12,114,size_t)
217 #endif
218
219 #ifndef BLKFLSBUF
220 #define BLKFLSBUF       _IO(0x12,97)
221 #endif
222
223 #ifndef BLKDISCARD
224 #define BLKDISCARD      _IO(0x12,119)
225 #endif
226
227 static inline int blockdev_invalidate_cache(struct fio_file *f)
228 {
229         return ioctl(f->fd, BLKFLSBUF);
230 }
231
232 static inline int blockdev_size(struct fio_file *f, unsigned long long *bytes)
233 {
234         if (!ioctl(f->fd, BLKGETSIZE64, bytes))
235                 return 0;
236
237         return errno;
238 }
239
240 static inline unsigned long long os_phys_mem(void)
241 {
242         long pagesize, pages;
243
244         pagesize = sysconf(_SC_PAGESIZE);
245         pages = sysconf(_SC_PHYS_PAGES);
246         if (pages == -1 || pagesize == -1)
247                 return 0;
248
249         return (unsigned long long) pages * (unsigned long long) pagesize;
250 }
251
252 static inline void os_random_seed(unsigned long seed, os_random_state_t *rs)
253 {
254         srand48_r(seed, rs);
255 }
256
257 static inline long os_random_long(os_random_state_t *rs)
258 {
259         long val;
260
261         lrand48_r(rs, &val);
262         return val;
263 }
264
265 static inline int fio_lookup_raw(dev_t dev, int *majdev, int *mindev)
266 {
267         struct raw_config_request rq;
268         int fd;
269
270         if (major(dev) != RAW_MAJOR)
271                 return 1;
272
273         /*
274          * we should be able to find /dev/rawctl or /dev/raw/rawctl
275          */
276         fd = open("/dev/rawctl", O_RDONLY);
277         if (fd < 0) {
278                 fd = open("/dev/raw/rawctl", O_RDONLY);
279                 if (fd < 0)
280                         return 1;
281         }
282
283         rq.raw_minor = minor(dev);
284         if (ioctl(fd, RAW_GETBIND, &rq) < 0) {
285                 close(fd);
286                 return 1;
287         }
288
289         close(fd);
290         *majdev = rq.block_major;
291         *mindev = rq.block_minor;
292         return 0;
293 }
294
295 #ifdef O_NOATIME
296 #define FIO_O_NOATIME   O_NOATIME
297 #else
298 #define FIO_O_NOATIME   0
299 #endif
300
301 #ifdef MADV_REMOVE
302 #define FIO_MADV_FREE   MADV_REMOVE
303 #endif
304
305 #if __BYTE_ORDER == __LITTLE_ENDIAN
306 #define FIO_LITTLE_ENDIAN
307 #elif __BYTE_ORDER == __BIG_ENDIAN
308 #define FIO_BIG_ENDIAN
309 #else
310 #error "Unknown endianness"
311 #endif
312
313 #define fio_swap16(x)   __bswap_16(x)
314 #define fio_swap32(x)   __bswap_32(x)
315 #define fio_swap64(x)   __bswap_64(x)
316
317 #define CACHE_LINE_FILE \
318         "/sys/devices/system/cpu/cpu0/cache/index0/coherency_line_size"
319
320 static inline int arch_cache_line_size(void)
321 {
322         char size[32];
323         int fd, ret;
324
325         fd = open(CACHE_LINE_FILE, O_RDONLY);
326         if (fd < 0)
327                 return -1;
328
329         ret = read(fd, size, sizeof(size));
330
331         close(fd);
332
333         if (ret <= 0)
334                 return -1;
335         else
336                 return atoi(size);
337 }
338
339 static inline unsigned long long get_fs_size(const char *path)
340 {
341         unsigned long long ret;
342         struct statfs s;
343
344         if (statfs(path, &s) < 0)
345                 return -1ULL;
346
347         ret = s.f_bsize;
348         ret *= (unsigned long long) s.f_bfree;
349         return ret;
350 }
351
352 static inline int os_trim(int fd, unsigned long long start,
353                           unsigned long long len)
354 {
355         uint64_t range[2];
356
357         range[0] = start;
358         range[1] = len;
359
360         if (!ioctl(fd, BLKDISCARD, range))
361                 return 0;
362
363         return errno;
364 }
365
366 #endif