Enable crc32c accelleration for arm64 on OSX
[fio.git] / os / os.h
1 #ifndef FIO_OS_H
2 #define FIO_OS_H
3
4 #include <sys/types.h>
5 #include <sys/socket.h>
6 #include <fcntl.h>
7 #include <pthread.h>
8 #include <unistd.h>
9 #include <stdlib.h>
10 #include <errno.h>
11
12 #include "../arch/arch.h" /* IWYU pragma: export */
13 #include "../lib/types.h"
14
15 enum {
16         os_linux = 1,
17         os_aix,
18         os_freebsd,
19         os_hpux,
20         os_mac,
21         os_netbsd,
22         os_openbsd,
23         os_solaris,
24         os_windows,
25         os_android,
26         os_dragonfly,
27
28         os_nr,
29 };
30
31 typedef enum {
32         CPU_ARM64_CRC32C,
33 } cpu_features;
34
35 /* IWYU pragma: begin_exports */
36 #if defined(__linux__)
37 #include "os-linux.h"
38 #elif defined(__FreeBSD__)
39 #include "os-freebsd.h"
40 #elif defined(__OpenBSD__)
41 #include "os-openbsd.h"
42 #elif defined(__NetBSD__)
43 #include "os-netbsd.h"
44 #elif defined(__sun__)
45 #include "os-solaris.h"
46 #elif defined(__APPLE__)
47 #include "os-mac.h"
48 #elif defined(_AIX)
49 #include "os-aix.h"
50 #elif defined(__hpux)
51 #include "os-hpux.h"
52 #elif defined(WIN32)
53 #include "os-windows.h"
54 #elif defined (__DragonFly__)
55 #include "os-dragonfly.h"
56 #else
57 #error "unsupported os"
58 #endif
59
60 #ifndef EDQUOT
61 #define EDQUOT  EIO
62 #endif
63
64 #ifdef CONFIG_POSIXAIO
65 #include <aio.h>
66 #ifndef FIO_OS_HAVE_AIOCB_TYPEDEF
67 typedef struct aiocb os_aiocb_t;
68 #endif
69 #endif
70
71 #ifndef CONFIG_STRSEP
72 #include "../oslib/strsep.h"
73 #endif
74
75 #ifndef CONFIG_STRLCAT
76 #include "../oslib/strlcat.h"
77 #endif
78 /* IWYU pragma: end_exports */
79
80 #ifdef MSG_DONTWAIT
81 #define OS_MSG_DONTWAIT MSG_DONTWAIT
82 #endif
83
84 #ifndef POSIX_FADV_DONTNEED
85 #define POSIX_FADV_DONTNEED     (0)
86 #define POSIX_FADV_SEQUENTIAL   (0)
87 #define POSIX_FADV_RANDOM       (0)
88 #define POSIX_FADV_NORMAL       (0)
89 #endif
90
91 #ifndef FIO_HAVE_CPU_AFFINITY
92 #define fio_cpu_clear(mask, cpu)        do { } while (0)
93 typedef unsigned long os_cpu_mask_t;
94
95 static inline int fio_setaffinity(int pid, os_cpu_mask_t cpumask)
96 {
97         return 0;
98 }
99
100 static inline int fio_getaffinity(int pid, os_cpu_mask_t *cpumask)
101 {
102         return -1;
103 }
104
105 static inline int fio_cpuset_exit(os_cpu_mask_t *mask)
106 {
107         return -1;
108 }
109
110 static inline int fio_cpus_split(os_cpu_mask_t *mask, unsigned int cpu_index)
111 {
112         return 0;
113 }
114 #else
115 extern int fio_cpus_split(os_cpu_mask_t *mask, unsigned int cpu);
116 #endif
117
118 #ifndef FIO_HAVE_IOPRIO_CLASS
119 #define ioprio_value_is_class_rt(prio)  (false)
120 #define IOPRIO_MIN_PRIO_CLASS           0
121 #define IOPRIO_MAX_PRIO_CLASS           0
122 #endif
123 #ifndef FIO_HAVE_IOPRIO
124 #define ioprio_value(prioclass, prio)   (0)
125 #define ioprio_set(which, who, prioclass, prio) (0)
126 #define IOPRIO_MIN_PRIO                 0
127 #define IOPRIO_MAX_PRIO                 0
128 #endif
129
130 #ifndef FIO_HAVE_ODIRECT
131 #define OS_O_DIRECT                     0
132 #else
133 #define OS_O_DIRECT                     O_DIRECT
134 #endif
135
136 #ifdef OS_O_ATOMIC
137 #define FIO_O_ATOMIC                    OS_O_ATOMIC
138 #else
139 #define FIO_O_ATOMIC                    0
140 #endif
141
142 #ifndef FIO_HAVE_HUGETLB
143 #define SHM_HUGETLB                     0
144 #define MAP_HUGETLB                     0
145 #ifndef FIO_HUGE_PAGE
146 #define FIO_HUGE_PAGE                   0
147 #endif
148 #else
149 #ifndef FIO_HUGE_PAGE
150 #define FIO_HUGE_PAGE                   4194304
151 #endif
152 #endif
153
154 #ifndef FIO_HAVE_MMAP_HUGE
155 #define MAP_HUGETLB                     0
156 #endif
157
158 #ifndef FIO_O_NOATIME
159 #define FIO_O_NOATIME                   0
160 #endif
161
162 #ifndef OS_RAND_MAX
163 #define OS_RAND_MAX                     RAND_MAX
164 #endif
165
166 #ifndef FIO_PREFERRED_ENGINE
167 #define FIO_PREFERRED_ENGINE    "psync"
168 #endif
169
170 #ifndef FIO_OS_PATH_SEPARATOR
171 #define FIO_OS_PATH_SEPARATOR   '/'
172 #endif
173
174 #ifndef FIO_PREFERRED_CLOCK_SOURCE
175 #ifdef CONFIG_CLOCK_GETTIME
176 #define FIO_PREFERRED_CLOCK_SOURCE      CS_CGETTIME
177 #else
178 #define FIO_PREFERRED_CLOCK_SOURCE      CS_GTOD
179 #endif
180 #endif
181
182 #ifndef CONFIG_SOCKLEN_T
183 typedef unsigned int socklen_t;
184 #endif
185
186 #ifndef FIO_OS_HAS_CTIME_R
187 #define os_ctime_r(x, y, z)     (void) ctime_r((x), (y))
188 #endif
189
190 #ifdef FIO_USE_GENERIC_SWAP
191 static inline uint16_t fio_swap16(uint16_t val)
192 {
193         return (val << 8) | (val >> 8);
194 }
195
196 static inline uint32_t fio_swap32(uint32_t val)
197 {
198         val = ((val & 0xff00ff00UL) >> 8) | ((val & 0x00ff00ffUL) << 8);
199
200         return (val >> 16) | (val << 16);
201 }
202
203 static inline uint64_t fio_swap64(uint64_t val)
204 {
205         val = ((val & 0xff00ff00ff00ff00ULL) >> 8) |
206               ((val & 0x00ff00ff00ff00ffULL) << 8);
207         val = ((val & 0xffff0000ffff0000ULL) >> 16) |
208               ((val & 0x0000ffff0000ffffULL) << 16);
209
210         return (val >> 32) | (val << 32);
211 }
212 #endif
213
214 #ifndef FIO_HAVE_BYTEORDER_FUNCS
215 #ifdef CONFIG_LITTLE_ENDIAN
216 #define __be16_to_cpu(x)                fio_swap16(x)
217 #define __be32_to_cpu(x)                fio_swap32(x)
218 #define __be64_to_cpu(x)                fio_swap64(x)
219 #define __le16_to_cpu(x)                (x)
220 #define __le32_to_cpu(x)                (x)
221 #define __le64_to_cpu(x)                (x)
222 #define __cpu_to_be16(x)                fio_swap16(x)
223 #define __cpu_to_be32(x)                fio_swap32(x)
224 #define __cpu_to_be64(x)                fio_swap64(x)
225 #define __cpu_to_le16(x)                (x)
226 #define __cpu_to_le32(x)                (x)
227 #define __cpu_to_le64(x)                (x)
228 #else
229 #define __be16_to_cpu(x)                (x)
230 #define __be32_to_cpu(x)                (x)
231 #define __be64_to_cpu(x)                (x)
232 #define __le16_to_cpu(x)                fio_swap16(x)
233 #define __le32_to_cpu(x)                fio_swap32(x)
234 #define __le64_to_cpu(x)                fio_swap64(x)
235 #define __cpu_to_be16(x)                (x)
236 #define __cpu_to_be32(x)                (x)
237 #define __cpu_to_be64(x)                (x)
238 #define __cpu_to_le16(x)                fio_swap16(x)
239 #define __cpu_to_le32(x)                fio_swap32(x)
240 #define __cpu_to_le64(x)                fio_swap64(x)
241 #endif
242 #endif /* FIO_HAVE_BYTEORDER_FUNCS */
243
244 #ifdef FIO_INTERNAL
245 #define be16_to_cpu(val) ({                     \
246         typecheck(uint16_t, val);               \
247         __be16_to_cpu(val);                     \
248 })
249 #define be32_to_cpu(val) ({                     \
250         typecheck(uint32_t, val);               \
251         __be32_to_cpu(val);                     \
252 })
253 #define be64_to_cpu(val) ({                     \
254         typecheck(uint64_t, val);               \
255         __be64_to_cpu(val);                     \
256 })
257 #define le16_to_cpu(val) ({                     \
258         typecheck(uint16_t, val);               \
259         __le16_to_cpu(val);                     \
260 })
261 #define le32_to_cpu(val) ({                     \
262         typecheck(uint32_t, val);               \
263         __le32_to_cpu(val);                     \
264 })
265 #define le64_to_cpu(val) ({                     \
266         typecheck(uint64_t, val);               \
267         __le64_to_cpu(val);                     \
268 })
269 #endif
270
271 #define cpu_to_be16(val) ({                     \
272         typecheck(uint16_t, val);               \
273         __cpu_to_be16(val);                     \
274 })
275 #define cpu_to_be32(val) ({                     \
276         typecheck(uint32_t, val);               \
277         __cpu_to_be32(val);                     \
278 })
279 #define cpu_to_be64(val) ({                     \
280         typecheck(uint64_t, val);               \
281         __cpu_to_be64(val);                     \
282 })
283 #define cpu_to_le16(val) ({                     \
284         typecheck(uint16_t, val);               \
285         __cpu_to_le16(val);                     \
286 })
287 #define cpu_to_le32(val) ({                     \
288         typecheck(uint32_t, val);               \
289         __cpu_to_le32(val);                     \
290 })
291 #define cpu_to_le64(val) ({                     \
292         typecheck(uint64_t, val);               \
293         __cpu_to_le64(val);                     \
294 })
295
296 #define FIO_DEF_CL_SIZE         128
297
298 static inline int os_cache_line_size(void)
299 {
300 #ifdef FIO_HAVE_CL_SIZE
301         int ret = arch_cache_line_size();
302
303         if (ret <= 0)
304                 return FIO_DEF_CL_SIZE;
305
306         return ret;
307 #else
308         return FIO_DEF_CL_SIZE;
309 #endif
310 }
311
312 #ifdef FIO_USE_GENERIC_BDEV_SIZE
313 static inline int blockdev_size(struct fio_file *f, unsigned long long *bytes)
314 {
315         off_t end;
316
317         *bytes = 0;
318
319         end = lseek(f->fd, 0, SEEK_END);
320         if (end < 0)
321                 return errno;
322
323         *bytes = end;
324         return 0;
325 }
326 #endif
327
328 #ifdef FIO_USE_GENERIC_INIT_RANDOM_STATE
329 static inline int init_random_seeds(uint64_t *rand_seeds, int size)
330 {
331         int fd;
332
333         fd = open("/dev/urandom", O_RDONLY);
334         if (fd == -1) {
335                 return 1;
336         }
337
338         if (read(fd, rand_seeds, size) < size) {
339                 close(fd);
340                 return 1;
341         }
342
343         close(fd);
344         return 0;
345 }
346 #endif
347
348 #ifndef FIO_HAVE_FS_STAT
349 static inline unsigned long long get_fs_free_size(const char *path)
350 {
351         return 0;
352 }
353 #endif
354
355 #ifndef FIO_HAVE_CPU_CONF_SYSCONF
356 static inline unsigned int cpus_configured(void)
357 {
358         int nr_cpus = sysconf(_SC_NPROCESSORS_CONF);
359
360         return nr_cpus >= 1 ? nr_cpus : 1;
361 }
362 #endif
363
364 #ifndef CPU_COUNT
365 #ifdef FIO_HAVE_CPU_AFFINITY
366 static inline int CPU_COUNT(os_cpu_mask_t *mask)
367 {
368         int max_cpus = cpus_configured();
369         int nr_cpus, i;
370
371         for (i = 0, nr_cpus = 0; i < max_cpus; i++)
372                 if (fio_cpu_isset(mask, i))
373                         nr_cpus++;
374
375         return nr_cpus;
376 }
377 #endif
378 #endif
379
380 #ifndef FIO_HAVE_GETTID
381 #ifndef CONFIG_HAVE_GETTID
382 static inline int gettid(void)
383 {
384         return getpid();
385 }
386 #endif
387 #endif
388
389 #ifndef FIO_HAVE_SHM_ATTACH_REMOVED
390 static inline int shm_attach_to_open_removed(void)
391 {
392         return 0;
393 }
394 #endif
395
396 #ifndef FIO_HAVE_NATIVE_FALLOCATE
397 static inline bool fio_fallocate(struct fio_file *f, uint64_t offset, uint64_t len)
398 {
399         errno = ENOSYS;
400         return false;
401 }
402 #endif
403
404 #if defined(CONFIG_POSIX_FALLOCATE) || defined(FIO_HAVE_NATIVE_FALLOCATE)
405 # define FIO_HAVE_DEFAULT_FALLOCATE
406 #endif
407
408 #ifndef FIO_HAVE_CPU_HAS
409 static inline bool os_cpu_has(cpu_features feature)
410 {
411         return false;
412 }
413 #endif
414
415 #ifndef FIO_EMULATED_MKDIR_TWO
416 # define fio_mkdir(path, mode)  mkdir(path, mode)
417 #endif
418
419 #ifdef _SC_CLK_TCK
420 static inline void os_clk_tck(long *clk_tck)
421 {
422         *clk_tck = sysconf(_SC_CLK_TCK);
423 }
424 #else
425 extern void os_clk_tck(long *clk_tck);
426 #endif
427
428 #endif /* FIO_OS_H */