os/os.h

   1 #ifndef FIO_OS_H
   2 #define FIO_OS_H
   3
   4 #include <sys/types.h>
   5 #include <sys/socket.h>
   6 #include <fcntl.h>
   7 #include <pthread.h>
   8 #include <unistd.h>
   9 #include <stdlib.h>
  10 #include <errno.h>
  11
  12 #include "../arch/arch.h" /* IWYU pragma: export */
  13 #include "../lib/types.h"
  14
  15 enum {
  16         os_linux = 1,
  17         os_aix,
  18         os_freebsd,
  19         os_hpux,
  20         os_mac,
  21         os_netbsd,
  22         os_openbsd,
  23         os_solaris,
  24         os_windows,
  25         os_android,
  26         os_dragonfly,
  27         os_qnx,
  28
  29         os_nr,
  30 };
  31
  32 typedef enum {
  33         CPU_ARM64_CRC32C,
  34 } cpu_features;
  35
  36 /* IWYU pragma: begin_exports */
  37 #if defined(__linux__)
  38 #include "os-linux.h"
  39 #elif defined(__FreeBSD__)
  40 #include "os-freebsd.h"
  41 #elif defined(__OpenBSD__)
  42 #include "os-openbsd.h"
  43 #elif defined(__QNX__)
  44 #include "os-qnx.h"
  45 #elif defined(__NetBSD__)
  46 #include "os-netbsd.h"
  47 #elif defined(__sun__)
  48 #include "os-solaris.h"
  49 #elif defined(__APPLE__)
  50 #include "os-mac.h"
  51 #elif defined(_AIX)
  52 #include "os-aix.h"
  53 #elif defined(__hpux)
  54 #include "os-hpux.h"
  55 #elif defined(WIN32)
  56 #include "os-windows.h"
  57 #elif defined (__DragonFly__)
  58 #include "os-dragonfly.h"
  59 #else
  60 #error "unsupported os"
  61 #endif
  62
  63 #ifndef EDQUOT
  64 #define EDQUOT  EIO
  65 #endif
  66
  67 #ifdef CONFIG_POSIXAIO
  68 #include <aio.h>
  69 #ifndef FIO_OS_HAVE_AIOCB_TYPEDEF
  70 typedef struct aiocb os_aiocb_t;
  71 #endif
  72 #endif
  73
  74 #ifndef CONFIG_STRSEP
  75 #include "../oslib/strsep.h"
  76 #endif
  77
  78 #ifndef CONFIG_STRLCAT
  79 #include "../oslib/strlcat.h"
  80 #endif
  81 /* IWYU pragma: end_exports */
  82
  83 #ifdef MSG_DONTWAIT
  84 #define OS_MSG_DONTWAIT MSG_DONTWAIT
  85 #endif
  86
  87 #ifndef POSIX_FADV_DONTNEED
  88 #define POSIX_FADV_DONTNEED     (0)
  89 #define POSIX_FADV_SEQUENTIAL   (0)
  90 #define POSIX_FADV_RANDOM       (0)
  91 #define POSIX_FADV_NORMAL       (0)
  92 #endif
  93
  94 #ifndef FIO_HAVE_CPU_AFFINITY
  95 #define fio_cpu_clear(mask, cpu)        do { } while (0)
  96 typedef unsigned long os_cpu_mask_t;
  97
  98 static inline int fio_setaffinity(int pid, os_cpu_mask_t cpumask)
  99 {
 100         return 0;
 101 }
 102
 103 static inline int fio_getaffinity(int pid, os_cpu_mask_t *cpumask)
 104 {
 105         return -1;
 106 }
 107
 108 static inline int fio_cpuset_exit(os_cpu_mask_t *mask)
 109 {
 110         return -1;
 111 }
 112
 113 static inline int fio_cpus_split(os_cpu_mask_t *mask, unsigned int cpu_index)
 114 {
 115         return 0;
 116 }
 117 #else
 118 extern int fio_cpus_split(os_cpu_mask_t *mask, unsigned int cpu);
 119 #endif
 120
 121 #ifndef FIO_HAVE_IOPRIO_CLASS
 122 #define ioprio_class(prio)              0
 123 #define ioprio_value_is_class_rt(prio)  (false)
 124 #define IOPRIO_MIN_PRIO_CLASS           0
 125 #define IOPRIO_MAX_PRIO_CLASS           0
 126 #define ioprio_hint(prio)               0
 127 #define IOPRIO_MIN_PRIO_HINT            0
 128 #define IOPRIO_MAX_PRIO_HINT            0
 129 #endif
 130 #ifndef FIO_HAVE_IOPRIO
 131 #define ioprio_value(prioclass, prio, priohint) (0)
 132 #define ioprio(ioprio)                  0
 133 #define ioprio_set(which, who, prioclass, prio, priohint) (0)
 134 #define IOPRIO_MIN_PRIO                 0
 135 #define IOPRIO_MAX_PRIO                 0
 136 #endif
 137
 138 #ifndef FIO_HAVE_ODIRECT
 139 #define OS_O_DIRECT                     0
 140 #else
 141 #define OS_O_DIRECT                     O_DIRECT
 142 #endif
 143
 144 #ifndef FIO_HAVE_HUGETLB
 145 #define SHM_HUGETLB                     0
 146 #define MAP_HUGETLB                     0
 147 #ifndef FIO_HUGE_PAGE
 148 #define FIO_HUGE_PAGE                   0
 149 #endif
 150 #else
 151 #ifndef FIO_HUGE_PAGE
 152 #define FIO_HUGE_PAGE                   4194304
 153 #endif
 154 #endif
 155
 156 #ifndef FIO_HAVE_MMAP_HUGE
 157 #define MAP_HUGETLB                     0
 158 #endif
 159
 160 #ifndef FIO_O_NOATIME
 161 #define FIO_O_NOATIME                   0
 162 #endif
 163
 164 #ifndef OS_RAND_MAX
 165 #define OS_RAND_MAX                     RAND_MAX
 166 #endif
 167
 168 #ifndef FIO_PREFERRED_ENGINE
 169 #define FIO_PREFERRED_ENGINE    "psync"
 170 #endif
 171
 172 #ifndef FIO_OS_PATH_SEPARATOR
 173 #define FIO_OS_PATH_SEPARATOR   '/'
 174 #endif
 175
 176 #ifndef FIO_PREFERRED_CLOCK_SOURCE
 177 #ifdef CONFIG_CLOCK_GETTIME
 178 #define FIO_PREFERRED_CLOCK_SOURCE      CS_CGETTIME
 179 #else
 180 #define FIO_PREFERRED_CLOCK_SOURCE      CS_GTOD
 181 #endif
 182 #endif
 183
 184 #ifndef CONFIG_SOCKLEN_T
 185 typedef unsigned int socklen_t;
 186 #endif
 187
 188 #ifndef FIO_OS_HAS_CTIME_R
 189 #define os_ctime_r(x, y, z)     (void) ctime_r((x), (y))
 190 #endif
 191
 192 #ifdef FIO_USE_GENERIC_SWAP
 193 static inline uint16_t fio_swap16(uint16_t val)
 194 {
 195         return (val << 8) | (val >> 8);
 196 }
 197
 198 static inline uint32_t fio_swap32(uint32_t val)
 199 {
 200         val = ((val & 0xff00ff00UL) >> 8) | ((val & 0x00ff00ffUL) << 8);
 201
 202         return (val >> 16) | (val << 16);
 203 }
 204
 205 static inline uint64_t fio_swap64(uint64_t val)
 206 {
 207         val = ((val & 0xff00ff00ff00ff00ULL) >> 8) |
 208               ((val & 0x00ff00ff00ff00ffULL) << 8);
 209         val = ((val & 0xffff0000ffff0000ULL) >> 16) |
 210               ((val & 0x0000ffff0000ffffULL) << 16);
 211
 212         return (val >> 32) | (val << 32);
 213 }
 214 #endif
 215
 216 #ifndef FIO_HAVE_BYTEORDER_FUNCS
 217 #ifdef CONFIG_LITTLE_ENDIAN
 218 #define __be16_to_cpu(x)                fio_swap16(x)
 219 #define __be32_to_cpu(x)                fio_swap32(x)
 220 #define __be64_to_cpu(x)                fio_swap64(x)
 221 #define __le16_to_cpu(x)                (x)
 222 #define __le32_to_cpu(x)                (x)
 223 #define __le64_to_cpu(x)                (x)
 224 #define __cpu_to_be16(x)                fio_swap16(x)
 225 #define __cpu_to_be32(x)                fio_swap32(x)
 226 #define __cpu_to_be64(x)                fio_swap64(x)
 227 #define __cpu_to_le16(x)                (x)
 228 #define __cpu_to_le32(x)                (x)
 229 #define __cpu_to_le64(x)                (x)
 230 #else
 231 #define __be16_to_cpu(x)                (x)
 232 #define __be32_to_cpu(x)                (x)
 233 #define __be64_to_cpu(x)                (x)
 234 #define __le16_to_cpu(x)                fio_swap16(x)
 235 #define __le32_to_cpu(x)                fio_swap32(x)
 236 #define __le64_to_cpu(x)                fio_swap64(x)
 237 #define __cpu_to_be16(x)                (x)
 238 #define __cpu_to_be32(x)                (x)
 239 #define __cpu_to_be64(x)                (x)
 240 #define __cpu_to_le16(x)                fio_swap16(x)
 241 #define __cpu_to_le32(x)                fio_swap32(x)
 242 #define __cpu_to_le64(x)                fio_swap64(x)
 243 #endif
 244 #endif /* FIO_HAVE_BYTEORDER_FUNCS */
 245
 246 #ifdef FIO_INTERNAL
 247 #define be16_to_cpu(val) ({                     \
 248         typecheck(uint16_t, val);               \
 249         __be16_to_cpu(val);                     \
 250 })
 251 #define be32_to_cpu(val) ({                     \
 252         typecheck(uint32_t, val);               \
 253         __be32_to_cpu(val);                     \
 254 })
 255 #define be64_to_cpu(val) ({                     \
 256         typecheck(uint64_t, val);               \
 257         __be64_to_cpu(val);                     \
 258 })
 259 #define le16_to_cpu(val) ({                     \
 260         typecheck(uint16_t, val);               \
 261         __le16_to_cpu(val);                     \
 262 })
 263 #define le32_to_cpu(val) ({                     \
 264         typecheck(uint32_t, val);               \
 265         __le32_to_cpu(val);                     \
 266 })
 267 #define le64_to_cpu(val) ({                     \
 268         typecheck(uint64_t, val);               \
 269         __le64_to_cpu(val);                     \
 270 })
 271 #endif
 272
 273 #define cpu_to_be16(val) ({                     \
 274         typecheck(uint16_t, val);               \
 275         __cpu_to_be16(val);                     \
 276 })
 277 #define cpu_to_be32(val) ({                     \
 278         typecheck(uint32_t, val);               \
 279         __cpu_to_be32(val);                     \
 280 })
 281 #define cpu_to_be64(val) ({                     \
 282         typecheck(uint64_t, val);               \
 283         __cpu_to_be64(val);                     \
 284 })
 285 #define cpu_to_le16(val) ({                     \
 286         typecheck(uint16_t, val);               \
 287         __cpu_to_le16(val);                     \
 288 })
 289 #define cpu_to_le32(val) ({                     \
 290         typecheck(uint32_t, val);               \
 291         __cpu_to_le32(val);                     \
 292 })
 293 #define cpu_to_le64(val) ({                     \
 294         typecheck(uint64_t, val);               \
 295         __cpu_to_le64(val);                     \
 296 })
 297
 298 #define FIO_DEF_CL_SIZE         128
 299
 300 static inline int os_cache_line_size(void)
 301 {
 302 #ifdef FIO_HAVE_CL_SIZE
 303         int ret = arch_cache_line_size();
 304
 305         if (ret <= 0)
 306                 return FIO_DEF_CL_SIZE;
 307
 308         return ret;
 309 #else
 310         return FIO_DEF_CL_SIZE;
 311 #endif
 312 }
 313
 314 #ifdef FIO_USE_GENERIC_BDEV_SIZE
 315 static inline int blockdev_size(struct fio_file *f, unsigned long long *bytes)
 316 {
 317         off_t end;
 318
 319         *bytes = 0;
 320
 321         end = lseek(f->fd, 0, SEEK_END);
 322         if (end < 0)
 323                 return errno;
 324
 325         *bytes = end;
 326         return 0;
 327 }
 328 #endif
 329
 330 #ifdef FIO_USE_GENERIC_INIT_RANDOM_STATE
 331 static inline int init_random_seeds(uint64_t *rand_seeds, int size)
 332 {
 333         int fd;
 334
 335         fd = open("/dev/urandom", O_RDONLY);
 336         if (fd == -1) {
 337                 return 1;
 338         }
 339
 340         if (read(fd, rand_seeds, size) < size) {
 341                 close(fd);
 342                 return 1;
 343         }
 344
 345         close(fd);
 346         return 0;
 347 }
 348 #endif
 349
 350 #ifndef FIO_HAVE_FS_STAT
 351 static inline unsigned long long get_fs_free_size(const char *path)
 352 {
 353         return 0;
 354 }
 355 #endif
 356
 357 #ifndef FIO_HAVE_CPU_CONF_SYSCONF
 358 static inline unsigned int cpus_configured(void)
 359 {
 360         int nr_cpus = sysconf(_SC_NPROCESSORS_CONF);
 361
 362         return nr_cpus >= 1 ? nr_cpus : 1;
 363 }
 364 #endif
 365
 366 #ifndef CPU_COUNT
 367 #ifdef FIO_HAVE_CPU_AFFINITY
 368 static inline int CPU_COUNT(os_cpu_mask_t *mask)
 369 {
 370         int max_cpus = cpus_configured();
 371         int nr_cpus, i;
 372
 373         for (i = 0, nr_cpus = 0; i < max_cpus; i++)
 374                 if (fio_cpu_isset(mask, i))
 375                         nr_cpus++;
 376
 377         return nr_cpus;
 378 }
 379 #endif
 380 #endif
 381
 382 #ifndef FIO_HAVE_GETTID
 383 #ifndef CONFIG_HAVE_GETTID
 384 static inline int gettid(void)
 385 {
 386         return getpid();
 387 }
 388 #endif
 389 #endif
 390
 391 #ifndef FIO_HAVE_SHM_ATTACH_REMOVED
 392 static inline int shm_attach_to_open_removed(void)
 393 {
 394         return 0;
 395 }
 396 #endif
 397
 398 #ifndef FIO_HAVE_NATIVE_FALLOCATE
 399 static inline bool fio_fallocate(struct fio_file *f, uint64_t offset, uint64_t len)
 400 {
 401         errno = ENOSYS;
 402         return false;
 403 }
 404 #endif
 405
 406 #if defined(CONFIG_POSIX_FALLOCATE) || defined(FIO_HAVE_NATIVE_FALLOCATE)
 407 # define FIO_HAVE_DEFAULT_FALLOCATE
 408 #endif
 409
 410 #ifndef FIO_HAVE_CPU_HAS
 411 static inline bool os_cpu_has(cpu_features feature)
 412 {
 413         return false;
 414 }
 415 #endif
 416
 417 #ifndef FIO_EMULATED_MKDIR_TWO
 418 # define fio_mkdir(path, mode)  mkdir(path, mode)
 419 #endif
 420
 421 #ifdef _SC_CLK_TCK
 422 static inline void os_clk_tck(long *clk_tck)
 423 {
 424         *clk_tck = sysconf(_SC_CLK_TCK);
 425 }
 426 #else
 427 extern void os_clk_tck(long *clk_tck);
 428 #endif
 429
 430 #endif /* FIO_OS_H */