os/os.h

   1 #ifndef FIO_OS_H
   2 #define FIO_OS_H
   3
   4 #include <sys/types.h>
   5 #include <sys/socket.h>
   6 #include <fcntl.h>
   7 #include <pthread.h>
   8 #include <unistd.h>
   9 #include <stdlib.h>
  10 #include <errno.h>
  11
  12 #include "../arch/arch.h" /* IWYU pragma: export */
  13 #include "../lib/types.h"
  14
  15 enum {
  16         os_linux = 1,
  17         os_aix,
  18         os_freebsd,
  19         os_hpux,
  20         os_mac,
  21         os_netbsd,
  22         os_openbsd,
  23         os_solaris,
  24         os_windows,
  25         os_android,
  26         os_dragonfly,
  27
  28         os_nr,
  29 };
  30
  31 typedef enum {
  32         CPU_ARM64_CRC32C,
  33 } cpu_features;
  34
  35 /* IWYU pragma: begin_exports */
  36 #if defined(__ANDROID__)
  37 #include "os-android.h"
  38 #elif defined(__linux__)
  39 #include "os-linux.h"
  40 #elif defined(__FreeBSD__)
  41 #include "os-freebsd.h"
  42 #elif defined(__OpenBSD__)
  43 #include "os-openbsd.h"
  44 #elif defined(__NetBSD__)
  45 #include "os-netbsd.h"
  46 #elif defined(__sun__)
  47 #include "os-solaris.h"
  48 #elif defined(__APPLE__)
  49 #include "os-mac.h"
  50 #elif defined(_AIX)
  51 #include "os-aix.h"
  52 #elif defined(__hpux)
  53 #include "os-hpux.h"
  54 #elif defined(WIN32)
  55 #include "os-windows.h"
  56 #elif defined (__DragonFly__)
  57 #include "os-dragonfly.h"
  58 #else
  59 #error "unsupported os"
  60 #endif
  61
  62 #ifndef EDQUOT
  63 #define EDQUOT  EIO
  64 #endif
  65
  66 #ifdef CONFIG_POSIXAIO
  67 #include <aio.h>
  68 #ifndef FIO_OS_HAVE_AIOCB_TYPEDEF
  69 typedef struct aiocb os_aiocb_t;
  70 #endif
  71 #endif
  72
  73 #ifndef CONFIG_STRSEP
  74 #include "../oslib/strsep.h"
  75 #endif
  76
  77 #ifndef CONFIG_STRLCAT
  78 #include "../oslib/strlcat.h"
  79 #endif
  80 /* IWYU pragma: end_exports */
  81
  82 #ifdef MSG_DONTWAIT
  83 #define OS_MSG_DONTWAIT MSG_DONTWAIT
  84 #endif
  85
  86 #ifndef POSIX_FADV_DONTNEED
  87 #define POSIX_FADV_DONTNEED     (0)
  88 #define POSIX_FADV_SEQUENTIAL   (0)
  89 #define POSIX_FADV_RANDOM       (0)
  90 #define POSIX_FADV_NORMAL       (0)
  91 #endif
  92
  93 #ifndef FIO_HAVE_CPU_AFFINITY
  94 #define fio_cpu_clear(mask, cpu)        do { } while (0)
  95 typedef unsigned long os_cpu_mask_t;
  96
  97 static inline int fio_setaffinity(int pid, os_cpu_mask_t cpumask)
  98 {
  99         return 0;
 100 }
 101
 102 static inline int fio_getaffinity(int pid, os_cpu_mask_t *cpumask)
 103 {
 104         return -1;
 105 }
 106
 107 static inline int fio_cpuset_exit(os_cpu_mask_t *mask)
 108 {
 109         return -1;
 110 }
 111
 112 static inline int fio_cpus_split(os_cpu_mask_t *mask, unsigned int cpu_index)
 113 {
 114         return 0;
 115 }
 116 #else
 117 extern int fio_cpus_split(os_cpu_mask_t *mask, unsigned int cpu);
 118 #endif
 119
 120 #ifndef FIO_HAVE_IOPRIO
 121 #define ioprio_set(which, who, prioclass, prio) (0)
 122 #endif
 123
 124 #ifndef FIO_HAVE_ODIRECT
 125 #define OS_O_DIRECT                     0
 126 #else
 127 #define OS_O_DIRECT                     O_DIRECT
 128 #endif
 129
 130 #ifdef OS_O_ATOMIC
 131 #define FIO_O_ATOMIC                    OS_O_ATOMIC
 132 #else
 133 #define FIO_O_ATOMIC                    0
 134 #endif
 135
 136 #ifndef FIO_HAVE_HUGETLB
 137 #define SHM_HUGETLB                     0
 138 #define MAP_HUGETLB                     0
 139 #ifndef FIO_HUGE_PAGE
 140 #define FIO_HUGE_PAGE                   0
 141 #endif
 142 #else
 143 #ifndef FIO_HUGE_PAGE
 144 #define FIO_HUGE_PAGE                   4194304
 145 #endif
 146 #endif
 147
 148 #ifndef FIO_HAVE_MMAP_HUGE
 149 #define MAP_HUGETLB                     0
 150 #endif
 151
 152 #ifndef FIO_O_NOATIME
 153 #define FIO_O_NOATIME                   0
 154 #endif
 155
 156 #ifndef OS_RAND_MAX
 157 #define OS_RAND_MAX                     RAND_MAX
 158 #endif
 159
 160 #ifndef FIO_PREFERRED_ENGINE
 161 #define FIO_PREFERRED_ENGINE    "psync"
 162 #endif
 163
 164 #ifndef FIO_OS_PATH_SEPARATOR
 165 #define FIO_OS_PATH_SEPARATOR   '/'
 166 #endif
 167
 168 #ifndef FIO_PREFERRED_CLOCK_SOURCE
 169 #ifdef CONFIG_CLOCK_GETTIME
 170 #define FIO_PREFERRED_CLOCK_SOURCE      CS_CGETTIME
 171 #else
 172 #define FIO_PREFERRED_CLOCK_SOURCE      CS_GTOD
 173 #endif
 174 #endif
 175
 176 #ifndef CONFIG_SOCKLEN_T
 177 typedef unsigned int socklen_t;
 178 #endif
 179
 180 #ifndef FIO_OS_HAS_CTIME_R
 181 #define os_ctime_r(x, y, z)     (void) ctime_r((x), (y))
 182 #endif
 183
 184 #ifdef FIO_USE_GENERIC_SWAP
 185 static inline uint16_t fio_swap16(uint16_t val)
 186 {
 187         return (val << 8) | (val >> 8);
 188 }
 189
 190 static inline uint32_t fio_swap32(uint32_t val)
 191 {
 192         val = ((val & 0xff00ff00UL) >> 8) | ((val & 0x00ff00ffUL) << 8);
 193
 194         return (val >> 16) | (val << 16);
 195 }
 196
 197 static inline uint64_t fio_swap64(uint64_t val)
 198 {
 199         val = ((val & 0xff00ff00ff00ff00ULL) >> 8) |
 200               ((val & 0x00ff00ff00ff00ffULL) << 8);
 201         val = ((val & 0xffff0000ffff0000ULL) >> 16) |
 202               ((val & 0x0000ffff0000ffffULL) << 16);
 203
 204         return (val >> 32) | (val << 32);
 205 }
 206 #endif
 207
 208 #ifndef FIO_HAVE_BYTEORDER_FUNCS
 209 #ifdef CONFIG_LITTLE_ENDIAN
 210 #define __be16_to_cpu(x)                fio_swap16(x)
 211 #define __be32_to_cpu(x)                fio_swap32(x)
 212 #define __be64_to_cpu(x)                fio_swap64(x)
 213 #define __le16_to_cpu(x)                (x)
 214 #define __le32_to_cpu(x)                (x)
 215 #define __le64_to_cpu(x)                (x)
 216 #define __cpu_to_be16(x)                fio_swap16(x)
 217 #define __cpu_to_be32(x)                fio_swap32(x)
 218 #define __cpu_to_be64(x)                fio_swap64(x)
 219 #define __cpu_to_le16(x)                (x)
 220 #define __cpu_to_le32(x)                (x)
 221 #define __cpu_to_le64(x)                (x)
 222 #else
 223 #define __be16_to_cpu(x)                (x)
 224 #define __be32_to_cpu(x)                (x)
 225 #define __be64_to_cpu(x)                (x)
 226 #define __le16_to_cpu(x)                fio_swap16(x)
 227 #define __le32_to_cpu(x)                fio_swap32(x)
 228 #define __le64_to_cpu(x)                fio_swap64(x)
 229 #define __cpu_to_be16(x)                (x)
 230 #define __cpu_to_be32(x)                (x)
 231 #define __cpu_to_be64(x)                (x)
 232 #define __cpu_to_le16(x)                fio_swap16(x)
 233 #define __cpu_to_le32(x)                fio_swap32(x)
 234 #define __cpu_to_le64(x)                fio_swap64(x)
 235 #endif
 236 #endif /* FIO_HAVE_BYTEORDER_FUNCS */
 237
 238 #ifdef FIO_INTERNAL
 239 #define be16_to_cpu(val) ({                     \
 240         typecheck(uint16_t, val);               \
 241         __be16_to_cpu(val);                     \
 242 })
 243 #define be32_to_cpu(val) ({                     \
 244         typecheck(uint32_t, val);               \
 245         __be32_to_cpu(val);                     \
 246 })
 247 #define be64_to_cpu(val) ({                     \
 248         typecheck(uint64_t, val);               \
 249         __be64_to_cpu(val);                     \
 250 })
 251 #define le16_to_cpu(val) ({                     \
 252         typecheck(uint16_t, val);               \
 253         __le16_to_cpu(val);                     \
 254 })
 255 #define le32_to_cpu(val) ({                     \
 256         typecheck(uint32_t, val);               \
 257         __le32_to_cpu(val);                     \
 258 })
 259 #define le64_to_cpu(val) ({                     \
 260         typecheck(uint64_t, val);               \
 261         __le64_to_cpu(val);                     \
 262 })
 263 #endif
 264
 265 #define cpu_to_be16(val) ({                     \
 266         typecheck(uint16_t, val);               \
 267         __cpu_to_be16(val);                     \
 268 })
 269 #define cpu_to_be32(val) ({                     \
 270         typecheck(uint32_t, val);               \
 271         __cpu_to_be32(val);                     \
 272 })
 273 #define cpu_to_be64(val) ({                     \
 274         typecheck(uint64_t, val);               \
 275         __cpu_to_be64(val);                     \
 276 })
 277 #define cpu_to_le16(val) ({                     \
 278         typecheck(uint16_t, val);               \
 279         __cpu_to_le16(val);                     \
 280 })
 281 #define cpu_to_le32(val) ({                     \
 282         typecheck(uint32_t, val);               \
 283         __cpu_to_le32(val);                     \
 284 })
 285 #define cpu_to_le64(val) ({                     \
 286         typecheck(uint64_t, val);               \
 287         __cpu_to_le64(val);                     \
 288 })
 289
 290 #define FIO_DEF_CL_SIZE         128
 291
 292 static inline int os_cache_line_size(void)
 293 {
 294 #ifdef FIO_HAVE_CL_SIZE
 295         int ret = arch_cache_line_size();
 296
 297         if (ret <= 0)
 298                 return FIO_DEF_CL_SIZE;
 299
 300         return ret;
 301 #else
 302         return FIO_DEF_CL_SIZE;
 303 #endif
 304 }
 305
 306 #ifdef FIO_USE_GENERIC_BDEV_SIZE
 307 static inline int blockdev_size(struct fio_file *f, unsigned long long *bytes)
 308 {
 309         off_t end;
 310
 311         *bytes = 0;
 312
 313         end = lseek(f->fd, 0, SEEK_END);
 314         if (end < 0)
 315                 return errno;
 316
 317         *bytes = end;
 318         return 0;
 319 }
 320 #endif
 321
 322 #ifdef FIO_USE_GENERIC_INIT_RANDOM_STATE
 323 static inline int init_random_seeds(uint64_t *rand_seeds, int size)
 324 {
 325         int fd;
 326
 327         fd = open("/dev/urandom", O_RDONLY);
 328         if (fd == -1) {
 329                 return 1;
 330         }
 331
 332         if (read(fd, rand_seeds, size) < size) {
 333                 close(fd);
 334                 return 1;
 335         }
 336
 337         close(fd);
 338         return 0;
 339 }
 340 #endif
 341
 342 #ifndef FIO_HAVE_FS_STAT
 343 static inline unsigned long long get_fs_free_size(const char *path)
 344 {
 345         return 0;
 346 }
 347 #endif
 348
 349 #ifndef FIO_HAVE_CPU_ONLINE_SYSCONF
 350 static inline unsigned int cpus_online(void)
 351 {
 352         return sysconf(_SC_NPROCESSORS_ONLN);
 353 }
 354 #endif
 355
 356 #ifndef CPU_COUNT
 357 #ifdef FIO_HAVE_CPU_AFFINITY
 358 static inline int CPU_COUNT(os_cpu_mask_t *mask)
 359 {
 360         int max_cpus = cpus_online();
 361         int nr_cpus, i;
 362
 363         for (i = 0, nr_cpus = 0; i < max_cpus; i++)
 364                 if (fio_cpu_isset(mask, i))
 365                         nr_cpus++;
 366
 367         return nr_cpus;
 368 }
 369 #endif
 370 #endif
 371
 372 #ifndef FIO_HAVE_GETTID
 373 #ifndef CONFIG_HAVE_GETTID
 374 static inline int gettid(void)
 375 {
 376         return getpid();
 377 }
 378 #endif
 379 #endif
 380
 381 #ifndef FIO_HAVE_SHM_ATTACH_REMOVED
 382 static inline int shm_attach_to_open_removed(void)
 383 {
 384         return 0;
 385 }
 386 #endif
 387
 388 #ifndef FIO_HAVE_NATIVE_FALLOCATE
 389 static inline bool fio_fallocate(struct fio_file *f, uint64_t offset, uint64_t len)
 390 {
 391         errno = ENOSYS;
 392         return false;
 393 }
 394 #endif
 395
 396 #if defined(CONFIG_POSIX_FALLOCATE) || defined(FIO_HAVE_NATIVE_FALLOCATE)
 397 # define FIO_HAVE_DEFAULT_FALLOCATE
 398 #endif
 399
 400 #ifndef FIO_HAVE_CPU_HAS
 401 static inline bool os_cpu_has(cpu_features feature)
 402 {
 403         return false;
 404 }
 405 #endif
 406
 407 #ifndef FIO_EMULATED_MKDIR_TWO
 408 # define fio_mkdir(path, mode)  mkdir(path, mode)
 409 #endif
 410
 411 #endif /* FIO_OS_H */