engines/mmap.c

   1 /*
   2  * regular read/write sync io engine
   3  *
   4  */
   5 #include <stdio.h>
   6 #include <stdlib.h>
   7 #include <unistd.h>
   8 #include <errno.h>
   9 #include <assert.h>
  10 #include <sys/mman.h>
  11
  12 #include "../fio.h"
  13 #include "../os.h"
  14
  15 static int fio_mmapio_queue(struct thread_data *td, struct io_u *io_u)
  16 {
  17         struct fio_file *f = io_u->file;
  18         unsigned long long real_off = io_u->offset - f->file_offset;
  19
  20         if (io_u->ddir == DDIR_READ)
  21                 memcpy(io_u->xfer_buf, f->mmap + real_off, io_u->xfer_buflen);
  22         else if (io_u->ddir == DDIR_WRITE)
  23                 memcpy(f->mmap + real_off, io_u->xfer_buf, io_u->xfer_buflen);
  24         else if (io_u->ddir == DDIR_SYNC) {
  25                 if (msync(f->mmap, f->file_size, MS_SYNC))
  26                         io_u->error = errno;
  27         }
  28
  29         /*
  30          * not really direct, but should drop the pages from the cache
  31          */
  32         if (td->odirect && io_u->ddir != DDIR_SYNC) {
  33                 if (msync(f->mmap + real_off, io_u->xfer_buflen, MS_SYNC) < 0)
  34                         io_u->error = errno;
  35                 if (madvise(f->mmap + real_off, io_u->xfer_buflen,  MADV_DONTNEED) < 0)
  36                         io_u->error = errno;
  37         }
  38
  39         if (io_u->error)
  40                 td_verror(td, io_u->error, "sync");
  41
  42         return FIO_Q_COMPLETED;
  43 }
  44
  45 static int fio_mmapio_open(struct thread_data *td, struct fio_file *f)
  46 {
  47         int ret, flags;
  48
  49         ret = generic_open_file(td, f);
  50         if (ret)
  51                 return ret;
  52
  53         if (td_rw(td))
  54                 flags = PROT_READ | PROT_WRITE;
  55         else if (td_write(td)) {
  56                 flags = PROT_WRITE;
  57
  58                 if (td->verify != VERIFY_NONE)
  59                         flags |= PROT_READ;
  60         } else
  61                 flags = PROT_READ;
  62
  63         f->mmap = mmap(NULL, f->file_size, flags, MAP_SHARED, f->fd, f->file_offset);
  64         if (f->mmap == MAP_FAILED) {
  65                 f->mmap = NULL;
  66                 td_verror(td, errno, "mmap");
  67                 goto err;
  68         }
  69
  70         if (file_invalidate_cache(td, f))
  71                 goto err;
  72
  73         if (!td_random(td)) {
  74                 if (madvise(f->mmap, f->file_size, MADV_SEQUENTIAL) < 0) {
  75                         td_verror(td, errno, "madvise");
  76                         goto err;
  77                 }
  78         } else {
  79                 if (madvise(f->mmap, f->file_size, MADV_RANDOM) < 0) {
  80                         td_verror(td, errno, "madvise");
  81                         goto err;
  82                 }
  83         }
  84
  85         return 0;
  86
  87 err:
  88         td->io_ops->close_file(td, f);
  89         return 1;
  90 }
  91
  92 static void fio_mmapio_close(struct thread_data fio_unused *td,
  93                              struct fio_file *f)
  94 {
  95         if (f->mmap) {
  96                 munmap(f->mmap, f->file_size);
  97                 f->mmap = NULL;
  98         }
  99         generic_close_file(td, f);
 100 }
 101
 102 static struct ioengine_ops ioengine = {
 103         .name           = "mmap",
 104         .version        = FIO_IOOPS_VERSION,
 105         .queue          = fio_mmapio_queue,
 106         .open_file      = fio_mmapio_open,
 107         .close_file     = fio_mmapio_close,
 108         .flags          = FIO_SYNCIO | FIO_NOEXTEND,
 109 };
 110
 111 static void fio_init fio_mmapio_register(void)
 112 {
 113         register_ioengine(&ioengine);
 114 }
 115
 116 static void fio_exit fio_mmapio_unregister(void)
 117 {
 118         unregister_ioengine(&ioengine);
 119 }