engines/libaio.c

   1 /*
   2  * native linux aio io engine
   3  *
   4  */
   5 #include <stdio.h>
   6 #include <stdlib.h>
   7 #include <unistd.h>
   8 #include <errno.h>
   9 #include <assert.h>
  10
  11 #include "../fio.h"
  12 #include "../os.h"
  13
  14 #ifdef FIO_HAVE_LIBAIO
  15
  16 #define ev_to_iou(ev)   (struct io_u *) ((unsigned long) (ev)->obj)
  17
  18 struct libaio_data {
  19         io_context_t aio_ctx;
  20         struct io_event *aio_events;
  21 };
  22
  23 static int fio_libaio_prep(struct thread_data fio_unused *td, struct io_u *io_u)
  24 {
  25         struct fio_file *f = io_u->file;
  26
  27         if (io_u->ddir == DDIR_READ)
  28                 io_prep_pread(&io_u->iocb, f->fd, io_u->xfer_buf, io_u->xfer_buflen, io_u->offset);
  29         else if (io_u->ddir == DDIR_WRITE)
  30                 io_prep_pwrite(&io_u->iocb, f->fd, io_u->xfer_buf, io_u->xfer_buflen, io_u->offset);
  31         else if (io_u->ddir == DDIR_SYNC)
  32                 io_prep_fsync(&io_u->iocb, f->fd);
  33         else
  34                 return 1;
  35
  36         return 0;
  37 }
  38
  39 static struct io_u *fio_libaio_event(struct thread_data *td, int event)
  40 {
  41         struct libaio_data *ld = td->io_ops->data;
  42
  43         return ev_to_iou(ld->aio_events + event);
  44 }
  45
  46 static int fio_libaio_getevents(struct thread_data *td, int min, int max,
  47                                 struct timespec *t)
  48 {
  49         struct libaio_data *ld = td->io_ops->data;
  50         long r;
  51
  52         do {
  53                 r = io_getevents(ld->aio_ctx, min, max, ld->aio_events, t);
  54                 if (r >= min)
  55                         break;
  56                 else if (r == -EAGAIN) {
  57                         usleep(100);
  58                         continue;
  59                 } else if (r == -EINTR)
  60                         continue;
  61                 else if (r != 0)
  62                         break;
  63         } while (1);
  64
  65         if (r < 0)
  66                 r = -r;
  67
  68         return (int) r;
  69 }
  70
  71 static int fio_libaio_queue(struct thread_data *td, struct io_u *io_u)
  72 {
  73         struct libaio_data *ld = td->io_ops->data;
  74         struct iocb *iocb = &io_u->iocb;
  75         long ret;
  76
  77         do {
  78                 ret = io_submit(ld->aio_ctx, 1, &iocb);
  79                 if (ret == 1)
  80                         return FIO_Q_QUEUED;
  81                 else if (ret == -EAGAIN || !ret)
  82                         usleep(100);
  83                 else if (ret == -EINTR)
  84                         continue;
  85                 else if (ret == -EINVAL && io_u->ddir == DDIR_SYNC) {
  86                         /*
  87                          * the async fsync doesn't currently seem to be
  88                          * supported, so just fsync if we fail with EINVAL
  89                          * for a sync. since buffered io is also sync
  90                          * with libaio (still), we don't have pending
  91                          * requests to flush first.
  92                          */
  93                         if (fsync(io_u->file->fd) < 0)
  94                                 ret = errno;
  95                         else
  96                                 ret = FIO_Q_COMPLETED;
  97                         break;
  98                 } else
  99                         break;
 100         } while (1);
 101
 102         if (ret <= 0) {
 103                 io_u->resid = io_u->xfer_buflen;
 104                 io_u->error = -ret;
 105                 td_verror(td, io_u->error);
 106                 return FIO_Q_COMPLETED;
 107         }
 108
 109         return ret;
 110 }
 111
 112 static int fio_libaio_cancel(struct thread_data *td, struct io_u *io_u)
 113 {
 114         struct libaio_data *ld = td->io_ops->data;
 115
 116         return io_cancel(ld->aio_ctx, &io_u->iocb, ld->aio_events);
 117 }
 118
 119 static void fio_libaio_cleanup(struct thread_data *td)
 120 {
 121         struct libaio_data *ld = td->io_ops->data;
 122
 123         if (ld) {
 124                 io_destroy(ld->aio_ctx);
 125                 if (ld->aio_events)
 126                         free(ld->aio_events);
 127
 128                 free(ld);
 129                 td->io_ops->data = NULL;
 130         }
 131 }
 132
 133 static int fio_libaio_init(struct thread_data *td)
 134 {
 135         struct libaio_data *ld = malloc(sizeof(*ld));
 136
 137         memset(ld, 0, sizeof(*ld));
 138         if (io_queue_init(td->iodepth, &ld->aio_ctx)) {
 139                 td_verror(td, errno);
 140                 free(ld);
 141                 return 1;
 142         }
 143
 144         ld->aio_events = malloc(td->iodepth * sizeof(struct io_event));
 145         memset(ld->aio_events, 0, td->iodepth * sizeof(struct io_event));
 146         td->io_ops->data = ld;
 147         return 0;
 148 }
 149
 150 static struct ioengine_ops ioengine = {
 151         .name           = "libaio",
 152         .version        = FIO_IOOPS_VERSION,
 153         .init           = fio_libaio_init,
 154         .prep           = fio_libaio_prep,
 155         .queue          = fio_libaio_queue,
 156         .cancel         = fio_libaio_cancel,
 157         .getevents      = fio_libaio_getevents,
 158         .event          = fio_libaio_event,
 159         .cleanup        = fio_libaio_cleanup,
 160 };
 161
 162 #else /* FIO_HAVE_LIBAIO */
 163
 164 /*
 165  * When we have a proper configure system in place, we simply wont build
 166  * and install this io engine. For now install a crippled version that
 167  * just complains and fails to load.
 168  */
 169 static int fio_libaio_init(struct thread_data fio_unused *td)
 170 {
 171         fprintf(stderr, "fio: libaio not available\n");
 172         return 1;
 173 }
 174
 175 static struct ioengine_ops ioengine = {
 176         .name           = "libaio",
 177         .version        = FIO_IOOPS_VERSION,
 178         .init           = fio_libaio_init,
 179 };
 180
 181 #endif
 182
 183 static void fio_init fio_libaio_register(void)
 184 {
 185         register_ioengine(&ioengine);
 186 }
 187
 188 static void fio_exit fio_libaio_unregister(void)
 189 {
 190         unregister_ioengine(&ioengine);
 191 }