engines/pmemblk.c

   1 /*
   2  * pmemblk: IO engine that uses NVML libpmemblk to read and write data
   3  *
   4  * Copyright (C) 2016 Hewlett Packard Enterprise Development LP
   5  *
   6  * This program is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU General Public License,
   8  * version 2 as published by the Free Software Foundation..
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13  * GNU General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public
  16  * License along with this program; if not, write to the Free
  17  * Software Foundation, Inc., 59 Temple Place, Suite 330,
  18  * Boston, MA 02111-1307 USA
  19  */
  20
  21 /*
  22  * pmemblk engine
  23  *
  24  * IO engine that uses libpmemblk to read and write data
  25  *
  26  * To use:
  27  *   ioengine=pmemblk
  28  *
  29  * Other relevant settings:
  30  *   thread=1   REQUIRED
  31  *   iodepth=1
  32  *   direct=1
  33  *   unlink=1
  34  *   filename=/mnt/pmem0/fiotestfile,BSIZE,FSIZEMiB
  35  *
  36  *   thread must be set to 1 for pmemblk as multiple processes cannot
  37  *     open the same block pool file.
  38  *
  39  *   iodepth should be set to 1 as pmemblk is always synchronous.
  40  *   Use numjobs to scale up.
  41  *
  42  *   direct=1 is implied as pmemblk is always direct. A warning message
  43  *   is printed if this is not specified.
  44  *
  45  *   unlink=1 removes the block pool file after testing, and is optional.
  46  *
  47  *   The pmem device must have a DAX-capable filesystem and be mounted
  48  *   with DAX enabled.  filename must point to a file on that filesystem.
  49  *
  50  *   Example:
  51  *     mkfs.xfs /dev/pmem0
  52  *     mkdir /mnt/pmem0
  53  *     mount -o dax /dev/pmem0 /mnt/pmem0
  54  *
  55  *   When specifying the filename, if the block pool file does not already
  56  *   exist, then the pmemblk engine creates the pool file if you specify
  57  *   the block and file sizes.  BSIZE is the block size in bytes.
  58  *   FSIZEMB is the pool file size in MiB.
  59  *
  60  *   See examples/pmemblk.fio for more.
  61  *
  62  */
  63
  64 #include <stdio.h>
  65 #include <stdlib.h>
  66 #include <unistd.h>
  67 #include <sys/uio.h>
  68 #include <errno.h>
  69 #include <assert.h>
  70 #include <string.h>
  71 #include <libpmem.h>
  72 #include <libpmemblk.h>
  73
  74 #include "../fio.h"
  75
  76 /*
  77  * libpmemblk
  78  */
  79 typedef struct fio_pmemblk_file *fio_pmemblk_file_t;
  80
  81 struct fio_pmemblk_file {
  82         fio_pmemblk_file_t pmb_next;
  83         char *pmb_filename;
  84         uint64_t pmb_refcnt;
  85         PMEMblkpool *pmb_pool;
  86         size_t pmb_bsize;
  87         size_t pmb_nblocks;
  88 };
  89 #define FIOFILEPMBSET(_f, _v)  do {                 \
  90         (_f)->engine_data = (uint64_t)(uintptr_t)(_v);  \
  91 } while(0)
  92 #define FIOFILEPMBGET(_f)  ((fio_pmemblk_file_t)((_f)->engine_data))
  93
  94 static fio_pmemblk_file_t Cache;
  95
  96 static pthread_mutex_t CacheLock = PTHREAD_MUTEX_INITIALIZER;
  97
  98 #define PMB_CREATE   (0x0001)   /* should create file */
  99
 100 fio_pmemblk_file_t fio_pmemblk_cache_lookup(const char *filename)
 101 {
 102         fio_pmemblk_file_t i;
 103
 104         for (i = Cache; i != NULL; i = i->pmb_next)
 105                 if (!strcmp(filename, i->pmb_filename))
 106                         return i;
 107
 108         return NULL;
 109 }
 110
 111 static void fio_pmemblk_cache_insert(fio_pmemblk_file_t pmb)
 112 {
 113         pmb->pmb_next = Cache;
 114         Cache = pmb;
 115 }
 116
 117 static void fio_pmemblk_cache_remove(fio_pmemblk_file_t pmb)
 118 {
 119         fio_pmemblk_file_t i;
 120
 121         if (pmb == Cache) {
 122                 Cache = Cache->pmb_next;
 123                 pmb->pmb_next = NULL;
 124                 return;
 125         }
 126
 127         for (i = Cache; i != NULL; i = i->pmb_next)
 128                 if (pmb == i->pmb_next) {
 129                         i->pmb_next = i->pmb_next->pmb_next;
 130                         pmb->pmb_next = NULL;
 131                         return;
 132                 }
 133 }
 134
 135 /*
 136  * to control block size and gross file size at the libpmemblk
 137  * level, we allow the block size and file size to be appended
 138  * to the file name:
 139  *
 140  *   path[,bsize,fsizemib]
 141  *
 142  * note that we do not use the fio option "filesize" to dictate
 143  * the file size because we can only give libpmemblk the gross
 144  * file size, which is different from the net or usable file
 145  * size (which is probably what fio wants).
 146  *
 147  * the final path without the parameters is returned in ppath.
 148  * the block size and file size are returned in pbsize and fsize.
 149  *
 150  * note that the user specifies the file size in MiB, but
 151  * we return bytes from here.
 152  */
 153 static void pmb_parse_path(const char *pathspec, char **ppath, uint64_t *pbsize,
 154                            uint64_t *pfsize)
 155 {
 156         char *path;
 157         char *s;
 158         uint64_t bsize;
 159         uint64_t fsizemib;
 160
 161         path = strdup(pathspec);
 162         if (!path) {
 163                 *ppath = NULL;
 164                 return;
 165         }
 166
 167         /* extract sizes, if given */
 168         s = strrchr(path, ',');
 169         if (s && (fsizemib = strtoull(s + 1, NULL, 10))) {
 170                 *s = 0;
 171                 s = strrchr(path, ',');
 172                 if (s && (bsize = strtoull(s + 1, NULL, 10))) {
 173                         *s = 0;
 174                         *ppath = path;
 175                         *pbsize = bsize;
 176                         *pfsize = fsizemib << 20;
 177                         return;
 178                 }
 179         }
 180
 181         /* size specs not found */
 182         strcpy(path, pathspec);
 183         *ppath = path;
 184         *pbsize = 0;
 185         *pfsize = 0;
 186 }
 187
 188 static fio_pmemblk_file_t pmb_open(const char *pathspec, int flags)
 189 {
 190         fio_pmemblk_file_t pmb;
 191         char *path = NULL;
 192         uint64_t bsize = 0;
 193         uint64_t fsize = 0;
 194
 195         pmb_parse_path(pathspec, &path, &bsize, &fsize);
 196         if (!path)
 197                 return NULL;
 198
 199         pthread_mutex_lock(&CacheLock);
 200
 201         pmb = fio_pmemblk_cache_lookup(path);
 202         if (!pmb) {
 203                 pmb = malloc(sizeof(*pmb));
 204                 if (!pmb)
 205                         goto error;
 206
 207                 /* try opening existing first, create it if needed */
 208                 pmb->pmb_pool = pmemblk_open(path, bsize);
 209                 if (!pmb->pmb_pool && (errno == ENOENT) &&
 210                     (flags & PMB_CREATE) && (0 < fsize) && (0 < bsize)) {
 211                         pmb->pmb_pool =
 212                             pmemblk_create(path, bsize, fsize, 0644);
 213                 }
 214                 if (!pmb->pmb_pool) {
 215                         log_err("pmemblk: unable to open pmemblk pool file %s (%s)\n",
 216                              path, strerror(errno));
 217                         goto error;
 218                 }
 219
 220                 pmb->pmb_filename = path;
 221                 pmb->pmb_next = NULL;
 222                 pmb->pmb_refcnt = 0;
 223                 pmb->pmb_bsize = pmemblk_bsize(pmb->pmb_pool);
 224                 pmb->pmb_nblocks = pmemblk_nblock(pmb->pmb_pool);
 225
 226                 fio_pmemblk_cache_insert(pmb);
 227         }
 228
 229         pmb->pmb_refcnt += 1;
 230
 231         pthread_mutex_unlock(&CacheLock);
 232
 233         return pmb;
 234
 235 error:
 236         if (pmb) {
 237                 if (pmb->pmb_pool)
 238                         pmemblk_close(pmb->pmb_pool);
 239                 pmb->pmb_pool = NULL;
 240                 pmb->pmb_filename = NULL;
 241                 free(pmb);
 242         }
 243         if (path)
 244                 free(path);
 245
 246         pthread_mutex_unlock(&CacheLock);
 247         return NULL;
 248 }
 249
 250 static void pmb_close(fio_pmemblk_file_t pmb, const bool keep)
 251 {
 252         pthread_mutex_lock(&CacheLock);
 253
 254         pmb->pmb_refcnt--;
 255
 256         if (!keep && !pmb->pmb_refcnt) {
 257                 pmemblk_close(pmb->pmb_pool);
 258                 pmb->pmb_pool = NULL;
 259                 free(pmb->pmb_filename);
 260                 pmb->pmb_filename = NULL;
 261                 fio_pmemblk_cache_remove(pmb);
 262                 free(pmb);
 263         }
 264
 265         pthread_mutex_unlock(&CacheLock);
 266 }
 267
 268 static int pmb_get_flags(struct thread_data *td, uint64_t *pflags)
 269 {
 270         static int thread_warned = 0;
 271         static int odirect_warned = 0;
 272
 273         uint64_t flags = 0;
 274
 275         if (!td->o.use_thread) {
 276                 if (!thread_warned) {
 277                         thread_warned = 1;
 278                         log_err("pmemblk: must set thread=1 for pmemblk engine\n");
 279                 }
 280                 return 1;
 281         }
 282
 283         if (!td->o.odirect && !odirect_warned) {
 284                 odirect_warned = 1;
 285                 log_info("pmemblk: direct == 0, but pmemblk is always direct\n");
 286         }
 287
 288         if (td->o.allow_create)
 289                 flags |= PMB_CREATE;
 290
 291         (*pflags) = flags;
 292         return 0;
 293 }
 294
 295 static int fio_pmemblk_open_file(struct thread_data *td, struct fio_file *f)
 296 {
 297         uint64_t flags = 0;
 298         fio_pmemblk_file_t pmb;
 299
 300         if (pmb_get_flags(td, &flags))
 301                 return 1;
 302
 303         pmb = pmb_open(f->file_name, flags);
 304         if (!pmb)
 305                 return 1;
 306
 307         FIOFILEPMBSET(f, pmb);
 308         return 0;
 309 }
 310
 311 static int fio_pmemblk_close_file(struct thread_data fio_unused *td,
 312                                   struct fio_file *f)
 313 {
 314         fio_pmemblk_file_t pmb = FIOFILEPMBGET(f);
 315
 316         if (pmb)
 317                 pmb_close(pmb, false);
 318
 319         FIOFILEPMBSET(f, NULL);
 320         return 0;
 321 }
 322
 323 static int fio_pmemblk_get_file_size(struct thread_data *td, struct fio_file *f)
 324 {
 325         uint64_t flags = 0;
 326         fio_pmemblk_file_t pmb = FIOFILEPMBGET(f);
 327
 328         if (fio_file_size_known(f))
 329                 return 0;
 330
 331         if (!pmb) {
 332                 if (pmb_get_flags(td, &flags))
 333                         return 1;
 334                 pmb = pmb_open(f->file_name, flags);
 335                 if (!pmb)
 336                         return 1;
 337         }
 338
 339         f->real_file_size = pmb->pmb_bsize * pmb->pmb_nblocks;
 340
 341         fio_file_set_size_known(f);
 342
 343         if (!FIOFILEPMBGET(f))
 344                 pmb_close(pmb, true);
 345
 346         return 0;
 347 }
 348
 349 static int fio_pmemblk_queue(struct thread_data *td, struct io_u *io_u)
 350 {
 351         struct fio_file *f = io_u->file;
 352         fio_pmemblk_file_t pmb = FIOFILEPMBGET(f);
 353
 354         unsigned long long off;
 355         unsigned long len;
 356         void *buf;
 357
 358         fio_ro_check(td, io_u);
 359
 360         switch (io_u->ddir) {
 361         case DDIR_READ:
 362         case DDIR_WRITE:
 363                 off = io_u->offset;
 364                 len = io_u->xfer_buflen;
 365
 366                 io_u->error = EINVAL;
 367                 if (off % pmb->pmb_bsize)
 368                         break;
 369                 if (len % pmb->pmb_bsize)
 370                         break;
 371                 if ((off + len) / pmb->pmb_bsize > pmb->pmb_nblocks)
 372                         break;
 373
 374                 io_u->error = 0;
 375                 buf = io_u->xfer_buf;
 376                 off /= pmb->pmb_bsize;
 377                 len /= pmb->pmb_bsize;
 378                 while (0 < len) {
 379                         if (io_u->ddir == DDIR_READ &&
 380                            0 != pmemblk_read(pmb->pmb_pool, buf, off)) {
 381                                 io_u->error = errno;
 382                                 break;
 383                         } else if (0 != pmemblk_write(pmb->pmb_pool, buf, off)) {
 384                                 io_u->error = errno;
 385                                 break;
 386                         }
 387                         buf += pmb->pmb_bsize;
 388                         off++;
 389                         len--;
 390                 }
 391                 off *= pmb->pmb_bsize;
 392                 len *= pmb->pmb_bsize;
 393                 io_u->resid = io_u->xfer_buflen - (off - io_u->offset);
 394                 break;
 395         case DDIR_SYNC:
 396         case DDIR_DATASYNC:
 397         case DDIR_SYNC_FILE_RANGE:
 398                 /* we're always sync'd */
 399                 io_u->error = 0;
 400                 break;
 401         default:
 402                 io_u->error = EINVAL;
 403                 break;
 404         }
 405
 406         return FIO_Q_COMPLETED;
 407 }
 408
 409 static int fio_pmemblk_unlink_file(struct thread_data *td, struct fio_file *f)
 410 {
 411         char *path = NULL;
 412         uint64_t bsize = 0;
 413         uint64_t fsize = 0;
 414
 415         /*
 416          * we need our own unlink in case the user has specified
 417          * the block and file sizes in the path name.  we parse
 418          * the file_name to determine the file name we actually used.
 419          */
 420
 421         pmb_parse_path(f->file_name, &path, &bsize, &fsize);
 422         if (!path)
 423                 return ENOENT;
 424
 425         unlink(path);
 426         free(path);
 427         return 0;
 428 }
 429
 430 static struct ioengine_ops ioengine = {
 431         .name = "pmemblk",
 432         .version = FIO_IOOPS_VERSION,
 433         .queue = fio_pmemblk_queue,
 434         .open_file = fio_pmemblk_open_file,
 435         .close_file = fio_pmemblk_close_file,
 436         .get_file_size = fio_pmemblk_get_file_size,
 437         .unlink_file = fio_pmemblk_unlink_file,
 438         .flags = FIO_SYNCIO | FIO_DISKLESSIO | FIO_NOEXTEND | FIO_NODISKUTIL,
 439 };
 440
 441 static void fio_init fio_pmemblk_register(void)
 442 {
 443         register_ioengine(&ioengine);
 444 }
 445
 446 static void fio_exit fio_pmemblk_unregister(void)
 447 {
 448         unregister_ioengine(&ioengine);
 449 }