engines/rdma.c

   1 /*
   2  * RDMA I/O engine
   3  *
   4  * RDMA I/O engine based on the IB verbs and RDMA/CM user space libraries.
   5  * Supports both RDMA memory semantics and channel semantics
   6  *   for the InfiniBand, RoCE and iWARP protocols.
   7  *
   8  * You will need the Linux RDMA software installed, either
   9  * from your Linux distributor or directly from openfabrics.org:
  10  *
  11  * http://www.openfabrics.org/downloads/OFED/
  12  *
  13  * Exchanging steps of RDMA ioengine control messages:
  14  *      1. client side sends test mode (RDMA_WRITE/RDMA_READ/SEND)
  15  *         to server side.
  16  *      2. server side parses test mode, and sends back confirmation
  17  *         to client side. In RDMA WRITE/READ test, this confirmation
  18  *         includes memory information, such as rkey, address.
  19  *      3. client side initiates test loop.
  20  *      4. In RDMA WRITE/READ test, client side sends a completion
  21  *         notification to server side. Server side updates its
  22  *         td->done as true.
  23  *
  24  */
  25 #include <stdio.h>
  26 #include <stdlib.h>
  27 #include <unistd.h>
  28 #include <errno.h>
  29 #include <assert.h>
  30 #include <netinet/in.h>
  31 #include <arpa/inet.h>
  32 #include <netdb.h>
  33 #include <poll.h>
  34 #include <sys/types.h>
  35 #include <sys/socket.h>
  36 #include <sys/time.h>
  37 #include <sys/resource.h>
  38
  39 #include <pthread.h>
  40 #include <inttypes.h>
  41
  42 #include "../fio.h"
  43 #include "../hash.h"
  44 #include "../optgroup.h"
  45
  46 #include <rdma/rdma_cma.h>
  47
  48 #define FIO_RDMA_MAX_IO_DEPTH    512
  49
  50 enum rdma_io_mode {
  51         FIO_RDMA_UNKNOWN = 0,
  52         FIO_RDMA_MEM_WRITE,
  53         FIO_RDMA_MEM_READ,
  54         FIO_RDMA_CHA_SEND,
  55         FIO_RDMA_CHA_RECV
  56 };
  57
  58 struct rdmaio_options {
  59         struct thread_data *td;
  60         unsigned int port;
  61         enum rdma_io_mode verb;
  62         char *bindname;
  63 };
  64
  65 static int str_hostname_cb(void *data, const char *input)
  66 {
  67         struct rdmaio_options *o = data;
  68
  69         if (o->td->o.filename)
  70                 free(o->td->o.filename);
  71         o->td->o.filename = strdup(input);
  72         return 0;
  73 }
  74
  75 static struct fio_option options[] = {
  76         {
  77                 .name   = "hostname",
  78                 .lname  = "rdma engine hostname",
  79                 .type   = FIO_OPT_STR_STORE,
  80                 .cb     = str_hostname_cb,
  81                 .help   = "Hostname for RDMA IO engine",
  82                 .category = FIO_OPT_C_ENGINE,
  83                 .group  = FIO_OPT_G_RDMA,
  84         },
  85         {
  86                 .name   = "bindname",
  87                 .lname  = "rdma engine bindname",
  88                 .type   = FIO_OPT_STR_STORE,
  89                 .off1   = offsetof(struct rdmaio_options, bindname),
  90                 .help   = "Bind for RDMA IO engine",
  91                 .def    = "",
  92                 .category = FIO_OPT_C_ENGINE,
  93                 .group  = FIO_OPT_G_RDMA,
  94         },
  95         {
  96                 .name   = "port",
  97                 .lname  = "rdma engine port",
  98                 .type   = FIO_OPT_INT,
  99                 .off1   = offsetof(struct rdmaio_options, port),
 100                 .minval = 1,
 101                 .maxval = 65535,
 102                 .help   = "Port to use for RDMA connections",
 103                 .category = FIO_OPT_C_ENGINE,
 104                 .group  = FIO_OPT_G_RDMA,
 105         },
 106         {
 107                 .name   = "verb",
 108                 .lname  = "RDMA engine verb",
 109                 .alias  = "proto",
 110                 .type   = FIO_OPT_STR,
 111                 .off1   = offsetof(struct rdmaio_options, verb),
 112                 .help   = "RDMA engine verb",
 113                 .def    = "write",
 114                 .posval = {
 115                           { .ival = "write",
 116                             .oval = FIO_RDMA_MEM_WRITE,
 117                             .help = "Memory Write",
 118                           },
 119                           { .ival = "read",
 120                             .oval = FIO_RDMA_MEM_READ,
 121                             .help = "Memory Read",
 122                           },
 123                           { .ival = "send",
 124                             .oval = FIO_RDMA_CHA_SEND,
 125                             .help = "Posted Send",
 126                           },
 127                           { .ival = "recv",
 128                             .oval = FIO_RDMA_CHA_RECV,
 129                             .help = "Posted Receive",
 130                           },
 131                 },
 132                 .category = FIO_OPT_C_ENGINE,
 133                 .group  = FIO_OPT_G_RDMA,
 134         },
 135         {
 136                 .name   = NULL,
 137         },
 138 };
 139
 140 struct remote_u {
 141         uint64_t buf;
 142         uint32_t rkey;
 143         uint32_t size;
 144 };
 145
 146 struct rdma_info_blk {
 147         uint32_t mode;          /* channel semantic or memory semantic */
 148         uint32_t nr;            /* client: io depth
 149                                    server: number of records for memory semantic
 150                                  */
 151         uint32_t max_bs;        /* maximum block size */
 152         struct remote_u rmt_us[FIO_RDMA_MAX_IO_DEPTH];
 153 };
 154
 155 struct rdma_io_u_data {
 156         uint64_t wr_id;
 157         struct ibv_send_wr sq_wr;
 158         struct ibv_recv_wr rq_wr;
 159         struct ibv_sge rdma_sgl;
 160 };
 161
 162 struct rdmaio_data {
 163         int is_client;
 164         enum rdma_io_mode rdma_protocol;
 165         char host[64];
 166         struct sockaddr_in addr;
 167
 168         struct ibv_recv_wr rq_wr;
 169         struct ibv_sge recv_sgl;
 170         struct rdma_info_blk recv_buf;
 171         struct ibv_mr *recv_mr;
 172
 173         struct ibv_send_wr sq_wr;
 174         struct ibv_sge send_sgl;
 175         struct rdma_info_blk send_buf;
 176         struct ibv_mr *send_mr;
 177
 178         struct ibv_comp_channel *channel;
 179         struct ibv_cq *cq;
 180         struct ibv_pd *pd;
 181         struct ibv_qp *qp;
 182
 183         pthread_t cmthread;
 184         struct rdma_event_channel *cm_channel;
 185         struct rdma_cm_id *cm_id;
 186         struct rdma_cm_id *child_cm_id;
 187
 188         int cq_event_num;
 189
 190         struct remote_u *rmt_us;
 191         int rmt_nr;
 192         struct io_u **io_us_queued;
 193         int io_u_queued_nr;
 194         struct io_u **io_us_flight;
 195         int io_u_flight_nr;
 196         struct io_u **io_us_completed;
 197         int io_u_completed_nr;
 198
 199         struct frand_state rand_state;
 200 };
 201
 202 static int client_recv(struct thread_data *td, struct ibv_wc *wc)
 203 {
 204         struct rdmaio_data *rd = td->io_ops_data;
 205         unsigned int max_bs;
 206
 207         if (wc->byte_len != sizeof(rd->recv_buf)) {
 208                 log_err("Received bogus data, size %d\n", wc->byte_len);
 209                 return 1;
 210         }
 211
 212         max_bs = max(td->o.max_bs[DDIR_READ], td->o.max_bs[DDIR_WRITE]);
 213         if (max_bs > ntohl(rd->recv_buf.max_bs)) {
 214                 log_err("fio: Server's block size (%d) must be greater than or "
 215                         "equal to the client's block size (%d)!\n",
 216                         ntohl(rd->recv_buf.max_bs), max_bs);
 217                 return 1;
 218         }
 219
 220         /* store mr info for MEMORY semantic */
 221         if ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE) ||
 222             (rd->rdma_protocol == FIO_RDMA_MEM_READ)) {
 223                 /* struct flist_head *entry; */
 224                 int i = 0;
 225
 226                 rd->rmt_nr = ntohl(rd->recv_buf.nr);
 227
 228                 for (i = 0; i < rd->rmt_nr; i++) {
 229                         rd->rmt_us[i].buf = be64_to_cpu(rd->recv_buf.rmt_us[i].buf);
 230                         rd->rmt_us[i].rkey = ntohl(rd->recv_buf.rmt_us[i].rkey);
 231                         rd->rmt_us[i].size = ntohl(rd->recv_buf.rmt_us[i].size);
 232
 233                         dprint(FD_IO,
 234                                "fio: Received rkey %x addr %" PRIx64
 235                                " len %d from peer\n", rd->rmt_us[i].rkey,
 236                                rd->rmt_us[i].buf, rd->rmt_us[i].size);
 237                 }
 238         }
 239
 240         return 0;
 241 }
 242
 243 static int server_recv(struct thread_data *td, struct ibv_wc *wc)
 244 {
 245         struct rdmaio_data *rd = td->io_ops_data;
 246         unsigned int max_bs;
 247
 248         if (wc->wr_id == FIO_RDMA_MAX_IO_DEPTH) {
 249                 rd->rdma_protocol = ntohl(rd->recv_buf.mode);
 250
 251                 /* CHANNEL semantic, do nothing */
 252                 if (rd->rdma_protocol == FIO_RDMA_CHA_SEND)
 253                         rd->rdma_protocol = FIO_RDMA_CHA_RECV;
 254
 255                 max_bs = max(td->o.max_bs[DDIR_READ], td->o.max_bs[DDIR_WRITE]);
 256                 if (max_bs < ntohl(rd->recv_buf.max_bs)) {
 257                         log_err("fio: Server's block size (%d) must be greater than or "
 258                                 "equal to the client's block size (%d)!\n",
 259                                 ntohl(rd->recv_buf.max_bs), max_bs);
 260                         return 1;
 261                 }
 262
 263         }
 264
 265         return 0;
 266 }
 267
 268 static int cq_event_handler(struct thread_data *td, enum ibv_wc_opcode opcode)
 269 {
 270         struct rdmaio_data *rd = td->io_ops_data;
 271         struct ibv_wc wc;
 272         struct rdma_io_u_data *r_io_u_d;
 273         int ret;
 274         int compevnum = 0;
 275         int i;
 276
 277         while ((ret = ibv_poll_cq(rd->cq, 1, &wc)) == 1) {
 278                 ret = 0;
 279                 compevnum++;
 280
 281                 if (wc.status) {
 282                         log_err("fio: cq completion status %d(%s)\n",
 283                                 wc.status, ibv_wc_status_str(wc.status));
 284                         return -1;
 285                 }
 286
 287                 switch (wc.opcode) {
 288
 289                 case IBV_WC_RECV:
 290                         if (rd->is_client == 1)
 291                                 ret = client_recv(td, &wc);
 292                         else
 293                                 ret = server_recv(td, &wc);
 294
 295                         if (ret)
 296                                 return -1;
 297
 298                         if (wc.wr_id == FIO_RDMA_MAX_IO_DEPTH)
 299                                 break;
 300
 301                         for (i = 0; i < rd->io_u_flight_nr; i++) {
 302                                 r_io_u_d = rd->io_us_flight[i]->engine_data;
 303
 304                                 if (wc.wr_id == r_io_u_d->rq_wr.wr_id) {
 305                                         rd->io_us_flight[i]->resid =
 306                                             rd->io_us_flight[i]->buflen
 307                                             - wc.byte_len;
 308
 309                                         rd->io_us_flight[i]->error = 0;
 310
 311                                         rd->io_us_completed[rd->
 312                                                             io_u_completed_nr]
 313                                             = rd->io_us_flight[i];
 314                                         rd->io_u_completed_nr++;
 315                                         break;
 316                                 }
 317                         }
 318                         if (i == rd->io_u_flight_nr)
 319                                 log_err("fio: recv wr %" PRId64 " not found\n",
 320                                         wc.wr_id);
 321                         else {
 322                                 /* put the last one into middle of the list */
 323                                 rd->io_us_flight[i] =
 324                                     rd->io_us_flight[rd->io_u_flight_nr - 1];
 325                                 rd->io_u_flight_nr--;
 326                         }
 327
 328                         break;
 329
 330                 case IBV_WC_SEND:
 331                 case IBV_WC_RDMA_WRITE:
 332                 case IBV_WC_RDMA_READ:
 333                         if (wc.wr_id == FIO_RDMA_MAX_IO_DEPTH)
 334                                 break;
 335
 336                         for (i = 0; i < rd->io_u_flight_nr; i++) {
 337                                 r_io_u_d = rd->io_us_flight[i]->engine_data;
 338
 339                                 if (wc.wr_id == r_io_u_d->sq_wr.wr_id) {
 340                                         rd->io_us_completed[rd->
 341                                                             io_u_completed_nr]
 342                                             = rd->io_us_flight[i];
 343                                         rd->io_u_completed_nr++;
 344                                         break;
 345                                 }
 346                         }
 347                         if (i == rd->io_u_flight_nr)
 348                                 log_err("fio: send wr %" PRId64 " not found\n",
 349                                         wc.wr_id);
 350                         else {
 351                                 /* put the last one into middle of the list */
 352                                 rd->io_us_flight[i] =
 353                                     rd->io_us_flight[rd->io_u_flight_nr - 1];
 354                                 rd->io_u_flight_nr--;
 355                         }
 356
 357                         break;
 358
 359                 default:
 360                         log_info("fio: unknown completion event %d\n",
 361                                  wc.opcode);
 362                         return -1;
 363                 }
 364                 rd->cq_event_num++;
 365         }
 366
 367         if (ret) {
 368                 log_err("fio: poll error %d\n", ret);
 369                 return 1;
 370         }
 371
 372         return compevnum;
 373 }
 374
 375 /*
 376  * Return -1 for error and 'nr events' for a positive number
 377  * of events
 378  */
 379 static int rdma_poll_wait(struct thread_data *td, enum ibv_wc_opcode opcode)
 380 {
 381         struct rdmaio_data *rd = td->io_ops_data;
 382         struct ibv_cq *ev_cq;
 383         void *ev_ctx;
 384         int ret;
 385
 386         if (rd->cq_event_num > 0) {     /* previous left */
 387                 rd->cq_event_num--;
 388                 return 0;
 389         }
 390
 391 again:
 392         if (ibv_get_cq_event(rd->channel, &ev_cq, &ev_ctx) != 0) {
 393                 log_err("fio: Failed to get cq event!\n");
 394                 return -1;
 395         }
 396         if (ev_cq != rd->cq) {
 397                 log_err("fio: Unknown CQ!\n");
 398                 return -1;
 399         }
 400         if (ibv_req_notify_cq(rd->cq, 0) != 0) {
 401                 log_err("fio: Failed to set notify!\n");
 402                 return -1;
 403         }
 404
 405         ret = cq_event_handler(td, opcode);
 406         if (ret == 0)
 407                 goto again;
 408
 409         ibv_ack_cq_events(rd->cq, ret);
 410
 411         rd->cq_event_num--;
 412
 413         return ret;
 414 }
 415
 416 static int fio_rdmaio_setup_qp(struct thread_data *td)
 417 {
 418         struct rdmaio_data *rd = td->io_ops_data;
 419         struct ibv_qp_init_attr init_attr;
 420         int qp_depth = td->o.iodepth * 2;       /* 2 times of io depth */
 421
 422         if (rd->is_client == 0)
 423                 rd->pd = ibv_alloc_pd(rd->child_cm_id->verbs);
 424         else
 425                 rd->pd = ibv_alloc_pd(rd->cm_id->verbs);
 426
 427         if (rd->pd == NULL) {
 428                 log_err("fio: ibv_alloc_pd fail: %m\n");
 429                 return 1;
 430         }
 431
 432         if (rd->is_client == 0)
 433                 rd->channel = ibv_create_comp_channel(rd->child_cm_id->verbs);
 434         else
 435                 rd->channel = ibv_create_comp_channel(rd->cm_id->verbs);
 436         if (rd->channel == NULL) {
 437                 log_err("fio: ibv_create_comp_channel fail: %m\n");
 438                 goto err1;
 439         }
 440
 441         if (qp_depth < 16)
 442                 qp_depth = 16;
 443
 444         if (rd->is_client == 0)
 445                 rd->cq = ibv_create_cq(rd->child_cm_id->verbs,
 446                                        qp_depth, rd, rd->channel, 0);
 447         else
 448                 rd->cq = ibv_create_cq(rd->cm_id->verbs,
 449                                        qp_depth, rd, rd->channel, 0);
 450         if (rd->cq == NULL) {
 451                 log_err("fio: ibv_create_cq failed: %m\n");
 452                 goto err2;
 453         }
 454
 455         if (ibv_req_notify_cq(rd->cq, 0) != 0) {
 456                 log_err("fio: ibv_req_notify_cq failed: %m\n");
 457                 goto err3;
 458         }
 459
 460         /* create queue pair */
 461         memset(&init_attr, 0, sizeof(init_attr));
 462         init_attr.cap.max_send_wr = qp_depth;
 463         init_attr.cap.max_recv_wr = qp_depth;
 464         init_attr.cap.max_recv_sge = 1;
 465         init_attr.cap.max_send_sge = 1;
 466         init_attr.qp_type = IBV_QPT_RC;
 467         init_attr.send_cq = rd->cq;
 468         init_attr.recv_cq = rd->cq;
 469
 470         if (rd->is_client == 0) {
 471                 if (rdma_create_qp(rd->child_cm_id, rd->pd, &init_attr) != 0) {
 472                         log_err("fio: rdma_create_qp failed: %m\n");
 473                         goto err3;
 474                 }
 475                 rd->qp = rd->child_cm_id->qp;
 476         } else {
 477                 if (rdma_create_qp(rd->cm_id, rd->pd, &init_attr) != 0) {
 478                         log_err("fio: rdma_create_qp failed: %m\n");
 479                         goto err3;
 480                 }
 481                 rd->qp = rd->cm_id->qp;
 482         }
 483
 484         return 0;
 485
 486 err3:
 487         ibv_destroy_cq(rd->cq);
 488 err2:
 489         ibv_destroy_comp_channel(rd->channel);
 490 err1:
 491         ibv_dealloc_pd(rd->pd);
 492
 493         return 1;
 494 }
 495
 496 static int fio_rdmaio_setup_control_msg_buffers(struct thread_data *td)
 497 {
 498         struct rdmaio_data *rd = td->io_ops_data;
 499
 500         rd->recv_mr = ibv_reg_mr(rd->pd, &rd->recv_buf, sizeof(rd->recv_buf),
 501                                  IBV_ACCESS_LOCAL_WRITE);
 502         if (rd->recv_mr == NULL) {
 503                 log_err("fio: recv_buf reg_mr failed: %m\n");
 504                 return 1;
 505         }
 506
 507         rd->send_mr = ibv_reg_mr(rd->pd, &rd->send_buf, sizeof(rd->send_buf),
 508                                  0);
 509         if (rd->send_mr == NULL) {
 510                 log_err("fio: send_buf reg_mr failed: %m\n");
 511                 ibv_dereg_mr(rd->recv_mr);
 512                 return 1;
 513         }
 514
 515         /* setup work request */
 516         /* recv wq */
 517         rd->recv_sgl.addr = (uint64_t) (unsigned long)&rd->recv_buf;
 518         rd->recv_sgl.length = sizeof(rd->recv_buf);
 519         rd->recv_sgl.lkey = rd->recv_mr->lkey;
 520         rd->rq_wr.sg_list = &rd->recv_sgl;
 521         rd->rq_wr.num_sge = 1;
 522         rd->rq_wr.wr_id = FIO_RDMA_MAX_IO_DEPTH;
 523
 524         /* send wq */
 525         rd->send_sgl.addr = (uint64_t) (unsigned long)&rd->send_buf;
 526         rd->send_sgl.length = sizeof(rd->send_buf);
 527         rd->send_sgl.lkey = rd->send_mr->lkey;
 528
 529         rd->sq_wr.opcode = IBV_WR_SEND;
 530         rd->sq_wr.send_flags = IBV_SEND_SIGNALED;
 531         rd->sq_wr.sg_list = &rd->send_sgl;
 532         rd->sq_wr.num_sge = 1;
 533         rd->sq_wr.wr_id = FIO_RDMA_MAX_IO_DEPTH;
 534
 535         return 0;
 536 }
 537
 538 static int get_next_channel_event(struct thread_data *td,
 539                                   struct rdma_event_channel *channel,
 540                                   enum rdma_cm_event_type wait_event)
 541 {
 542         struct rdmaio_data *rd = td->io_ops_data;
 543         struct rdma_cm_event *event;
 544         int ret;
 545
 546         ret = rdma_get_cm_event(channel, &event);
 547         if (ret) {
 548                 log_err("fio: rdma_get_cm_event: %d\n", ret);
 549                 return 1;
 550         }
 551
 552         if (event->event != wait_event) {
 553                 log_err("fio: event is %s instead of %s\n",
 554                         rdma_event_str(event->event),
 555                         rdma_event_str(wait_event));
 556                 return 1;
 557         }
 558
 559         switch (event->event) {
 560         case RDMA_CM_EVENT_CONNECT_REQUEST:
 561                 rd->child_cm_id = event->id;
 562                 break;
 563         default:
 564                 break;
 565         }
 566
 567         rdma_ack_cm_event(event);
 568
 569         return 0;
 570 }
 571
 572 static int fio_rdmaio_prep(struct thread_data *td, struct io_u *io_u)
 573 {
 574         struct rdmaio_data *rd = td->io_ops_data;
 575         struct rdma_io_u_data *r_io_u_d;
 576
 577         r_io_u_d = io_u->engine_data;
 578
 579         switch (rd->rdma_protocol) {
 580         case FIO_RDMA_MEM_WRITE:
 581         case FIO_RDMA_MEM_READ:
 582                 r_io_u_d->rdma_sgl.addr = (uint64_t) (unsigned long)io_u->buf;
 583                 r_io_u_d->rdma_sgl.lkey = io_u->mr->lkey;
 584                 r_io_u_d->sq_wr.wr_id = r_io_u_d->wr_id;
 585                 r_io_u_d->sq_wr.send_flags = IBV_SEND_SIGNALED;
 586                 r_io_u_d->sq_wr.sg_list = &r_io_u_d->rdma_sgl;
 587                 r_io_u_d->sq_wr.num_sge = 1;
 588                 break;
 589         case FIO_RDMA_CHA_SEND:
 590                 r_io_u_d->rdma_sgl.addr = (uint64_t) (unsigned long)io_u->buf;
 591                 r_io_u_d->rdma_sgl.lkey = io_u->mr->lkey;
 592                 r_io_u_d->rdma_sgl.length = io_u->buflen;
 593                 r_io_u_d->sq_wr.wr_id = r_io_u_d->wr_id;
 594                 r_io_u_d->sq_wr.opcode = IBV_WR_SEND;
 595                 r_io_u_d->sq_wr.send_flags = IBV_SEND_SIGNALED;
 596                 r_io_u_d->sq_wr.sg_list = &r_io_u_d->rdma_sgl;
 597                 r_io_u_d->sq_wr.num_sge = 1;
 598                 break;
 599         case FIO_RDMA_CHA_RECV:
 600                 r_io_u_d->rdma_sgl.addr = (uint64_t) (unsigned long)io_u->buf;
 601                 r_io_u_d->rdma_sgl.lkey = io_u->mr->lkey;
 602                 r_io_u_d->rdma_sgl.length = io_u->buflen;
 603                 r_io_u_d->rq_wr.wr_id = r_io_u_d->wr_id;
 604                 r_io_u_d->rq_wr.sg_list = &r_io_u_d->rdma_sgl;
 605                 r_io_u_d->rq_wr.num_sge = 1;
 606                 break;
 607         default:
 608                 log_err("fio: unknown rdma protocol - %d\n", rd->rdma_protocol);
 609                 break;
 610         }
 611
 612         return 0;
 613 }
 614
 615 static struct io_u *fio_rdmaio_event(struct thread_data *td, int event)
 616 {
 617         struct rdmaio_data *rd = td->io_ops_data;
 618         struct io_u *io_u;
 619         int i;
 620
 621         io_u = rd->io_us_completed[0];
 622         for (i = 0; i < rd->io_u_completed_nr - 1; i++)
 623                 rd->io_us_completed[i] = rd->io_us_completed[i + 1];
 624
 625         rd->io_u_completed_nr--;
 626
 627         dprint_io_u(io_u, "fio_rdmaio_event");
 628
 629         return io_u;
 630 }
 631
 632 static int fio_rdmaio_getevents(struct thread_data *td, unsigned int min,
 633                                 unsigned int max, const struct timespec *t)
 634 {
 635         struct rdmaio_data *rd = td->io_ops_data;
 636         enum ibv_wc_opcode comp_opcode;
 637         struct ibv_cq *ev_cq;
 638         void *ev_ctx;
 639         int ret, r = 0;
 640         comp_opcode = IBV_WC_RDMA_WRITE;
 641
 642         switch (rd->rdma_protocol) {
 643         case FIO_RDMA_MEM_WRITE:
 644                 comp_opcode = IBV_WC_RDMA_WRITE;
 645                 break;
 646         case FIO_RDMA_MEM_READ:
 647                 comp_opcode = IBV_WC_RDMA_READ;
 648                 break;
 649         case FIO_RDMA_CHA_SEND:
 650                 comp_opcode = IBV_WC_SEND;
 651                 break;
 652         case FIO_RDMA_CHA_RECV:
 653                 comp_opcode = IBV_WC_RECV;
 654                 break;
 655         default:
 656                 log_err("fio: unknown rdma protocol - %d\n", rd->rdma_protocol);
 657                 break;
 658         }
 659
 660         if (rd->cq_event_num > 0) {     /* previous left */
 661                 rd->cq_event_num--;
 662                 return 0;
 663         }
 664
 665 again:
 666         if (ibv_get_cq_event(rd->channel, &ev_cq, &ev_ctx) != 0) {
 667                 log_err("fio: Failed to get cq event!\n");
 668                 return -1;
 669         }
 670         if (ev_cq != rd->cq) {
 671                 log_err("fio: Unknown CQ!\n");
 672                 return -1;
 673         }
 674         if (ibv_req_notify_cq(rd->cq, 0) != 0) {
 675                 log_err("fio: Failed to set notify!\n");
 676                 return -1;
 677         }
 678
 679         ret = cq_event_handler(td, comp_opcode);
 680         if (ret < 1)
 681                 goto again;
 682
 683         ibv_ack_cq_events(rd->cq, ret);
 684
 685         r += ret;
 686         if (r < min)
 687                 goto again;
 688
 689         rd->cq_event_num -= r;
 690
 691         return r;
 692 }
 693
 694 static int fio_rdmaio_send(struct thread_data *td, struct io_u **io_us,
 695                            unsigned int nr)
 696 {
 697         struct rdmaio_data *rd = td->io_ops_data;
 698         struct ibv_send_wr *bad_wr;
 699 #if 0
 700         enum ibv_wc_opcode comp_opcode;
 701         comp_opcode = IBV_WC_RDMA_WRITE;
 702 #endif
 703         int i;
 704         long index;
 705         struct rdma_io_u_data *r_io_u_d;
 706
 707         r_io_u_d = NULL;
 708
 709         for (i = 0; i < nr; i++) {
 710                 /* RDMA_WRITE or RDMA_READ */
 711                 switch (rd->rdma_protocol) {
 712                 case FIO_RDMA_MEM_WRITE:
 713                         /* compose work request */
 714                         r_io_u_d = io_us[i]->engine_data;
 715                         index = __rand(&rd->rand_state) % rd->rmt_nr;
 716                         r_io_u_d->sq_wr.opcode = IBV_WR_RDMA_WRITE;
 717                         r_io_u_d->sq_wr.wr.rdma.rkey = rd->rmt_us[index].rkey;
 718                         r_io_u_d->sq_wr.wr.rdma.remote_addr = \
 719                                 rd->rmt_us[index].buf;
 720                         r_io_u_d->sq_wr.sg_list->length = io_us[i]->buflen;
 721                         break;
 722                 case FIO_RDMA_MEM_READ:
 723                         /* compose work request */
 724                         r_io_u_d = io_us[i]->engine_data;
 725                         index = __rand(&rd->rand_state) % rd->rmt_nr;
 726                         r_io_u_d->sq_wr.opcode = IBV_WR_RDMA_READ;
 727                         r_io_u_d->sq_wr.wr.rdma.rkey = rd->rmt_us[index].rkey;
 728                         r_io_u_d->sq_wr.wr.rdma.remote_addr = \
 729                                 rd->rmt_us[index].buf;
 730                         r_io_u_d->sq_wr.sg_list->length = io_us[i]->buflen;
 731                         break;
 732                 case FIO_RDMA_CHA_SEND:
 733                         r_io_u_d = io_us[i]->engine_data;
 734                         r_io_u_d->sq_wr.opcode = IBV_WR_SEND;
 735                         r_io_u_d->sq_wr.send_flags = IBV_SEND_SIGNALED;
 736                         break;
 737                 default:
 738                         log_err("fio: unknown rdma protocol - %d\n",
 739                                 rd->rdma_protocol);
 740                         break;
 741                 }
 742
 743                 if (ibv_post_send(rd->qp, &r_io_u_d->sq_wr, &bad_wr) != 0) {
 744                         log_err("fio: ibv_post_send fail: %m\n");
 745                         return -1;
 746                 }
 747
 748                 dprint_io_u(io_us[i], "fio_rdmaio_send");
 749         }
 750
 751         /* wait for completion
 752            rdma_poll_wait(td, comp_opcode); */
 753
 754         return i;
 755 }
 756
 757 static int fio_rdmaio_recv(struct thread_data *td, struct io_u **io_us,
 758                            unsigned int nr)
 759 {
 760         struct rdmaio_data *rd = td->io_ops_data;
 761         struct ibv_recv_wr *bad_wr;
 762         struct rdma_io_u_data *r_io_u_d;
 763         int i;
 764
 765         i = 0;
 766         if (rd->rdma_protocol == FIO_RDMA_CHA_RECV) {
 767                 /* post io_u into recv queue */
 768                 for (i = 0; i < nr; i++) {
 769                         r_io_u_d = io_us[i]->engine_data;
 770                         if (ibv_post_recv(rd->qp, &r_io_u_d->rq_wr, &bad_wr) !=
 771                             0) {
 772                                 log_err("fio: ibv_post_recv fail: %m\n");
 773                                 return 1;
 774                         }
 775                 }
 776         } else if ((rd->rdma_protocol == FIO_RDMA_MEM_READ)
 777                    || (rd->rdma_protocol == FIO_RDMA_MEM_WRITE)) {
 778                 /* re-post the rq_wr */
 779                 if (ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr) != 0) {
 780                         log_err("fio: ibv_post_recv fail: %m\n");
 781                         return 1;
 782                 }
 783
 784                 rdma_poll_wait(td, IBV_WC_RECV);
 785
 786                 dprint(FD_IO, "fio: recv FINISH message\n");
 787                 td->done = 1;
 788                 return 0;
 789         }
 790
 791         return i;
 792 }
 793
 794 static int fio_rdmaio_queue(struct thread_data *td, struct io_u *io_u)
 795 {
 796         struct rdmaio_data *rd = td->io_ops_data;
 797
 798         fio_ro_check(td, io_u);
 799
 800         if (rd->io_u_queued_nr == (int)td->o.iodepth)
 801                 return FIO_Q_BUSY;
 802
 803         rd->io_us_queued[rd->io_u_queued_nr] = io_u;
 804         rd->io_u_queued_nr++;
 805
 806         dprint_io_u(io_u, "fio_rdmaio_queue");
 807
 808         return FIO_Q_QUEUED;
 809 }
 810
 811 static void fio_rdmaio_queued(struct thread_data *td, struct io_u **io_us,
 812                               unsigned int nr)
 813 {
 814         struct rdmaio_data *rd = td->io_ops_data;
 815         struct timespec now;
 816         unsigned int i;
 817
 818         if (!fio_fill_issue_time(td))
 819                 return;
 820
 821         fio_gettime(&now, NULL);
 822
 823         for (i = 0; i < nr; i++) {
 824                 struct io_u *io_u = io_us[i];
 825
 826                 /* queued -> flight */
 827                 rd->io_us_flight[rd->io_u_flight_nr] = io_u;
 828                 rd->io_u_flight_nr++;
 829
 830                 memcpy(&io_u->issue_time, &now, sizeof(now));
 831                 io_u_queued(td, io_u);
 832         }
 833 }
 834
 835 static int fio_rdmaio_commit(struct thread_data *td)
 836 {
 837         struct rdmaio_data *rd = td->io_ops_data;
 838         struct io_u **io_us;
 839         int ret;
 840
 841         if (!rd->io_us_queued)
 842                 return 0;
 843
 844         io_us = rd->io_us_queued;
 845         do {
 846                 /* RDMA_WRITE or RDMA_READ */
 847                 if (rd->is_client)
 848                         ret = fio_rdmaio_send(td, io_us, rd->io_u_queued_nr);
 849                 else if (!rd->is_client)
 850                         ret = fio_rdmaio_recv(td, io_us, rd->io_u_queued_nr);
 851                 else
 852                         ret = 0;        /* must be a SYNC */
 853
 854                 if (ret > 0) {
 855                         fio_rdmaio_queued(td, io_us, ret);
 856                         io_u_mark_submit(td, ret);
 857                         rd->io_u_queued_nr -= ret;
 858                         io_us += ret;
 859                         ret = 0;
 860                 } else
 861                         break;
 862         } while (rd->io_u_queued_nr);
 863
 864         return ret;
 865 }
 866
 867 static int fio_rdmaio_connect(struct thread_data *td, struct fio_file *f)
 868 {
 869         struct rdmaio_data *rd = td->io_ops_data;
 870         struct rdma_conn_param conn_param;
 871         struct ibv_send_wr *bad_wr;
 872
 873         memset(&conn_param, 0, sizeof(conn_param));
 874         conn_param.responder_resources = 1;
 875         conn_param.initiator_depth = 1;
 876         conn_param.retry_count = 10;
 877
 878         if (rdma_connect(rd->cm_id, &conn_param) != 0) {
 879                 log_err("fio: rdma_connect fail: %m\n");
 880                 return 1;
 881         }
 882
 883         if (get_next_channel_event
 884             (td, rd->cm_channel, RDMA_CM_EVENT_ESTABLISHED) != 0) {
 885                 log_err("fio: wait for RDMA_CM_EVENT_ESTABLISHED\n");
 886                 return 1;
 887         }
 888
 889         /* send task request */
 890         rd->send_buf.mode = htonl(rd->rdma_protocol);
 891         rd->send_buf.nr = htonl(td->o.iodepth);
 892
 893         if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {
 894                 log_err("fio: ibv_post_send fail: %m\n");
 895                 return 1;
 896         }
 897
 898         if (rdma_poll_wait(td, IBV_WC_SEND) < 0)
 899                 return 1;
 900
 901         /* wait for remote MR info from server side */
 902         if (rdma_poll_wait(td, IBV_WC_RECV) < 0)
 903                 return 1;
 904
 905         /* In SEND/RECV test, it's a good practice to setup the iodepth of
 906          * of the RECV side deeper than that of the SEND side to
 907          * avoid RNR (receiver not ready) error. The
 908          * SEND side may send so many unsolicited message before
 909          * RECV side commits sufficient recv buffers into recv queue.
 910          * This may lead to RNR error. Here, SEND side pauses for a while
 911          * during which RECV side commits sufficient recv buffers.
 912          */
 913         usleep(500000);
 914
 915         return 0;
 916 }
 917
 918 static int fio_rdmaio_accept(struct thread_data *td, struct fio_file *f)
 919 {
 920         struct rdmaio_data *rd = td->io_ops_data;
 921         struct rdma_conn_param conn_param;
 922         struct ibv_send_wr *bad_wr;
 923         int ret = 0;
 924
 925         /* rdma_accept() - then wait for accept success */
 926         memset(&conn_param, 0, sizeof(conn_param));
 927         conn_param.responder_resources = 1;
 928         conn_param.initiator_depth = 1;
 929
 930         if (rdma_accept(rd->child_cm_id, &conn_param) != 0) {
 931                 log_err("fio: rdma_accept: %m\n");
 932                 return 1;
 933         }
 934
 935         if (get_next_channel_event
 936             (td, rd->cm_channel, RDMA_CM_EVENT_ESTABLISHED) != 0) {
 937                 log_err("fio: wait for RDMA_CM_EVENT_ESTABLISHED\n");
 938                 return 1;
 939         }
 940
 941         /* wait for request */
 942         ret = rdma_poll_wait(td, IBV_WC_RECV) < 0;
 943
 944         if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {
 945                 log_err("fio: ibv_post_send fail: %m\n");
 946                 return 1;
 947         }
 948
 949         if (rdma_poll_wait(td, IBV_WC_SEND) < 0)
 950                 return 1;
 951
 952         return ret;
 953 }
 954
 955 static int fio_rdmaio_open_file(struct thread_data *td, struct fio_file *f)
 956 {
 957         if (td_read(td))
 958                 return fio_rdmaio_accept(td, f);
 959         else
 960                 return fio_rdmaio_connect(td, f);
 961 }
 962
 963 static int fio_rdmaio_close_file(struct thread_data *td, struct fio_file *f)
 964 {
 965         struct rdmaio_data *rd = td->io_ops_data;
 966         struct ibv_send_wr *bad_wr;
 967
 968         /* unregister rdma buffer */
 969
 970         /*
 971          * Client sends notification to the server side
 972          */
 973         /* refer to: http://linux.die.net/man/7/rdma_cm */
 974         if ((rd->is_client == 1) && ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE)
 975                                      || (rd->rdma_protocol ==
 976                                          FIO_RDMA_MEM_READ))) {
 977                 if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {
 978                         log_err("fio: ibv_post_send fail: %m\n");
 979                         return 1;
 980                 }
 981
 982                 dprint(FD_IO, "fio: close information sent success\n");
 983                 rdma_poll_wait(td, IBV_WC_SEND);
 984         }
 985
 986         if (rd->is_client == 1)
 987                 rdma_disconnect(rd->cm_id);
 988         else {
 989                 rdma_disconnect(rd->child_cm_id);
 990 #if 0
 991                 rdma_disconnect(rd->cm_id);
 992 #endif
 993         }
 994
 995 #if 0
 996         if (get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_DISCONNECTED) != 0) {
 997                 log_err("fio: wait for RDMA_CM_EVENT_DISCONNECTED\n");
 998                 return 1;
 999         }
1000 #endif
1001
1002         ibv_destroy_cq(rd->cq);
1003         ibv_destroy_qp(rd->qp);
1004
1005         if (rd->is_client == 1)
1006                 rdma_destroy_id(rd->cm_id);
1007         else {
1008                 rdma_destroy_id(rd->child_cm_id);
1009                 rdma_destroy_id(rd->cm_id);
1010         }
1011
1012         ibv_destroy_comp_channel(rd->channel);
1013         ibv_dealloc_pd(rd->pd);
1014
1015         return 0;
1016 }
1017
1018 static int aton(struct thread_data *td, const char *host,
1019                      struct sockaddr_in *addr)
1020 {
1021         if (inet_aton(host, &addr->sin_addr) != 1) {
1022                 struct hostent *hent;
1023
1024                 hent = gethostbyname(host);
1025                 if (!hent) {
1026                         td_verror(td, errno, "gethostbyname");
1027                         return 1;
1028                 }
1029
1030                 memcpy(&addr->sin_addr, hent->h_addr, 4);
1031         }
1032         return 0;
1033 }
1034
1035 static int fio_rdmaio_setup_connect(struct thread_data *td, const char *host,
1036                                     unsigned short port)
1037 {
1038         struct rdmaio_data *rd = td->io_ops_data;
1039         struct rdmaio_options *o = td->eo;
1040         struct sockaddr_storage addrb;
1041         struct ibv_recv_wr *bad_wr;
1042         int err;
1043
1044         rd->addr.sin_family = AF_INET;
1045         rd->addr.sin_port = htons(port);
1046
1047         err = aton(td, host, &rd->addr);
1048         if (err)
1049                 return err;
1050
1051         /* resolve route */
1052         if (strcmp(o->bindname, "") != 0) {
1053                 addrb.ss_family = AF_INET;
1054                 err = aton(td, o->bindname, (struct sockaddr_in *)&addrb);
1055                 if (err)
1056                         return err;
1057                 err = rdma_resolve_addr(rd->cm_id, (struct sockaddr *)&addrb,
1058                                         (struct sockaddr *)&rd->addr, 2000);
1059
1060         } else {
1061                 err = rdma_resolve_addr(rd->cm_id, NULL,
1062                                         (struct sockaddr *)&rd->addr, 2000);
1063         }
1064
1065         if (err != 0) {
1066                 log_err("fio: rdma_resolve_addr: %d\n", err);
1067                 return 1;
1068         }
1069
1070         err = get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_ADDR_RESOLVED);
1071         if (err != 0) {
1072                 log_err("fio: get_next_channel_event: %d\n", err);
1073                 return 1;
1074         }
1075
1076         /* resolve route */
1077         err = rdma_resolve_route(rd->cm_id, 2000);
1078         if (err != 0) {
1079                 log_err("fio: rdma_resolve_route: %d\n", err);
1080                 return 1;
1081         }
1082
1083         err = get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_ROUTE_RESOLVED);
1084         if (err != 0) {
1085                 log_err("fio: get_next_channel_event: %d\n", err);
1086                 return 1;
1087         }
1088
1089         /* create qp and buffer */
1090         if (fio_rdmaio_setup_qp(td) != 0)
1091                 return 1;
1092
1093         if (fio_rdmaio_setup_control_msg_buffers(td) != 0)
1094                 return 1;
1095
1096         /* post recv buf */
1097         err = ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr);
1098         if (err != 0) {
1099                 log_err("fio: ibv_post_recv fail: %d\n", err);
1100                 return 1;
1101         }
1102
1103         return 0;
1104 }
1105
1106 static int fio_rdmaio_setup_listen(struct thread_data *td, short port)
1107 {
1108         struct rdmaio_data *rd = td->io_ops_data;
1109         struct rdmaio_options *o = td->eo;
1110         struct ibv_recv_wr *bad_wr;
1111         int state = td->runstate;
1112
1113         td_set_runstate(td, TD_SETTING_UP);
1114
1115         rd->addr.sin_family = AF_INET;
1116         rd->addr.sin_port = htons(port);
1117
1118         if (strcmp(o->bindname, "") == 0)
1119                 rd->addr.sin_addr.s_addr = htonl(INADDR_ANY);
1120         else
1121                 rd->addr.sin_addr.s_addr = htonl(*o->bindname);
1122
1123         /* rdma_listen */
1124         if (rdma_bind_addr(rd->cm_id, (struct sockaddr *)&rd->addr) != 0) {
1125                 log_err("fio: rdma_bind_addr fail: %m\n");
1126                 return 1;
1127         }
1128
1129         if (rdma_listen(rd->cm_id, 3) != 0) {
1130                 log_err("fio: rdma_listen fail: %m\n");
1131                 return 1;
1132         }
1133
1134         log_info("fio: waiting for connection\n");
1135
1136         /* wait for CONNECT_REQUEST */
1137         if (get_next_channel_event
1138             (td, rd->cm_channel, RDMA_CM_EVENT_CONNECT_REQUEST) != 0) {
1139                 log_err("fio: wait for RDMA_CM_EVENT_CONNECT_REQUEST\n");
1140                 return 1;
1141         }
1142
1143         if (fio_rdmaio_setup_qp(td) != 0)
1144                 return 1;
1145
1146         if (fio_rdmaio_setup_control_msg_buffers(td) != 0)
1147                 return 1;
1148
1149         /* post recv buf */
1150         if (ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr) != 0) {
1151                 log_err("fio: ibv_post_recv fail: %m\n");
1152                 return 1;
1153         }
1154
1155         td_set_runstate(td, state);
1156         return 0;
1157 }
1158
1159 static int check_set_rlimits(struct thread_data *td)
1160 {
1161 #ifdef CONFIG_RLIMIT_MEMLOCK
1162         struct rlimit rl;
1163
1164         /* check RLIMIT_MEMLOCK */
1165         if (getrlimit(RLIMIT_MEMLOCK, &rl) != 0) {
1166                 log_err("fio: getrlimit fail: %d(%s)\n",
1167                         errno, strerror(errno));
1168                 return 1;
1169         }
1170
1171         /* soft limit */
1172         if ((rl.rlim_cur != RLIM_INFINITY)
1173             && (rl.rlim_cur < td->orig_buffer_size)) {
1174                 log_err("fio: soft RLIMIT_MEMLOCK is: %" PRId64 "\n",
1175                         rl.rlim_cur);
1176                 log_err("fio: total block size is:    %zd\n",
1177                         td->orig_buffer_size);
1178                 /* try to set larger RLIMIT_MEMLOCK */
1179                 rl.rlim_cur = rl.rlim_max;
1180                 if (setrlimit(RLIMIT_MEMLOCK, &rl) != 0) {
1181                         log_err("fio: setrlimit fail: %d(%s)\n",
1182                                 errno, strerror(errno));
1183                         log_err("fio: you may try enlarge MEMLOCK by root\n");
1184                         log_err("# ulimit -l unlimited\n");
1185                         return 1;
1186                 }
1187         }
1188 #endif
1189
1190         return 0;
1191 }
1192
1193 static int compat_options(struct thread_data *td)
1194 {
1195         // The original RDMA engine had an ugly / seperator
1196         // on the filename for it's options. This function
1197         // retains backwards compatibility with it. Note we do not
1198         // support setting the bindname option is this legacy mode.
1199
1200         struct rdmaio_options *o = td->eo;
1201         char *modep, *portp;
1202         char *filename = td->o.filename;
1203
1204         if (!filename)
1205                 return 0;
1206
1207         portp = strchr(filename, '/');
1208         if (portp == NULL)
1209                 return 0;
1210
1211         *portp = '\0';
1212         portp++;
1213
1214         o->port = strtol(portp, NULL, 10);
1215         if (!o->port || o->port > 65535)
1216                 goto bad_host;
1217
1218         modep = strchr(portp, '/');
1219         if (modep != NULL) {
1220                 *modep = '\0';
1221                 modep++;
1222         }
1223
1224         if (modep) {
1225                 if (!strncmp("rdma_write", modep, strlen(modep)) ||
1226                     !strncmp("RDMA_WRITE", modep, strlen(modep)))
1227                         o->verb = FIO_RDMA_MEM_WRITE;
1228                 else if (!strncmp("rdma_read", modep, strlen(modep)) ||
1229                          !strncmp("RDMA_READ", modep, strlen(modep)))
1230                         o->verb = FIO_RDMA_MEM_READ;
1231                 else if (!strncmp("send", modep, strlen(modep)) ||
1232                          !strncmp("SEND", modep, strlen(modep)))
1233                         o->verb = FIO_RDMA_CHA_SEND;
1234                 else
1235                         goto bad_host;
1236         } else
1237                 o->verb = FIO_RDMA_MEM_WRITE;
1238
1239
1240         return 0;
1241
1242 bad_host:
1243         log_err("fio: bad rdma host/port/protocol: %s\n", td->o.filename);
1244         return 1;
1245 }
1246
1247 static int fio_rdmaio_init(struct thread_data *td)
1248 {
1249         struct rdmaio_data *rd = td->io_ops_data;
1250         struct rdmaio_options *o = td->eo;
1251         unsigned int max_bs;
1252         int ret, i;
1253
1254         if (td_rw(td)) {
1255                 log_err("fio: rdma connections must be read OR write\n");
1256                 return 1;
1257         }
1258         if (td_random(td)) {
1259                 log_err("fio: RDMA network IO can't be random\n");
1260                 return 1;
1261         }
1262
1263         if (compat_options(td))
1264                 return 1;
1265
1266         if (!o->port) {
1267                 log_err("fio: no port has been specified which is required "
1268                         "for the rdma engine\n");
1269                 return 1;
1270         }
1271
1272         if (check_set_rlimits(td))
1273                 return 1;
1274
1275         rd->rdma_protocol = o->verb;
1276         rd->cq_event_num = 0;
1277
1278         rd->cm_channel = rdma_create_event_channel();
1279         if (!rd->cm_channel) {
1280                 log_err("fio: rdma_create_event_channel fail: %m\n");
1281                 return 1;
1282         }
1283
1284         ret = rdma_create_id(rd->cm_channel, &rd->cm_id, rd, RDMA_PS_TCP);
1285         if (ret) {
1286                 log_err("fio: rdma_create_id fail: %m\n");
1287                 return 1;
1288         }
1289
1290         if ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE) ||
1291             (rd->rdma_protocol == FIO_RDMA_MEM_READ)) {
1292                 rd->rmt_us =
1293                         malloc(FIO_RDMA_MAX_IO_DEPTH * sizeof(struct remote_u));
1294                 memset(rd->rmt_us, 0,
1295                         FIO_RDMA_MAX_IO_DEPTH * sizeof(struct remote_u));
1296                 rd->rmt_nr = 0;
1297         }
1298
1299         rd->io_us_queued = malloc(td->o.iodepth * sizeof(struct io_u *));
1300         memset(rd->io_us_queued, 0, td->o.iodepth * sizeof(struct io_u *));
1301         rd->io_u_queued_nr = 0;
1302
1303         rd->io_us_flight = malloc(td->o.iodepth * sizeof(struct io_u *));
1304         memset(rd->io_us_flight, 0, td->o.iodepth * sizeof(struct io_u *));
1305         rd->io_u_flight_nr = 0;
1306
1307         rd->io_us_completed = malloc(td->o.iodepth * sizeof(struct io_u *));
1308         memset(rd->io_us_completed, 0, td->o.iodepth * sizeof(struct io_u *));
1309         rd->io_u_completed_nr = 0;
1310
1311         if (td_read(td)) {      /* READ as the server */
1312                 rd->is_client = 0;
1313                 td->flags |= TD_F_NO_PROGRESS;
1314                 /* server rd->rdma_buf_len will be setup after got request */
1315                 ret = fio_rdmaio_setup_listen(td, o->port);
1316         } else {                /* WRITE as the client */
1317                 rd->is_client = 1;
1318                 ret = fio_rdmaio_setup_connect(td, td->o.filename, o->port);
1319         }
1320
1321         max_bs = max(td->o.max_bs[DDIR_READ], td->o.max_bs[DDIR_WRITE]);
1322         rd->send_buf.max_bs = htonl(max_bs);
1323
1324         /* register each io_u in the free list */
1325         for (i = 0; i < td->io_u_freelist.nr; i++) {
1326                 struct io_u *io_u = td->io_u_freelist.io_us[i];
1327
1328                 io_u->engine_data = malloc(sizeof(struct rdma_io_u_data));
1329                 memset(io_u->engine_data, 0, sizeof(struct rdma_io_u_data));
1330                 ((struct rdma_io_u_data *)io_u->engine_data)->wr_id = i;
1331
1332                 io_u->mr = ibv_reg_mr(rd->pd, io_u->buf, max_bs,
1333                                       IBV_ACCESS_LOCAL_WRITE |
1334                                       IBV_ACCESS_REMOTE_READ |
1335                                       IBV_ACCESS_REMOTE_WRITE);
1336                 if (io_u->mr == NULL) {
1337                         log_err("fio: ibv_reg_mr io_u failed: %m\n");
1338                         return 1;
1339                 }
1340
1341                 rd->send_buf.rmt_us[i].buf =
1342                     cpu_to_be64((uint64_t) (unsigned long)io_u->buf);
1343                 rd->send_buf.rmt_us[i].rkey = htonl(io_u->mr->rkey);
1344                 rd->send_buf.rmt_us[i].size = htonl(max_bs);
1345
1346 #if 0
1347                 log_info("fio: Send rkey %x addr %" PRIx64 " len %d to client\n", io_u->mr->rkey, io_u->buf, max_bs); */
1348 #endif
1349         }
1350
1351         rd->send_buf.nr = htonl(i);
1352
1353         return ret;
1354 }
1355
1356 static void fio_rdmaio_cleanup(struct thread_data *td)
1357 {
1358         struct rdmaio_data *rd = td->io_ops_data;
1359
1360         if (rd)
1361                 free(rd);
1362 }
1363
1364 static int fio_rdmaio_setup(struct thread_data *td)
1365 {
1366         struct rdmaio_data *rd;
1367
1368         if (!td->files_index) {
1369                 add_file(td, td->o.filename ?: "rdma", 0, 0);
1370                 td->o.nr_files = td->o.nr_files ?: 1;
1371                 td->o.open_files++;
1372         }
1373
1374         if (!td->io_ops_data) {
1375                 rd = malloc(sizeof(*rd));
1376
1377                 memset(rd, 0, sizeof(*rd));
1378                 init_rand_seed(&rd->rand_state, (unsigned int) GOLDEN_RATIO_PRIME, 0);
1379                 td->io_ops_data = rd;
1380         }
1381
1382         return 0;
1383 }
1384
1385 static struct ioengine_ops ioengine_rw = {
1386         .name                   = "rdma",
1387         .version                = FIO_IOOPS_VERSION,
1388         .setup                  = fio_rdmaio_setup,
1389         .init                   = fio_rdmaio_init,
1390         .prep                   = fio_rdmaio_prep,
1391         .queue                  = fio_rdmaio_queue,
1392         .commit                 = fio_rdmaio_commit,
1393         .getevents              = fio_rdmaio_getevents,
1394         .event                  = fio_rdmaio_event,
1395         .cleanup                = fio_rdmaio_cleanup,
1396         .open_file              = fio_rdmaio_open_file,
1397         .close_file             = fio_rdmaio_close_file,
1398         .flags                  = FIO_DISKLESSIO | FIO_UNIDIR | FIO_PIPEIO,
1399         .options                = options,
1400         .option_struct_size     = sizeof(struct rdmaio_options),
1401 };
1402
1403 static void fio_init fio_rdmaio_register(void)
1404 {
1405         register_ioengine(&ioengine_rw);
1406 }
1407
1408 static void fio_exit fio_rdmaio_unregister(void)
1409 {
1410         unregister_ioengine(&ioengine_rw);
1411 }