engines/rdma.c

   1 /*
   2  * RDMA I/O engine
   3  *
   4  * RDMA I/O engine based on the IB verbs and RDMA/CM user space libraries.
   5  * Supports both RDMA memory semantics and channel semantics
   6  *   for the InfiniBand, RoCE and iWARP protocols.
   7  *
   8  * You will need the Linux RDMA software installed, either
   9  * from your Linux distributor or directly from openfabrics.org:
  10  *
  11  * http://www.openfabrics.org/downloads/OFED/
  12  *
  13  * Exchanging steps of RDMA ioengine control messages:
  14  *      1. client side sends test mode (RDMA_WRITE/RDMA_READ/SEND)
  15  *         to server side.
  16  *      2. server side parses test mode, and sends back confirmation
  17  *         to client side. In RDMA WRITE/READ test, this confirmation
  18  *         includes memory information, such as rkey, address.
  19  *      3. client side initiates test loop.
  20  *      4. In RDMA WRITE/READ test, client side sends a completion
  21  *         notification to server side. Server side updates its
  22  *         td->done as true.
  23  *
  24  */
  25 #include <stdio.h>
  26 #include <stdlib.h>
  27 #include <unistd.h>
  28 #include <errno.h>
  29 #include <assert.h>
  30 #include <netinet/in.h>
  31 #include <arpa/inet.h>
  32 #include <netdb.h>
  33 #include <sys/poll.h>
  34 #include <sys/types.h>
  35 #include <sys/socket.h>
  36 #include <sys/time.h>
  37 #include <sys/resource.h>
  38
  39 #include <pthread.h>
  40 #include <inttypes.h>
  41
  42 #include "../fio.h"
  43 #include "../hash.h"
  44
  45 #include <rdma/rdma_cma.h>
  46 #include <infiniband/arch.h>
  47
  48 #define FIO_RDMA_MAX_IO_DEPTH    512
  49
  50 enum rdma_io_mode {
  51         FIO_RDMA_UNKNOWN = 0,
  52         FIO_RDMA_MEM_WRITE,
  53         FIO_RDMA_MEM_READ,
  54         FIO_RDMA_CHA_SEND,
  55         FIO_RDMA_CHA_RECV
  56 };
  57
  58 struct remote_u {
  59         uint64_t buf;
  60         uint32_t rkey;
  61         uint32_t size;
  62 };
  63
  64 struct rdma_info_blk {
  65         uint32_t mode;          /* channel semantic or memory semantic */
  66         uint32_t nr;            /* client: io depth
  67                                    server: number of records for memory semantic
  68                                  */
  69         struct remote_u rmt_us[FIO_RDMA_MAX_IO_DEPTH];
  70 };
  71
  72 struct rdma_io_u_data {
  73         uint64_t wr_id;
  74         struct ibv_send_wr sq_wr;
  75         struct ibv_recv_wr rq_wr;
  76         struct ibv_sge rdma_sgl;
  77 };
  78
  79 struct rdmaio_data {
  80         int is_client;
  81         enum rdma_io_mode rdma_protocol;
  82         char host[64];
  83         struct sockaddr_in addr;
  84
  85         struct ibv_recv_wr rq_wr;
  86         struct ibv_sge recv_sgl;
  87         struct rdma_info_blk recv_buf;
  88         struct ibv_mr *recv_mr;
  89
  90         struct ibv_send_wr sq_wr;
  91         struct ibv_sge send_sgl;
  92         struct rdma_info_blk send_buf;
  93         struct ibv_mr *send_mr;
  94
  95         struct ibv_comp_channel *channel;
  96         struct ibv_cq *cq;
  97         struct ibv_pd *pd;
  98         struct ibv_qp *qp;
  99
 100         pthread_t cmthread;
 101         struct rdma_event_channel *cm_channel;
 102         struct rdma_cm_id *cm_id;
 103         struct rdma_cm_id *child_cm_id;
 104
 105         int cq_event_num;
 106
 107         struct remote_u *rmt_us;
 108         int rmt_nr;
 109         struct io_u **io_us_queued;
 110         int io_u_queued_nr;
 111         struct io_u **io_us_flight;
 112         int io_u_flight_nr;
 113         struct io_u **io_us_completed;
 114         int io_u_completed_nr;
 115
 116         struct frand_state rand_state;
 117 };
 118
 119 static int client_recv(struct thread_data *td, struct ibv_wc *wc)
 120 {
 121         struct rdmaio_data *rd = td->io_ops->data;
 122
 123         if (wc->byte_len != sizeof(rd->recv_buf)) {
 124                 log_err("Received bogus data, size %d\n", wc->byte_len);
 125                 return 1;
 126         }
 127
 128         /* store mr info for MEMORY semantic */
 129         if ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE) ||
 130             (rd->rdma_protocol == FIO_RDMA_MEM_READ)) {
 131                 /* struct flist_head *entry; */
 132                 int i = 0;
 133
 134                 rd->rmt_nr = ntohl(rd->recv_buf.nr);
 135
 136                 for (i = 0; i < rd->rmt_nr; i++) {
 137                         rd->rmt_us[i].buf = ntohll(rd->recv_buf.rmt_us[i].buf);
 138                         rd->rmt_us[i].rkey = ntohl(rd->recv_buf.rmt_us[i].rkey);
 139                         rd->rmt_us[i].size = ntohl(rd->recv_buf.rmt_us[i].size);
 140
 141                         dprint(FD_IO,
 142                                "fio: Received rkey %x addr %" PRIx64
 143                                " len %d from peer\n", rd->rmt_us[i].rkey,
 144                                rd->rmt_us[i].buf, rd->rmt_us[i].size);
 145                 }
 146         }
 147
 148         return 0;
 149 }
 150
 151 static int server_recv(struct thread_data *td, struct ibv_wc *wc)
 152 {
 153         struct rdmaio_data *rd = td->io_ops->data;
 154
 155         if (wc->wr_id == FIO_RDMA_MAX_IO_DEPTH) {
 156                 rd->rdma_protocol = ntohl(rd->recv_buf.mode);
 157
 158                 /* CHANNEL semantic, do nothing */
 159                 if (rd->rdma_protocol == FIO_RDMA_CHA_SEND)
 160                         rd->rdma_protocol = FIO_RDMA_CHA_RECV;
 161         }
 162
 163         return 0;
 164 }
 165
 166 static int cq_event_handler(struct thread_data *td, enum ibv_wc_opcode opcode)
 167 {
 168         struct rdmaio_data *rd = td->io_ops->data;
 169         struct ibv_wc wc;
 170         struct rdma_io_u_data *r_io_u_d;
 171         int ret;
 172         int compevnum = 0;
 173         int i;
 174
 175         while ((ret = ibv_poll_cq(rd->cq, 1, &wc)) == 1) {
 176                 ret = 0;
 177                 compevnum++;
 178
 179                 if (wc.status) {
 180                         log_err("fio: cq completion status %d(%s)\n",
 181                                 wc.status, ibv_wc_status_str(wc.status));
 182                         return -1;
 183                 }
 184
 185                 switch (wc.opcode) {
 186
 187                 case IBV_WC_RECV:
 188                         if (rd->is_client == 1)
 189                                 client_recv(td, &wc);
 190                         else
 191                                 server_recv(td, &wc);
 192
 193                         if (wc.wr_id == FIO_RDMA_MAX_IO_DEPTH)
 194                                 break;
 195
 196                         for (i = 0; i < rd->io_u_flight_nr; i++) {
 197                                 r_io_u_d = rd->io_us_flight[i]->engine_data;
 198
 199                                 if (wc.wr_id == r_io_u_d->rq_wr.wr_id) {
 200                                         rd->io_us_flight[i]->resid =
 201                                             rd->io_us_flight[i]->buflen
 202                                             - wc.byte_len;
 203
 204                                         rd->io_us_flight[i]->error = 0;
 205
 206                                         rd->io_us_completed[rd->
 207                                                             io_u_completed_nr]
 208                                             = rd->io_us_flight[i];
 209                                         rd->io_u_completed_nr++;
 210                                         break;
 211                                 }
 212                         }
 213                         if (i == rd->io_u_flight_nr)
 214                                 log_err("fio: recv wr %" PRId64 " not found\n",
 215                                         wc.wr_id);
 216                         else {
 217                                 /* put the last one into middle of the list */
 218                                 rd->io_us_flight[i] =
 219                                     rd->io_us_flight[rd->io_u_flight_nr - 1];
 220                                 rd->io_u_flight_nr--;
 221                         }
 222
 223                         break;
 224
 225                 case IBV_WC_SEND:
 226                 case IBV_WC_RDMA_WRITE:
 227                 case IBV_WC_RDMA_READ:
 228                         if (wc.wr_id == FIO_RDMA_MAX_IO_DEPTH)
 229                                 break;
 230
 231                         for (i = 0; i < rd->io_u_flight_nr; i++) {
 232                                 r_io_u_d = rd->io_us_flight[i]->engine_data;
 233
 234                                 if (wc.wr_id == r_io_u_d->sq_wr.wr_id) {
 235                                         rd->io_us_completed[rd->
 236                                                             io_u_completed_nr]
 237                                             = rd->io_us_flight[i];
 238                                         rd->io_u_completed_nr++;
 239                                         break;
 240                                 }
 241                         }
 242                         if (i == rd->io_u_flight_nr)
 243                                 log_err("fio: send wr %" PRId64 " not found\n",
 244                                         wc.wr_id);
 245                         else {
 246                                 /* put the last one into middle of the list */
 247                                 rd->io_us_flight[i] =
 248                                     rd->io_us_flight[rd->io_u_flight_nr - 1];
 249                                 rd->io_u_flight_nr--;
 250                         }
 251
 252                         break;
 253
 254                 default:
 255                         log_info("fio: unknown completion event %d\n",
 256                                  wc.opcode);
 257                         return -1;
 258                 }
 259                 rd->cq_event_num++;
 260         }
 261         if (ret) {
 262                 log_err("fio: poll error %d\n", ret);
 263                 return 1;
 264         }
 265
 266         return compevnum;
 267 }
 268
 269 /*
 270  * Return -1 for error and 'nr events' for a positive number
 271  * of events
 272  */
 273 static int rdma_poll_wait(struct thread_data *td, enum ibv_wc_opcode opcode)
 274 {
 275         struct rdmaio_data *rd = td->io_ops->data;
 276         struct ibv_cq *ev_cq;
 277         void *ev_ctx;
 278         int ret;
 279
 280         if (rd->cq_event_num > 0) {     /* previous left */
 281                 rd->cq_event_num--;
 282                 return 0;
 283         }
 284
 285 again:
 286         if (ibv_get_cq_event(rd->channel, &ev_cq, &ev_ctx) != 0) {
 287                 log_err("fio: Failed to get cq event!\n");
 288                 return -1;
 289         }
 290         if (ev_cq != rd->cq) {
 291                 log_err("fio: Unknown CQ!\n");
 292                 return -1;
 293         }
 294         if (ibv_req_notify_cq(rd->cq, 0) != 0) {
 295                 log_err("fio: Failed to set notify!\n");
 296                 return -1;
 297         }
 298
 299         ret = cq_event_handler(td, opcode);
 300         if (ret < 1)
 301                 goto again;
 302
 303         ibv_ack_cq_events(rd->cq, ret);
 304
 305         rd->cq_event_num--;
 306
 307         return ret;
 308 }
 309
 310 static int fio_rdmaio_setup_qp(struct thread_data *td)
 311 {
 312         struct rdmaio_data *rd = td->io_ops->data;
 313         struct ibv_qp_init_attr init_attr;
 314         int qp_depth = td->o.iodepth * 2;       /* 2 times of io depth */
 315
 316         if (rd->is_client == 0)
 317                 rd->pd = ibv_alloc_pd(rd->child_cm_id->verbs);
 318         else
 319                 rd->pd = ibv_alloc_pd(rd->cm_id->verbs);
 320
 321         if (rd->pd == NULL) {
 322                 log_err("fio: ibv_alloc_pd fail\n");
 323                 return 1;
 324         }
 325
 326         if (rd->is_client == 0)
 327                 rd->channel = ibv_create_comp_channel(rd->child_cm_id->verbs);
 328         else
 329                 rd->channel = ibv_create_comp_channel(rd->cm_id->verbs);
 330         if (rd->channel == NULL) {
 331                 log_err("fio: ibv_create_comp_channel fail\n");
 332                 goto err1;
 333         }
 334
 335         if (qp_depth < 16)
 336                 qp_depth = 16;
 337
 338         if (rd->is_client == 0)
 339                 rd->cq = ibv_create_cq(rd->child_cm_id->verbs,
 340                                        qp_depth, rd, rd->channel, 0);
 341         else
 342                 rd->cq = ibv_create_cq(rd->cm_id->verbs,
 343                                        qp_depth, rd, rd->channel, 0);
 344         if (rd->cq == NULL) {
 345                 log_err("fio: ibv_create_cq failed\n");
 346                 goto err2;
 347         }
 348
 349         if (ibv_req_notify_cq(rd->cq, 0) != 0) {
 350                 log_err("fio: ibv_create_cq failed\n");
 351                 goto err3;
 352         }
 353
 354         /* create queue pair */
 355         memset(&init_attr, 0, sizeof(init_attr));
 356         init_attr.cap.max_send_wr = qp_depth;
 357         init_attr.cap.max_recv_wr = qp_depth;
 358         init_attr.cap.max_recv_sge = 1;
 359         init_attr.cap.max_send_sge = 1;
 360         init_attr.qp_type = IBV_QPT_RC;
 361         init_attr.send_cq = rd->cq;
 362         init_attr.recv_cq = rd->cq;
 363
 364         if (rd->is_client == 0) {
 365                 if (rdma_create_qp(rd->child_cm_id, rd->pd, &init_attr) != 0) {
 366                         log_err("fio: rdma_create_qp failed\n");
 367                         goto err3;
 368                 }
 369                 rd->qp = rd->child_cm_id->qp;
 370         } else {
 371                 if (rdma_create_qp(rd->cm_id, rd->pd, &init_attr) != 0) {
 372                         log_err("fio: rdma_create_qp failed\n");
 373                         goto err3;
 374                 }
 375                 rd->qp = rd->cm_id->qp;
 376         }
 377
 378         return 0;
 379
 380 err3:
 381         ibv_destroy_cq(rd->cq);
 382 err2:
 383         ibv_destroy_comp_channel(rd->channel);
 384 err1:
 385         ibv_dealloc_pd(rd->pd);
 386
 387         return 1;
 388 }
 389
 390 static int fio_rdmaio_setup_control_msg_buffers(struct thread_data *td)
 391 {
 392         struct rdmaio_data *rd = td->io_ops->data;
 393
 394         rd->recv_mr = ibv_reg_mr(rd->pd, &rd->recv_buf, sizeof(rd->recv_buf),
 395                                  IBV_ACCESS_LOCAL_WRITE);
 396         if (rd->recv_mr == NULL) {
 397                 log_err("fio: recv_buf reg_mr failed\n");
 398                 return 1;
 399         }
 400
 401         rd->send_mr = ibv_reg_mr(rd->pd, &rd->send_buf, sizeof(rd->send_buf),
 402                                  0);
 403         if (rd->send_mr == NULL) {
 404                 log_err("fio: send_buf reg_mr failed\n");
 405                 ibv_dereg_mr(rd->recv_mr);
 406                 return 1;
 407         }
 408
 409         /* setup work request */
 410         /* recv wq */
 411         rd->recv_sgl.addr = (uint64_t) (unsigned long)&rd->recv_buf;
 412         rd->recv_sgl.length = sizeof(rd->recv_buf);
 413         rd->recv_sgl.lkey = rd->recv_mr->lkey;
 414         rd->rq_wr.sg_list = &rd->recv_sgl;
 415         rd->rq_wr.num_sge = 1;
 416         rd->rq_wr.wr_id = FIO_RDMA_MAX_IO_DEPTH;
 417
 418         /* send wq */
 419         rd->send_sgl.addr = (uint64_t) (unsigned long)&rd->send_buf;
 420         rd->send_sgl.length = sizeof(rd->send_buf);
 421         rd->send_sgl.lkey = rd->send_mr->lkey;
 422
 423         rd->sq_wr.opcode = IBV_WR_SEND;
 424         rd->sq_wr.send_flags = IBV_SEND_SIGNALED;
 425         rd->sq_wr.sg_list = &rd->send_sgl;
 426         rd->sq_wr.num_sge = 1;
 427         rd->sq_wr.wr_id = FIO_RDMA_MAX_IO_DEPTH;
 428
 429         return 0;
 430 }
 431
 432 static int get_next_channel_event(struct thread_data *td,
 433                                   struct rdma_event_channel *channel,
 434                                   enum rdma_cm_event_type wait_event)
 435 {
 436         struct rdmaio_data *rd = td->io_ops->data;
 437         struct rdma_cm_event *event;
 438         int ret;
 439
 440         ret = rdma_get_cm_event(channel, &event);
 441         if (ret) {
 442                 log_err("fio: rdma_get_cm_event: %d\n", ret);
 443                 return 1;
 444         }
 445
 446         if (event->event != wait_event) {
 447                 log_err("fio: event is %s instead of %s\n",
 448                         rdma_event_str(event->event),
 449                         rdma_event_str(wait_event));
 450                 return 1;
 451         }
 452
 453         switch (event->event) {
 454         case RDMA_CM_EVENT_CONNECT_REQUEST:
 455                 rd->child_cm_id = event->id;
 456                 break;
 457         default:
 458                 break;
 459         }
 460
 461         rdma_ack_cm_event(event);
 462
 463         return 0;
 464 }
 465
 466 static int fio_rdmaio_prep(struct thread_data *td, struct io_u *io_u)
 467 {
 468         struct rdmaio_data *rd = td->io_ops->data;
 469         struct rdma_io_u_data *r_io_u_d;
 470
 471         r_io_u_d = io_u->engine_data;
 472
 473         switch (rd->rdma_protocol) {
 474         case FIO_RDMA_MEM_WRITE:
 475         case FIO_RDMA_MEM_READ:
 476                 r_io_u_d->rdma_sgl.addr = (uint64_t) (unsigned long)io_u->buf;
 477                 r_io_u_d->rdma_sgl.lkey = io_u->mr->lkey;
 478                 r_io_u_d->sq_wr.wr_id = r_io_u_d->wr_id;
 479                 r_io_u_d->sq_wr.send_flags = IBV_SEND_SIGNALED;
 480                 r_io_u_d->sq_wr.sg_list = &r_io_u_d->rdma_sgl;
 481                 r_io_u_d->sq_wr.num_sge = 1;
 482                 break;
 483         case FIO_RDMA_CHA_SEND:
 484                 r_io_u_d->rdma_sgl.addr = (uint64_t) (unsigned long)io_u->buf;
 485                 r_io_u_d->rdma_sgl.lkey = io_u->mr->lkey;
 486                 r_io_u_d->rdma_sgl.length = io_u->buflen;
 487                 r_io_u_d->sq_wr.wr_id = r_io_u_d->wr_id;
 488                 r_io_u_d->sq_wr.opcode = IBV_WR_SEND;
 489                 r_io_u_d->sq_wr.send_flags = IBV_SEND_SIGNALED;
 490                 r_io_u_d->sq_wr.sg_list = &r_io_u_d->rdma_sgl;
 491                 r_io_u_d->sq_wr.num_sge = 1;
 492                 break;
 493         case FIO_RDMA_CHA_RECV:
 494                 r_io_u_d->rdma_sgl.addr = (uint64_t) (unsigned long)io_u->buf;
 495                 r_io_u_d->rdma_sgl.lkey = io_u->mr->lkey;
 496                 r_io_u_d->rdma_sgl.length = io_u->buflen;
 497                 r_io_u_d->rq_wr.wr_id = r_io_u_d->wr_id;
 498                 r_io_u_d->rq_wr.sg_list = &r_io_u_d->rdma_sgl;
 499                 r_io_u_d->rq_wr.num_sge = 1;
 500                 break;
 501         default:
 502                 log_err("fio: unknown rdma protocol - %d\n", rd->rdma_protocol);
 503                 break;
 504         }
 505
 506         return 0;
 507 }
 508
 509 static struct io_u *fio_rdmaio_event(struct thread_data *td, int event)
 510 {
 511         struct rdmaio_data *rd = td->io_ops->data;
 512         struct io_u *io_u;
 513         int i;
 514
 515         io_u = rd->io_us_completed[0];
 516         for (i = 0; i < rd->io_u_completed_nr - 1; i++)
 517                 rd->io_us_completed[i] = rd->io_us_completed[i + 1];
 518
 519         rd->io_u_completed_nr--;
 520
 521         dprint_io_u(io_u, "fio_rdmaio_event");
 522
 523         return io_u;
 524 }
 525
 526 static int fio_rdmaio_getevents(struct thread_data *td, unsigned int min,
 527                                 unsigned int max, struct timespec *t)
 528 {
 529         struct rdmaio_data *rd = td->io_ops->data;
 530         enum ibv_wc_opcode comp_opcode;
 531         comp_opcode = IBV_WC_RDMA_WRITE;
 532         struct ibv_cq *ev_cq;
 533         void *ev_ctx;
 534         int ret, r = 0;
 535
 536         switch (rd->rdma_protocol) {
 537         case FIO_RDMA_MEM_WRITE:
 538                 comp_opcode = IBV_WC_RDMA_WRITE;
 539                 break;
 540         case FIO_RDMA_MEM_READ:
 541                 comp_opcode = IBV_WC_RDMA_READ;
 542                 break;
 543         case FIO_RDMA_CHA_SEND:
 544                 comp_opcode = IBV_WC_SEND;
 545                 break;
 546         case FIO_RDMA_CHA_RECV:
 547                 comp_opcode = IBV_WC_RECV;
 548                 break;
 549         default:
 550                 log_err("fio: unknown rdma protocol - %d\n", rd->rdma_protocol);
 551                 break;
 552         }
 553
 554         if (rd->cq_event_num > 0) {     /* previous left */
 555                 rd->cq_event_num--;
 556                 return 0;
 557         }
 558
 559 again:
 560         if (ibv_get_cq_event(rd->channel, &ev_cq, &ev_ctx) != 0) {
 561                 log_err("fio: Failed to get cq event!\n");
 562                 return -1;
 563         }
 564         if (ev_cq != rd->cq) {
 565                 log_err("fio: Unknown CQ!\n");
 566                 return -1;
 567         }
 568         if (ibv_req_notify_cq(rd->cq, 0) != 0) {
 569                 log_err("fio: Failed to set notify!\n");
 570                 return -1;
 571         }
 572
 573         ret = cq_event_handler(td, comp_opcode);
 574         if (ret < 1)
 575                 goto again;
 576
 577         ibv_ack_cq_events(rd->cq, ret);
 578
 579         r += ret;
 580         if (r < min)
 581                 goto again;
 582
 583         rd->cq_event_num -= r;
 584
 585         return r;
 586 }
 587
 588 static int fio_rdmaio_send(struct thread_data *td, struct io_u **io_us,
 589                            unsigned int nr)
 590 {
 591         struct rdmaio_data *rd = td->io_ops->data;
 592         struct ibv_send_wr *bad_wr;
 593 #if 0
 594         enum ibv_wc_opcode comp_opcode;
 595         comp_opcode = IBV_WC_RDMA_WRITE;
 596 #endif
 597         int i;
 598         long index;
 599         struct rdma_io_u_data *r_io_u_d;
 600
 601         r_io_u_d = NULL;
 602
 603         for (i = 0; i < nr; i++) {
 604                 /* RDMA_WRITE or RDMA_READ */
 605                 switch (rd->rdma_protocol) {
 606                 case FIO_RDMA_MEM_WRITE:
 607                         /* compose work request */
 608                         r_io_u_d = io_us[i]->engine_data;
 609                         index = __rand(&rd->rand_state) % rd->rmt_nr;
 610                         r_io_u_d->sq_wr.opcode = IBV_WR_RDMA_WRITE;
 611                         r_io_u_d->sq_wr.wr.rdma.rkey = rd->rmt_us[index].rkey;
 612                         r_io_u_d->sq_wr.wr.rdma.remote_addr = \
 613                                 rd->rmt_us[index].buf;
 614                         r_io_u_d->sq_wr.sg_list->length = io_us[i]->buflen;
 615                         break;
 616                 case FIO_RDMA_MEM_READ:
 617                         /* compose work request */
 618                         r_io_u_d = io_us[i]->engine_data;
 619                         index = __rand(&rd->rand_state) % rd->rmt_nr;
 620                         r_io_u_d->sq_wr.opcode = IBV_WR_RDMA_READ;
 621                         r_io_u_d->sq_wr.wr.rdma.rkey = rd->rmt_us[index].rkey;
 622                         r_io_u_d->sq_wr.wr.rdma.remote_addr = \
 623                                 rd->rmt_us[index].buf;
 624                         r_io_u_d->sq_wr.sg_list->length = io_us[i]->buflen;
 625                         break;
 626                 case FIO_RDMA_CHA_SEND:
 627                         r_io_u_d = io_us[i]->engine_data;
 628                         r_io_u_d->sq_wr.opcode = IBV_WR_SEND;
 629                         r_io_u_d->sq_wr.send_flags = IBV_SEND_SIGNALED;
 630                         break;
 631                 default:
 632                         log_err("fio: unknown rdma protocol - %d\n",
 633                                 rd->rdma_protocol);
 634                         break;
 635                 }
 636
 637                 if (ibv_post_send(rd->qp, &r_io_u_d->sq_wr, &bad_wr) != 0) {
 638                         log_err("fio: ibv_post_send fail\n");
 639                         return -1;
 640                 }
 641
 642                 dprint_io_u(io_us[i], "fio_rdmaio_send");
 643         }
 644
 645         /* wait for completion
 646            rdma_poll_wait(td, comp_opcode); */
 647
 648         return i;
 649 }
 650
 651 static int fio_rdmaio_recv(struct thread_data *td, struct io_u **io_us,
 652                            unsigned int nr)
 653 {
 654         struct rdmaio_data *rd = td->io_ops->data;
 655         struct ibv_recv_wr *bad_wr;
 656         struct rdma_io_u_data *r_io_u_d;
 657         int i;
 658
 659         i = 0;
 660         if (rd->rdma_protocol == FIO_RDMA_CHA_RECV) {
 661                 /* post io_u into recv queue */
 662                 for (i = 0; i < nr; i++) {
 663                         r_io_u_d = io_us[i]->engine_data;
 664                         if (ibv_post_recv(rd->qp, &r_io_u_d->rq_wr, &bad_wr) !=
 665                             0) {
 666                                 log_err("fio: ibv_post_recv fail\n");
 667                                 return 1;
 668                         }
 669                 }
 670         } else if ((rd->rdma_protocol == FIO_RDMA_MEM_READ)
 671                    || (rd->rdma_protocol == FIO_RDMA_MEM_WRITE)) {
 672                 /* re-post the rq_wr */
 673                 if (ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr) != 0) {
 674                         log_err("fio: ibv_post_recv fail\n");
 675                         return 1;
 676                 }
 677
 678                 rdma_poll_wait(td, IBV_WC_RECV);
 679
 680                 dprint(FD_IO, "fio: recv FINISH message\n");
 681                 td->done = 1;
 682                 return 0;
 683         }
 684
 685         return i;
 686 }
 687
 688 static int fio_rdmaio_queue(struct thread_data *td, struct io_u *io_u)
 689 {
 690         struct rdmaio_data *rd = td->io_ops->data;
 691
 692         fio_ro_check(td, io_u);
 693
 694         if (rd->io_u_queued_nr == (int)td->o.iodepth)
 695                 return FIO_Q_BUSY;
 696
 697         rd->io_us_queued[rd->io_u_queued_nr] = io_u;
 698         rd->io_u_queued_nr++;
 699
 700         dprint_io_u(io_u, "fio_rdmaio_queue");
 701
 702         return FIO_Q_QUEUED;
 703 }
 704
 705 static void fio_rdmaio_queued(struct thread_data *td, struct io_u **io_us,
 706                               unsigned int nr)
 707 {
 708         struct rdmaio_data *rd = td->io_ops->data;
 709         struct timeval now;
 710         unsigned int i;
 711
 712         if (!fio_fill_issue_time(td))
 713                 return;
 714
 715         fio_gettime(&now, NULL);
 716
 717         for (i = 0; i < nr; i++) {
 718                 struct io_u *io_u = io_us[i];
 719
 720                 /* queued -> flight */
 721                 rd->io_us_flight[rd->io_u_flight_nr] = io_u;
 722                 rd->io_u_flight_nr++;
 723
 724                 memcpy(&io_u->issue_time, &now, sizeof(now));
 725                 io_u_queued(td, io_u);
 726         }
 727 }
 728
 729 static int fio_rdmaio_commit(struct thread_data *td)
 730 {
 731         struct rdmaio_data *rd = td->io_ops->data;
 732         struct io_u **io_us;
 733         int ret;
 734
 735         if (!rd->io_us_queued)
 736                 return 0;
 737
 738         io_us = rd->io_us_queued;
 739         do {
 740                 /* RDMA_WRITE or RDMA_READ */
 741                 if (rd->is_client)
 742                         ret = fio_rdmaio_send(td, io_us, rd->io_u_queued_nr);
 743                 else if (!rd->is_client)
 744                         ret = fio_rdmaio_recv(td, io_us, rd->io_u_queued_nr);
 745                 else
 746                         ret = 0;        /* must be a SYNC */
 747
 748                 if (ret > 0) {
 749                         fio_rdmaio_queued(td, io_us, ret);
 750                         io_u_mark_submit(td, ret);
 751                         rd->io_u_queued_nr -= ret;
 752                         io_us += ret;
 753                         ret = 0;
 754                 } else
 755                         break;
 756         } while (rd->io_u_queued_nr);
 757
 758         return ret;
 759 }
 760
 761 static int fio_rdmaio_connect(struct thread_data *td, struct fio_file *f)
 762 {
 763         struct rdmaio_data *rd = td->io_ops->data;
 764         struct rdma_conn_param conn_param;
 765         struct ibv_send_wr *bad_wr;
 766
 767         memset(&conn_param, 0, sizeof(conn_param));
 768         conn_param.responder_resources = 1;
 769         conn_param.initiator_depth = 1;
 770         conn_param.retry_count = 10;
 771
 772         if (rdma_connect(rd->cm_id, &conn_param) != 0) {
 773                 log_err("fio: rdma_connect fail\n");
 774                 return 1;
 775         }
 776
 777         if (get_next_channel_event
 778             (td, rd->cm_channel, RDMA_CM_EVENT_ESTABLISHED) != 0) {
 779                 log_err("fio: wait for RDMA_CM_EVENT_ESTABLISHED\n");
 780                 return 1;
 781         }
 782
 783         /* send task request */
 784         rd->send_buf.mode = htonl(rd->rdma_protocol);
 785         rd->send_buf.nr = htonl(td->o.iodepth);
 786
 787         if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {
 788                 log_err("fio: ibv_post_send fail");
 789                 return 1;
 790         }
 791
 792         rdma_poll_wait(td, IBV_WC_SEND);
 793
 794         /* wait for remote MR info from server side */
 795         rdma_poll_wait(td, IBV_WC_RECV);
 796
 797         /* In SEND/RECV test, it's a good practice to setup the iodepth of
 798          * of the RECV side deeper than that of the SEND side to
 799          * avoid RNR (receiver not ready) error. The
 800          * SEND side may send so many unsolicited message before
 801          * RECV side commits sufficient recv buffers into recv queue.
 802          * This may lead to RNR error. Here, SEND side pauses for a while
 803          * during which RECV side commits sufficient recv buffers.
 804          */
 805         usleep(500000);
 806
 807         return 0;
 808 }
 809
 810 static int fio_rdmaio_accept(struct thread_data *td, struct fio_file *f)
 811 {
 812         struct rdmaio_data *rd = td->io_ops->data;
 813         struct rdma_conn_param conn_param;
 814         struct ibv_send_wr *bad_wr;
 815
 816         /* rdma_accept() - then wait for accept success */
 817         memset(&conn_param, 0, sizeof(conn_param));
 818         conn_param.responder_resources = 1;
 819         conn_param.initiator_depth = 1;
 820
 821         if (rdma_accept(rd->child_cm_id, &conn_param) != 0) {
 822                 log_err("fio: rdma_accept\n");
 823                 return 1;
 824         }
 825
 826         if (get_next_channel_event
 827             (td, rd->cm_channel, RDMA_CM_EVENT_ESTABLISHED) != 0) {
 828                 log_err("fio: wait for RDMA_CM_EVENT_ESTABLISHED\n");
 829                 return 1;
 830         }
 831
 832         /* wait for request */
 833         rdma_poll_wait(td, IBV_WC_RECV);
 834
 835         if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {
 836                 log_err("fio: ibv_post_send fail");
 837                 return 1;
 838         }
 839
 840         rdma_poll_wait(td, IBV_WC_SEND);
 841
 842         return 0;
 843 }
 844
 845 static int fio_rdmaio_open_file(struct thread_data *td, struct fio_file *f)
 846 {
 847         if (td_read(td))
 848                 return fio_rdmaio_accept(td, f);
 849         else
 850                 return fio_rdmaio_connect(td, f);
 851 }
 852
 853 static int fio_rdmaio_close_file(struct thread_data *td, struct fio_file *f)
 854 {
 855         struct rdmaio_data *rd = td->io_ops->data;
 856         struct ibv_send_wr *bad_wr;
 857
 858         /* unregister rdma buffer */
 859
 860         /*
 861          * Client sends notification to the server side
 862          */
 863         /* refer to: http://linux.die.net/man/7/rdma_cm */
 864         if ((rd->is_client == 1) && ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE)
 865                                      || (rd->rdma_protocol ==
 866                                          FIO_RDMA_MEM_READ))) {
 867                 if (ibv_post_send(rd->qp, &rd->sq_wr, &bad_wr) != 0) {
 868                         log_err("fio: ibv_post_send fail");
 869                         return 1;
 870                 }
 871
 872                 dprint(FD_IO, "fio: close infomation sent success\n");
 873                 rdma_poll_wait(td, IBV_WC_SEND);
 874         }
 875
 876         if (rd->is_client == 1)
 877                 rdma_disconnect(rd->cm_id);
 878         else {
 879                 rdma_disconnect(rd->child_cm_id);
 880 #if 0
 881                 rdma_disconnect(rd->cm_id);
 882 #endif
 883         }
 884
 885 #if 0
 886         if (get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_DISCONNECTED) != 0) {
 887                 log_err("fio: wait for RDMA_CM_EVENT_DISCONNECTED\n");
 888                 return 1;
 889         }
 890 #endif
 891
 892         ibv_destroy_cq(rd->cq);
 893         ibv_destroy_qp(rd->qp);
 894
 895         if (rd->is_client == 1)
 896                 rdma_destroy_id(rd->cm_id);
 897         else {
 898                 rdma_destroy_id(rd->child_cm_id);
 899                 rdma_destroy_id(rd->cm_id);
 900         }
 901
 902         ibv_destroy_comp_channel(rd->channel);
 903         ibv_dealloc_pd(rd->pd);
 904
 905         return 0;
 906 }
 907
 908 static int fio_rdmaio_setup_connect(struct thread_data *td, const char *host,
 909                                     unsigned short port)
 910 {
 911         struct rdmaio_data *rd = td->io_ops->data;
 912         struct ibv_recv_wr *bad_wr;
 913         int err;
 914
 915         rd->addr.sin_family = AF_INET;
 916         rd->addr.sin_port = htons(port);
 917
 918         if (inet_aton(host, &rd->addr.sin_addr) != 1) {
 919                 struct hostent *hent;
 920
 921                 hent = gethostbyname(host);
 922                 if (!hent) {
 923                         td_verror(td, errno, "gethostbyname");
 924                         return 1;
 925                 }
 926
 927                 memcpy(&rd->addr.sin_addr, hent->h_addr, 4);
 928         }
 929
 930         /* resolve route */
 931         err = rdma_resolve_addr(rd->cm_id, NULL, (struct sockaddr *)&rd->addr, 2000);
 932         if (err != 0) {
 933                 log_err("fio: rdma_resolve_addr: %d\n", err);
 934                 return 1;
 935         }
 936
 937         err = get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_ADDR_RESOLVED);
 938         if (err != 0) {
 939                 log_err("fio: get_next_channel_event: %d\n", err);
 940                 return 1;
 941         }
 942
 943         /* resolve route */
 944         err = rdma_resolve_route(rd->cm_id, 2000);
 945         if (err != 0) {
 946                 log_err("fio: rdma_resolve_route: %d\n", err);
 947                 return 1;
 948         }
 949
 950         err = get_next_channel_event(td, rd->cm_channel, RDMA_CM_EVENT_ROUTE_RESOLVED);
 951         if (err != 0) {
 952                 log_err("fio: get_next_channel_event: %d\n", err);
 953                 return 1;
 954         }
 955
 956         /* create qp and buffer */
 957         if (fio_rdmaio_setup_qp(td) != 0)
 958                 return 1;
 959
 960         if (fio_rdmaio_setup_control_msg_buffers(td) != 0)
 961                 return 1;
 962
 963         /* post recv buf */
 964         err = ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr);
 965         if (err != 0) {
 966                 log_err("fio: ibv_post_recv fail: %d\n", err);
 967                 return 1;
 968         }
 969
 970         return 0;
 971 }
 972
 973 static int fio_rdmaio_setup_listen(struct thread_data *td, short port)
 974 {
 975         struct rdmaio_data *rd = td->io_ops->data;
 976         struct ibv_recv_wr *bad_wr;
 977
 978         rd->addr.sin_family = AF_INET;
 979         rd->addr.sin_addr.s_addr = htonl(INADDR_ANY);
 980         rd->addr.sin_port = htons(port);
 981
 982         /* rdma_listen */
 983         if (rdma_bind_addr(rd->cm_id, (struct sockaddr *)&rd->addr) != 0) {
 984                 log_err("fio: rdma_bind_addr fail\n");
 985                 return 1;
 986         }
 987
 988         if (rdma_listen(rd->cm_id, 3) != 0) {
 989                 log_err("fio: rdma_listen fail\n");
 990                 return 1;
 991         }
 992
 993         /* wait for CONNECT_REQUEST */
 994         if (get_next_channel_event
 995             (td, rd->cm_channel, RDMA_CM_EVENT_CONNECT_REQUEST) != 0) {
 996                 log_err("fio: wait for RDMA_CM_EVENT_CONNECT_REQUEST\n");
 997                 return 1;
 998         }
 999
1000         if (fio_rdmaio_setup_qp(td) != 0)
1001                 return 1;
1002
1003         if (fio_rdmaio_setup_control_msg_buffers(td) != 0)
1004                 return 1;
1005
1006         /* post recv buf */
1007         if (ibv_post_recv(rd->qp, &rd->rq_wr, &bad_wr) != 0) {
1008                 log_err("fio: ibv_post_recv fail\n");
1009                 return 1;
1010         }
1011
1012         return 0;
1013 }
1014
1015 static int check_set_rlimits(struct thread_data *td)
1016 {
1017 #ifdef CONFIG_RLIMIT_MEMLOCK
1018         struct rlimit rl;
1019
1020         /* check RLIMIT_MEMLOCK */
1021         if (getrlimit(RLIMIT_MEMLOCK, &rl) != 0) {
1022                 log_err("fio: getrlimit fail: %d(%s)\n",
1023                         errno, strerror(errno));
1024                 return 1;
1025         }
1026
1027         /* soft limit */
1028         if ((rl.rlim_cur != RLIM_INFINITY)
1029             && (rl.rlim_cur < td->orig_buffer_size)) {
1030                 log_err("fio: soft RLIMIT_MEMLOCK is: %" PRId64 "\n",
1031                         rl.rlim_cur);
1032                 log_err("fio: total block size is:    %zd\n",
1033                         td->orig_buffer_size);
1034                 /* try to set larger RLIMIT_MEMLOCK */
1035                 rl.rlim_cur = rl.rlim_max;
1036                 if (setrlimit(RLIMIT_MEMLOCK, &rl) != 0) {
1037                         log_err("fio: setrlimit fail: %d(%s)\n",
1038                                 errno, strerror(errno));
1039                         log_err("fio: you may try enlarge MEMLOCK by root\n");
1040                         log_err("# ulimit -l unlimited\n");
1041                         return 1;
1042                 }
1043         }
1044 #endif
1045
1046         return 0;
1047 }
1048
1049 static int fio_rdmaio_init(struct thread_data *td)
1050 {
1051         struct rdmaio_data *rd = td->io_ops->data;
1052         struct flist_head *entry;
1053         unsigned int max_bs;
1054         unsigned int port;
1055         char host[64], buf[128];
1056         char *sep, *portp, *modep;
1057         int ret, i = 0;
1058
1059         if (td_rw(td)) {
1060                 log_err("fio: rdma connections must be read OR write\n");
1061                 return 1;
1062         }
1063         if (td_random(td)) {
1064                 log_err("fio: RDMA network IO can't be random\n");
1065                 return 1;
1066         }
1067
1068         if (check_set_rlimits(td))
1069                 return 1;
1070
1071         strcpy(buf, td->o.filename);
1072
1073         sep = strchr(buf, '/');
1074         if (!sep)
1075                 goto bad_host;
1076
1077         *sep = '\0';
1078         sep++;
1079         strcpy(host, buf);
1080         if (!strlen(host))
1081                 goto bad_host;
1082
1083         modep = NULL;
1084         portp = sep;
1085         sep = strchr(portp, '/');
1086         if (sep) {
1087                 *sep = '\0';
1088                 modep = sep + 1;
1089         }
1090
1091         port = strtol(portp, NULL, 10);
1092         if (!port || port > 65535)
1093                 goto bad_host;
1094
1095         if (modep) {
1096                 if (!strncmp("rdma_write", modep, strlen(modep)) ||
1097                     !strncmp("RDMA_WRITE", modep, strlen(modep)))
1098                         rd->rdma_protocol = FIO_RDMA_MEM_WRITE;
1099                 else if (!strncmp("rdma_read", modep, strlen(modep)) ||
1100                          !strncmp("RDMA_READ", modep, strlen(modep)))
1101                         rd->rdma_protocol = FIO_RDMA_MEM_READ;
1102                 else if (!strncmp("send", modep, strlen(modep)) ||
1103                          !strncmp("SEND", modep, strlen(modep)))
1104                         rd->rdma_protocol = FIO_RDMA_CHA_SEND;
1105                 else
1106                         goto bad_host;
1107         } else
1108                 rd->rdma_protocol = FIO_RDMA_MEM_WRITE;
1109
1110         rd->cq_event_num = 0;
1111
1112         rd->cm_channel = rdma_create_event_channel();
1113         if (!rd->cm_channel) {
1114                 log_err("fio: rdma_create_event_channel fail\n");
1115                 return 1;
1116         }
1117
1118         ret = rdma_create_id(rd->cm_channel, &rd->cm_id, rd, RDMA_PS_TCP);
1119         if (ret) {
1120                 log_err("fio: rdma_create_id fail\n");
1121                 return 1;
1122         }
1123
1124         if ((rd->rdma_protocol == FIO_RDMA_MEM_WRITE) ||
1125             (rd->rdma_protocol == FIO_RDMA_MEM_READ)) {
1126                 rd->rmt_us =
1127                         malloc(FIO_RDMA_MAX_IO_DEPTH * sizeof(struct remote_u));
1128                 memset(rd->rmt_us, 0,
1129                         FIO_RDMA_MAX_IO_DEPTH * sizeof(struct remote_u));
1130                 rd->rmt_nr = 0;
1131         }
1132
1133         rd->io_us_queued = malloc(td->o.iodepth * sizeof(struct io_u *));
1134         memset(rd->io_us_queued, 0, td->o.iodepth * sizeof(struct io_u *));
1135         rd->io_u_queued_nr = 0;
1136
1137         rd->io_us_flight = malloc(td->o.iodepth * sizeof(struct io_u *));
1138         memset(rd->io_us_flight, 0, td->o.iodepth * sizeof(struct io_u *));
1139         rd->io_u_flight_nr = 0;
1140
1141         rd->io_us_completed = malloc(td->o.iodepth * sizeof(struct io_u *));
1142         memset(rd->io_us_completed, 0, td->o.iodepth * sizeof(struct io_u *));
1143         rd->io_u_completed_nr = 0;
1144
1145         if (td_read(td)) {      /* READ as the server */
1146                 rd->is_client = 0;
1147                 /* server rd->rdma_buf_len will be setup after got request */
1148                 ret = fio_rdmaio_setup_listen(td, port);
1149         } else {                /* WRITE as the client */
1150                 rd->is_client = 1;
1151                 ret = fio_rdmaio_setup_connect(td, host, port);
1152         }
1153
1154         max_bs = max(td->o.max_bs[DDIR_READ], td->o.max_bs[DDIR_WRITE]);
1155         /* register each io_u in the free list */
1156         flist_for_each(entry, &td->io_u_freelist) {
1157                 struct io_u *io_u = flist_entry(entry, struct io_u, list);
1158
1159                 io_u->engine_data = malloc(sizeof(struct rdma_io_u_data));
1160                 memset(io_u->engine_data, 0, sizeof(struct rdma_io_u_data));
1161                 ((struct rdma_io_u_data *)io_u->engine_data)->wr_id = i;
1162
1163                 io_u->mr = ibv_reg_mr(rd->pd, io_u->buf, max_bs,
1164                                       IBV_ACCESS_LOCAL_WRITE |
1165                                       IBV_ACCESS_REMOTE_READ |
1166                                       IBV_ACCESS_REMOTE_WRITE);
1167                 if (io_u->mr == NULL) {
1168                         log_err("fio: ibv_reg_mr io_u failed\n");
1169                         return 1;
1170                 }
1171
1172                 rd->send_buf.rmt_us[i].buf =
1173                     htonll((uint64_t) (unsigned long)io_u->buf);
1174                 rd->send_buf.rmt_us[i].rkey = htonl(io_u->mr->rkey);
1175                 rd->send_buf.rmt_us[i].size = htonl(max_bs);
1176
1177 #if 0
1178                 log_info("fio: Send rkey %x addr %" PRIx64 " len %d to client\n", io_u->mr->rkey, io_u->buf, max_bs); */
1179 #endif
1180                 i++;
1181         }
1182
1183         rd->send_buf.nr = htonl(i);
1184
1185         return ret;
1186 bad_host:
1187         log_err("fio: bad rdma host/port/protocol: %s\n", td->o.filename);
1188         return 1;
1189 }
1190
1191 static void fio_rdmaio_cleanup(struct thread_data *td)
1192 {
1193         struct rdmaio_data *rd = td->io_ops->data;
1194
1195         if (rd)
1196                 free(rd);
1197 }
1198
1199 static int fio_rdmaio_setup(struct thread_data *td)
1200 {
1201         struct rdmaio_data *rd;
1202
1203         if (!td->io_ops->data) {
1204                 rd = malloc(sizeof(*rd));
1205
1206                 memset(rd, 0, sizeof(*rd));
1207                 init_rand_seed(&rd->rand_state, (unsigned int) GOLDEN_RATIO_PRIME);
1208                 td->io_ops->data = rd;
1209         }
1210
1211         return 0;
1212 }
1213
1214 static struct ioengine_ops ioengine_rw = {
1215         .name           = "rdma",
1216         .version        = FIO_IOOPS_VERSION,
1217         .setup          = fio_rdmaio_setup,
1218         .init           = fio_rdmaio_init,
1219         .prep           = fio_rdmaio_prep,
1220         .queue          = fio_rdmaio_queue,
1221         .commit         = fio_rdmaio_commit,
1222         .getevents      = fio_rdmaio_getevents,
1223         .event          = fio_rdmaio_event,
1224         .cleanup        = fio_rdmaio_cleanup,
1225         .open_file      = fio_rdmaio_open_file,
1226         .close_file     = fio_rdmaio_close_file,
1227         .flags          = FIO_DISKLESSIO | FIO_UNIDIR | FIO_PIPEIO,
1228 };
1229
1230 static void fio_init fio_rdmaio_register(void)
1231 {
1232         register_ioengine(&ioengine_rw);
1233 }
1234
1235 static void fio_exit fio_rdmaio_unregister(void)
1236 {
1237         unregister_ioengine(&ioengine_rw);
1238 }