Merge branch 'master' into gfio
[fio.git] / engines / net.c
index fb554a4808745f278054515b05c62370f36c154c..12f49a2a67ca2f1d7241b42efdc45543b77fd868 100644 (file)
@@ -7,9 +7,11 @@
 #include <stdio.h>
 #include <stdlib.h>
 #include <unistd.h>
+#include <signal.h>
 #include <errno.h>
 #include <assert.h>
 #include <netinet/in.h>
+#include <netinet/tcp.h>
 #include <arpa/inet.h>
 #include <netdb.h>
 #include <sys/poll.h>
@@ -33,6 +35,8 @@ struct netio_options {
        unsigned int port;
        unsigned int proto;
        unsigned int listen;
+       unsigned int pingpong;
+       unsigned int nodelay;
 };
 
 struct udp_close_msg {
@@ -54,25 +58,31 @@ static int str_hostname_cb(void *data, const char *input);
 static struct fio_option options[] = {
        {
                .name   = "hostname",
+               .lname  = "net engine hostname",
                .type   = FIO_OPT_STR_STORE,
                .cb     = str_hostname_cb,
                .help   = "Hostname for net IO engine",
+               .category = FIO_OPT_C_IO,
        },
        {
                .name   = "port",
+               .lname  = "net engine port",
                .type   = FIO_OPT_INT,
                .off1   = offsetof(struct netio_options, port),
                .minval = 1,
                .maxval = 65535,
                .help   = "Port to use for TCP or UDP net connections",
+               .category = FIO_OPT_C_IO,
        },
        {
                .name   = "protocol",
+               .lname  = "net engine protocol",
                .alias  = "proto",
                .type   = FIO_OPT_STR,
                .off1   = offsetof(struct netio_options, proto),
                .help   = "Network protocol to use",
                .def    = "tcp",
+               .category = FIO_OPT_C_IO,
                .posval = {
                          { .ival = "tcp",
                            .oval = FIO_TYPE_TCP,
@@ -88,11 +98,27 @@ static struct fio_option options[] = {
                          },
                },
        },
+#ifdef CONFIG_TCP_NODELAY
+       {
+               .name   = "nodelay",
+               .type   = FIO_OPT_BOOL,
+               .off1   = offsetof(struct netio_options, nodelay),
+               .help   = "Use TCP_NODELAY on TCP connections",
+       },
+#endif
        {
                .name   = "listen",
+               .lname  = "net engine listen",
                .type   = FIO_OPT_STR_SET,
                .off1   = offsetof(struct netio_options, listen),
                .help   = "Listen for incoming TCP connections",
+               .category = FIO_OPT_C_IO,
+       },
+       {
+               .name   = "pingpong",
+               .type   = FIO_OPT_STR_SET,
+               .off1   = offsetof(struct netio_options, pingpong),
+               .help   = "Ping-pong IO requests",
        },
        {
                .name   = NULL,
@@ -149,7 +175,7 @@ static int fio_netio_prep(struct thread_data *td, struct io_u *io_u)
        return 0;
 }
 
-#ifdef FIO_HAVE_SPLICE
+#ifdef CONFIG_LINUX_SPLICE
 static int splice_io_u(int fdin, int fdout, unsigned int len)
 {
        int bytes = 0;
@@ -288,7 +314,7 @@ static int fio_netio_send(struct thread_data *td, struct io_u *io_u)
 {
        struct netio_data *nd = td->io_ops->data;
        struct netio_options *o = td->eo;
-       int ret, flags = OS_MSG_DONTWAIT;
+       int ret, flags = 0;
 
        do {
                if (o->proto == FIO_TYPE_UDP) {
@@ -302,8 +328,8 @@ static int fio_netio_send(struct thread_data *td, struct io_u *io_u)
                         * if we are going to write more, set MSG_MORE
                         */
 #ifdef MSG_MORE
-                       if (td->this_io_bytes[DDIR_WRITE] + io_u->xfer_buflen <
-                           td->o.size)
+                       if ((td->this_io_bytes[DDIR_WRITE] + io_u->xfer_buflen <
+                           td->o.size) && !o->pingpong)
                                flags |= MSG_MORE;
 #endif
                        ret = send(io_u->file->fd, io_u->xfer_buf,
@@ -315,8 +341,6 @@ static int fio_netio_send(struct thread_data *td, struct io_u *io_u)
                ret = poll_wait(td, io_u->file->fd, POLLOUT);
                if (ret <= 0)
                        break;
-
-               flags &= ~OS_MSG_DONTWAIT;
        } while (1);
 
        return ret;
@@ -342,11 +366,11 @@ static int fio_netio_recv(struct thread_data *td, struct io_u *io_u)
 {
        struct netio_data *nd = td->io_ops->data;
        struct netio_options *o = td->eo;
-       int ret, flags = OS_MSG_DONTWAIT;
+       int ret, flags = 0;
 
        do {
                if (o->proto == FIO_TYPE_UDP) {
-                       fio_socklen_t len = sizeof(nd->addr);
+                       socklen_t len = sizeof(nd->addr);
                        struct sockaddr *from = (struct sockaddr *) &nd->addr;
 
                        ret = recvfrom(io_u->file->fd, io_u->xfer_buf,
@@ -367,28 +391,26 @@ static int fio_netio_recv(struct thread_data *td, struct io_u *io_u)
                ret = poll_wait(td, io_u->file->fd, POLLIN);
                if (ret <= 0)
                        break;
-               flags &= ~OS_MSG_DONTWAIT;
                flags |= MSG_WAITALL;
        } while (1);
 
        return ret;
 }
 
-static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
+static int __fio_netio_queue(struct thread_data *td, struct io_u *io_u,
+                            enum fio_ddir ddir)
 {
        struct netio_data *nd = td->io_ops->data;
        struct netio_options *o = td->eo;
        int ret;
 
-       fio_ro_check(td, io_u);
-
-       if (io_u->ddir == DDIR_WRITE) {
+       if (ddir == DDIR_WRITE) {
                if (!nd->use_splice || o->proto == FIO_TYPE_UDP ||
                    o->proto == FIO_TYPE_UNIX)
                        ret = fio_netio_send(td, io_u);
                else
                        ret = fio_netio_splice_out(td, io_u);
-       } else if (io_u->ddir == DDIR_READ) {
+       } else if (ddir == DDIR_READ) {
                if (!nd->use_splice || o->proto == FIO_TYPE_UDP ||
                    o->proto == FIO_TYPE_UNIX)
                        ret = fio_netio_recv(td, io_u);
@@ -405,7 +427,7 @@ static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
                } else {
                        int err = errno;
 
-                       if (io_u->ddir == DDIR_WRITE && err == EMSGSIZE)
+                       if (ddir == DDIR_WRITE && err == EMSGSIZE)
                                return FIO_Q_BUSY;
 
                        io_u->error = err;
@@ -418,11 +440,33 @@ static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
        return FIO_Q_COMPLETED;
 }
 
+static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
+{
+       struct netio_options *o = td->eo;
+       int ret;
+
+       fio_ro_check(td, io_u);
+
+       ret = __fio_netio_queue(td, io_u, io_u->ddir);
+       if (!o->pingpong || ret != FIO_Q_COMPLETED)
+               return ret;
+
+       /*
+        * For ping-pong mode, receive or send reply as needed
+        */
+       if (td_read(td) && io_u->ddir == DDIR_READ)
+               ret = __fio_netio_queue(td, io_u, DDIR_WRITE);
+       else if (td_write(td) && io_u->ddir == DDIR_WRITE)
+               ret = __fio_netio_queue(td, io_u, DDIR_READ);
+
+       return ret;
+}
+
 static int fio_netio_connect(struct thread_data *td, struct fio_file *f)
 {
        struct netio_data *nd = td->io_ops->data;
        struct netio_options *o = td->eo;
-       int type, domain;
+       int type, domain, optval;
 
        if (o->proto == FIO_TYPE_TCP) {
                domain = AF_INET;
@@ -445,10 +489,20 @@ static int fio_netio_connect(struct thread_data *td, struct fio_file *f)
                return 1;
        }
 
+#ifdef CONFIG_TCP_NODELAY
+       if (o->nodelay && o->proto == FIO_TYPE_TCP) {
+               optval = 1;
+               if (setsockopt(f->fd, IPPROTO_TCP, TCP_NODELAY, (void *) &optval, sizeof(int)) < 0) {
+                       log_err("fio: cannot set TCP_NODELAY option on socket (%s), disable with 'nodelay=0'\n", strerror(errno));
+                       return 1;
+               }
+       }
+#endif
+
        if (o->proto == FIO_TYPE_UDP)
                return 0;
        else if (o->proto == FIO_TYPE_TCP) {
-               fio_socklen_t len = sizeof(nd->addr);
+               socklen_t len = sizeof(nd->addr);
 
                if (connect(f->fd, (struct sockaddr *) &nd->addr, len) < 0) {
                        td_verror(td, errno, "connect");
@@ -457,7 +511,7 @@ static int fio_netio_connect(struct thread_data *td, struct fio_file *f)
                }
        } else {
                struct sockaddr_un *addr = &nd->addr_un;
-               fio_socklen_t len;
+               socklen_t len;
 
                len = sizeof(addr->sun_family) + strlen(addr->sun_path) + 1;
 
@@ -475,8 +529,8 @@ static int fio_netio_accept(struct thread_data *td, struct fio_file *f)
 {
        struct netio_data *nd = td->io_ops->data;
        struct netio_options *o = td->eo;
-       fio_socklen_t socklen = sizeof(nd->addr);
-       int state;
+       socklen_t socklen = sizeof(nd->addr);
+       int state, optval;
 
        if (o->proto == FIO_TYPE_UDP) {
                f->fd = nd->listenfd;
@@ -497,6 +551,17 @@ static int fio_netio_accept(struct thread_data *td, struct fio_file *f)
                goto err;
        }
 
+#ifdef CONFIG_TCP_NODELAY
+       if (o->nodelay && o->proto == FIO_TYPE_TCP) {
+               optval = 1;
+               if (setsockopt(f->fd, IPPROTO_TCP, TCP_NODELAY, (void *) &optval, sizeof(int)) < 0) {
+                       log_err("fio: cannot set TCP_NODELAY option on socket (%s), disable with 'nodelay=0'\n", strerror(errno));
+                       return 1;
+               }
+       }
+#endif
+
+       reset_all_stats(td);
        td_set_runstate(td, state);
        return 0;
 err:
@@ -514,7 +579,7 @@ static void fio_netio_udp_close(struct thread_data *td, struct fio_file *f)
        msg.magic = htonl(FIO_LINK_OPEN_CLOSE_MAGIC);
        msg.cmd = htonl(FIO_LINK_CLOSE);
 
-       ret = sendto(f->fd, &msg, sizeof(msg), MSG_WAITALL, to,
+       ret = sendto(f->fd, (void *) &msg, sizeof(msg), MSG_WAITALL, to,
                        sizeof(nd->addr));
        if (ret < 0)
                td_verror(td, errno, "sendto udp link close");
@@ -539,10 +604,10 @@ static int fio_netio_udp_recv_open(struct thread_data *td, struct fio_file *f)
        struct netio_data *nd = td->io_ops->data;
        struct udp_close_msg msg;
        struct sockaddr *to = (struct sockaddr *) &nd->addr;
-       fio_socklen_t len = sizeof(nd->addr);
+       socklen_t len = sizeof(nd->addr);
        int ret;
 
-       ret = recvfrom(f->fd, &msg, sizeof(msg), MSG_WAITALL, to, &len);
+       ret = recvfrom(f->fd, (void *) &msg, sizeof(msg), MSG_WAITALL, to, &len);
        if (ret < 0) {
                td_verror(td, errno, "sendto udp link open");
                return ret;
@@ -568,7 +633,7 @@ static int fio_netio_udp_send_open(struct thread_data *td, struct fio_file *f)
        msg.magic = htonl(FIO_LINK_OPEN_CLOSE_MAGIC);
        msg.cmd = htonl(FIO_LINK_OPEN);
 
-       ret = sendto(f->fd, &msg, sizeof(msg), MSG_WAITALL, to,
+       ret = sendto(f->fd, (void *) &msg, sizeof(msg), MSG_WAITALL, to,
                        sizeof(nd->addr));
        if (ret < 0) {
                td_verror(td, errno, "sendto udp link open");
@@ -716,12 +781,12 @@ static int fio_netio_setup_listen_inet(struct thread_data *td, short port)
        }
 
        opt = 1;
-       if (setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt)) < 0) {
+       if (setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (void *) &opt, sizeof(opt)) < 0) {
                td_verror(td, errno, "setsockopt");
                return 1;
        }
 #ifdef SO_REUSEPORT
-       if (setsockopt(fd, SOL_SOCKET, SO_REUSEPORT, &opt, sizeof(opt)) < 0) {
+       if (setsockopt(fd, SOL_SOCKET, SO_REUSEPORT, (void *) &opt, sizeof(opt)) < 0) {
                td_verror(td, errno, "setsockopt");
                return 1;
        }
@@ -855,7 +920,12 @@ static int fio_netio_setup(struct thread_data *td)
        return 0;
 }
 
-#ifdef FIO_HAVE_SPLICE
+static void fio_netio_terminate(struct thread_data *td)
+{
+       kill(td->pid, SIGUSR2);
+}
+
+#ifdef CONFIG_LINUX_SPLICE
 static int fio_netio_setup_splice(struct thread_data *td)
 {
        struct netio_data *nd;
@@ -883,11 +953,12 @@ static struct ioengine_ops ioengine_splice = {
        .init                   = fio_netio_init,
        .cleanup                = fio_netio_cleanup,
        .open_file              = fio_netio_open_file,
-       .close_file             = generic_close_file,
+       .close_file             = fio_netio_close_file,
+       .terminate              = fio_netio_terminate,
        .options                = options,
        .option_struct_size     = sizeof(struct netio_options),
        .flags                  = FIO_SYNCIO | FIO_DISKLESSIO | FIO_UNIDIR |
-                                 FIO_SIGTERM | FIO_PIPEIO,
+                                 FIO_PIPEIO,
 };
 #endif
 
@@ -901,10 +972,11 @@ static struct ioengine_ops ioengine_rw = {
        .cleanup                = fio_netio_cleanup,
        .open_file              = fio_netio_open_file,
        .close_file             = fio_netio_close_file,
+       .terminate              = fio_netio_terminate,
        .options                = options,
        .option_struct_size     = sizeof(struct netio_options),
        .flags                  = FIO_SYNCIO | FIO_DISKLESSIO | FIO_UNIDIR |
-                                 FIO_SIGTERM | FIO_PIPEIO,
+                                 FIO_PIPEIO,
 };
 
 static int str_hostname_cb(void *data, const char *input)
@@ -920,7 +992,7 @@ static int str_hostname_cb(void *data, const char *input)
 static void fio_init fio_netio_register(void)
 {
        register_ioengine(&ioengine_rw);
-#ifdef FIO_HAVE_SPLICE
+#ifdef CONFIG_LINUX_SPLICE
        register_ioengine(&ioengine_splice);
 #endif
 }
@@ -928,7 +1000,7 @@ static void fio_init fio_netio_register(void)
 static void fio_exit fio_netio_unregister(void)
 {
        unregister_ioengine(&ioengine_rw);
-#ifdef FIO_HAVE_SPLICE
+#ifdef CONFIG_LINUX_SPLICE
        unregister_ioengine(&ioengine_splice);
 #endif
 }