sg engine: IO should be done sync of O_SYNC and O_DIRECT
[fio.git] / engines / net.c
index 0efd3369ab3ae6b9caf4f327682a9d30ffcb71bd..4ddacf28b1343e726ad2a860ff5facc308108d3c 100644 (file)
@@ -13,6 +13,8 @@
 #include <arpa/inet.h>
 #include <netdb.h>
 #include <sys/poll.h>
+#include <sys/types.h>
+#include <sys/socket.h>
 
 #include "../fio.h"
 
@@ -20,11 +22,53 @@ struct netio_data {
        int listenfd;
        int send_to_net;
        int use_splice;
+       int net_protocol;
        int pipes[2];
        char host[64];
        struct sockaddr_in addr;
 };
 
+struct udp_close_msg {
+       uint32_t magic;
+       uint32_t cmd;
+};
+
+enum {
+       FIO_LINK_CLOSE = 0x89,
+       FIO_LINK_CLOSE_MAGIC = 0x6c696e6b,
+};
+
+/*
+ * Return -1 for error and 'nr events' for a positive number
+ * of events
+ */
+static int poll_wait(struct thread_data *td, int fd, short events)
+{
+       struct pollfd pfd;
+       int ret;
+
+       while (!td->terminate) {
+               pfd.fd = fd;
+               pfd.events = events;
+               ret = poll(&pfd, 1, -1);
+               if (ret < 0) {
+                       if (errno == EINTR)
+                               break;
+
+                       td_verror(td, errno, "poll");
+                       return -1;
+               } else if (!ret)
+                       continue;
+
+               break;
+       }
+
+       if (pfd.revents & events)
+               return 1;
+
+       return -1;
+}
+
 static int fio_netio_prep(struct thread_data *td, struct io_u *io_u)
 {
        struct netio_data *nd = td->io_ops->data;
@@ -165,37 +209,101 @@ static int fio_netio_splice_out(struct thread_data *td, struct io_u *io_u)
 #else
 static int fio_netio_splice_in(struct thread_data *td, struct io_u *io_u)
 {
-       errno = -EOPNOTSUPP;
+       errno = EOPNOTSUPP;
        return -1;
 }
 
 static int fio_netio_splice_out(struct thread_data *td, struct io_u *io_u)
 {
-       errno = -EOPNOTSUPP;
+       errno = EOPNOTSUPP;
        return -1;
 }
 #endif
 
 static int fio_netio_send(struct thread_data *td, struct io_u *io_u)
 {
-       int flags = 0;
-
-       /*
-        * if we are going to write more, set MSG_MORE
-        */
+       struct netio_data *nd = td->io_ops->data;
+       int ret, flags = MSG_DONTWAIT;
+
+       do {
+               if (nd->net_protocol == IPPROTO_UDP) {
+                       struct sockaddr *to = (struct sockaddr *) &nd->addr;
+
+                       ret = sendto(io_u->file->fd, io_u->xfer_buf,
+                                       io_u->xfer_buflen, flags, to,
+                                       sizeof(*to));
+               } else {
+                       /*
+                        * if we are going to write more, set MSG_MORE
+                        */
 #ifdef MSG_MORE
-       if (td->this_io_bytes[DDIR_WRITE] + io_u->xfer_buflen < td->o.size)
-               flags = MSG_MORE;
+                       if (td->this_io_bytes[DDIR_WRITE] + io_u->xfer_buflen <
+                           td->o.size)
+                               flags |= MSG_MORE;
 #endif
+                       ret = send(io_u->file->fd, io_u->xfer_buf,
+                                       io_u->xfer_buflen, flags);
+               }
+               if (ret > 0)
+                       break;
+
+               ret = poll_wait(td, io_u->file->fd, POLLOUT);
+               if (ret <= 0)
+                       break;
+
+               flags &= ~MSG_DONTWAIT;
+       } while (1);
+
+       return ret;
+}
+
+static int is_udp_close(struct io_u *io_u, int len)
+{
+       struct udp_close_msg *msg;
+
+       if (len != sizeof(struct udp_close_msg))
+               return 0;
 
-       return send(io_u->file->fd, io_u->xfer_buf, io_u->xfer_buflen, flags);
+       msg = io_u->xfer_buf;
+       if (ntohl(msg->magic) != FIO_LINK_CLOSE_MAGIC)
+               return 0;
+       if (ntohl(msg->cmd) != FIO_LINK_CLOSE)
+               return 0;
+
+       return 1;
 }
 
-static int fio_netio_recv(struct io_u *io_u)
+static int fio_netio_recv(struct thread_data *td, struct io_u *io_u)
 {
-       int flags = MSG_WAITALL;
+       struct netio_data *nd = td->io_ops->data;
+       int ret, flags = MSG_DONTWAIT;
+
+       do {
+               if (nd->net_protocol == IPPROTO_UDP) {
+                       socklen_t len = sizeof(nd->addr);
+                       struct sockaddr *from = (struct sockaddr *) &nd->addr;
+
+                       ret = recvfrom(io_u->file->fd, io_u->xfer_buf,
+                                       io_u->xfer_buflen, flags, from, &len);
+                       if (is_udp_close(io_u, ret)) {
+                               td->done = 1;
+                               return 0;
+                       }
+               } else {
+                       ret = recv(io_u->file->fd, io_u->xfer_buf,
+                                       io_u->xfer_buflen, flags);
+               }
+               if (ret > 0)
+                       break;
 
-       return recv(io_u->file->fd, io_u->xfer_buf, io_u->xfer_buflen, flags);
+               ret = poll_wait(td, io_u->file->fd, POLLIN);
+               if (ret <= 0)
+                       break;
+               flags &= ~MSG_DONTWAIT;
+               flags |= MSG_WAITALL;
+       } while (1);
+
+       return ret;
 }
 
 static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
@@ -206,15 +314,15 @@ static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
        fio_ro_check(td, io_u);
 
        if (io_u->ddir == DDIR_WRITE) {
-               if (nd->use_splice)
-                       ret = fio_netio_splice_out(td, io_u);
-               else
+               if (!nd->use_splice || nd->net_protocol == IPPROTO_UDP)
                        ret = fio_netio_send(td, io_u);
+               else
+                       ret = fio_netio_splice_out(td, io_u);
        } else if (io_u->ddir == DDIR_READ) {
-               if (nd->use_splice)
-                       ret = fio_netio_splice_in(td, io_u);
+               if (!nd->use_splice || nd->net_protocol == IPPROTO_UDP)
+                       ret = fio_netio_recv(td, io_u);
                else
-                       ret = fio_netio_recv(io_u);
+                       ret = fio_netio_splice_in(td, io_u);
        } else
                ret = 0;        /* must be a SYNC */
 
@@ -223,8 +331,14 @@ static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
                        io_u->resid = io_u->xfer_buflen - ret;
                        io_u->error = 0;
                        return FIO_Q_COMPLETED;
-               } else
-                       io_u->error = errno;
+               } else {
+                       int err = errno;
+
+                       if (io_u->ddir == DDIR_WRITE && err == EMSGSIZE)
+                               return FIO_Q_BUSY;
+
+                       io_u->error = err;
+               }
        }
 
        if (io_u->error)
@@ -236,13 +350,22 @@ static int fio_netio_queue(struct thread_data *td, struct io_u *io_u)
 static int fio_netio_connect(struct thread_data *td, struct fio_file *f)
 {
        struct netio_data *nd = td->io_ops->data;
+       int type;
+
+       if (nd->net_protocol == IPPROTO_TCP)
+               type = SOCK_STREAM;
+       else
+               type = SOCK_DGRAM;
 
-       f->fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
+       f->fd = socket(AF_INET, type, nd->net_protocol);
        if (f->fd < 0) {
                td_verror(td, errno, "socket");
                return 1;
        }
 
+       if (nd->net_protocol == IPPROTO_UDP)
+               return 0;
+
        if (connect(f->fd, (struct sockaddr *) &nd->addr, sizeof(nd->addr)) < 0) {
                td_verror(td, errno, "connect");
                return 1;
@@ -255,41 +378,21 @@ static int fio_netio_accept(struct thread_data *td, struct fio_file *f)
 {
        struct netio_data *nd = td->io_ops->data;
        socklen_t socklen = sizeof(nd->addr);
-       struct pollfd pfd;
-       int ret;
 
-       log_info("fio: waiting for connection\n");
-
-       /*
-        * Accept loop. poll for incoming events, accept them. Repeat until we
-        * have all connections.
-        */
-       while (!td->terminate) {
-               pfd.fd = nd->listenfd;
-               pfd.events = POLLIN;
-
-               ret = poll(&pfd, 1, -1);
-               if (ret < 0) {
-                       if (errno == EINTR)
-                               continue;
+       if (nd->net_protocol == IPPROTO_UDP) {
+               f->fd = nd->listenfd;
+               return 0;
+       }
 
-                       td_verror(td, errno, "poll");
-                       break;
-               } else if (!ret)
-                       continue;
+       log_info("fio: waiting for connection\n");
 
-               /*
-                * should be impossible
-                */
-               if (!(pfd.revents & POLLIN))
-                       continue;
+       if (poll_wait(td, nd->listenfd, POLLIN) < 0)
+               return 1;
 
-               f->fd = accept(nd->listenfd, (struct sockaddr *) &nd->addr, &socklen);
-               if (f->fd < 0) {
-                       td_verror(td, errno, "accept");
-                       return 1;
-               }
-               break;
+       f->fd = accept(nd->listenfd, (struct sockaddr *) &nd->addr, &socklen);
+       if (f->fd < 0) {
+               td_verror(td, errno, "accept");
+               return 1;
        }
 
        return 0;
@@ -303,6 +406,36 @@ static int fio_netio_open_file(struct thread_data *td, struct fio_file *f)
                return fio_netio_connect(td, f);
 }
 
+static void fio_netio_udp_close(struct thread_data *td, struct fio_file *f)
+{
+       struct netio_data *nd = td->io_ops->data;
+       struct udp_close_msg msg;
+       struct sockaddr *to = (struct sockaddr *) &nd->addr;
+       int ret;
+
+       msg.magic = htonl(FIO_LINK_CLOSE_MAGIC);
+       msg.cmd = htonl(FIO_LINK_CLOSE);
+
+       ret = sendto(f->fd, &msg, sizeof(msg), MSG_WAITALL, to,
+                       sizeof(nd->addr));
+       if (ret < 0)
+               td_verror(td, errno, "sendto udp link close");
+}
+
+static int fio_netio_close_file(struct thread_data *td, struct fio_file *f)
+{
+       struct netio_data *nd = td->io_ops->data;
+
+       /*
+        * If this is an UDP connection, notify the receiver that we are
+        * closing down the link
+        */
+       if (nd->net_protocol == IPPROTO_UDP)
+               fio_netio_udp_close(td, f);
+
+       return generic_close_file(td, f);
+}
+
 static int fio_netio_setup_connect(struct thread_data *td, const char *host,
                                   unsigned short port)
 {
@@ -329,9 +462,14 @@ static int fio_netio_setup_connect(struct thread_data *td, const char *host,
 static int fio_netio_setup_listen(struct thread_data *td, short port)
 {
        struct netio_data *nd = td->io_ops->data;
-       int fd, opt;
+       int fd, opt, type;
+
+       if (nd->net_protocol == IPPROTO_TCP)
+               type = SOCK_STREAM;
+       else
+               type = SOCK_DGRAM;
 
-       fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
+       fd = socket(AF_INET, type, nd->net_protocol);
        if (fd < 0) {
                td_verror(td, errno, "socket");
                return 1;
@@ -357,7 +495,7 @@ static int fio_netio_setup_listen(struct thread_data *td, short port)
                td_verror(td, errno, "bind");
                return 1;
        }
-       if (listen(fd, 1) < 0) {
+       if (nd->net_protocol == IPPROTO_TCP && listen(fd, 1) < 0) {
                td_verror(td, errno, "listen");
                return 1;
        }
@@ -371,7 +509,7 @@ static int fio_netio_init(struct thread_data *td)
        struct netio_data *nd = td->io_ops->data;
        unsigned int port;
        char host[64], buf[128];
-       char *sep;
+       char *sep, *portp, *modep;
        int ret;
 
        if (td_rw(td)) {
@@ -395,10 +533,30 @@ static int fio_netio_init(struct thread_data *td)
        if (!strlen(host))
                goto bad_host;
 
-       port = strtol(sep, NULL, 10);
+       modep = NULL;
+       portp = sep;
+       sep = strchr(portp, '/');
+       if (sep) {
+               *sep = '\0';
+               modep = sep + 1;
+       }
+               
+       port = strtol(portp, NULL, 10);
        if (!port || port > 65535)
                goto bad_host;
 
+       if (modep) {
+               if (!strncmp("tcp", modep, strlen(modep)) ||
+                   !strncmp("TCP", modep, strlen(modep)))
+                       nd->net_protocol = IPPROTO_TCP;
+               else if (!strncmp("udp", modep, strlen(modep)) ||
+                        !strncmp("UDP", modep, strlen(modep)))
+                       nd->net_protocol = IPPROTO_UDP;
+               else
+                       goto bad_host;
+       } else
+               nd->net_protocol = IPPROTO_TCP;
+
        if (td_read(td)) {
                nd->send_to_net = 0;
                ret = fio_netio_setup_listen(td, port);
@@ -409,7 +567,7 @@ static int fio_netio_init(struct thread_data *td)
 
        return ret;
 bad_host:
-       log_err("fio: bad network host/port: %s\n", td->o.filename);
+       log_err("fio: bad network host/port/protocol: %s\n", td->o.filename);
        return 1;
 }
 
@@ -426,7 +584,6 @@ static void fio_netio_cleanup(struct thread_data *td)
                        close(nd->pipes[1]);
 
                free(nd);
-               td->io_ops->data = NULL;
        }
 }
 
@@ -489,7 +646,7 @@ static struct ioengine_ops ioengine_rw = {
        .init           = fio_netio_init,
        .cleanup        = fio_netio_cleanup,
        .open_file      = fio_netio_open_file,
-       .close_file     = generic_close_file,
+       .close_file     = fio_netio_close_file,
        .flags          = FIO_SYNCIO | FIO_DISKLESSIO | FIO_UNIDIR |
                          FIO_SIGQUIT,
 };