server: dump where we attempted to bind in case of failure
[fio.git] / server.c
index 020d1d7b5a4bc333305ac98fdaf94514d748cc26..0954d4c3d7c81c7bfe1aa2a839b92645dc3863db 100644 (file)
--- a/server.c
+++ b/server.c
@@ -11,6 +11,7 @@
 #include <sys/socket.h>
 #include <sys/stat.h>
 #include <sys/un.h>
+#include <sys/uio.h>
 #include <netinet/in.h>
 #include <arpa/inet.h>
 #include <netdb.h>
@@ -50,12 +51,6 @@ struct fio_fork_item {
        pid_t pid;
 };
 
-/* Created on fork on new connection */
-static FLIST_HEAD(conn_list);
-
-/* Created on job fork from connection */
-static FLIST_HEAD(job_list);
-
 static const char *fio_server_ops[FIO_NET_CMD_NR] = {
        "",
        "QUIT",
@@ -470,16 +465,16 @@ static void fio_server_add_fork_item(pid_t pid, struct flist_head *list)
        flist_add_tail(&ffi->list, list);
 }
 
-static void fio_server_add_conn_pid(pid_t pid)
+static void fio_server_add_conn_pid(struct flist_head *conn_list, pid_t pid)
 {
-       dprint(FD_NET, "server: forked off connection job (pid=%u)\n", pid);
-       fio_server_add_fork_item(pid, &conn_list);
+       dprint(FD_NET, "server: forked off connection job (pid=%u)\n", (int) pid);
+       fio_server_add_fork_item(pid, conn_list);
 }
 
-static void fio_server_add_job_pid(pid_t pid)
+static void fio_server_add_job_pid(struct flist_head *job_list, pid_t pid)
 {
-       dprint(FD_NET, "server: forked off job job (pid=%u)\n", pid);
-       fio_server_add_fork_item(pid, &job_list);
+       dprint(FD_NET, "server: forked off job job (pid=%u)\n", (int) pid);
+       fio_server_add_fork_item(pid, job_list);
 }
 
 static void fio_server_check_fork_item(struct fio_fork_item *ffi)
@@ -489,7 +484,7 @@ static void fio_server_check_fork_item(struct fio_fork_item *ffi)
        ret = waitpid(ffi->pid, &status, WNOHANG);
        if (ret < 0) {
                if (errno == ECHILD) {
-                       log_err("fio: connection pid %u disappeared\n", ffi->pid);
+                       log_err("fio: connection pid %u disappeared\n", (int) ffi->pid);
                        ffi->exited = 1;
                } else
                        log_err("fio: waitpid: %s\n", strerror(errno));
@@ -508,7 +503,7 @@ static void fio_server_check_fork_item(struct fio_fork_item *ffi)
 
 static void fio_server_fork_item_done(struct fio_fork_item *ffi)
 {
-       dprint(FD_NET, "pid %u exited, sig=%u, exitval=%d\n", ffi->pid, ffi->signal, ffi->exitval);
+       dprint(FD_NET, "pid %u exited, sig=%u, exitval=%d\n", (int) ffi->pid, ffi->signal, ffi->exitval);
 
        /*
         * Fold STOP and QUIT...
@@ -534,17 +529,17 @@ static void fio_server_check_fork_items(struct flist_head *list)
        }
 }
 
-static void fio_server_check_jobs(void)
+static void fio_server_check_jobs(struct flist_head *job_list)
 {
-       fio_server_check_fork_items(&job_list);
+       fio_server_check_fork_items(job_list);
 }
 
-static void fio_server_check_conns(void)
+static void fio_server_check_conns(struct flist_head *conn_list)
 {
-       fio_server_check_fork_items(&conn_list);
+       fio_server_check_fork_items(conn_list);
 }
 
-static int handle_run_cmd(struct fio_net_cmd *cmd)
+static int handle_run_cmd(struct flist_head *job_list, struct fio_net_cmd *cmd)
 {
        pid_t pid;
        int ret;
@@ -553,7 +548,7 @@ static int handle_run_cmd(struct fio_net_cmd *cmd)
 
        pid = fork();
        if (pid) {
-               fio_server_add_job_pid(pid);
+               fio_server_add_job_pid(job_list, pid);
                return 0;
        }
 
@@ -680,6 +675,7 @@ static int handle_send_eta_cmd(struct fio_net_cmd *cmd)
        je->nr_running          = cpu_to_le32(je->nr_running);
        je->nr_ramp             = cpu_to_le32(je->nr_ramp);
        je->nr_pending          = cpu_to_le32(je->nr_pending);
+       je->nr_setting_up       = cpu_to_le32(je->nr_setting_up);
        je->files_open          = cpu_to_le32(je->files_open);
 
        for (i = 0; i < DDIR_RWDIR_CNT; i++) {
@@ -732,7 +728,7 @@ static int handle_update_job_cmd(struct fio_net_cmd *cmd)
        return 0;
 }
 
-static int handle_command(struct fio_net_cmd *cmd)
+static int handle_command(struct flist_head *job_list, struct fio_net_cmd *cmd)
 {
        int ret;
 
@@ -760,7 +756,7 @@ static int handle_command(struct fio_net_cmd *cmd)
                ret = handle_send_eta_cmd(cmd);
                break;
        case FIO_NET_CMD_RUN:
-               ret = handle_run_cmd(cmd);
+               ret = handle_run_cmd(job_list, cmd);
                break;
        case FIO_NET_CMD_UPDATE_JOB:
                ret = handle_update_job_cmd(cmd);
@@ -776,10 +772,10 @@ static int handle_command(struct fio_net_cmd *cmd)
 static int handle_connection(int sk)
 {
        struct fio_net_cmd *cmd = NULL;
+       FLIST_HEAD(job_list);
        int ret = 0;
 
        reset_fio_state();
-       INIT_FLIST_HEAD(&job_list);
        server_fd = sk;
 
        /* read forever */
@@ -803,7 +799,7 @@ static int handle_connection(int sk)
                                log_err("fio: poll: %s\n", strerror(errno));
                                break;
                        } else if (!ret) {
-                               fio_server_check_jobs();
+                               fio_server_check_jobs(&job_list);
                                continue;
                        }
 
@@ -815,7 +811,7 @@ static int handle_connection(int sk)
                        }
                } while (!exit_backend);
 
-               fio_server_check_jobs();
+               fio_server_check_jobs(&job_list);
 
                if (ret < 0)
                        break;
@@ -826,7 +822,7 @@ static int handle_connection(int sk)
                        break;
                }
 
-               ret = handle_command(cmd);
+               ret = handle_command(&job_list, cmd);
                if (ret)
                        break;
 
@@ -844,9 +840,11 @@ static int handle_connection(int sk)
 static int accept_loop(int listen_sk)
 {
        struct sockaddr_in addr;
-       socklen_t len = sizeof(addr);
+       struct sockaddr_in6 addr6;
+       socklen_t len = use_ipv6 ? sizeof(addr6) : sizeof(addr);
        struct pollfd pfd;
        int ret = 0, sk, flags, exitval = 0;
+       FLIST_HEAD(conn_list);
 
        dprint(FD_NET, "server enter accept loop\n");
 
@@ -855,6 +853,8 @@ static int accept_loop(int listen_sk)
        fcntl(listen_sk, F_SETFL, flags);
 
        while (!exit_backend) {
+               const char *from;
+               char buf[64];
                pid_t pid;
 
                pfd.fd = listen_sk;
@@ -872,7 +872,7 @@ static int accept_loop(int listen_sk)
                                log_err("fio: poll: %s\n", strerror(errno));
                                break;
                        } else if (!ret) {
-                               fio_server_check_conns();
+                               fio_server_check_conns(&conn_list);
                                continue;
                        }
 
@@ -880,23 +880,32 @@ static int accept_loop(int listen_sk)
                                break;
                } while (!exit_backend);
 
-               fio_server_check_conns();
+               fio_server_check_conns(&conn_list);
 
                if (exit_backend || ret < 0)
                        break;
 
-               sk = accept(listen_sk, (struct sockaddr *) &addr, &len);
+               if (use_ipv6)
+                       sk = accept(listen_sk, (struct sockaddr *) &addr6, &len);
+               else
+                       sk = accept(listen_sk, (struct sockaddr *) &addr, &len);
+
                if (sk < 0) {
                        log_err("fio: accept: %s\n", strerror(errno));
                        return -1;
                }
 
-               dprint(FD_NET, "server: connect from %s\n", inet_ntoa(addr.sin_addr));
+               if (use_ipv6)
+                       from = inet_ntop(AF_INET6, (struct sockaddr *) &addr6.sin6_addr, buf, sizeof(buf));
+               else
+                       from = inet_ntop(AF_INET, (struct sockaddr *) &addr.sin_addr, buf, sizeof(buf));
+
+               dprint(FD_NET, "server: connect from %s\n", from);
 
                pid = fork();
                if (pid) {
                        close(sk);
-                       fio_server_add_conn_pid(pid);
+                       fio_server_add_conn_pid(&conn_list, pid);
                        continue;
                }
 
@@ -978,9 +987,9 @@ void fio_server_send_ts(struct thread_stat *ts, struct group_run_stats *rs)
 
        memset(&p, 0, sizeof(p));
 
-       strcpy(p.ts.name, ts->name);
-       strcpy(p.ts.verror, ts->verror);
-       strcpy(p.ts.description, ts->description);
+       strncpy(p.ts.name, ts->name, FIO_JOBNAME_SIZE - 1);
+       strncpy(p.ts.verror, ts->verror, FIO_VERROR_SIZE - 1);
+       strncpy(p.ts.description, ts->description, FIO_JOBDESC_SIZE - 1);
 
        p.ts.error              = cpu_to_le32(ts->error);
        p.ts.thread_number      = cpu_to_le32(ts->thread_number);
@@ -1045,6 +1054,11 @@ void fio_server_send_ts(struct thread_stat *ts, struct group_run_stats *rs)
        p.ts.kb_base            = cpu_to_le32(ts->kb_base);
        p.ts.unit_base          = cpu_to_le32(ts->unit_base);
 
+       p.ts.latency_depth      = cpu_to_le32(ts->latency_depth);
+       p.ts.latency_target     = cpu_to_le64(ts->latency_target);
+       p.ts.latency_window     = cpu_to_le64(ts->latency_window);
+       p.ts.latency_percentile.u.i = __cpu_to_le64(fio_double_to_uint64(ts->latency_percentile.u.f));
+
        convert_gs(&p.rs, rs);
 
        fio_net_send_cmd(server_fd, FIO_NET_CMD_TS, &p, sizeof(p), NULL, NULL);
@@ -1124,7 +1138,7 @@ static int fio_send_cmd_ext_pdu(int sk, uint16_t opcode, const void *buf,
        struct fio_net_cmd cmd;
        struct iovec iov[2];
 
-       iov[0].iov_base = &cmd;
+       iov[0].iov_base = (void *) &cmd;
        iov[0].iov_len = sizeof(cmd);
        iov[1].iov_base = (void *) buf;
        iov[1].iov_len = size;
@@ -1253,6 +1267,8 @@ static int fio_init_server_ip(void)
 {
        struct sockaddr *addr;
        socklen_t socklen;
+       char buf[80];
+       const char *str;
        int sk, opt;
 
        if (use_ipv6)
@@ -1280,17 +1296,24 @@ static int fio_init_server_ip(void)
 #endif
 
        if (use_ipv6) {
+               const void *src = &saddr_in6.sin6_addr;
+
                addr = (struct sockaddr *) &saddr_in6;
                socklen = sizeof(saddr_in6);
                saddr_in6.sin6_family = AF_INET6;
+               str = inet_ntop(AF_INET6, src, buf, sizeof(buf));
        } else {
+               const void *src = &saddr_in.sin_addr;
+
                addr = (struct sockaddr *) &saddr_in;
                socklen = sizeof(saddr_in);
                saddr_in.sin_family = AF_INET;
+               str = inet_ntop(AF_INET, src, buf, sizeof(buf));
        }
 
        if (bind(sk, addr, socklen) < 0) {
                log_err("fio: bind: %s\n", strerror(errno));
+               log_info("fio: failed with IPv%c %s\n", use_ipv6 ? '6' : '4', str);
                close(sk);
                return -1;
        }
@@ -1378,41 +1401,38 @@ static int fio_init_server_connection(void)
        return sk;
 }
 
-int fio_server_parse_host(const char *host, int *ipv6, struct in_addr *inp,
+int fio_server_parse_host(const char *host, int ipv6, struct in_addr *inp,
                          struct in6_addr *inp6)
 
 {
        int ret = 0;
 
-       if (*ipv6)
+       if (ipv6)
                ret = inet_pton(AF_INET6, host, inp6);
        else
                ret = inet_pton(AF_INET, host, inp);
 
        if (ret != 1) {
-               struct hostent *hent;
+               struct addrinfo hints, *res;
 
-               hent = gethostbyname(host);
-               if (!hent) {
-                       log_err("fio: failed to resolve <%s>\n", host);
-                       return 0;
-               }
+               memset(&hints, 0, sizeof(hints));
+               hints.ai_family = ipv6 ? AF_INET6 : AF_INET;
+               hints.ai_socktype = SOCK_STREAM;
 
-               if (*ipv6) {
-                       if (hent->h_addrtype != AF_INET6) {
-                               log_info("fio: falling back to IPv4\n");
-                               *ipv6 = 0;
-                       } else
-                               memcpy(inp6, hent->h_addr_list[0], 16);
-               }
-               if (!*ipv6) {
-                       if (hent->h_addrtype != AF_INET) {
-                               log_err("fio: lookup type mismatch\n");
-                               return 0;
-                       }
-                       memcpy(inp, hent->h_addr_list[0], 4);
+               ret = getaddrinfo(host, NULL, &hints, &res);
+               if (ret) {
+                       log_err("fio: failed to resolve <%s> (%s)\n", host,
+                                       gai_strerror(ret));
+                       return 1;
                }
+
+               if (ipv6)
+                       memcpy(inp6, &((struct sockaddr_in6 *) res->ai_addr)->sin6_addr, sizeof(*inp6));
+               else
+                       memcpy(inp, &((struct sockaddr_in *) res->ai_addr)->sin_addr, sizeof(*inp));
+
                ret = 1;
+               freeaddrinfo(res);
        }
 
        return !(ret == 1);
@@ -1465,7 +1485,7 @@ int fio_server_parse_string(const char *str, char **ptr, int *is_sock,
                host++;
                lport = atoi(host);
                if (!lport || lport > 65535) {
-                       log_err("fio: bad server port %u\n", port);
+                       log_err("fio: bad server port %u\n", lport);
                        return 1;
                }
                /* no hostname given, we are done */
@@ -1474,7 +1494,7 @@ int fio_server_parse_string(const char *str, char **ptr, int *is_sock,
        }
 
        /*
-        * If no port seen yet, check if there's a last ':' at the end
+        * If no port seen yet, check if there's a last ',' at the end
         */
        if (!lport) {
                portp = strchr(host, ',');
@@ -1483,7 +1503,7 @@ int fio_server_parse_string(const char *str, char **ptr, int *is_sock,
                        portp++;
                        lport = atoi(portp);
                        if (!lport || lport > 65535) {
-                               log_err("fio: bad server port %u\n", port);
+                               log_err("fio: bad server port %u\n", lport);
                                return 1;
                        }
                }
@@ -1497,7 +1517,7 @@ int fio_server_parse_string(const char *str, char **ptr, int *is_sock,
 
        *ptr = strdup(host);
 
-       if (fio_server_parse_host(*ptr, ipv6, inp, inp6)) {
+       if (fio_server_parse_host(*ptr, *ipv6, inp, inp6)) {
                free(*ptr);
                *ptr = NULL;
                return 1;