client/server: fixup "All clients" reporting
[fio.git] / client.c
index ace70d357b97a3e882bacfea811e265779a85b44..a483913062cfb527f64c718356366cd6d2266c33 100644 (file)
--- a/client.c
+++ b/client.c
@@ -37,6 +37,7 @@ struct fio_client {
        char *hostname;
        int port;
        int fd;
+       unsigned int refs;
 
        char *name;
 
@@ -46,8 +47,11 @@ struct fio_client {
        int is_sock;
        int disk_stats_shown;
        unsigned int jobs;
+       unsigned int nr_stat;
        int error;
        int ipv6;
+       int sent_job;
+       int did_stat;
 
        struct flist_head eta_list;
        struct client_eta *eta_in_flight;
@@ -56,6 +60,9 @@ struct fio_client {
 
        uint16_t argc;
        char **argv;
+
+       char **ini_file;
+       unsigned int nr_ini_file;
 };
 
 static struct timeval eta_tv;
@@ -76,8 +83,9 @@ static FLIST_HEAD(arg_list);
 
 static struct thread_stat client_ts;
 static struct group_run_stats client_gs;
-static int sum_stat_clients;
+static int sum_stat_clients = 0;
 static int sum_stat_nr;
+static int do_output_all_clients;
 
 #define FIO_CLIENT_HASH_BITS   7
 #define FIO_CLIENT_HASH_SZ     (1 << FIO_CLIENT_HASH_BITS)
@@ -118,8 +126,10 @@ static struct fio_client *find_client_by_fd(int fd)
        flist_for_each(entry, &client_hash[bucket]) {
                client = flist_entry(entry, struct fio_client, hash_list);
 
-               if (client->fd == fd)
+               if (client->fd == fd) {
+                       client->refs++;
                        return client;
+               }
        }
 
        return NULL;
@@ -127,6 +137,11 @@ static struct fio_client *find_client_by_fd(int fd)
 
 static void remove_client(struct fio_client *client)
 {
+       assert(client->refs);
+
+       if (--client->refs)
+               return;
+
        dprint(FD_NET, "client: removed <%s>\n", client->hostname);
        flist_del(&client->list);
 
@@ -142,10 +157,21 @@ static void remove_client(struct fio_client *client)
                free(client->argv);
        if (client->name)
                free(client->name);
+       while (client->nr_ini_file)
+               free(client->ini_file[--client->nr_ini_file]);
+       if (client->ini_file)
+               free(client->ini_file);
+
+       if (!client->did_stat)
+               sum_stat_clients -= client->nr_stat;
 
        free(client);
        nr_clients--;
-       sum_stat_clients--;
+}
+
+static void put_client(struct fio_client *client)
+{
+       remove_client(client);
 }
 
 static void __fio_client_add_cmd_option(struct fio_client *client,
@@ -179,6 +205,19 @@ void fio_client_add_cmd_option(void *cookie, const char *opt)
        }
 }
 
+void fio_client_add_ini_file(void *cookie, const char *ini_file)
+{
+       struct fio_client *client = cookie;
+       size_t new_size;
+
+       dprint(FD_NET, "client <%s>: add ini %s\n", client->hostname, ini_file);
+
+       new_size = (client->nr_ini_file + 1) * sizeof(char *);
+       client->ini_file = realloc(client->ini_file, new_size);
+       client->ini_file[client->nr_ini_file] = strdup(ini_file);
+       client->nr_ini_file++;
+}
+
 int fio_client_add(const char *hostname, void **cookie)
 {
        struct fio_client *existing = *cookie;
@@ -214,6 +253,7 @@ int fio_client_add(const char *hostname, void **cookie)
                return -1;
 
        client->fd = -1;
+       client->refs = 1;
 
        __fio_client_add_cmd_option(client, "fio");
 
@@ -329,6 +369,11 @@ static void sig_int(int sig)
        fio_clients_terminate();
 }
 
+static void sig_show_status(int sig)
+{
+       show_running_run_stats();
+}
+
 static void client_signal_handler(void)
 {
        struct sigaction act;
@@ -342,6 +387,19 @@ static void client_signal_handler(void)
        act.sa_handler = sig_int;
        act.sa_flags = SA_RESTART;
        sigaction(SIGTERM, &act, NULL);
+
+/* Windows uses SIGBREAK as a quit signal from other applications */
+#ifdef WIN32
+       memset(&act, 0, sizeof(act));
+       act.sa_handler = sig_int;
+       act.sa_flags = SA_RESTART;
+       sigaction(SIGBREAK, &act, NULL);
+#endif
+
+       memset(&act, 0, sizeof(act));
+       act.sa_handler = sig_show_status;
+       act.sa_flags = SA_RESTART;
+       sigaction(SIGUSR1, &act, NULL);
 }
 
 static void probe_client(struct fio_client *client)
@@ -481,6 +539,7 @@ static int fio_client_send_ini(struct fio_client *client, const char *filename)
                return 1;
        }
 
+       client->sent_job = 1;
        ret = fio_net_send_cmd(client->fd, FIO_NET_CMD_JOB, buf, sb.st_size, 0);
        free(buf);
        close(fd);
@@ -495,8 +554,21 @@ int fio_clients_send_ini(const char *filename)
        flist_for_each_safe(entry, tmp, &client_list) {
                client = flist_entry(entry, struct fio_client, list);
 
-               if (fio_client_send_ini(client, filename))
+               if (client->nr_ini_file) {
+                       int i;
+
+                       for (i = 0; i < client->nr_ini_file; i++) {
+                               const char *ini = client->ini_file[i];
+
+                               if (fio_client_send_ini(client, ini)) {
+                                       remove_client(client);
+                                       break;
+                               }
+                       }
+               } else if (!filename || fio_client_send_ini(client, filename))
                        remove_client(client);
+
+               client->sent_job = 1;
        }
 
        return !nr_clients;
@@ -597,7 +669,7 @@ static void convert_gs(struct group_run_stats *dst, struct group_run_stats *src)
        dst->groupid    = le32_to_cpu(src->groupid);
 }
 
-static void handle_ts(struct fio_net_cmd *cmd)
+static void handle_ts(struct fio_client *client, struct fio_net_cmd *cmd)
 {
        struct cmd_ts_pdu *p = (struct cmd_ts_pdu *) cmd->payload;
 
@@ -605,8 +677,9 @@ static void handle_ts(struct fio_net_cmd *cmd)
        convert_gs(&p->rs, &p->rs);
 
        show_thread_status(&p->ts, &p->rs);
+       client->did_stat = 1;
 
-       if (sum_stat_clients == 1)
+       if (!do_output_all_clients)
                return;
 
        sum_thread_stats(&client_ts, &p->ts, sum_stat_nr);
@@ -674,7 +747,7 @@ static void handle_du(struct fio_client *client, struct fio_net_cmd *cmd)
                log_info("\nDisk stats (read/write):\n");
        }
 
-       print_disk_util(&du->dus, &du->agg, terse_output);
+       print_disk_util(&du->dus, &du->agg, output_format == FIO_OUTPUT_TERSE);
 }
 
 static void convert_jobs_eta(struct jobs_eta *je)
@@ -697,6 +770,7 @@ static void convert_jobs_eta(struct jobs_eta *je)
 
        je->elapsed_sec         = le64_to_cpu(je->elapsed_sec);
        je->eta_sec             = le64_to_cpu(je->eta_sec);
+       je->is_pow2             = le32_to_cpu(je->is_pow2);
 }
 
 static void sum_jobs_eta(struct jobs_eta *dst, struct jobs_eta *je)
@@ -788,9 +862,9 @@ static void handle_probe(struct fio_client *client, struct fio_net_cmd *cmd)
 
        sprintf(bit, "%d-bit", probe->bpp * 8);
 
-       log_info("hostname=%s, be=%u, %s, os=%s, arch=%s, fio=%u.%u.%u\n",
+       log_info("hostname=%s, be=%u, %s, os=%s, arch=%s, fio=%s\n",
                probe->hostname, probe->bigendian, bit, os, arch,
-               probe->fio_major, probe->fio_minor, probe->fio_patch);
+               probe->fio_version);
 
        if (!client->name)
                client->name = strdup((char *) probe->hostname);
@@ -802,6 +876,12 @@ static void handle_start(struct fio_client *client, struct fio_net_cmd *cmd)
 
        client->state = Client_started;
        client->jobs = le32_to_cpu(pdu->jobs);
+       client->nr_stat = le32_to_cpu(pdu->stat_outputs);
+
+       if (sum_stat_clients > 1)
+               do_output_all_clients = 1;
+
+       sum_stat_clients += client->nr_stat;
 }
 
 static void handle_stop(struct fio_client *client, struct fio_net_cmd *cmd)
@@ -853,7 +933,7 @@ static int handle_client(struct fio_client *client)
                free(cmd);
                break;
        case FIO_NET_CMD_TS:
-               handle_ts(cmd);
+               handle_ts(client, cmd);
                free(cmd);
                break;
        case FIO_NET_CMD_GS:
@@ -978,8 +1058,6 @@ static int fio_client_timed_out(void)
 
 int fio_handle_clients(void)
 {
-       struct fio_client *client;
-       struct flist_head *entry;
        struct pollfd *pfds;
        int i, ret = 0, retval = 0;
 
@@ -987,20 +1065,31 @@ int fio_handle_clients(void)
 
        pfds = malloc(nr_clients * sizeof(struct pollfd));
 
-       sum_stat_clients = nr_clients;
        init_thread_stat(&client_ts);
        init_group_run_stat(&client_gs);
 
        while (!exit_backend && nr_clients) {
+               struct flist_head *entry, *tmp;
+               struct fio_client *client;
+
                i = 0;
-               flist_for_each(entry, &client_list) {
+               flist_for_each_safe(entry, tmp, &client_list) {
                        client = flist_entry(entry, struct fio_client, list);
 
+                       if (!client->sent_job &&
+                           flist_empty(&client->cmd_list)) {
+                               remove_client(client);
+                               continue;
+                       }
+
                        pfds[i].fd = client->fd;
                        pfds[i].events = POLLIN;
                        i++;
                }
 
+               if (!nr_clients)
+                       break;
+
                assert(i == nr_clients);
 
                do {
@@ -1041,6 +1130,7 @@ int fio_handle_clients(void)
                                retval = 1;
                        } else if (client->error)
                                retval = 1;
+                       put_client(client);
                }
        }