[PATCH] blktrace: no need to track ts->offset anymore
[blktrace.git] / blktrace.c
index 9c4dd196fa34a0a806818c0840fef488451e7d49..24b48d5b2a214ecc9d86222a6263366afbfbe2b7 100644 (file)
@@ -160,7 +160,6 @@ struct tip_subbuf {
        void *buf;
        unsigned int len;
        unsigned int max_len;
-       off_t offset;
 };
 
 #define FIFO_SIZE      (1024)  /* should be plenty big! */
@@ -183,11 +182,14 @@ struct thread_information {
        int pfd;
        size_t *pfd_buf;
 
+       struct in_addr cl_in_addr;
+
        FILE *ofile;
        char *ofile_buffer;
        off_t ofile_offset;
        int ofile_stdout;
        int ofile_mmap;
+       volatile int sendfile_pending;
 
        int (*get_subbuf)(struct thread_information *, unsigned int);
        int (*flush_subbuf)(struct thread_information *, struct tip_subbuf *);
@@ -288,13 +290,26 @@ enum {
 static char hostname[MAXHOSTNAMELEN];
 static int net_port = TRACE_NET_PORT;
 static int net_mode = 0;
-static int net_sendfile;
+static int net_use_sendfile;
 
 static int net_in_fd = -1;
 static int net_out_fd = -1;
 
 static void handle_sigint(__attribute__((__unused__)) int sig)
 {
+       struct device_information *dip;
+       int i;
+
+       /*
+        * stop trace so we can reap currently produced data
+        */
+       for_each_dip(dip, i) {
+               if (dip->fd == -1)
+                       continue;
+               if (ioctl(dip->fd, BLKTRACESTOP) < 0)
+                       perror("BLKTRACESTOP");
+       }
+
        done = 1;
 }
 
@@ -329,21 +344,6 @@ static int get_dropped_count(const char *buts_name)
        return atoi(tmp);
 }
 
-static size_t get_subbuf_padding(struct thread_information *tip,
-                                unsigned subbuf)
-{
-       size_t padding_size = buf_nr * sizeof(size_t);
-       size_t ret;
-
-       if (read(tip->pfd, tip->pfd_buf, padding_size) < 0) {
-               perror("tip pad read");
-               ret = -1;
-       } else
-               ret = tip->pfd_buf[subbuf];
-
-       return ret;
-}
-
 static int start_trace(struct device_information *dip)
 {
        struct blk_user_trace_setup buts;
@@ -373,8 +373,11 @@ static void stop_trace(struct device_information *dip)
        if (dip_tracing(dip) || kill_running_trace) {
                dip_set_tracing(dip, 0);
 
-               if (ioctl(dip->fd, BLKTRACESTOP) < 0)
-                       perror("BLKTRACESTOP");
+               /*
+                * should be stopped, just don't complain if it isn't
+                */
+               ioctl(dip->fd, BLKTRACESTOP);
+
                if (ioctl(dip->fd, BLKTRACETEARDOWN) < 0)
                        perror("BLKTRACETEARDOWN");
 
@@ -465,12 +468,7 @@ static int read_data_net(struct thread_information *tip, void *buf,
 static int read_data(struct thread_information *tip, void *buf,
                     unsigned int len)
 {
-       int ret = tip->read_data(tip, buf, len);
-
-       if (ret > 0)
-               tip->data_read += ret;
-
-       return ret;
+       return tip->read_data(tip, buf, len);
 }
 
 static inline struct tip_subbuf *
@@ -545,6 +543,7 @@ static int mmap_subbuf(struct thread_information *tip, unsigned int maxlen)
 
        ret = read_data(tip, tip->fs_buf + tip->fs_off, maxlen);
        if (ret >= 0) {
+               tip->data_read += ret;
                tip->fs_size += ret;
                tip->fs_off += ret;
                return 0;
@@ -553,48 +552,6 @@ static int mmap_subbuf(struct thread_information *tip, unsigned int maxlen)
        return -1;
 }
 
-static int get_subbuf_sendfile(struct thread_information *tip,
-                              unsigned int maxlen)
-{
-       struct tip_subbuf *ts;
-       struct stat sb;
-       unsigned int ready, this_size;
-       int err;
-
-       if (fstat(tip->fd, &sb) < 0) {
-               perror("trace stat");
-               return 1;
-       }
-
-       ready = sb.st_size - tip->ofile_offset;
-       if (!ready)
-               return 0;
-
-       this_size = buf_size;
-       while (ready) {
-               if (this_size > ready)
-                       this_size = ready;
-
-               ts = malloc(sizeof(*ts));
-
-               ts->max_len = maxlen;
-               ts->buf = NULL;
-
-               ts->len = this_size;
-               ts->max_len = ts->len;
-               ts->offset = tip->ofile_offset;
-               tip->ofile_offset += ts->len;
-
-               err = subbuf_fifo_queue(tip, ts);
-               if (err)
-                       return err;
-
-               ready -= this_size;
-       }
-
-       return 0;
-}
-
 /*
  * Use the copy approach for pipes and network
  */
@@ -609,12 +566,43 @@ static int get_subbuf(struct thread_information *tip, unsigned int maxlen)
        ret = read_data(tip, ts->buf, ts->max_len);
        if (ret > 0) {
                ts->len = ret;
-               return subbuf_fifo_queue(tip, ts);
+               tip->data_read += ret;
+               if (subbuf_fifo_queue(tip, ts))
+                       return -1;
        }
 
        return ret;
 }
 
+static int get_subbuf_sendfile(struct thread_information *tip,
+                              unsigned int maxlen)
+{
+       struct tip_subbuf *ts;
+
+       wait_for_data(tip);
+
+       /*
+        * hack to get last data out, we can't use sendfile for that
+        */
+       if (is_done())
+               return get_subbuf(tip, maxlen);
+
+       if (tip->sendfile_pending) {
+               usleep(100);
+               return 0;
+       }
+
+       ts = malloc(sizeof(*ts));
+       ts->buf = NULL;
+       ts->max_len = 0;
+
+       if (subbuf_fifo_queue(tip, ts))
+               return -1;
+
+       tip->sendfile_pending++;
+       return buf_size;
+}
+
 static void close_thread(struct thread_information *tip)
 {
        if (tip->fd != -1)
@@ -676,7 +664,7 @@ static void *thread_main(void *arg)
                exit_trace(1);
        }
 
-       if (net_mode == Net_client && net_sendfile) {
+       if (net_mode == Net_client && net_use_sendfile) {
                char tmp[MAXPATHLEN + 64];
 
                snprintf(tmp, sizeof(tmp), "%s/block/%s/trace%d.padding",
@@ -692,10 +680,16 @@ static void *thread_main(void *arg)
        }
 
        while (!is_done()) {
-               if (tip->get_subbuf(tip, buf_size))
+               if (tip->get_subbuf(tip, buf_size) < 0)
                        break;
        }
 
+       /*
+        * trace is stopped, pull data until we get a short read
+        */
+       while (tip->get_subbuf(tip, buf_size) > 0)
+               ;
+
        tip_ftrunc_final(tip);
        tip->exited = 1;
        return NULL;
@@ -761,28 +755,74 @@ static int flush_subbuf_net(struct thread_information *tip,
        return 0;
 }
 
-static int flush_subbuf_sendfile(struct thread_information *tip,
-                                struct tip_subbuf *ts)
+static int net_sendfile(struct thread_information *tip, struct tip_subbuf *ts)
 {
-       size_t padding;
-       unsigned subbuf;
-       unsigned len;
-       
-       subbuf = (ts->offset / buf_size) % buf_nr;
-       padding = get_subbuf_padding(tip, subbuf);
-       len = ts->len - padding;
+       int ret = sendfile(net_out_fd, tip->fd, NULL, ts->len);
 
-       if (net_send_header(tip, len))
-               return 1;
-       if (sendfile(net_out_fd, tip->fd, &ts->offset, len) < 0) {
+       if (ret < 0) {
                perror("sendfile");
                return 1;
+       } else if (ret < (int) ts->len) {
+               fprintf(stderr, "short sendfile send (%d of %d)\n", ret, ts->len);
+               return 1;
        }
 
-       free(ts);
        return 0;
 }
 
+static int get_subbuf_padding(struct thread_information *tip, off_t off)
+{
+       int padding_size = buf_nr * sizeof(size_t);
+       int ret;
+
+       ret = read(tip->pfd, tip->pfd_buf, padding_size);
+       if (ret == padding_size) {
+               int subbuf = (off / buf_size) % buf_nr;
+
+               ret = tip->pfd_buf[subbuf];
+       } else if (ret < 0)
+               perror("tip pad read");
+       else {
+               fprintf(stderr, "bad pad size read\n");
+               ret = -1;
+       }
+
+       return ret;
+}
+
+static int flush_subbuf_sendfile(struct thread_information *tip,
+                                struct tip_subbuf *ts)
+{
+       int pad, ret = 1;
+
+       /*
+        * currently we cannot use sendfile() on the last bytes read, as they
+        * may not be a full subbuffer. get_subbuf_sendfile() falls back to
+        * the read approach for those, so use send() to ship them out
+        */
+       if (ts->buf)
+               return flush_subbuf_net(tip, ts);
+       
+       pad = get_subbuf_padding(tip, tip->ofile_offset);
+       if (pad == -1)
+               goto err;
+
+       ts->len = buf_size - pad;
+
+       if (net_send_header(tip, ts->len))
+               goto err;
+       if (net_sendfile(tip, ts))
+               goto err;
+
+       tip->data_read += ts->len;
+       tip->ofile_offset += buf_size;
+       ret = 0;
+err:
+       tip->sendfile_pending--;
+       free(ts);
+       return ret;
+}
+
 static int write_data(struct thread_information *tip, void *buf,
                      unsigned int buf_len)
 {
@@ -953,17 +993,40 @@ static void wait_for_threads(void)
                net_client_send_close();
 }
 
-static void fill_ofname(char *dst, char *buts_name, int cpu)
+static int fill_ofname(struct thread_information *tip, char *dst,
+                      char *buts_name)
 {
+       struct stat sb;
        int len = 0;
+       time_t t;
 
        if (output_dir)
                len = sprintf(dst, "%s/", output_dir);
 
+       if (net_mode == Net_server) {
+               len += sprintf(dst + len, "%s-", inet_ntoa(tip->cl_in_addr));
+               time(&t);
+               len += strftime(dst + len, 64, "%F-%T/", gmtime(&t));
+       }
+
+       if (stat(dst, &sb) < 0) {
+               if (errno != ENOENT) {
+                       perror("stat");
+                       return 1;
+               }
+               if (mkdir(dst, 0755) < 0) {
+                       perror(dst);
+                       fprintf(stderr, "Can't make output dir\n");
+                       return 1;
+               }
+       }
+
        if (output_name)
-               sprintf(dst + len, "%s.blktrace.%d", output_name, cpu);
+               sprintf(dst + len, "%s.blktrace.%d", output_name, tip->cpu);
        else
-               sprintf(dst + len, "%s.blktrace.%d", buts_name, cpu);
+               sprintf(dst + len, "%s.blktrace.%d", buts_name, tip->cpu);
+
+       return 0;
 }
 
 static void fill_ops(struct thread_information *tip)
@@ -972,7 +1035,7 @@ static void fill_ops(struct thread_information *tip)
         * setup ops
         */
        if (net_mode == Net_client) {
-               if (net_sendfile) {
+               if (net_use_sendfile) {
                        tip->get_subbuf = get_subbuf_sendfile;
                        tip->flush_subbuf = flush_subbuf_sendfile;
                } else {
@@ -999,14 +1062,13 @@ static int tip_open_output(struct device_information *dip,
 {
        int pipeline = output_name && !strcmp(output_name, "-");
        int mode, vbuf_size;
-       char op[64];
+       char op[128];
 
        if (net_mode == Net_client) {
                tip->ofile = NULL;
                tip->ofile_stdout = 0;
                tip->ofile_mmap = 0;
-               vbuf_size = 0;
-               mode = 0; /* gcc 4.x issues a bogus warning */
+               goto done;
        } else if (pipeline) {
                tip->ofile = fdopen(STDOUT_FILENO, "w");
                tip->ofile_stdout = 1;
@@ -1014,7 +1076,8 @@ static int tip_open_output(struct device_information *dip,
                mode = _IOLBF;
                vbuf_size = 512;
        } else {
-               fill_ofname(op, dip->buts_name, tip->cpu);
+               if (fill_ofname(tip, op, dip->buts_name))
+                       return 1;
                tip->ofile = fopen(op, "w+");
                tip->ofile_stdout = 0;
                tip->ofile_mmap = 1;
@@ -1022,20 +1085,19 @@ static int tip_open_output(struct device_information *dip,
                vbuf_size = OFILE_BUF;
        }
 
-       if (net_mode != Net_client && tip->ofile == NULL) {
+       if (tip->ofile == NULL) {
                perror(op);
                return 1;
        }
 
-       if (vbuf_size) {
-               tip->ofile_buffer = malloc(vbuf_size);
-               if (setvbuf(tip->ofile, tip->ofile_buffer, mode, vbuf_size)) {
-                       perror("setvbuf");
-                       close_thread(tip);
-                       return 1;
-               }
+       tip->ofile_buffer = malloc(vbuf_size);
+       if (setvbuf(tip->ofile, tip->ofile_buffer, mode, vbuf_size)) {
+               perror("setvbuf");
+               close_thread(tip);
+               return 1;
        }
 
+done:
        fill_ops(tip);
        return 0;
 }
@@ -1227,7 +1289,8 @@ static void show_stats(void)
                fprintf(stderr, "You have dropped events, consider using a larger buffer size (-b)\n");
 }
 
-static struct device_information *net_get_dip(char *buts_name)
+static struct device_information *net_get_dip(char *buts_name,
+                                             struct in_addr *cl_in_addr)
 {
        struct device_information *dip;
        int i;
@@ -1241,8 +1304,10 @@ static struct device_information *net_get_dip(char *buts_name)
 
        device_information = realloc(device_information, (ndevs + 1) * sizeof(*dip));
        dip = &device_information[ndevs];
+       memset(dip, 0, sizeof(*dip));
+       dip->fd = -1;
        strcpy(dip->buts_name, buts_name);
-       strcpy(dip->path, buts_name);
+       dip->path = strdup(buts_name);
        ndevs++;
        dip->threads = malloc(ncpus * sizeof(struct thread_information));
        memset(dip->threads, 0, ncpus * sizeof(struct thread_information));
@@ -1255,6 +1320,9 @@ static struct device_information *net_get_dip(char *buts_name)
 
                tip->cpu = i;
                tip->device = dip;
+               tip->fd = -1;
+               tip->pfd = -1;
+               tip->cl_in_addr = *cl_in_addr;
 
                if (tip_open_output(dip, tip))
                        return NULL;
@@ -1263,12 +1331,13 @@ static struct device_information *net_get_dip(char *buts_name)
        return dip;
 }
 
-static struct thread_information *net_get_tip(struct blktrace_net_hdr *bnh)
+static struct thread_information *net_get_tip(struct blktrace_net_hdr *bnh,
+                                             struct in_addr *cl_in_addr)
 {
        struct device_information *dip;
 
        ncpus = bnh->max_cpus;
-       dip = net_get_dip(bnh->buts_name);
+       dip = net_get_dip(bnh->buts_name, cl_in_addr);
        return &dip->threads[bnh->cpu];
 }
 
@@ -1298,10 +1367,10 @@ static int net_get_header(struct blktrace_net_hdr *bnh)
                }
        }
        fcntl(net_in_fd, F_SETFL, fl & ~O_NONBLOCK);
-       return 0;
+       return bytes_left;
 }
 
-static int net_server_loop(void)
+static int net_server_loop(struct in_addr *cl_in_addr)
 {
        struct thread_information *tip;
        struct blktrace_net_hdr bnh;
@@ -1315,10 +1384,16 @@ static int net_server_loop(void)
        }
 
        if (!data_is_native) {
+               bnh.magic = be32_to_cpu(bnh.magic);
                bnh.cpu = be32_to_cpu(bnh.cpu);
                bnh.len = be32_to_cpu(bnh.len);
        }
 
+       if ((bnh.magic & 0xffffff00) != BLK_IO_TRACE_MAGIC) {
+               fprintf(stderr, "server: bad data magic\n");
+               return 1;
+       }
+
        /*
         * len == 0 means that the other end signalled end-of-run
         */
@@ -1327,7 +1402,7 @@ static int net_server_loop(void)
                return 1;
        }
 
-       tip = net_get_tip(&bnh);
+       tip = net_get_tip(&bnh, cl_in_addr);
        if (!tip)
                return 1;
 
@@ -1399,7 +1474,7 @@ repeat:
        printf("blktrace: connection from %s\n", inet_ntoa(addr.sin_addr));
 
        while (!is_done()) {
-               if (net_server_loop())
+               if (net_server_loop(&addr.sin_addr))
                        break;
        }
 
@@ -1420,6 +1495,7 @@ repeat:
                        fclose(tip->ofile);
 
                free(dip->threads);
+               free(dip->path);
        }
 
        free(device_information);
@@ -1428,6 +1504,7 @@ repeat:
 
        close(net_in_fd);
        net_in_fd = -1;
+       stat_shown = 0;
        goto repeat;
 }
 
@@ -1585,7 +1662,7 @@ int main(int argc, char *argv[])
                        net_port = atoi(optarg);
                        break;
                case 's':
-                       net_sendfile = 1;
+                       net_use_sendfile = 1;
                        break;
                default:
                        show_usage(argv[0]);