iowatcher/blkparse.c

   1 /*
   2  * Copyright (C) 2012 Fusion-io
   3  *
   4  *  This program is free software; you can redistribute it and/or
   5  *  modify it under the terms of the GNU General Public
   6  *  License v2 as published by the Free Software Foundation.
   7  *
   8  *  This program is distributed in the hope that it will be useful,
   9  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  10  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  11  *  GNU General Public License for more details.
  12  *
  13  *  You should have received a copy of the GNU General Public License
  14  *  along with this program; if not, write to the Free Software
  15  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  16  *
  17  *  Parts of this file were imported from Jens Axboe's blktrace sources (also GPL)
  18  */
  19 #include <sys/types.h>
  20 #include <sys/stat.h>
  21 #include <fcntl.h>
  22 #include <unistd.h>
  23 #include <stdlib.h>
  24 #include <stdio.h>
  25 #include <math.h>
  26 #include <inttypes.h>
  27 #include <string.h>
  28 #include <asm/types.h>
  29 #include <errno.h>
  30 #include <sys/mman.h>
  31 #include <time.h>
  32 #include <math.h>
  33
  34 #include "plot.h"
  35 #include "blkparse.h"
  36 #include "list.h"
  37 #include "tracers.h"
  38
  39 #define IO_HASH_TABLE_BITS  11
  40 #define IO_HASH_TABLE_SIZE (1 << IO_HASH_TABLE_BITS)
  41 static struct list_head io_hash_table[IO_HASH_TABLE_SIZE];
  42 static u64 ios_in_flight = 0;
  43
  44
  45 /*
  46  * Trace categories
  47  */
  48 enum {
  49         BLK_TC_READ     = 1 << 0,       /* reads */
  50         BLK_TC_WRITE    = 1 << 1,       /* writes */
  51         BLK_TC_FLUSH    = 1 << 2,       /* flush */
  52         BLK_TC_SYNC     = 1 << 3,       /* sync */
  53         BLK_TC_QUEUE    = 1 << 4,       /* queueing/merging */
  54         BLK_TC_REQUEUE  = 1 << 5,       /* requeueing */
  55         BLK_TC_ISSUE    = 1 << 6,       /* issue */
  56         BLK_TC_COMPLETE = 1 << 7,       /* completions */
  57         BLK_TC_FS       = 1 << 8,       /* fs requests */
  58         BLK_TC_PC       = 1 << 9,       /* pc requests */
  59         BLK_TC_NOTIFY   = 1 << 10,      /* special message */
  60         BLK_TC_AHEAD    = 1 << 11,      /* readahead */
  61         BLK_TC_META     = 1 << 12,      /* metadata */
  62         BLK_TC_DISCARD  = 1 << 13,      /* discard requests */
  63         BLK_TC_DRV_DATA = 1 << 14,      /* binary driver data */
  64         BLK_TC_FUA      = 1 << 15,      /* fua requests */
  65
  66         BLK_TC_END      = 1 << 15,      /* we've run out of bits! */
  67 };
  68
  69 #define BLK_TC_SHIFT            (16)
  70 #define BLK_TC_ACT(act)         ((act) << BLK_TC_SHIFT)
  71 #define BLK_DATADIR(a) (((a) >> BLK_TC_SHIFT) & (BLK_TC_READ | BLK_TC_WRITE))
  72
  73 /*
  74  * Basic trace actions
  75  */
  76 enum {
  77         __BLK_TA_QUEUE = 1,             /* queued */
  78         __BLK_TA_BACKMERGE,             /* back merged to existing rq */
  79         __BLK_TA_FRONTMERGE,            /* front merge to existing rq */
  80         __BLK_TA_GETRQ,                 /* allocated new request */
  81         __BLK_TA_SLEEPRQ,               /* sleeping on rq allocation */
  82         __BLK_TA_REQUEUE,               /* request requeued */
  83         __BLK_TA_ISSUE,                 /* sent to driver */
  84         __BLK_TA_COMPLETE,              /* completed by driver */
  85         __BLK_TA_PLUG,                  /* queue was plugged */
  86         __BLK_TA_UNPLUG_IO,             /* queue was unplugged by io */
  87         __BLK_TA_UNPLUG_TIMER,          /* queue was unplugged by timer */
  88         __BLK_TA_INSERT,                /* insert request */
  89         __BLK_TA_SPLIT,                 /* bio was split */
  90         __BLK_TA_BOUNCE,                /* bio was bounced */
  91         __BLK_TA_REMAP,                 /* bio was remapped */
  92         __BLK_TA_ABORT,                 /* request aborted */
  93         __BLK_TA_DRV_DATA,              /* binary driver data */
  94 };
  95
  96 /*
  97  * Notify events.
  98  */
  99 enum blktrace_notify {
 100         __BLK_TN_PROCESS = 0,           /* establish pid/name mapping */
 101         __BLK_TN_TIMESTAMP,             /* include system clock */
 102         __BLK_TN_MESSAGE,               /* Character string message */
 103 };
 104
 105 /*
 106  * Trace actions in full. Additionally, read or write is masked
 107  */
 108 #define BLK_TA_QUEUE            (__BLK_TA_QUEUE | BLK_TC_ACT(BLK_TC_QUEUE))
 109 #define BLK_TA_BACKMERGE        (__BLK_TA_BACKMERGE | BLK_TC_ACT(BLK_TC_QUEUE))
 110 #define BLK_TA_FRONTMERGE       (__BLK_TA_FRONTMERGE | BLK_TC_ACT(BLK_TC_QUEUE))
 111 #define BLK_TA_GETRQ            (__BLK_TA_GETRQ | BLK_TC_ACT(BLK_TC_QUEUE))
 112 #define BLK_TA_SLEEPRQ          (__BLK_TA_SLEEPRQ | BLK_TC_ACT(BLK_TC_QUEUE))
 113 #define BLK_TA_REQUEUE          (__BLK_TA_REQUEUE | BLK_TC_ACT(BLK_TC_REQUEUE))
 114 #define BLK_TA_ISSUE            (__BLK_TA_ISSUE | BLK_TC_ACT(BLK_TC_ISSUE))
 115 #define BLK_TA_COMPLETE         (__BLK_TA_COMPLETE| BLK_TC_ACT(BLK_TC_COMPLETE))
 116 #define BLK_TA_PLUG             (__BLK_TA_PLUG | BLK_TC_ACT(BLK_TC_QUEUE))
 117 #define BLK_TA_UNPLUG_IO        (__BLK_TA_UNPLUG_IO | BLK_TC_ACT(BLK_TC_QUEUE))
 118 #define BLK_TA_UNPLUG_TIMER     (__BLK_TA_UNPLUG_TIMER | BLK_TC_ACT(BLK_TC_QUEUE))
 119 #define BLK_TA_INSERT           (__BLK_TA_INSERT | BLK_TC_ACT(BLK_TC_QUEUE))
 120 #define BLK_TA_SPLIT            (__BLK_TA_SPLIT)
 121 #define BLK_TA_BOUNCE           (__BLK_TA_BOUNCE)
 122 #define BLK_TA_REMAP            (__BLK_TA_REMAP | BLK_TC_ACT(BLK_TC_QUEUE))
 123 #define BLK_TA_ABORT            (__BLK_TA_ABORT | BLK_TC_ACT(BLK_TC_QUEUE))
 124 #define BLK_TA_DRV_DATA         (__BLK_TA_DRV_DATA | BLK_TC_ACT(BLK_TC_DRV_DATA))
 125
 126 #define BLK_TN_PROCESS          (__BLK_TN_PROCESS | BLK_TC_ACT(BLK_TC_NOTIFY))
 127 #define BLK_TN_TIMESTAMP        (__BLK_TN_TIMESTAMP | BLK_TC_ACT(BLK_TC_NOTIFY))
 128 #define BLK_TN_MESSAGE          (__BLK_TN_MESSAGE | BLK_TC_ACT(BLK_TC_NOTIFY))
 129
 130 #define BLK_IO_TRACE_MAGIC      0x65617400
 131 #define BLK_IO_TRACE_VERSION    0x07
 132 /*
 133  * The trace itself
 134  */
 135 struct blk_io_trace {
 136         __u32 magic;            /* MAGIC << 8 | version */
 137         __u32 sequence;         /* event number */
 138         __u64 time;             /* in nanoseconds */
 139         __u64 sector;           /* disk offset */
 140         __u32 bytes;            /* transfer length */
 141         __u32 action;           /* what happened */
 142         __u32 pid;              /* who did it */
 143         __u32 device;           /* device identifier (dev_t) */
 144         __u32 cpu;              /* on what cpu did it happen */
 145         __u16 error;            /* completion error */
 146         __u16 pdu_len;          /* length of data after this trace */
 147 };
 148
 149 struct pending_io {
 150         /* sector offset of this IO */
 151         u64 sector;
 152
 153         /* time this IO was dispatched */
 154         u64 dispatch_time;
 155         /* time this IO was finished */
 156         u64 completion_time;
 157         struct list_head hash_list;
 158 };
 159
 160 #define MINORBITS 20
 161 #define MINORMASK ((1 << MINORBITS) - 1)
 162 #define SECONDS(x)              ((unsigned long long)(x) / 1000000000)
 163 #define NANO_SECONDS(x)         ((unsigned long long)(x) % 1000000000)
 164 #define DOUBLE_TO_NANO_ULL(d)   ((unsigned long long)((d) * 1000000000))
 165 #define CHECK_MAGIC(t)          (((t)->magic & 0xffffff00) == BLK_IO_TRACE_MAGIC)
 166
 167 void init_io_hash_table(void)
 168 {
 169         int i;
 170         struct list_head *head;
 171
 172         for (i = 0; i < IO_HASH_TABLE_SIZE; i++) {
 173                 head = io_hash_table + i;
 174                 INIT_LIST_HEAD(head);
 175         }
 176 }
 177
 178 /* taken from the kernel hash.h */
 179 static inline u64 hash_sector(u64 val)
 180 {
 181         u64 hash = val;
 182
 183         /*  Sigh, gcc can't optimise this alone like it does for 32 bits. */
 184         u64 n = hash;
 185         n <<= 18;
 186         hash -= n;
 187         n <<= 33;
 188         hash -= n;
 189         n <<= 3;
 190         hash += n;
 191         n <<= 3;
 192         hash -= n;
 193         n <<= 4;
 194         hash += n;
 195         n <<= 2;
 196         hash += n;
 197
 198         /* High bits are more random, so use them. */
 199         return hash >> (64 - IO_HASH_TABLE_BITS);
 200 }
 201
 202 static int hash_table_insert(struct pending_io *ins_pio)
 203 {
 204         u64 sector = ins_pio->sector;
 205         int slot = hash_sector(sector);
 206         struct list_head *head;
 207         struct pending_io *pio;
 208
 209         head = io_hash_table + slot;
 210         list_for_each_entry(pio, head, hash_list) {
 211                 if (pio->sector == sector)
 212                         return -EEXIST;
 213         }
 214         list_add_tail(&ins_pio->hash_list, head);
 215         return 0;
 216 }
 217
 218 static struct pending_io *hash_table_search(u64 sector)
 219 {
 220         int slot = hash_sector(sector);
 221         struct list_head *head;
 222         struct pending_io *pio;
 223
 224         head = io_hash_table + slot;
 225         list_for_each_entry(pio, head, hash_list) {
 226                 if (pio->sector == sector)
 227                         return pio;
 228         }
 229         return NULL;
 230 }
 231
 232 static int hash_dispatched_io(struct blk_io_trace *io)
 233 {
 234         struct pending_io *pio;
 235         int ret;
 236
 237         pio = calloc(1, sizeof(*pio));
 238         pio->sector = io->sector;
 239         pio->dispatch_time = io->time;
 240
 241         ret = hash_table_insert(pio);
 242         if (ret == -EEXIST) {
 243                 /* crud, the IO isn't here */
 244                 free(pio);
 245         }
 246         return ret;
 247 }
 248
 249 static struct pending_io *hash_completed_io(struct blk_io_trace *io)
 250 {
 251         struct pending_io *pio;
 252
 253         pio = hash_table_search(io->sector);
 254
 255         if (!pio)
 256                 return NULL;
 257         return pio;
 258 }
 259
 260 static void handle_notify(struct trace *trace)
 261 {
 262         struct blk_io_trace *io = trace->io;
 263         void *payload = (char *)io + sizeof(*io);
 264         u32 two32[2];
 265
 266
 267         if (io->action != BLK_TN_TIMESTAMP)
 268                 return;
 269
 270         if (io->pdu_len != sizeof(two32))
 271                 return;
 272
 273         memcpy(two32, payload, sizeof(two32));
 274         trace->start_timestamp = io->time;
 275         trace->abs_start_time.tv_sec = two32[0];
 276         trace->abs_start_time.tv_nsec = two32[1];
 277         if (trace->abs_start_time.tv_nsec < 0) {
 278                 trace->abs_start_time.tv_sec--;
 279                 trace->abs_start_time.tv_nsec += 1000000000;
 280         }
 281 }
 282
 283 int next_record(struct trace *trace)
 284 {
 285         int skip = trace->io->pdu_len;
 286         u64 offset;
 287
 288         trace->cur += sizeof(*trace->io) + skip;
 289         offset = trace->cur - trace->start;
 290         if (offset >= trace->len)
 291                 return 1;
 292
 293         trace->io = (struct blk_io_trace *)trace->cur;
 294         return 0;
 295 }
 296
 297 void first_record(struct trace *trace)
 298 {
 299         trace->cur = trace->start;
 300         trace->io = (struct blk_io_trace *)trace->cur;
 301 }
 302
 303 u64 find_last_time(struct trace *trace)
 304 {
 305         char *p = trace->start + trace->len;
 306         struct blk_io_trace *test;
 307         int search_len = 0;
 308         u64 found = 0;
 309
 310         if (trace->len < sizeof(*trace->io))
 311                 return 0;
 312         p -= sizeof(*trace->io);
 313         while (p >= trace->start) {
 314                 test = (struct blk_io_trace *)p;
 315                 if (CHECK_MAGIC(test) &&
 316                    !(test->action & BLK_TC_ACT(BLK_TC_NOTIFY))) {
 317                         u64 offset = p - trace->start;
 318                         if (offset + sizeof(*test) + test->pdu_len == trace->len) {
 319                                 return test->time;
 320                         }
 321                 }
 322                 p--;
 323                 search_len++;
 324                 if (search_len > 8192) {
 325                         break;
 326                 }
 327         }
 328
 329         /* searching backwards didn't work out, we'll have to scan the file */
 330         first_record(trace);
 331         while (1) {
 332                 if (!(trace->io->action & BLK_TC_ACT(BLK_TC_NOTIFY)))
 333                         found = trace->io->time;
 334                 if (next_record(trace))
 335                         break;
 336         }
 337         first_record(trace);
 338         return found;
 339 }
 340
 341 u64 find_highest_offset(struct trace *trace)
 342 {
 343         u64 found = 0;
 344         u64 max = 0;
 345         first_record(trace);
 346         while (1) {
 347                 if (!(trace->io->action & BLK_TC_ACT(BLK_TC_NOTIFY))) {
 348                         found = trace->io->sector << 9;
 349                         found += trace->io->bytes;
 350
 351                         if (max < found) {
 352                                 max = found;
 353                         }
 354                 }
 355                 if (next_record(trace))
 356                         break;
 357         }
 358         first_record(trace);
 359         return max;
 360 }
 361
 362 int filter_outliers(struct trace *trace, u64 max_offset,
 363                     u64 *yzoom_min, u64 *yzoom_max)
 364 {
 365         int hits[11];
 366         u64 max_per_bucket[11];
 367         u64 bytes_per_bucket = max_offset / 10;
 368         int slot;
 369         int fat_count = 0;
 370
 371         memset(hits, 0, sizeof(int) * 11);
 372         memset(max_per_bucket, 0, sizeof(u64) * 11);
 373         first_record(trace);
 374         while (1) {
 375                 if (!(trace->io->action & BLK_TC_ACT(BLK_TC_NOTIFY))) {
 376                         u64 top = (trace->io->sector << 9) + trace->io->bytes;
 377                         slot = (int)(top / bytes_per_bucket);
 378                         hits[slot]++;
 379                         if (top > max_per_bucket[slot])
 380                                 max_per_bucket[slot] = top;
 381                 }
 382                 if (next_record(trace))
 383                         break;
 384         }
 385         first_record(trace);
 386         for (slot = 0; slot < 11; slot++) {
 387                 if (hits[slot] > fat_count) {
 388                         fat_count = hits[slot];
 389                 }
 390         }
 391
 392         *yzoom_max = max_offset;
 393         for (slot = 10; slot >= 0; slot--) {
 394                 double d = hits[slot];
 395
 396                 if (d >= (double)fat_count * .05) {
 397                         *yzoom_max = max_per_bucket[slot];
 398                         break;
 399                 }
 400         }
 401
 402         *yzoom_min = 0;
 403         for (slot = 0; slot < 10; slot++) {
 404                 double d = hits[slot];
 405
 406                 if (d >= (double)fat_count * .05) {
 407                         *yzoom_min = slot * bytes_per_bucket;
 408                         break;
 409                 }
 410         }
 411         return 0;
 412 }
 413
 414 static char *find_trace_file(char *filename)
 415 {
 416         int ret;
 417         struct stat st;
 418         char line[1024];
 419         char *dot;
 420         char *try;
 421
 422         ret = stat(filename, &st);
 423         if (ret == 0)
 424                 return strdup(filename);
 425
 426         snprintf(line, 1024, "%s.%s", filename, "dump");
 427         ret = stat(filename, &st);
 428         if (ret == 0)
 429                 return strdup(line);
 430
 431         try = strdup(filename);
 432         dot = strrchr(try, '.');
 433         if (!dot || strcmp(".dump", dot) != 0) {
 434                 if (dot)
 435                         *dot = '\0';
 436                 snprintf(line, 1024, "%s%s", try, ".blktrace.0");
 437                 ret = stat(line, &st);
 438                 if (ret == 0) {
 439                         blktrace_to_dump(try);
 440                         snprintf(line, 1024, "%s.%s", try, "dump");
 441                         ret = stat(line, &st);
 442                         if (ret == 0) {
 443                                 free(try);
 444                                 return strdup(line);
 445                         }
 446                 }
 447         }
 448         free(try);
 449         return NULL;
 450 }
 451 struct trace *open_trace(char *filename)
 452 {
 453         int fd;
 454         char *p;
 455         struct stat st;
 456         int ret;
 457         struct trace *trace;
 458         char *found_filename;
 459
 460         trace = calloc(1, sizeof(*trace));
 461         if (!trace) {
 462                 fprintf(stderr, "unable to allocate memory for trace\n");
 463                 return NULL;
 464         }
 465
 466         found_filename = find_trace_file(filename);
 467         if (!found_filename) {
 468                 fprintf(stderr, "Unable to find trace file %s\n", filename);
 469                 goto fail;
 470         }
 471         free(filename);
 472         filename = found_filename;
 473
 474         fd = open(filename, O_RDONLY);
 475         if (fd < 0) {
 476                 fprintf(stderr, "Unable to open trace file %s err %s\n", filename, strerror(errno));
 477                 goto fail;
 478         }
 479         ret = fstat(fd, &st);
 480         if (ret < 0) {
 481                 fprintf(stderr, "stat failed on %s err %s\n", filename, strerror(errno));
 482                 goto fail_fd;
 483         }
 484         p = mmap(NULL, st.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
 485         if (p == MAP_FAILED) {
 486                 fprintf(stderr, "Unable to mmap trace file %s, err %s\n", filename, strerror(errno));
 487                 goto fail_fd;
 488         }
 489         trace->fd = fd;
 490         trace->len = st.st_size;
 491         trace->start = p;
 492         trace->cur = p;
 493         trace->io = (struct blk_io_trace *)p;
 494         return trace;
 495
 496 fail_fd:
 497         close(fd);
 498 fail:
 499         free(trace);
 500         return NULL;
 501 }
 502 static inline int tput_event(struct trace *trace)
 503 {
 504         if (trace->found_completion)
 505                 return __BLK_TA_COMPLETE;
 506         if (trace->found_issue)
 507                 return __BLK_TA_ISSUE;
 508         if (trace->found_queue)
 509                 return __BLK_TA_QUEUE;
 510
 511         return __BLK_TA_COMPLETE;
 512 }
 513
 514 static inline int io_event(struct trace *trace)
 515 {
 516         if (trace->found_queue)
 517                 return __BLK_TA_QUEUE;
 518         if (trace->found_issue)
 519                 return __BLK_TA_ISSUE;
 520         if (trace->found_completion)
 521                 return __BLK_TA_COMPLETE;
 522
 523         return __BLK_TA_COMPLETE;
 524 }
 525
 526 void add_tput(struct trace *trace, struct graph_line_data *gld)
 527 {
 528         struct blk_io_trace *io = trace->io;
 529         int action = io->action & 0xffff;
 530         int seconds;
 531
 532         if (io->action & BLK_TC_ACT(BLK_TC_NOTIFY))
 533                 return;
 534
 535         if (action != tput_event(trace))
 536                 return;
 537
 538         seconds = SECONDS(io->time);
 539         if (seconds > gld->seconds) {
 540                 fprintf(stderr, "Bad record %d %d %d\n", seconds, gld->seconds, action);
 541                 abort();
 542         }
 543
 544         gld->data[seconds].sum += io->bytes;
 545         gld->data[seconds].count = 1;
 546         if (gld->data[seconds].sum > gld->max)
 547                 gld->max = gld->data[seconds].sum;
 548 }
 549
 550 void add_io(struct trace *trace, struct graph_dot_data *gdd_writes,
 551             struct graph_dot_data *gdd_reads)
 552 {
 553         struct blk_io_trace *io = trace->io;
 554         int action = io->action & 0xffff;
 555         u64 offset;
 556
 557         if (io->action & BLK_TC_ACT(BLK_TC_NOTIFY))
 558                 return;
 559
 560         if (action != io_event(trace))
 561                 return;
 562
 563         offset = io->sector << 9;
 564
 565         if (BLK_DATADIR(io->action) & BLK_TC_READ)
 566                 set_gdd_bit(gdd_reads, offset, io->bytes, io->time);
 567         else if (BLK_DATADIR(io->action) & BLK_TC_WRITE)
 568                 set_gdd_bit(gdd_writes, offset, io->bytes, io->time);
 569 }
 570
 571 void add_pending_io(struct trace *trace, struct graph_line_data *gld)
 572 {
 573         int ret;
 574         int seconds;
 575         struct blk_io_trace *io = trace->io;
 576         int action = io->action & 0xffff;
 577         double avg;
 578
 579         if (io->action & BLK_TC_ACT(BLK_TC_NOTIFY))
 580                 return;
 581
 582         if (action != __BLK_TA_ISSUE)
 583                 return;
 584
 585         seconds = SECONDS(io->time);
 586         if (seconds > gld->seconds) {
 587                 fprintf(stderr, "Bad record %d %d\n", seconds, gld->seconds);
 588                 abort();
 589         }
 590
 591         ret = hash_dispatched_io(trace->io);
 592         if (ret)
 593                 return;
 594
 595         ios_in_flight++;
 596
 597         gld->data[seconds].sum += ios_in_flight;
 598         gld->data[seconds].count++;
 599
 600         avg = (double)gld->data[seconds].sum / gld->data[seconds].count;
 601         if (gld->max < (u64)avg) {
 602                 gld->max = avg;
 603         }
 604 }
 605
 606 void add_completed_io(struct trace *trace,
 607                       struct graph_line_data *latency_gld)
 608 {
 609         struct blk_io_trace *io = trace->io;
 610         int seconds;
 611         int action = io->action & 0xffff;
 612         struct pending_io *pio;
 613         double avg;
 614         u64 latency;
 615
 616         if (io->action & BLK_TC_ACT(BLK_TC_NOTIFY))
 617                 return;
 618
 619         if (action != __BLK_TA_COMPLETE)
 620                 return;
 621
 622         seconds = SECONDS(io->time);
 623
 624         pio = hash_completed_io(trace->io);
 625         if (!pio)
 626                 return;
 627
 628         if (ios_in_flight > 0)
 629                 ios_in_flight--;
 630         if (io->time >= pio->dispatch_time) {
 631                 latency = io->time - pio->dispatch_time;
 632                 latency_gld->data[seconds].sum += latency;
 633                 latency_gld->data[seconds].count++;
 634         }
 635
 636         list_del(&pio->hash_list);
 637         free(pio);
 638
 639         avg = (double)latency_gld->data[seconds].sum /
 640                 latency_gld->data[seconds].count;
 641         if (latency_gld->max < (u64)avg) {
 642                 latency_gld->max = avg;
 643         }
 644 }
 645
 646 void add_iop(struct trace *trace, struct graph_line_data *gld)
 647 {
 648         struct blk_io_trace *io = trace->io;
 649         int action = io->action & 0xffff;
 650         int seconds;
 651
 652         if (io->action & BLK_TC_ACT(BLK_TC_NOTIFY))
 653                 return;
 654
 655         /* iops and tput use the same events */
 656         if (action != tput_event(trace))
 657                 return;
 658
 659         seconds = SECONDS(io->time);
 660         if (seconds > gld->seconds) {
 661                 fprintf(stderr, "Bad record %d %d\n", seconds, gld->seconds);
 662                 abort();
 663         }
 664
 665         gld->data[seconds].sum += 1;
 666         gld->data[seconds].count = 1;
 667         if (gld->data[seconds].sum > gld->max)
 668                 gld->max = gld->data[seconds].sum;
 669 }
 670
 671 void check_record(struct trace *trace)
 672 {
 673         struct blk_io_trace *io = trace->io;
 674         int action = io->action & 0xffff;
 675
 676         if (!(io->action & BLK_TC_ACT(BLK_TC_NOTIFY))) {
 677                 switch (action) {
 678                 case __BLK_TA_COMPLETE:
 679                         trace->found_completion = 1;
 680                         break;
 681                 case __BLK_TA_ISSUE:
 682                         trace->found_issue = 1;
 683                         break;
 684                 case __BLK_TA_QUEUE:
 685                         trace->found_queue = 1;
 686                         break;
 687                 };
 688         }
 689         handle_notify(trace);
 690 }