Fix btt to handle large numbers of output files
[blktrace.git] / btt / globals.h
1 /*
2  * blktrace output analysis: generate a timeline & gather statistics
3  *
4  * Copyright (C) 2006 Alan D. Brunelle <Alan.Brunelle@hp.com>
5  *
6  *  This program is free software; you can redistribute it and/or modify
7  *  it under the terms of the GNU General Public License as published by
8  *  the Free Software Foundation; either version 2 of the License, or
9  *  (at your option) any later version.
10  *
11  *  This program is distributed in the hope that it will be useful,
12  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
13  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  *  GNU General Public License for more details.
15  *
16  *  You should have received a copy of the GNU General Public License
17  *  along with this program; if not, write to the Free Software
18  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19  *
20  */
21 #include <stdio.h>
22 #include <string.h>
23 #include <time.h>
24
25 #include "blktrace.h"
26 #include "rbtree.h"
27 #include "list.h"
28
29 /*
30  * 0 == 1 blk
31  * 1 == 2 blks
32  * ...
33  * 1022 == 1023 blks
34  * 1023 == 1024 blks
35  * 1024 == > 1024 blks
36  */
37 #define N_HIST_BKTS     1025
38
39 #define BIT_TIME(t)     ((double)SECONDS(t) + ((double)NANO_SECONDS(t) / 1.0e9))
40
41 #define BIT_START(iop)  ((iop)->t.sector)
42 #define BIT_END(iop)    ((iop)->t.sector + ((iop)->t.bytes >> 9))
43 #define IOP_READ(iop)   ((iop)->t.action & BLK_TC_ACT(BLK_TC_READ))
44 #define IOP_RW(iop)     (IOP_READ(iop) ? 1 : 0)
45
46 #define TO_SEC(nanosec) ((double)(nanosec) / 1.0e9)
47 #define TO_MSEC(nanosec) (1000.0 * TO_SEC(nanosec))
48
49 enum iop_type {
50         IOP_Q = 0,
51         IOP_X = 1,
52         IOP_A = 2,
53         IOP_G = 3,
54         IOP_M = 4,
55         IOP_D = 5,
56         IOP_C = 6,
57         IOP_R = 7,
58         IOP_I = 8,
59         IOP_S = 9
60 };
61 #define N_IOP_TYPES     (IOP_S + 1)
62
63 struct file_info {
64         struct file_info *next;
65         FILE *ofp;
66         char *oname;
67 };
68
69 struct mode {
70         int most_seeks, nmds;
71         long long *modes;
72 };
73
74 struct io;
75 struct io_list {
76         struct list_head head;
77         struct io *iop;
78         int cy_users;
79 };
80
81 struct avg_info {
82         __u64 min, max, total;
83         double avg;
84         int n;
85 };
86
87 struct avgs_info {
88         struct avg_info q2q_dm;
89         struct avg_info q2a_dm;
90         struct avg_info q2c_dm;
91
92         struct avg_info q2q;
93         struct avg_info q2a;
94         struct avg_info q2g;
95         struct avg_info s2g;
96         struct avg_info g2i;
97         struct avg_info q2m;
98         struct avg_info i2d;
99         struct avg_info m2d;
100         struct avg_info d2c;
101         struct avg_info q2c;
102
103         struct avg_info blks;           /* Blocks transferred */
104 };
105
106 struct range_info {
107         struct list_head head;          /* on: qranges OR cranges */
108         __u64 start, end;
109 };
110
111 struct region_info {
112         struct list_head qranges;
113         struct list_head cranges;
114 };
115
116 struct p_info {
117         struct region_info regions;
118         struct avgs_info avgs;
119         __u64 last_q;
120         __u32 pid;
121         char *name;
122 };
123
124 struct devmap {
125         struct devmap *next;
126         unsigned int host, bus, target, lun, irq, cpu;
127         char model[64];
128         char device[32], node[32], pci[32], devno[32];
129 };
130
131 struct stats {
132         __u64 rqm[2], ios[2], sec[2], wait, svctm;
133         double last_qu_change, last_dev_change, tot_qusz, idle_time;
134         int cur_qusz, cur_dev;
135 };
136
137 struct stats_t {
138         double n;
139         double rqm_s[2], ios_s[2], sec_s[2];
140         double avgrq_sz, avgqu_sz, await, svctm, p_util;
141 };
142
143 struct d_info {
144         struct list_head all_head, hash_head;
145         void *heads;
146         struct region_info regions;
147         struct devmap *map;
148         void *q2q_handle, *seek_handle, *bno_dump_handle, *unplug_hist_handle;
149         void *q2d_priv, *aqd_handle;
150         void *q2d_plat_handle, *q2c_plat_handle, *d2c_plat_handle;
151         FILE *q2d_ofp, *d2c_ofp, *q2c_ofp, *pit_fp;
152         struct avgs_info avgs;
153         struct stats stats, all_stats;
154         __u64 last_q, n_qs, n_ds;
155         __u64 n_act_q, t_act_q; /* # currently active when Q comes in */
156         __u32 device;
157
158         int pre_culling;
159         int is_plugged, nplugs, nplugs_t, n_timer_unplugs;
160         __u64 nios_up, nios_upt;
161         double start_time, last_plug, plugged_time, end_time;
162 };
163
164 struct io {
165         struct rb_node rb_node;
166         struct list_head f_head, a_head;
167         struct d_info *dip;
168         struct p_info *pip;
169         void *pdu;
170         __u64 bytes_left, g_time, i_time, m_time, d_time, c_time, d_sec, c_sec;
171         __u64 s_time;
172         __u32 d_nsec, c_nsec;
173
174         struct blk_io_trace t;
175
176         int linked;
177         enum iop_type type;
178 };
179
180 /* bt_timeline.c */
181
182 extern char bt_timeline_version[], *devices, *exes, *input_name, *output_name;
183 extern char *seek_name, *iostat_name, *d2c_name, *q2c_name, *per_io_name;
184 extern char *bno_dump_name, *unplug_hist_name, *sps_name, *aqd_name, *q2d_name;
185 extern char *per_io_trees;
186 extern double range_delta, plat_freq;
187 extern FILE *ranges_ofp, *avgs_ofp, *xavgs_ofp, *iostat_ofp, *per_io_ofp;
188 extern FILE *msgs_ofp;
189 extern int verbose, done, time_bounded, output_all_data, seek_absolute;
190 extern int easy_parse_avgs;
191 extern unsigned int n_devs;
192 extern unsigned long n_traces;
193 extern struct list_head all_devs, all_procs;
194 extern struct avgs_info all_avgs;
195 extern __u64 last_q;
196 extern struct region_info all_regions;
197 extern struct list_head all_ios, free_ios;
198 extern __u64 iostat_interval, iostat_last_stamp;
199 extern time_t genesis, last_vtrace;
200 extern double t_astart, t_aend;
201 extern __u64 q_histo[N_HIST_BKTS], d_histo[N_HIST_BKTS];
202
203 /* args.c */
204 void handle_args(int argc, char *argv[]);
205 void clean_args();
206
207 /* aqd.c */
208 void *aqd_init(char *str);
209 void aqd_exit(void *info);
210 void aqd_clean(void);
211 void aqd_issue(void *info, double ts);
212 void aqd_complete(void *info, double ts);
213
214 /* devmap.c */
215 int dev_map_read(char *fname);
216 struct devmap *dev_map_find(__u32 device);
217 void dev_map_exit(void);
218
219 /* devs.c */
220 void init_dev_heads(void);
221 struct d_info *dip_add(__u32 device, struct io *iop);
222 void dip_rem(struct io *iop);
223 struct d_info *__dip_find(__u32 device);
224 void dip_foreach_list(struct io *iop, enum iop_type type, struct list_head *hd);
225 void dip_foreach(struct io *iop, enum iop_type type,
226                  void (*fnc)(struct io *iop, struct io *this), int rm_after);
227 struct io *dip_find_sec(struct d_info *dip, enum iop_type type, __u64 sec);
228 void dip_foreach_out(void (*func)(struct d_info *, void *), void *arg);
229 void dip_plug(__u32 dev, double cur_time);
230 void dip_unplug(__u32 dev, double cur_time, __u64 nio_ups);
231 void dip_unplug_tm(__u32 dev, __u64 nio_ups);
232 void dip_exit(void);
233
234 /* dip_rb.c */
235 int rb_insert(struct rb_root *root, struct io *iop);
236 struct io *rb_find_sec(struct rb_root *root, __u64 sec);
237 void rb_foreach(struct rb_node *n, struct io *iop,
238                       void (*fnc)(struct io *iop, struct io *this),
239                       struct list_head *head);
240
241 /* iostat.c */
242 void iostat_init(void);
243 void iostat_getrq(struct io *iop);
244 void iostat_merge(struct io *iop);
245 void iostat_issue(struct io *iop);
246 void iostat_unissue(struct io *iop);
247 void iostat_complete(struct io *d_iop, struct io *c_iop);
248 void iostat_check_time(__u64 stamp);
249 void iostat_dump_stats(__u64 stamp, int all);
250
251 /* latency.c */
252 void latency_init(struct d_info *dip);
253 void latency_clean(void);
254 void latency_q2d(struct d_info *dip, __u64 tstamp, __u64 latency);
255 void latency_d2c(struct d_info *dip, __u64 tstamp, __u64 latency);
256 void latency_q2c(struct d_info *dip, __u64 tstamp, __u64 latency);
257
258 /* misc.c */
259 int in_devices(struct blk_io_trace *t);
260 void add_file(struct file_info **fipp, FILE *fp, char *oname);
261 void clean_files(struct file_info **fipp);
262 void add_buf(void *buf);
263 void clean_bufs(void);
264 char *make_dev_hdr(char *pad, size_t len, struct d_info *dip, int add_parens);
265 FILE *my_fopen(const char *path, const char *mode);
266 void dbg_ping(void);
267
268 /* mmap.c */
269 void setup_ifile(char *fname);
270 void cleanup_ifile(void);
271 int next_trace(struct blk_io_trace *t, void **pdu);
272 double pct_done(void);
273
274 /* output.c */
275 int output_avgs(FILE *ofp);
276 int output_ranges(FILE *ofp);
277
278 /* proc.c */
279 void add_process(__u32 pid, char *name);
280 struct p_info *find_process(__u32 pid, char *name);
281 void pip_update_q(struct io *iop);
282 void pip_foreach_out(void (*f)(struct p_info *, void *), void *arg);
283 void pip_exit(void);
284
285 /* bno_dump.c */
286 void *bno_dump_init(__u32 device);
287 void bno_dump_exit(void *param);
288 void bno_dump_add(void *handle, struct io *iop);
289 void bno_dump_clean(void);
290
291 /* plat.c */
292 void *plat_init(char *str);
293 void plat_exit(void *info);
294 void plat_clean(void);
295 void plat_x2c(void *info, __u64 ts, __u64 latency);
296
297 /* q2d.c */
298 void q2d_histo_add(void *priv, __u64 q2d);
299 void *q2d_init(void);
300 void q2d_release(void *priv);
301 void q2d_display_header(FILE *fp);
302 void q2d_display_dashes(FILE *fp);
303 void q2d_display(FILE *fp, void *priv);
304 int q2d_ok(void *priv);
305 void q2d_acc(void *a1, void *a2);
306
307 /* seek.c */
308 void *seeki_init(char *str);
309 void seeki_exit(void *param);
310 void seek_clean(void);
311 void seeki_add(void *handle, struct io *iop);
312 double seeki_mean(void *handle);
313 long long seeki_nseeks(void *handle);
314 long long seeki_median(void *handle);
315 int seeki_mode(void *handle, struct mode *mp);
316
317 /* trace.c */
318 void add_trace(struct io *iop);
319
320 /* trace_complete.c */
321 void trace_complete(struct io *c_iop);
322
323 /* trace_im.c */
324 void run_im(struct io *im_iop, struct io *d_iop, struct io *c_iop);
325 void run_unim(struct io *im_iop, struct io *d_iop, struct io *c_iop);
326 int ready_im(struct io *im_iop, struct io *c_iop);
327 void trace_insert(struct io *i_iop);
328 void trace_merge(struct io *m_iop);
329 void trace_getrq(struct io *g_iop);
330 void trace_sleeprq(struct io *s_iop);
331
332 /* trace_issue.c */
333 void run_issue(struct io *d_iop, struct io *u_iop, struct io *c_iop);
334 void run_unissue(struct io *d_iop, struct io *u_iop, struct io *c_iop);
335 int ready_issue(struct io *d_iop, struct io *c_iop);
336 void trace_issue(struct io *d_iop);
337
338 /* trace_plug.c */
339 __u64 get_nio_up(struct io *u_iop);
340 void trace_plug(struct io *p_iop);
341 void trace_unplug_io(struct io *u_iop);
342 void trace_unplug_timer(struct io *u_iop);
343
344 /* trace_queue.c */
345 void run_queue(struct io *q_iop, struct io *u_iop, struct io *c_iop);
346 int ready_queue(struct io *q_iop, struct io *c_iop);
347 void trace_queue(struct io *q_iop);
348
349 /* trace_remap.c */
350 void run_remap(struct io *a_iop, struct io *u_iop, struct io *c_iop);
351 int ready_remap(struct io *a_iop, struct io *c_iop);
352 void trace_remap(struct io *a_iop);
353
354 /* trace_requeue.c */
355 void trace_requeue(struct io *r_iop);
356
357 /* unplug_hist.c */
358 void *unplug_hist_init(__u32 device);
359 void unplug_hist_exit(void *arg);
360 void unplug_hist_add(struct io *u_iop);
361
362 #include "inlines.h"