UNPLUG does the timing stuff, UNPLUG TIMEOUT only does timeout

Each UNPLUG TIMEOUT should be followed by an UNPLUG, so we were getting
double information on time outs.

Fixed excess bucket information for unplug histograms.

Fix Q counts during requeue and merges.

It looks to me like btt doesn't correctly keep track
of the number of requests currently in the queue for
a device.  n_act_q gets incremented in trace_queue
and decremented in trace_issue, but I think it also
needs to get updated in trace_merge and trace_requeue.

The one thing I'm not sure about is whether we want
r_iop->dip->n_qs++ in the new handle_requeue routine.

The following patch makes the "active requests at Q"
count a little more sane for me.  This is against
git as of yesterday.
Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>

Separated out g/i/m trace handling.

Also separated out DM-device calculations.

btreplay/btrecord man pages

Attached are manpages for the btreplay and btrecord utilities for
inclusion in the git repo.  I'm about to upload anew version to Debian
which will include these manpages, too.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' into add-q2d

Remove strange make dependency

Listing "-lpthread" as a dependency in a make rule doesn't make much sense.

Signed-off-by: Joshua Root <jmr@gelato.unsw.edu.au>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Added in Q2D histograms (requires -A)

As an example, the buckets are in seconds:

==================== Q2D Histogram ====================

       DEV | <.005 <.010 <.025 <.050 <.075 <.100 <.250 <.500 < 1.0 >=1.0
 --------- | ===== ===== ===== ===== ===== ===== ===== ===== ===== =====
 ( 66, 80) |  61.2   7.9  12.1   7.9   3.0   1.4   1.5   0.2   0.0   4.6
 ( 65,192) |  42.3   5.0   8.7  30.0   8.9   3.0   1.8   0.1   0.0   0.1
 ( 65,128) |  34.3   5.3   8.9  32.0   9.7   3.7   5.3   0.6   0.0   0.1
 ( 66,  0) |  45.5   9.9  19.0  14.8   4.6   1.2   0.3   0.0   0.0   4.7
 ( 65, 48) |  50.2   4.6   7.2  27.6   6.9   2.1   1.1   0.0   0.0   0.1
 ( 66, 32) |  66.4   6.7  10.9   7.0   2.5   1.1   0.6   0.1   0.0   4.7
 ( 65,224) |  33.9   9.6  20.6  17.8   7.3   3.1   3.3   0.5   0.1   3.8
 ( 65,112) |  35.3   5.2   8.7  30.8   9.3   3.9   5.6   0.9   0.1   0.1
 ( 65, 80) |  57.9   4.6   6.6  25.2   4.7   0.8   0.2   0.0   0.0   0.1
 ( 65,240) |  62.6   8.1  13.1   7.7   2.3   0.6   0.5   0.0   0.0   5.1
 ( 66,112) |  59.6   8.0  13.1   8.6   3.3   1.5   1.2   0.1   0.0   4.6
 ( 65,144) |  45.8   5.1   7.9  29.3   7.8   2.5   1.4   0.0   0.0   0.1
 ( 65,176) |  43.2   5.2   8.9  30.8   8.3   2.5   1.0   0.0   0.0   0.1
 ( 66, 16) |  77.0   5.4   7.4   3.3   0.7   0.3   0.7   0.1   0.0   5.0
 ( 65, 96) |  54.6   4.9   7.2  26.6   5.3   1.0   0.2   0.0   0.0   0.1
 ( 66, 48) |  71.0   6.8  10.5   5.4   0.9   0.1   0.1   0.0   0.0   5.2
 ( 65,208) |  43.5   5.6   8.5  31.0   7.2   2.2   1.9   0.0   0.0   0.1
 ( 66,128) |  69.5   7.0  10.3   6.2   1.5   0.3   0.1   0.0   0.0   5.0
 ( 65, 64) |  59.9   4.2   6.0  24.6   4.2   0.8   0.1   0.0   0.0   0.1
 ( 66, 64) |  62.6   8.1  12.7   7.9   2.4   0.6   0.1   0.0   0.0   5.4
========== | ===== ===== ===== ===== ===== ===== ===== ===== ===== =====
       AVG |  52.9   6.2  10.0  20.1   5.3   1.7   1.4   0.2   0.0   2.1

memset() must be done after NULL check

Pointed out by Jan Blunck <jblunck@suse.de>

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Added active requests at Q information.

An important consideration when analyzing block IO schedulers is to know
how many requests the scheduler has to work with. The metric provided
in this section details how many requests (on average) were being held
by the IO scheduler when an incoming IO request was being handled. To
determine this, btt keeps track of how many Q requests came in, and
subtacts requests that have been issued (D).

Sample:

==================== Active Requests At Q Information ====================

       DEV |  Avg Reqs @ Q
---------- | -------------
 ( 65, 80) |          12.0
 ( 65,240) |          16.9
 ( 65,112) |          13.3
 ( 66, 64) |          32.8
 ( 66, 80) |          21.5
 ( 65, 96) |           8.6
 ( 66, 16) |          16.2
 ( 65, 64) |          20.4
 ( 66, 96) |          18.3
 ( 65,176) |          17.4
 ( 66, 32) |          13.6
 ( 65,144) |          13.4
 ( 66,  0) |          21.4
 ( 65,192) |          19.4
 ( 66,128) |          18.4
 ( 66,144) |          16.2
 ( 65,128) |           8.0
 ( 66,112) |          44.2
---------- | -------------
   Overall | Avgs Reqs @ Q
   Average |          17.4

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>

Fixed REMAP to update Q2A & fixed #Q calculations

blktrace segfault

Core was generated by `blktrace -d /dev/hdc'.
Program terminated with signal 11, Segmentation fault.
#0  0xb7e4cdec in ?? ()
(gdb) where
#0  0xb7e4cdec in ?? ()
#1  0xb7dbf000 in ?? ()
#2  0x00021000 in ?? ()
#3  0xb7dee6e8 in ?? ()
#4  0x0804ecf0 in ?? ()
#5  0x00000001 in ?? ()
#6  0x6c616367 in ?? ()
#7  0xbfee3f68 in ?? ()
#8  0xb7f51300 in ?? ()
#9  0x00000168 in ?? ()
#10 0x0804ecf0 in ?? ()
#11 0x00000001 in ?? ()
#12 0xbfee3f88 in ?? ()
#13 0xbfee3f68 in ?? ()
#14 0x080499dc in close_thread (tip=0xb7f1eff4) at blktrace.c:637
Backtrace stopped: frame did not save the PC
(gdb)

the below diff fix the same.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Added O_NOATIME to replay file

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>

Fix segfault in replay_sub when verbose is 1

tip->vfp is only initialised when verbose > 1, so we must only use it
under the same circumstance.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>

Merge branch 'master' of git://brick.kernel.dk/data/git/blktrace

Converted fatal to an inline function

Removes warning from gcc-4.2.1

Converted fatal from macro to inline

Hopefully this will fix a gcc-4.2.1 warning.

Signed-off-by: Alan D. Brunelle <adb@korik.(none)>

Add btrecord/btreplay capability

These facilities allow one to attempt to replay a stream of IOs
captured with blktrace. The general workflow is:

1. Initiate blktrace to capture traces
2. Do whatever to generate initial IO stream...
3. Stop blktrace
4. Run btrecord to convert traces into IO records
5. Run btreplay to replay IOs

The IO stream characteristics during replay will try to respect the
following characteristics of the original IO stream:

1. The IOs will target the same device(s) as originally seen. [One can
   alter this behavior by specifyin the -M option to btreplay, which
   allows one to remap IOs slated to one set of devices to a specified
   other set of devices.]

2. IO direction: the IOs will follow the same read/write
   (from-device/to-device) characteristics of the originating flow. [Note:
   By default replay will /not/ do writes, one must specify the -W option
   to do this. THis is a meager attempt to stop someone from shooting
   themselves in the foot (with a very large-caliber weapon).]

3. IO offset & size are maintained.

4. CPU: IOs are submitted on the originating CPU whenever possible. [Note:
   Since we are using asynchronous IO, IOs may be routed to another CPU
   prior to being processed by the block IO layer.]

In order to try and replicate inter-IO timing as much as possible,
btrecord will combine IOs "close in time" into one set, or bunch, of
IOs. Then btreplay will replay all the IOs in one go (via asynchronous
direct IO - io_submit). The size of the bunches are configurable via
the -m flag to btrecord (which specifies the a time-based bunch size)
and/or the -M flag (which specifies the maximum amount of IOs to put
into a bunch). At the low-end, specifying '-M 1' instructs btrecord to
act like fio - replay each IO as an individual unit.

Besides the potential to remap devices (utilizing the -M option to replay,
as noted above), one can also limit the number of CPUs on the replay
machine - so if you have fewer CPUs on the replay machine you specify
the -c option to btreplay.

Lastly, one can specify the -N option to btreplay to instruct it to ignore
inter-IO (inter-bunch of IOs) timings. Thus, this instructs btreplay
to replay the bunches as fast as possible, ignoring the original delays
between original IOs.

The utilities include a write-up in the docs directory.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Added list_splice to btt/list.h

list_splice is needed for the addition of btrecord/btreplay.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

btt manpages

Attached is an update for the btt.1 man page that should bring the man
page in sync with the TeX documentation.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix compilation on m68k

Missing defines for store_barrier()

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Major revamping (ver 2.0)

After a lot of fighting with maintaining a tree-styled design (each trace
having it's own node), it was just getting too cumbersome to work in all
circumstances. Taking a clue from blkparse itself, I decided to just keep
track of IOs at queue time, and updating fields based upon later traces.

The attached (large) patch works much faster, handles larger test cases
with less failures, and is managing some pretty large jobs I'm working on
(large Oracle-based DB analysis - 32-way box w/ lots of storage).

I've also added a Q2Q seek distance feature - it's come in handy when
comparing results of IO scheduler choice: We can see what the incoming IO
seek distances are (at queue time), and then see how the scheduler itself
manages things (via merges & sorting) by looking at D2D seek distances
generated.

As noted in the subject, I arbitrarily bumped this to version 2.00 as the
innards are so different. The documentation (btt/doc/btt.tex) has been
updated to reflect some minor output changes. I also fixed a bug dealing
with process name notification: there was a problem that if a new PID came
up with a name that was previously seen, btt wouldn't keep track of it
right. [When running with Oracle, a lot of processes have the same name but
different PIDs of course.]

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace 0.99.3

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace man page: mention buffer size / number of buffers defaults.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

blktrace: fix indent typo

Fix minor indentation typo in blktrace man page.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Makefile fixes

Here is a patch with small fixes to the Makefiles which I use in the
openSUSE blktrace package.

Signed-off-by: Jan Blunck <jblunck@suse.de>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Disregard generated doc files in .gitignore

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix Makefile buglets

- make install without having called make before
- create man directories if non pre-existent

Signed-off-by: Vincent Legoll <vincent.legoll@gmail.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add man pages

Thanks to Bas Zoetekouw <bas@debian.org> for providing these! And
shame on me for forgetting to add them to the git repo.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

git:// url location update

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Update email address

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Make the %C format specified explanation more clear

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Small format update for empty requests

The kernel can use empty bio's or requests for signalling purposes
(such as sending a barrier down with no data attached), update the
format to output more appropriately for those.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Account size of merges

Just like we do for queues/dispatches/completions etc.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix queued vs dispatch numbers

A merge trace includes a queue trace. blkparse accounted both
of them, resulting in the queued transfer number being a lot
larger than it should be. Fix that by not accounting bytes
in the merge handling.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix crash with '-' stdin input

Need to use argv[optind], not optarg.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

btrace: Add in -r support for btrace

Using Ubuntu, debugfs is mounted on /debug instead of /sys/kernel/debug.
[Perhaps, we should put in blktrace a search through "common" areas
where debug could be mounted, and or do a simple parsing of the output
from a 'mount' command to /find/ the directory.]

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix unplug histogram placement.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add in unplug IO count histogram

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Cleaned out the btt/README file.

The documentation under btt/doc/btt.tex is current, while this is woefully
out of date.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Combine all outstanding patches into one /big patch/

o  Added seek absolute option -- allows one to specify whether they want
   seek distances to be calculated based upon nearness to previous IO or
   from start to start.

o  Added block number dumping

o  Updated btt documentation for above.

o  Significant clean up of memory used and files opened. All allocated
   memory and opened files are cleaned up prior to normal program exit.

o  Fixed problem where Q & M traces were not being freed properly.

o  Fixed problem where bilink structures were not being freed properly.

o  Fixed omission -- output combined seeks in addition to read and
   write seeks.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A couple of weeks ago Ming Zhang had noted that btt was using tremendous
amounts of memory to accomplish a run. After looking at the code, and
doing some testing, I determined the cause - please find a patch to the
latest tree that seems to fix the problem for me...

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add store barrier defines for a bunch of archs

This makes blktrace work/compile on: alpha, hppa, sparc, m68k, mips and arm.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Some fixes - added in 4 figures, fixed an error in a section label.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix warning in output.c where __u64 is a long, not a long long

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

BTT: Added user guide

o  Added in new btt/doc directory w/ Makefile.
o  Added in btt/doc/btt.tex: First pass at a User Guide for btt.
o  Fixed usage for btt (missing -A in the usage).
o  Bumped version of btt to reflect this document.
o  Cleaned up a leftover debug entry

Note: The document does /not/ have the charts intended in the final
copy yet. Hasn't even gone through a spelling & grammar & consistency
check yet.

But it's a start...

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

BTT: Clean up output in preparation for first major documentation effort.

Took out non-useful verbose per-device and per-process data from
default output. Added in -A option to put that out.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix a typo in unplug's due to timers.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add in the notion of pre-culling IOs per device until a Q is hit.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Added ability to add device names from a file to blktrace.

Added new argument to blktrace:

-I <devs file>

Where <devs file> has one device per line, each device is added to any
explicit -d arg, or the trailing device arguments.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Add Q and D histograms (based upon IO size)

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix remap handling (again).

I guess majors 253 and 254 are both right.
Fixed typo in bilink_first_up.

I'm seeing stuff like:

253,0    0       13    30.716486276 31815  Q   R 0 + 8 [mount]
253,0    0       14    30.718087082     3  C   R 0 + 8 [0]

Without any intervening stuff (remaps and gets and inserts and ...). So
added some support for this case.

(Note: This requires the kernel patch I submitted on 2007/02/15 to make
any sense, although this code will "work" in any event.)

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Fix plug output to only display when there are plug events to show.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Added return from blkrawverify to signal success or failure.

Added in plug totals

(Also, moved plug information header so it only prints out once for all
devices, rather than per-device.)

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>

[PATCH] Add in measuring of Plug and Unplug traces.

Added in the display of plug information on a per-device basis.

% Time Q Plugged: Percent of the total time during which the queue
                  was plugged

==================== Plug Information ====================

       DEV |    # Plugs # Timer Us  | % Time Q Plugged
---------- | ---------- ----------  | ----------------
 ( 68, 64) |        833(         0) |   0.36%

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://git.kernel.dk/data/git/blktrace

Added overall averages for seek information

Results in the following addition:

Added overall averages for merge information.

Results in new tail to merge information:

Fixed a problem where not all of a device structure was being cleaned out

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

A couple of miscellaneous clean up operations.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Changed triggering on INSERT to GETRQ (temporary?)

This is backwards compatible with previous versions, with the one
difference being that the Q2I information may be a bit shorter.

The changes forthcoming with the explicit unplugging (2.6.20 + Jens'
unplag patches) require this. We may need to redefine and/or add a new
measurement once that settles down. When that happens, we'll most likely be
renaming things to better reflect GETRQ versus INSERT.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Always output seeks averages, even if we are not tracking all ios

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix debugfs references in docs

At several places in docs old mountpoint for debugfs is mentioned.
The patch just corrects these misprints.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Improve dependency checking on builds

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH]: btt - major fixes and speed improvements

From:  Alan D. Brunelle <Alan.Brunelle@hp.com>

Lots of changes to how we handle traces - adds robustness & quicker

This large patch contains the following changes to the trace handling
aspects of btt:

1. Use larger buffers for output options.

2. Use mmap to handle the input of trace data.

3. More precise btt statistics are output at the end.

4. Added in (under DEBUG) the display of unhandled traces. I was running
into the problem where traces were not being connected, and the rb trees
would get quite large. This would slow things down considerably. (See
below for details on why traces weren't being handled.)

5. Sprinkled some ASSERTs (under DEBUG).

6. Added a new btt-specific trace type: "links" - since 'A' (remaps)
contain two separate pieces of information, I broke them up into a link
and a remap trace. [Thus, it is easy to find either end of the remap.]

7. Added in the notion of retries of completes (and requeues). I'm finding
some discrepencies in the time stamps, in order to make btt handle these
better, I've added the notion of keeping the trace around for a bit,
to see if it gets linked up later.

8. Separated trace streams into: simple IOs, and remapped IOs.

9. Fixed up D2C averages - Q2I + I2D + D2C should equal Q2C averages.

----------------------------------------------------------------------------
I do not understand why it is so, but I am seeing two 'C' (complete)
traces for the same IO track at times. The sequence number is different
(+1 for the second one), and the time stamps are different (100's of
microseconds apart). I'm investigating this.

At least on an IA64, I am seeing time inconsistencies amongst CPUs on very
heavy loads (48 disks, 4 CPUs, almost 300 million traces). I find the 'D'
(issue) and 'C' (complete) traces coming out ahead of the associate 'I'
(insert) and 'M' (merge) traces. It would be good to get this fixed in
the kernel, but I figure it is also goodness to attempt to account for
it in post-processing as well.

----------------------------------------------------------------------------
This work was done in order to handle some of these large data sets, and
I've found that the performance is reasonable - here are some stats for
very large file (the largest of which used to take well over 12 minutes,
now it takes about 5 1/2 minutes - and a lot of that is just getting the
18GiB of data read in):

Size  Real     User     System
----- -------- -------- -------
 7GiB 123.445s  80.188s 11.392s
10GiB 179.148s 137.456s 16.680s
13GiB 237.561s 156.992s 21.968s
16GiB 283.262s 187.468s 26.748s
18GiB 336.345s 225.084s 31.200s

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Missed fixups wrt Bounce and Backmerge

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fixup filename on full file input

If the user by mistake specifies the full filename, strip that back down
to avoid missing input files.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

Merge branch 'master' of ssh://axboe@router.home.kernel.dk/data/git/blktrace

[PATCH] Fix double free in error path

Reported by zhuxudong <zhuxudong@nrchpc.ac.cn>

If we fail reading, we will free the realloc'ed pointer and jump to
the error path which will free the original pointer. Fix this by clearing
the original pointer.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Fix back descriptors

The 'B' is really a bounce, not a backmerge. Fixup other merge
descriptors as well.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] check do_foo return value before show_stat()

current code will show_stats() even when do_foo() return non zero.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] fix a divide by zero error

When pdi->events and pdi->seq_skips are both 0, current code will do
0/0.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Enable use of FIFO as input

Just reuse the stdin stuff for handling a named pipe.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

PATCH: blkparse: fix probem with empty trace files stopping the check for other files

Fix problem where empty input files cause premature parsing of files.
Had a problem where CPU 0 opened a file with 0 traces, and that caused the
run to end before processing other trace files.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] README updates

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Bump version

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] BTT patch: Fix problem with short runs

Found a problem that if BTT took less than 1 second to execute, we'd get
Ktps of <nan> - this fixes that...

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] BTT patch: (3/3) time bounded trace analysis

Added in -t and -T options to allow bounding of traces analyzed. Be
forewarned: this can result in some excessive numbers of orphaned traces
(partial IO streams before the -t tiem and after the -T time won't
be analyzed).

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] BTT patch: (2/3) per-IO stream output

Two major updates:

(1) Added in some robustness - can accept out-of-order traces, and can
"orphan" unfinished IO streams.

(2) Added in ability to put IO streams to a file, sending Q-to-C traces
on a per-IO bases.

The additional robustness comes at some expense (performance), and
so I will look into that next. (Perhaps see what those Judy trees buy
us... :-) )

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] BTT patch: (1/3) 'iostat' totals

Added in totals for IOSTAT output (per snapshot and overall totals)

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] blkparse: fix -f format override

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add timestamp support

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] btt: handle cases where we remap to a device which has no IO's (yet) in the trace.

Fix remaps when referred to device has not been added.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] blkparse: A couple of fixes: correct time output & flush files.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Update doc/blktrace.tex to reflex blkparse updates.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] blkparse: Converted do_file() to use a merge sort instead of RB trees.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] blkparse: Make binary dumps buffered (reduces system calls).

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] blkparse Added --no-text-output (-O)

Removes textual output, useful for bin only.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Ignore -o (output_name) when in server mode

Reported by ehrhardt@de.ibm.com.

It doesn't make a lot of sense to allow directories inside the session
private directory, and we currently do not handle multiple directories
inside the generated dir. So just ignore that option and inform the user.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Default debugfs path to /sys/kernel/debug

This seems to be where distros put it.

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Add btt/btt to .gitignore

Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Convert to using on-the-fly RB trees, no post-traversal.

From: Alan D. Brunelle <Alan.Brunelle@hp.com>

- Converted to using RB trees as much as possible - significant speed
  up in general.

- Changed from constructing IO bushes to just doing things inline as we
  get the traces. Significant speed up and reduction in complexity.
  Lost ability to absolutely handle REQUEUE traces (may put out the wrong
  min/max information for certain stats).

- Added btt/dip_rb.c
- Removed btt/traverse.c btt/iofree.c btt/cylist.c
- Fixed message concerning stats & range data to include '.dat'
- Added in timing statistics (K traces per second handled)
- Changed verbose to just update once per second
- Added notions of "foreach" iterators for devices, processes, IO traces, ...
- Removed a lot of redundant code in output (using iterators instead)
- If not interested in seek information, don't calculate a lot of stuff -
  again, significant speed up.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] btt: Fixed %utilization computation: idle not being computed right.

Need to adjust last time device was looked at to include sparse times
when we don't have many IOs coming in.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <jens.axboe@oracle.com>

[PATCH] Added in Q2C and D2C latency output option.

Also: cleaned up empty seek and latency files on exit.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

[PATCH] Cleaned up old LVM/MD references, cleaned up btt/README.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

[PATCH] Added iostat-style statistics to btt

Added iostat-style statistics: rrqm/s, wrqm/s, r/s, w/s, rsec/s, wsec/s,
rkB/s, wkB/s, avgrq-sz, avgqu-sz, await, svctm, %util.

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

[PATCH] Added '-' and '_' in dev IDs in devmap file; output dev name, not numbers

Signed-off-by: Alan D. Brunelle <Alan.Brunelle@hp.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>

[PATCH] btt: seek statistics fix

Fixed problem with seek statistics when disk has no data.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

[PATCH] btt: Fix invalid q2a

Fix for invalid q2a's under certain circumstances: need to clear out
timeline information as we pop back up stack.

Signed-off-by: Jens Axboe <axboe@kernel.dk>