[PATCH] blkparse: correctly account number of files per device

Merge refs/heads/master from origin

[PATCH] blkparse: more optimizations

The sort path unification and memory cutback introduced some
overhead, mainly due to lots of memory allocations and frees
of the same structures over and over again. Add a frontend
cache for struct trace and blk_io_trace allocations.

Also concatenate a lot of the string operations in fmt_select,
it's quite high in the profiles.

This brings us to the same performance as the memory hog version.

[PATCH] kernel: export the __blk_add_trace() symbol for modules

Merge refs/heads/master from origin

[PATCH] blkparse: drastically reduce memory foot print

File reads needed enough memory to hold all events from all CPUs.
This quickly grew to hundreds of megabytes. Bring down this number
by interleaving reads from the files and relying on the same
mechanism as the piped reads to syncronize them. This makes file reads
use the same path as pipes and actually removes more code than it adds.
For a 900,000 entry file, memory consumption here is down from ~110MiB
from about 1MiB to process it.

Revert "[PATCH] blkparse: bad ncpus check"

This reverts 08d83c704fbda722d3040d643665e2c029744aa7 commit.

[PATCH] blkparse: bad ncpus check

[PATCH] blkparse: shave 20% off the runtime

Various optimizations and moving code around a little.

[PATCH] Add local master repo to documentation

Note that it is using the git daemon, not rsync.

[PATCH] Update in-program help/usage info

[PATCH] blkparse: Fix stopwatch

The option should be start:end, not start:duration (at least that is
what I intended and what is documented). Also fix the actual dumping,
we need to prune earlier entries from the rb tree or we will loop
forever.

[PATCH] blkparse: more PC fixes

Add size of request as well, kill space at the end of pdu dump.

[PATCH] blkparse: fix some pc command dumping

[PATCH] Add support for bounce and split operations

[PATCH] README: typo

[PATCH] blkparse: just skip unknown events, there are not fatal

Merge branch 'master' of ssh://axboe@/linux/kernel/git/axboe/blktrace

[PATCH] blkparse: split queue and insert into two operations

We need this to support md/dm actions.

[PATCH] Fix output naming, really

It's still confusing since the manual name wont include _out like
the automatically generated one will. So now a trace of /dev/sda
will generate sda.blktrace.cpu and blkparse -i sda will catch
those files. Similarly, a blktrace -o sda will generate the
same filename.

[PATCH] blkparse: fix the alphasorting

Bad qsort size passed in and missing increment in ppis assignment.
Verified that it actually works now :-)

[PATCH] blkparse: missing free of ppis

Doesn't really matter since we exit after this, but...

[PATCH] blkparse: include pid in stat output

Avoids name conflict with threads.

[PATCH] blkparse: sort the processes by name in stat output

[PATCH] Change output/input file expectations

I think it's a little confusing right now with the naming, giving
-o foo to blktrace results in foo_dev_out.cpu files. Change this
to instead generate foo.cpu files, if the option is given.

[PATCH] blktrace: fix exit

get_data() workers should return failure on is_done(), otherwise
extract() will attempt to verify a bad trace.

[PATCH] blkparse: Add format specifiers and format field identifiers

This allows the user to completely customize the output format.

[PATCH] blktrace: prepare for mmap usage again

It isn't enabled right now, we need a proper consumed/produced
notification model to signal availability of data. poll() doesn't
work well enough, since it only works on a sub-buffer granularity.

[PATCH] blkparse: account skips for file reads as well

[PATCH] blkparse: allow a few more skips

[PATCH] btrace: need space between options

[PATCH] blkparse: more file breakage

If we have skipped entries in a file, don't wait around for more entries.

[PATCH] blkparse: actually include blkparse diff

Forgot to update the cache for the file breakage patch

[PATCH] blkparse: Fixup breakage in file reads

The pipe fixed broke file reads:

- Don't kill individual entries in show_entries_rb(),
  since it's a big chunk on file reads

- Need to "lookup" pdi, in case it was resized.

[PATCH] blkparse: reinstate __find_track() failures

It's informational and can help find bugs.

[PATCH] blkparse: fix frontmerge tracking

Need to lookup by sector + size and remember that sectors are shifted
9, not 10.

[PATCH] blkparse: better sorting over a pipe

It's quite easy to skip events when reading on an SMP system over
a pipe, since the events are per-CPU. Place incoming events in
a staging area and back off displaying traces if we detect skipped
events.

[PATCH] Add TODO of action items before 1.0 release

[PATCH] blkparse: don't print an error on failure to find request

This can happen if we lose or have out-of-order events when
passing the data through a pipe.

[PATCH] blkparse: include plugging in stats

[PATCH] Makefile: make sure to keep CFLAGS for link

[PATCH] Improve unplug logging

Extend it to capture whether this was an io based unplug (eg someone
doing a wait_on_page() or similar), or of it was a timeout based event).
The logging code also forget to turn the unplug payload into on-wire
big endian and the parsing pdu offset was wrong.

[PATCH] README: update to say it needs 2.6.14-rc1 or newer

[PATCH] blkparse: add log_action()

For events where sectors and length don't really apply (eg plugging)

[PATCH] blkparse: improve unplug logging

Add the queued number of requests count as the payload data.

[PATCH] blkparse: Add support for the plug/unplug events

[PATCH] kernel: Update to 2.6.14-rc1-git

Includes functional changes as well:

- Move the BLK_TA_QUEUE trace to where it belongs, in __elv_add_request(). This
  will catch internal queueing of drivers as well.

- Add tracing of plug and unplug events.

[PATCH] blktrace: better check for mounted relayfs

Don't just check for the presence of the directory, also check whether
relayfs really is mounted there.

[PATCH] blkparse: add stopwatch functionality

Like the blktrace -w option, but allow for defining an interval as well.

[PATCH] blktrace: add stopwatch functionality

Enables you to stop the trace after a defined period has passed.

[PATCH] btrace: make the output easily parsably by default

Drop CPU/device summary unless specifically requested.

[PATCH] Add btrace to Makefile

[PATCH] Add btrace script

Using blktrace and blkparse in the "standard" piped setup is a little
cumbersome and not very intuitive, so add a script to do this automatically.
This is what users would expect.

[PATCH] Add support for tracing multiple devices

This bumps the protocol number to 0x05, as device info was added to the
trace structure.

[PATCH] blkparse: Fix mistaken double rb lookup in find_track()

[PATCH] README: document the -t option

[PATCH] blkparse: move magic check a little earlier in stdin read

Otherwise we don't know if ->pdu_len and other fields are truly valid.

[PATCH] blkparse: fix quit on stdin reads

If the blocking read returns 0, we really are done. So safely exit.

[PATCH] blkparse: fixup stats

Pretty up the output a little, split into read/write.

[PATCH] blkparse: add per-process stats for longest waits

[PATCH] blkparse: Add request allocation -> queue time

[PATCH] blkparse: change formatting of output a little

[PATCH] blkparse: optimize the read_sort_events() memory allocations

It's a little silly to malloc/free the buffer all the time, more practical
to let it settle on its own.

Merge refs/heads/master from origin

[PATCH] blkparse: Display io queue/completion stats

Display the time a request spent in the io scheduler and the time it took
that given request to be completed by the drive/driver.

[PATCH] blkparse: fix leak in stdin read and sort

[PATCH] blkparse: add framework for tracking individual ios

[PATCH] blkparse: change output buffering

If logging to stdout, only use a per-line buffer instead of fully buffered.

[PATCH] blktrace: Fix whitespace in log_merge()

[PATCH] blktrace: remove unneeded strdup

[PATCH] Fix dispatch reporting

[PATCH] Fix time typo, it's in nanoseconds

[PATCH] Use __WORDSIZE in hash

Originally fron Nathan, improved to remove 'bpl' as well.

[PATCH] blkparse: Add per-process stats and fix output

Add the option (-s) to display per-process read/write stats as well as
the per-processor and total output. At the same time, fix the output so
it's a single file instead of per-processor (doesn't make sense here) and
put everything in the output file given with -o. If no output file is given,
stdout is used.

[PATCH] Update README with info about the snapshots

Merge refs/heads/master from origin

[PATCH] Add patch for Linus' kernel

relayfs has been merged now, so it's easier to provide a mainline patch as well.

[PATCH] Fix unaligned access on pthread_join(..., &int)

[PATCH] Misc stdin fixes

- Allow skipping in the returned stdin data, otherwise I've noticed loss
  of as many as 'nr' events when reading from the network.

- Use realloc() in resize_buffers()

- Detect sort_entries() errors in stdin read

[PATCH] Set locale in blkparse

Otherwise the 1000 numerator wont work.

[PATCH] Correct netcat examples

[PATCH] Minimize output fd lock time

Extract both trace and payload before acquiring the output descriptor lock.
The writes should take very shortly thus minimizing the hold time, the read
may take much longer.

[PATCH] Unify error returns

It's all a mess of dupes now anyway.

[PATCH] Update documentation

Some of it was a little out of sync with reality. Add an example for live
tracing, locally as well as over the network.

[PATCH] Add option to limit rb batching for live traces

Right now, blkparse keeps going until there's a delay in events read.
Add an option to cap the number of pending entries (-b) and default to
1024 events.

[PATCH] Missed the ->device in endianness conversions

[PATCH] Update kernel patch to revision 4 protocol

[PATCH] Backout the ->device change from revision 4

[PATCH] allow devices as arguments (as well as via -d option)

[PATCH] Pretty up output on large SMP machines

[PATCH] Missing colon in some output

[PATCH] Fix per_cpu_info->cpu setting

Not all traces are from CPU 0! Noticed by Nathan.

[PATCH] Dump command process names, they are available now

[PATCH] Bump ->cpu to 32-bits for alignment and add process name

[PATCH] Fix some wierd pthread/atexit interactions

[PATCH] Forgot to update last file on checkin

[PATHC] Plug some more stoptrace holes

I came across some more places where we can bail out of blktrace while
accidentally leaving the bdev trace running... this patch fixes them.

[PATCH] Make per_cpu_info[] dynamically allocated and extendable

[PATCH] Missing ->cpu endianness conversion

[PATCH] Misc error handling and style fixes