[PATCH] blktrace: note that the -b option is in KiB

[PATCH] blktrace: optimize the get_event() normal case

We usually only see partial traces in very few numbers (like
a few in a million), so optimize the normal case by getting
a full trace instead of splitting it into a 4-byte and remainder
read.

[PATCH] blkparse: only break out of last loop if not dumping to stdout

Otherwise sending a ctrl-c when running btrace will quit, leaving
entries never dumped.

[PATCH] blkparse: stdin sequence and aliases fixes

[PATCH] blktrace: allow for unaligned events

Unfortunately it looks like we have to support this for now,
as it appears relayfs will still miss events on buffer wraps
for the read cases.

[PATCH verify_blkparse: dump number of sequence aliases as well

[PATCH] btrace: need large rb batch count for stdin sorting

[PATCH] blktrace: various fixes

- Better exit_trace() backoff
- Don't assume that write() always writes the full chunk
- kill mmap(), we will never use it for packet driven workloads
- Bug in get_data_read/read_data() for incremental reads
- Optimize tid_fd_lock() holding, drop before freeing memory

[PATCH] blkparse: kill old force debug print

[PATCH] kernel: update patch to 2.6.14-rc3

[PATCH] blkparse: Add option to print missing entries

And default to off, it can be fairly verbose.

[PATCH] blkparse: check smallest sequence read

This allows check_sequence() to know when a skip happened and
when it is ok to proceed. Should be the final fix, now we now
when a sequence is missing and we nicely limit the memory
consumed in presence of large traces and missing entries.
This change brings down memory consumption of a skippy 1.3
million trace here down from 130MiB to 15MiB.

[PATCH] blkparse: invert alloc checks, more intuitive

[PATCH] blkparse: reduce memory consumption

- Better skip detection

- Limit maximum number of t/bit allocation cache entries

[PATCH] blkparse: fix ->sector printing warnings

[PATCH] README: add reference to gitweb on brick

[PATCH] Assorted compiler warnings

[PATCH] verify_blkparse: print events not ordered

And fix exit code.

[PATCH] Add verify_blkparse description to README

[PATCH] verify_blkparse: implement in C instead

The C version checks a 92MB file in 2 seconds where the php
version takes 23 seconds.

[PATCH] verify_blkparse: missing line break

[PATCH] verify_blkparse: fix parsing

Current version would break, if the device number didn't have
a leading space.

[PATCH] blkparse: prune old found entries in rb_last

[PATCH] verify_blkparse: make sure file is readable

[PATCH] verify_blkparse: proper check of file given

[PATCH] blkparse: don't check time in last rb lookup

[PATCH] Add script to verify correctness of blkparse output

Only checks the time.

[PATCH] blkparse: make the rb track root per-device

[PATCH] blkparse: misc assorted fixes

- Move the trace verification earlier, so that traces on
  trace_list are always known valid

- Start with -1 sequence so when using the stopwatch the
  skip count is correct (first entry might not be 1)

- stdin get_cpu_info() fix

[PATCH] kernel: move the plug/unplug logging around a little

[PATCH] blkparse: sequence fixes

This should finally fix all the remaining sequence bugs. We
keep a backlog of already processed entries so we can lookup
any out-of-sequence events there. That takes care of one
direction of sequence and time mismatches. The other direction
is handled by fixing the trace_rb_find() lookup to work well
enough without having a precise time (which is the primary
key for the rb sort).

[PATCH] blkparse: improve skip detection

Forgot to kill old patch

[PATCH] kernel: improve serialization and unplug logging

Forgot to include the change for the last stopwatch fix...

[PATCH] blkparse: another stab at stopwatch_end fixing

This should work reliably, the check is moved after we
have definitely called find_genesis().

Revert "[PATCH] blkparse: final stopwatch check"

This reverts a795e5fae97e14d77c3c3c7d0f6543e6c5f8c850 commit.

[PATCH] blktrace: fix sparse warning

[PATCH] blkparse: add %N format for bytes

We need this for PC requests, they are not multiples of 512
like the FS requests. At the same time change the default for
PC requests to dump in bytes.

[PATCH] blkparse: final stopwatch check

Delayed quit when all files have been read and there are no
further entries beyond that point, then it is safe to quit
out early there as well.

[PATCH] blkparse: more stopwatch cleanups

[PATCH] blkparse: improve stopwatch

Move the checks much earlier, no point in doing a lot of
work for stuff we will toss out anyways.

[PATCH] blkparse: hash-by-name fixes

- Be more precise in dumping (name, ...) in the stats, only do it
  when there really was more than one.

- The -n option needs to clear the hash-by-pid variable.

[PATCH] blkparse: oops, missed removing a hash debug statement

[PATCH] TODO: add entry about fixing show_entries_rb() OOO logic

[PATCH] blkparse: Add option to hash process by name

For some traces, you really don't want to see thousands of cc1
processes in the stats, you want to collect the stats by name
instead. This adds the -n option to blkparse, enabling that.

Switched to Jenkins hash at the same time, as it allows for
easy hash-by-u32 or hash-by-name as we see fit.

[PATCH] blkparse: more sequence fixes

[PATCH] blkparse: improve skipping and genesis_time lookup

[PATCH] blkparse: hardcode the default formats instead of parsing them

It takes a lot of time to manually parse each individual trace,
and there's really no point in doing that work if the user did
not specificy a custom format. We now only parse the given custom
formats.

Without any custom formats (eg the default), parsing a trace of
1.3 million entries now takes 4.3 seconds where it took 11.25 before.

[PATCH] blkparse: force dump of remaining rb entries on reading done

Otherwise we may not display a significant chunk of entries.

[PATCH] kernel: put back old syncronization

It's actually the best - keep the trace on the stack, so multiple
invocations from the same CPU (ie from process and irq context at
the same time) get their own 't', and keep the local irq disable
to prevent interleaving of trace and PDU with other contexts.

[PATCH] blkparse: split format parsing into seperate file

Revert "[PATCH] kernel: kill irq save/restore"

This reverts 68bf440bf36d239ff3cb27b34b95ea7911c7c5a6 commit.

[PATCH] kernel: kill irq save/restore

It should not be needed anymore, the writes a per-CPU and the
get_cpu()/put_cpu() will prevent preemption.

[PATCH] kernel: avoid trace corruption on SMP

Maintain a static trace structure per-CPU.

[PATCH] blkparse: sequence fixes

Only set last sequence _after_ a potential break of the loop.
And remember to set last_allowed_time for stdin reads as well.

[PATCH] blkparse: fix sorting of file events regardless of batch size

If the batch wraps, it would be possible to start displaying events
way into the future if parsing multiple devices.

Revert "[PATCH] blkparse: rbtree sort primary key should be sequence, not time"

This reverts acba447a946b022df6a30159425309f033e46ab7 commit.

[PATCH] blktrace: Add option for setting sub buffer size

Use -b to give sub buffer size in KiB, -n to give number of
sub buffers wanted. This affects the relayfs trace setup.

[PATCH] blkparse: rbtree sort primary key should be sequence, not time

Otherwise we may lose events if the event time is a little out
of sync.

[PATCH] blkparse: can't return on-stack variables

Just make it static, access is serialized to it.

[PATCH] README: add link to mailing list at vger

[PATCH] blkparse: don't append .log to the -o given output file

[PATCH] blkparse: make the nfiles counter live inside pdi

Gets rid of the extra malloc and is cleaner.

[PATCH] blkparse: fix pointer cast warnings

[PATCH] blkparse: correctly account number of files per device

Merge refs/heads/master from origin

[PATCH] blkparse: more optimizations

The sort path unification and memory cutback introduced some
overhead, mainly due to lots of memory allocations and frees
of the same structures over and over again. Add a frontend
cache for struct trace and blk_io_trace allocations.

Also concatenate a lot of the string operations in fmt_select,
it's quite high in the profiles.

This brings us to the same performance as the memory hog version.

[PATCH] kernel: export the __blk_add_trace() symbol for modules

Merge refs/heads/master from origin

[PATCH] blkparse: drastically reduce memory foot print

File reads needed enough memory to hold all events from all CPUs.
This quickly grew to hundreds of megabytes. Bring down this number
by interleaving reads from the files and relying on the same
mechanism as the piped reads to syncronize them. This makes file reads
use the same path as pipes and actually removes more code than it adds.
For a 900,000 entry file, memory consumption here is down from ~110MiB
from about 1MiB to process it.

Revert "[PATCH] blkparse: bad ncpus check"

This reverts 08d83c704fbda722d3040d643665e2c029744aa7 commit.

[PATCH] blkparse: bad ncpus check

[PATCH] blkparse: shave 20% off the runtime

Various optimizations and moving code around a little.

[PATCH] Add local master repo to documentation

Note that it is using the git daemon, not rsync.

[PATCH] Update in-program help/usage info

[PATCH] blkparse: Fix stopwatch

The option should be start:end, not start:duration (at least that is
what I intended and what is documented). Also fix the actual dumping,
we need to prune earlier entries from the rb tree or we will loop
forever.

[PATCH] blkparse: more PC fixes

Add size of request as well, kill space at the end of pdu dump.

[PATCH] blkparse: fix some pc command dumping

[PATCH] Add support for bounce and split operations

[PATCH] README: typo

[PATCH] blkparse: just skip unknown events, there are not fatal

Merge branch 'master' of ssh://axboe@/linux/kernel/git/axboe/blktrace

[PATCH] blkparse: split queue and insert into two operations

We need this to support md/dm actions.

[PATCH] Fix output naming, really

It's still confusing since the manual name wont include _out like
the automatically generated one will. So now a trace of /dev/sda
will generate sda.blktrace.cpu and blkparse -i sda will catch
those files. Similarly, a blktrace -o sda will generate the
same filename.

[PATCH] blkparse: fix the alphasorting

Bad qsort size passed in and missing increment in ppis assignment.
Verified that it actually works now :-)

[PATCH] blkparse: missing free of ppis

Doesn't really matter since we exit after this, but...

[PATCH] blkparse: include pid in stat output

Avoids name conflict with threads.

[PATCH] blkparse: sort the processes by name in stat output

[PATCH] Change output/input file expectations

I think it's a little confusing right now with the naming, giving
-o foo to blktrace results in foo_dev_out.cpu files. Change this
to instead generate foo.cpu files, if the option is given.

[PATCH] blktrace: fix exit

get_data() workers should return failure on is_done(), otherwise
extract() will attempt to verify a bad trace.

[PATCH] blkparse: Add format specifiers and format field identifiers

This allows the user to completely customize the output format.

[PATCH] blktrace: prepare for mmap usage again

It isn't enabled right now, we need a proper consumed/produced
notification model to signal availability of data. poll() doesn't
work well enough, since it only works on a sub-buffer granularity.

[PATCH] blkparse: account skips for file reads as well

[PATCH] blkparse: allow a few more skips

[PATCH] btrace: need space between options

[PATCH] blkparse: more file breakage

If we have skipped entries in a file, don't wait around for more entries.

[PATCH] blkparse: actually include blkparse diff

Forgot to update the cache for the file breakage patch

[PATCH] blkparse: Fixup breakage in file reads

The pipe fixed broke file reads:

- Don't kill individual entries in show_entries_rb(),
  since it's a big chunk on file reads

- Need to "lookup" pdi, in case it was resized.

[PATCH] blkparse: reinstate __find_track() failures

It's informational and can help find bugs.