xfs: prevent NMI timeouts in cmn_err
authorDave Chinner <dchinner@redhat.com>
Wed, 12 Jan 2011 00:35:42 +0000 (00:35 +0000)
committerAlex Elder <aelder@sgi.com>
Wed, 12 Jan 2011 14:46:41 +0000 (08:46 -0600)
commit73efe4a4ddf8eb2b1cc7039e8a66a23a424961af
tree1c3eed2bed48cf62a476cf0b34e66211ae29d00f
parent65a84a0f7567ea244e5246e642920260cfc2744a
xfs: prevent NMI timeouts in cmn_err

We currently have a global error message buffer in cmn_err that is
protected by a spin lock that disables interrupts.  Recently there
have been reports of NMI timeouts occurring when the console is
being flooded by SCSI error reports due to cmn_err() getting stuck
trying to print to the console while holding this lock (i.e. with
interrupts disabled). The NMI watchdog is seeing this CPU as
non-responding and so is triggering a panic.  While the trigger for
the reported case is SCSI errors, pretty much anything that spams
the kernel log could cause this to occur.

Realistically the only reason that we have the intemediate message
buffer is to prepend the correct kernel log level prefix to the log
message. The only reason we have the lock is to protect the global
message buffer and the only reason the message buffer is global is
to keep it off the stack. Hence if we can avoid needing a global
message buffer we avoid needing the lock, and we can do this with a
small amount of cleanup and some preprocessor tricks:

1. clean up xfs_cmn_err() panic mask functionality to avoid
   needing debug code in xfs_cmn_err()
2. remove the couple of "!" message prefixes that still exist that
   the existing cmn_err() code steps over.
3. redefine CE_* levels directly to KERN_*
4. redefine cmn_err() and friends to use printk() directly
   via variable argument length macros.

By doing this, we can completely remove the cmn_err() code and the
lock that is causing the problems, and rely solely on printk()
serialisation to ensure that we don't get garbled messages.

A series of followup patches is really needed to clean up all the
cmn_err() calls and related messages properly, but that results in a
series that is not easily back portable to enterprise kernels. Hence
this initial fix is only to address the direct problem in the lowest
impact way possible.

Signed-off-by: Dave Chinner <dchinner@redhat.com>
Reviewed-by: Christoph Hellwig <hch@lst.de>
Signed-off-by: Alex Elder <aelder@sgi.com>
fs/xfs/linux-2.6/xfs_sysctl.c
fs/xfs/support/debug.c
fs/xfs/support/debug.h
fs/xfs/xfs_error.c
fs/xfs/xfs_error.h
fs/xfs/xfs_log.c
fs/xfs/xfs_log_recover.c