fs/xfs/scrub/scrub.c

   1 /*
   2  * Copyright (C) 2017 Oracle.  All Rights Reserved.
   3  *
   4  * Author: Darrick J. Wong <darrick.wong@oracle.com>
   5  *
   6  * This program is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU General Public License
   8  * as published by the Free Software Foundation; either version 2
   9  * of the License, or (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it would be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write the Free Software Foundation,
  18  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301, USA.
  19  */
  20 #include "xfs.h"
  21 #include "xfs_fs.h"
  22 #include "xfs_shared.h"
  23 #include "xfs_format.h"
  24 #include "xfs_trans_resv.h"
  25 #include "xfs_mount.h"
  26 #include "xfs_defer.h"
  27 #include "xfs_btree.h"
  28 #include "xfs_bit.h"
  29 #include "xfs_log_format.h"
  30 #include "xfs_trans.h"
  31 #include "xfs_sb.h"
  32 #include "xfs_inode.h"
  33 #include "xfs_alloc.h"
  34 #include "xfs_alloc_btree.h"
  35 #include "xfs_bmap.h"
  36 #include "xfs_bmap_btree.h"
  37 #include "xfs_ialloc.h"
  38 #include "xfs_ialloc_btree.h"
  39 #include "xfs_refcount.h"
  40 #include "xfs_refcount_btree.h"
  41 #include "xfs_rmap.h"
  42 #include "xfs_rmap_btree.h"
  43 #include "scrub/xfs_scrub.h"
  44 #include "scrub/scrub.h"
  45 #include "scrub/common.h"
  46 #include "scrub/trace.h"
  47 #include "scrub/scrub.h"
  48 #include "scrub/btree.h"
  49
  50 /*
  51  * Online Scrub and Repair
  52  *
  53  * Traditionally, XFS (the kernel driver) did not know how to check or
  54  * repair on-disk data structures.  That task was left to the xfs_check
  55  * and xfs_repair tools, both of which require taking the filesystem
  56  * offline for a thorough but time consuming examination.  Online
  57  * scrub & repair, on the other hand, enables us to check the metadata
  58  * for obvious errors while carefully stepping around the filesystem's
  59  * ongoing operations, locking rules, etc.
  60  *
  61  * Given that most XFS metadata consist of records stored in a btree,
  62  * most of the checking functions iterate the btree blocks themselves
  63  * looking for irregularities.  When a record block is encountered, each
  64  * record can be checked for obviously bad values.  Record values can
  65  * also be cross-referenced against other btrees to look for potential
  66  * misunderstandings between pieces of metadata.
  67  *
  68  * It is expected that the checkers responsible for per-AG metadata
  69  * structures will lock the AG headers (AGI, AGF, AGFL), iterate the
  70  * metadata structure, and perform any relevant cross-referencing before
  71  * unlocking the AG and returning the results to userspace.  These
  72  * scrubbers must not keep an AG locked for too long to avoid tying up
  73  * the block and inode allocators.
  74  *
  75  * Block maps and b-trees rooted in an inode present a special challenge
  76  * because they can involve extents from any AG.  The general scrubber
  77  * structure of lock -> check -> xref -> unlock still holds, but AG
  78  * locking order rules /must/ be obeyed to avoid deadlocks.  The
  79  * ordering rule, of course, is that we must lock in increasing AG
  80  * order.  Helper functions are provided to track which AG headers we've
  81  * already locked.  If we detect an imminent locking order violation, we
  82  * can signal a potential deadlock, in which case the scrubber can jump
  83  * out to the top level, lock all the AGs in order, and retry the scrub.
  84  *
  85  * For file data (directories, extended attributes, symlinks) scrub, we
  86  * can simply lock the inode and walk the data.  For btree data
  87  * (directories and attributes) we follow the same btree-scrubbing
  88  * strategy outlined previously to check the records.
  89  *
  90  * We use a bit of trickery with transactions to avoid buffer deadlocks
  91  * if there is a cycle in the metadata.  The basic problem is that
  92  * travelling down a btree involves locking the current buffer at each
  93  * tree level.  If a pointer should somehow point back to a buffer that
  94  * we've already examined, we will deadlock due to the second buffer
  95  * locking attempt.  Note however that grabbing a buffer in transaction
  96  * context links the locked buffer to the transaction.  If we try to
  97  * re-grab the buffer in the context of the same transaction, we avoid
  98  * the second lock attempt and continue.  Between the verifier and the
  99  * scrubber, something will notice that something is amiss and report
 100  * the corruption.  Therefore, each scrubber will allocate an empty
 101  * transaction, attach buffers to it, and cancel the transaction at the
 102  * end of the scrub run.  Cancelling a non-dirty transaction simply
 103  * unlocks the buffers.
 104  *
 105  * There are four pieces of data that scrub can communicate to
 106  * userspace.  The first is the error code (errno), which can be used to
 107  * communicate operational errors in performing the scrub.  There are
 108  * also three flags that can be set in the scrub context.  If the data
 109  * structure itself is corrupt, the CORRUPT flag will be set.  If
 110  * the metadata is correct but otherwise suboptimal, the PREEN flag
 111  * will be set.
 112  */
 113
 114 /*
 115  * Scrub probe -- userspace uses this to probe if we're willing to scrub
 116  * or repair a given mountpoint.  This will be used by xfs_scrub to
 117  * probe the kernel's abilities to scrub (and repair) the metadata.  We
 118  * do this by validating the ioctl inputs from userspace, preparing the
 119  * filesystem for a scrub (or a repair) operation, and immediately
 120  * returning to userspace.  Userspace can use the returned errno and
 121  * structure state to decide (in broad terms) if scrub/repair are
 122  * supported by the running kernel.
 123  */
 124 int
 125 xfs_scrub_probe(
 126         struct xfs_scrub_context        *sc)
 127 {
 128         int                             error = 0;
 129
 130         if (sc->sm->sm_ino || sc->sm->sm_agno)
 131                 return -EINVAL;
 132         if (xfs_scrub_should_terminate(sc, &error))
 133                 return error;
 134
 135         return 0;
 136 }
 137
 138 /* Scrub setup and teardown */
 139
 140 /* Free all the resources and finish the transactions. */
 141 STATIC int
 142 xfs_scrub_teardown(
 143         struct xfs_scrub_context        *sc,
 144         int                             error)
 145 {
 146         xfs_scrub_ag_free(sc, &sc->sa);
 147         if (sc->tp) {
 148                 xfs_trans_cancel(sc->tp);
 149                 sc->tp = NULL;
 150         }
 151         return error;
 152 }
 153
 154 /* Scrubbing dispatch. */
 155
 156 static const struct xfs_scrub_meta_ops meta_scrub_ops[] = {
 157         { /* ioctl presence test */
 158                 .setup  = xfs_scrub_setup_fs,
 159                 .scrub  = xfs_scrub_probe,
 160         },
 161         { /* superblock */
 162                 .setup  = xfs_scrub_setup_ag_header,
 163                 .scrub  = xfs_scrub_superblock,
 164         },
 165         { /* agf */
 166                 .setup  = xfs_scrub_setup_ag_header,
 167                 .scrub  = xfs_scrub_agf,
 168         },
 169         { /* agfl */
 170                 .setup  = xfs_scrub_setup_ag_header,
 171                 .scrub  = xfs_scrub_agfl,
 172         },
 173         { /* agi */
 174                 .setup  = xfs_scrub_setup_ag_header,
 175                 .scrub  = xfs_scrub_agi,
 176         },
 177         { /* bnobt */
 178                 .setup  = xfs_scrub_setup_ag_allocbt,
 179                 .scrub  = xfs_scrub_bnobt,
 180         },
 181         { /* cntbt */
 182                 .setup  = xfs_scrub_setup_ag_allocbt,
 183                 .scrub  = xfs_scrub_cntbt,
 184         },
 185         { /* inobt */
 186                 .setup  = xfs_scrub_setup_ag_iallocbt,
 187                 .scrub  = xfs_scrub_inobt,
 188         },
 189         { /* finobt */
 190                 .setup  = xfs_scrub_setup_ag_iallocbt,
 191                 .scrub  = xfs_scrub_finobt,
 192                 .has    = xfs_sb_version_hasfinobt,
 193         },
 194         { /* rmapbt */
 195                 .setup  = xfs_scrub_setup_ag_rmapbt,
 196                 .scrub  = xfs_scrub_rmapbt,
 197                 .has    = xfs_sb_version_hasrmapbt,
 198         },
 199         { /* refcountbt */
 200                 .setup  = xfs_scrub_setup_ag_refcountbt,
 201                 .scrub  = xfs_scrub_refcountbt,
 202                 .has    = xfs_sb_version_hasreflink,
 203         },
 204 };
 205
 206 /* This isn't a stable feature, warn once per day. */
 207 static inline void
 208 xfs_scrub_experimental_warning(
 209         struct xfs_mount        *mp)
 210 {
 211         static struct ratelimit_state scrub_warning = RATELIMIT_STATE_INIT(
 212                         "xfs_scrub_warning", 86400 * HZ, 1);
 213         ratelimit_set_flags(&scrub_warning, RATELIMIT_MSG_ON_RELEASE);
 214
 215         if (__ratelimit(&scrub_warning))
 216                 xfs_alert(mp,
 217 "EXPERIMENTAL online scrub feature in use. Use at your own risk!");
 218 }
 219
 220 /* Dispatch metadata scrubbing. */
 221 int
 222 xfs_scrub_metadata(
 223         struct xfs_inode                *ip,
 224         struct xfs_scrub_metadata       *sm)
 225 {
 226         struct xfs_scrub_context        sc;
 227         struct xfs_mount                *mp = ip->i_mount;
 228         const struct xfs_scrub_meta_ops *ops;
 229         bool                            try_harder = false;
 230         int                             error = 0;
 231
 232         trace_xfs_scrub_start(ip, sm, error);
 233
 234         /* Forbidden if we are shut down or mounted norecovery. */
 235         error = -ESHUTDOWN;
 236         if (XFS_FORCED_SHUTDOWN(mp))
 237                 goto out;
 238         error = -ENOTRECOVERABLE;
 239         if (mp->m_flags & XFS_MOUNT_NORECOVERY)
 240                 goto out;
 241
 242         /* Check our inputs. */
 243         error = -EINVAL;
 244         sm->sm_flags &= ~XFS_SCRUB_FLAGS_OUT;
 245         if (sm->sm_flags & ~XFS_SCRUB_FLAGS_IN)
 246                 goto out;
 247         if (memchr_inv(sm->sm_reserved, 0, sizeof(sm->sm_reserved)))
 248                 goto out;
 249
 250         /* Do we know about this type of metadata? */
 251         error = -ENOENT;
 252         if (sm->sm_type >= XFS_SCRUB_TYPE_NR)
 253                 goto out;
 254         ops = &meta_scrub_ops[sm->sm_type];
 255         if (ops->scrub == NULL)
 256                 goto out;
 257
 258         /*
 259          * We won't scrub any filesystem that doesn't have the ability
 260          * to record unwritten extents.  The option was made default in
 261          * 2003, removed from mkfs in 2007, and cannot be disabled in
 262          * v5, so if we find a filesystem without this flag it's either
 263          * really old or totally unsupported.  Avoid it either way.
 264          * We also don't support v1-v3 filesystems, which aren't
 265          * mountable.
 266          */
 267         error = -EOPNOTSUPP;
 268         if (!xfs_sb_version_hasextflgbit(&mp->m_sb))
 269                 goto out;
 270
 271         /* Does this fs even support this type of metadata? */
 272         error = -ENOENT;
 273         if (ops->has && !ops->has(&mp->m_sb))
 274                 goto out;
 275
 276         /* We don't know how to repair anything yet. */
 277         error = -EOPNOTSUPP;
 278         if (sm->sm_flags & XFS_SCRUB_IFLAG_REPAIR)
 279                 goto out;
 280
 281         xfs_scrub_experimental_warning(mp);
 282
 283 retry_op:
 284         /* Set up for the operation. */
 285         memset(&sc, 0, sizeof(sc));
 286         sc.mp = ip->i_mount;
 287         sc.sm = sm;
 288         sc.ops = ops;
 289         sc.try_harder = try_harder;
 290         sc.sa.agno = NULLAGNUMBER;
 291         error = sc.ops->setup(&sc, ip);
 292         if (error)
 293                 goto out_teardown;
 294
 295         /* Scrub for errors. */
 296         error = sc.ops->scrub(&sc);
 297         if (!try_harder && error == -EDEADLOCK) {
 298                 /*
 299                  * Scrubbers return -EDEADLOCK to mean 'try harder'.
 300                  * Tear down everything we hold, then set up again with
 301                  * preparation for worst-case scenarios.
 302                  */
 303                 error = xfs_scrub_teardown(&sc, 0);
 304                 if (error)
 305                         goto out;
 306                 try_harder = true;
 307                 goto retry_op;
 308         } else if (error)
 309                 goto out_teardown;
 310
 311         if (sc.sm->sm_flags & (XFS_SCRUB_OFLAG_CORRUPT |
 312                                XFS_SCRUB_OFLAG_XCORRUPT))
 313                 xfs_alert_ratelimited(mp, "Corruption detected during scrub.");
 314
 315 out_teardown:
 316         error = xfs_scrub_teardown(&sc, error);
 317 out:
 318         trace_xfs_scrub_done(ip, sm, error);
 319         if (error == -EFSCORRUPTED || error == -EFSBADCRC) {
 320                 sm->sm_flags |= XFS_SCRUB_OFLAG_CORRUPT;
 321                 error = 0;
 322         }
 323         return error;
 324 }