fs: dcache reduce branches in lookup path
[linux-2.6-block.git] / include / linux / dcache.h
1 #ifndef __LINUX_DCACHE_H
2 #define __LINUX_DCACHE_H
3
4 #include <asm/atomic.h>
5 #include <linux/list.h>
6 #include <linux/rculist.h>
7 #include <linux/spinlock.h>
8 #include <linux/seqlock.h>
9 #include <linux/cache.h>
10 #include <linux/rcupdate.h>
11
12 struct nameidata;
13 struct path;
14 struct vfsmount;
15
16 /*
17  * linux/include/linux/dcache.h
18  *
19  * Dirent cache data structures
20  *
21  * (C) Copyright 1997 Thomas Schoebel-Theuer,
22  * with heavy changes by Linus Torvalds
23  */
24
25 #define IS_ROOT(x) ((x) == (x)->d_parent)
26
27 /*
28  * "quick string" -- eases parameter passing, but more importantly
29  * saves "metadata" about the string (ie length and the hash).
30  *
31  * hash comes first so it snuggles against d_parent in the
32  * dentry.
33  */
34 struct qstr {
35         unsigned int hash;
36         unsigned int len;
37         const unsigned char *name;
38 };
39
40 struct dentry_stat_t {
41         int nr_dentry;
42         int nr_unused;
43         int age_limit;          /* age in seconds */
44         int want_pages;         /* pages requested by system */
45         int dummy[2];
46 };
47 extern struct dentry_stat_t dentry_stat;
48
49 /* Name hashing routines. Initial hash value */
50 /* Hash courtesy of the R5 hash in reiserfs modulo sign bits */
51 #define init_name_hash()                0
52
53 /* partial hash update function. Assume roughly 4 bits per character */
54 static inline unsigned long
55 partial_name_hash(unsigned long c, unsigned long prevhash)
56 {
57         return (prevhash + (c << 4) + (c >> 4)) * 11;
58 }
59
60 /*
61  * Finally: cut down the number of bits to a int value (and try to avoid
62  * losing bits)
63  */
64 static inline unsigned long end_name_hash(unsigned long hash)
65 {
66         return (unsigned int) hash;
67 }
68
69 /* Compute the hash for a name string. */
70 static inline unsigned int
71 full_name_hash(const unsigned char *name, unsigned int len)
72 {
73         unsigned long hash = init_name_hash();
74         while (len--)
75                 hash = partial_name_hash(*name++, hash);
76         return end_name_hash(hash);
77 }
78
79 /*
80  * Try to keep struct dentry aligned on 64 byte cachelines (this will
81  * give reasonable cacheline footprint with larger lines without the
82  * large memory footprint increase).
83  */
84 #ifdef CONFIG_64BIT
85 #define DNAME_INLINE_LEN_MIN 32 /* 192 bytes */
86 #else
87 #define DNAME_INLINE_LEN_MIN 40 /* 128 bytes */
88 #endif
89
90 struct dentry {
91         unsigned int d_count;           /* protected by d_lock */
92         unsigned int d_flags;           /* protected by d_lock */
93         spinlock_t d_lock;              /* per dentry lock */
94         seqcount_t d_seq;               /* per dentry seqlock */
95         struct inode *d_inode;          /* Where the name belongs to - NULL is
96                                          * negative */
97         /*
98          * The next three fields are touched by __d_lookup.  Place them here
99          * so they all fit in a cache line.
100          */
101         struct hlist_node d_hash;       /* lookup hash list */
102         struct dentry *d_parent;        /* parent directory */
103         struct qstr d_name;
104
105         struct list_head d_lru;         /* LRU list */
106         /*
107          * d_child and d_rcu can share memory
108          */
109         union {
110                 struct list_head d_child;       /* child of parent list */
111                 struct rcu_head d_rcu;
112         } d_u;
113         struct list_head d_subdirs;     /* our children */
114         struct list_head d_alias;       /* inode alias list */
115         unsigned long d_time;           /* used by d_revalidate */
116         const struct dentry_operations *d_op;
117         struct super_block *d_sb;       /* The root of the dentry tree */
118         void *d_fsdata;                 /* fs-specific data */
119
120         unsigned char d_iname[DNAME_INLINE_LEN_MIN];    /* small names */
121 };
122
123 /*
124  * dentry->d_lock spinlock nesting subclasses:
125  *
126  * 0: normal
127  * 1: nested
128  */
129 enum dentry_d_lock_class
130 {
131         DENTRY_D_LOCK_NORMAL, /* implicitly used by plain spin_lock() APIs. */
132         DENTRY_D_LOCK_NESTED
133 };
134
135 struct dentry_operations {
136         int (*d_revalidate)(struct dentry *, struct nameidata *);
137         int (*d_hash)(const struct dentry *, const struct inode *,
138                         struct qstr *);
139         int (*d_compare)(const struct dentry *, const struct inode *,
140                         const struct dentry *, const struct inode *,
141                         unsigned int, const char *, const struct qstr *);
142         int (*d_delete)(const struct dentry *);
143         void (*d_release)(struct dentry *);
144         void (*d_iput)(struct dentry *, struct inode *);
145         char *(*d_dname)(struct dentry *, char *, int);
146 };
147
148 /*
149  * Locking rules for dentry_operations callbacks are to be found in
150  * Documentation/filesystems/Locking. Keep it updated!
151  *
152  * FUrther descriptions are found in Documentation/filesystems/vfs.txt.
153  * Keep it updated too!
154  */
155
156 /* d_flags entries */
157 #define DCACHE_AUTOFS_PENDING 0x0001    /* autofs: "under construction" */
158 #define DCACHE_NFSFS_RENAMED  0x0002
159      /* this dentry has been "silly renamed" and has to be deleted on the last
160       * dput() */
161
162 #define DCACHE_DISCONNECTED     0x0004
163      /* This dentry is possibly not currently connected to the dcache tree, in
164       * which case its parent will either be itself, or will have this flag as
165       * well.  nfsd will not use a dentry with this bit set, but will first
166       * endeavour to clear the bit either by discovering that it is connected,
167       * or by performing lookup operations.   Any filesystem which supports
168       * nfsd_operations MUST have a lookup function which, if it finds a
169       * directory inode with a DCACHE_DISCONNECTED dentry, will d_move that
170       * dentry into place and return that dentry rather than the passed one,
171       * typically using d_splice_alias. */
172
173 #define DCACHE_REFERENCED       0x0008  /* Recently used, don't discard. */
174 #define DCACHE_UNHASHED         0x0010  
175 #define DCACHE_INOTIFY_PARENT_WATCHED 0x0020
176      /* Parent inode is watched by inotify */
177
178 #define DCACHE_COOKIE           0x0040  /* For use by dcookie subsystem */
179 #define DCACHE_FSNOTIFY_PARENT_WATCHED 0x0080
180      /* Parent inode is watched by some fsnotify listener */
181
182 #define DCACHE_CANT_MOUNT       0x0100
183 #define DCACHE_GENOCIDE         0x0200
184 #define DCACHE_MOUNTED          0x0400  /* is a mountpoint */
185
186 #define DCACHE_OP_HASH          0x1000
187 #define DCACHE_OP_COMPARE       0x2000
188 #define DCACHE_OP_REVALIDATE    0x4000
189 #define DCACHE_OP_DELETE        0x8000
190
191
192 extern spinlock_t dcache_inode_lock;
193 extern seqlock_t rename_lock;
194
195 static inline int dname_external(struct dentry *dentry)
196 {
197         return dentry->d_name.name != dentry->d_iname;
198 }
199
200 /*
201  * These are the low-level FS interfaces to the dcache..
202  */
203 extern void d_instantiate(struct dentry *, struct inode *);
204 extern struct dentry * d_instantiate_unique(struct dentry *, struct inode *);
205 extern struct dentry * d_materialise_unique(struct dentry *, struct inode *);
206 extern void __d_drop(struct dentry *dentry);
207 extern void d_drop(struct dentry *dentry);
208 extern void d_delete(struct dentry *);
209 extern void d_set_d_op(struct dentry *dentry, const struct dentry_operations *op);
210
211 /* allocate/de-allocate */
212 extern struct dentry * d_alloc(struct dentry *, const struct qstr *);
213 extern struct dentry * d_splice_alias(struct inode *, struct dentry *);
214 extern struct dentry * d_add_ci(struct dentry *, struct inode *, struct qstr *);
215 extern struct dentry * d_obtain_alias(struct inode *);
216 extern void shrink_dcache_sb(struct super_block *);
217 extern void shrink_dcache_parent(struct dentry *);
218 extern void shrink_dcache_for_umount(struct super_block *);
219 extern int d_invalidate(struct dentry *);
220
221 /* only used at mount-time */
222 extern struct dentry * d_alloc_root(struct inode *);
223
224 /* <clickety>-<click> the ramfs-type tree */
225 extern void d_genocide(struct dentry *);
226
227 extern struct dentry *d_find_alias(struct inode *);
228 extern void d_prune_aliases(struct inode *);
229
230 /* test whether we have any submounts in a subdir tree */
231 extern int have_submounts(struct dentry *);
232
233 /*
234  * This adds the entry to the hash queues.
235  */
236 extern void d_rehash(struct dentry *);
237
238 /**
239  * d_add - add dentry to hash queues
240  * @entry: dentry to add
241  * @inode: The inode to attach to this dentry
242  *
243  * This adds the entry to the hash queues and initializes @inode.
244  * The entry was actually filled in earlier during d_alloc().
245  */
246  
247 static inline void d_add(struct dentry *entry, struct inode *inode)
248 {
249         d_instantiate(entry, inode);
250         d_rehash(entry);
251 }
252
253 /**
254  * d_add_unique - add dentry to hash queues without aliasing
255  * @entry: dentry to add
256  * @inode: The inode to attach to this dentry
257  *
258  * This adds the entry to the hash queues and initializes @inode.
259  * The entry was actually filled in earlier during d_alloc().
260  */
261 static inline struct dentry *d_add_unique(struct dentry *entry, struct inode *inode)
262 {
263         struct dentry *res;
264
265         res = d_instantiate_unique(entry, inode);
266         d_rehash(res != NULL ? res : entry);
267         return res;
268 }
269
270 extern void dentry_update_name_case(struct dentry *, struct qstr *);
271
272 /* used for rename() and baskets */
273 extern void d_move(struct dentry *, struct dentry *);
274 extern struct dentry *d_ancestor(struct dentry *, struct dentry *);
275
276 /* appendix may either be NULL or be used for transname suffixes */
277 extern struct dentry *d_lookup(struct dentry *, struct qstr *);
278 extern struct dentry *d_hash_and_lookup(struct dentry *, struct qstr *);
279 extern struct dentry *__d_lookup(struct dentry *, struct qstr *);
280 extern struct dentry *__d_lookup_rcu(struct dentry *parent, struct qstr *name,
281                                 unsigned *seq, struct inode **inode);
282
283 /**
284  * __d_rcu_to_refcount - take a refcount on dentry if sequence check is ok
285  * @dentry: dentry to take a ref on
286  * @seq: seqcount to verify against
287  * @Returns: 0 on failure, else 1.
288  *
289  * __d_rcu_to_refcount operates on a dentry,seq pair that was returned
290  * by __d_lookup_rcu, to get a reference on an rcu-walk dentry.
291  */
292 static inline int __d_rcu_to_refcount(struct dentry *dentry, unsigned seq)
293 {
294         int ret = 0;
295
296         assert_spin_locked(&dentry->d_lock);
297         if (!read_seqcount_retry(&dentry->d_seq, seq)) {
298                 ret = 1;
299                 dentry->d_count++;
300         }
301
302         return ret;
303 }
304
305 /* validate "insecure" dentry pointer */
306 extern int d_validate(struct dentry *, struct dentry *);
307
308 /*
309  * helper function for dentry_operations.d_dname() members
310  */
311 extern char *dynamic_dname(struct dentry *, char *, int, const char *, ...);
312
313 extern char *__d_path(const struct path *path, struct path *root, char *, int);
314 extern char *d_path(const struct path *, char *, int);
315 extern char *d_path_with_unreachable(const struct path *, char *, int);
316 extern char *dentry_path_raw(struct dentry *, char *, int);
317 extern char *dentry_path(struct dentry *, char *, int);
318
319 /* Allocation counts.. */
320
321 /**
322  *      dget, dget_dlock -      get a reference to a dentry
323  *      @dentry: dentry to get a reference to
324  *
325  *      Given a dentry or %NULL pointer increment the reference count
326  *      if appropriate and return the dentry. A dentry will not be 
327  *      destroyed when it has references.
328  */
329 static inline struct dentry *dget_dlock(struct dentry *dentry)
330 {
331         if (dentry)
332                 dentry->d_count++;
333         return dentry;
334 }
335
336 static inline struct dentry *dget(struct dentry *dentry)
337 {
338         if (dentry) {
339                 spin_lock(&dentry->d_lock);
340                 dget_dlock(dentry);
341                 spin_unlock(&dentry->d_lock);
342         }
343         return dentry;
344 }
345
346 extern struct dentry *dget_parent(struct dentry *dentry);
347
348 /**
349  *      d_unhashed -    is dentry hashed
350  *      @dentry: entry to check
351  *
352  *      Returns true if the dentry passed is not currently hashed.
353  */
354  
355 static inline int d_unhashed(struct dentry *dentry)
356 {
357         return (dentry->d_flags & DCACHE_UNHASHED);
358 }
359
360 static inline int d_unlinked(struct dentry *dentry)
361 {
362         return d_unhashed(dentry) && !IS_ROOT(dentry);
363 }
364
365 static inline int cant_mount(struct dentry *dentry)
366 {
367         return (dentry->d_flags & DCACHE_CANT_MOUNT);
368 }
369
370 static inline void dont_mount(struct dentry *dentry)
371 {
372         spin_lock(&dentry->d_lock);
373         dentry->d_flags |= DCACHE_CANT_MOUNT;
374         spin_unlock(&dentry->d_lock);
375 }
376
377 extern void dput(struct dentry *);
378
379 static inline int d_mountpoint(struct dentry *dentry)
380 {
381         return dentry->d_flags & DCACHE_MOUNTED;
382 }
383
384 extern struct vfsmount *lookup_mnt(struct path *);
385 extern struct dentry *lookup_create(struct nameidata *nd, int is_dir);
386
387 extern int sysctl_vfs_cache_pressure;
388
389 #endif  /* __LINUX_DCACHE_H */