Btrfs: extent_map optimizations to cut down on CPU usage
[linux-2.6-block.git] / fs / btrfs / ctree.h
1 /*
2  * Copyright (C) 2007 Oracle.  All rights reserved.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public
6  * License v2 as published by the Free Software Foundation.
7  *
8  * This program is distributed in the hope that it will be useful,
9  * but WITHOUT ANY WARRANTY; without even the implied warranty of
10  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
11  * General Public License for more details.
12  *
13  * You should have received a copy of the GNU General Public
14  * License along with this program; if not, write to the
15  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
16  * Boston, MA 021110-1307, USA.
17  */
18
19 #ifndef __BTRFS__
20 #define __BTRFS__
21
22 #include <linux/mm.h>
23 #include <linux/highmem.h>
24 #include <linux/fs.h>
25 #include <linux/workqueue.h>
26 #include <linux/completion.h>
27 #include <asm/kmap_types.h>
28 #include "bit-radix.h"
29 #include "extent_map.h"
30
31 struct btrfs_trans_handle;
32 struct btrfs_transaction;
33 extern struct kmem_cache *btrfs_trans_handle_cachep;
34 extern struct kmem_cache *btrfs_transaction_cachep;
35 extern struct kmem_cache *btrfs_bit_radix_cachep;
36 extern struct kmem_cache *btrfs_path_cachep;
37
38 #define BTRFS_MAGIC "_B2RfS_M"
39
40 #define BTRFS_ROOT_TREE_OBJECTID 1ULL
41 #define BTRFS_EXTENT_TREE_OBJECTID 2ULL
42 #define BTRFS_FS_TREE_OBJECTID 3ULL
43 #define BTRFS_ROOT_TREE_DIR_OBJECTID 4ULL
44 #define BTRFS_FIRST_FREE_OBJECTID 5ULL
45
46 /*
47  * we can actually store much bigger names, but lets not confuse the rest
48  * of linux
49  */
50 #define BTRFS_NAME_LEN 255
51
52 /* 32 bytes in various csum fields */
53 #define BTRFS_CSUM_SIZE 32
54 /* four bytes for CRC32 */
55 #define BTRFS_CRC32_SIZE 4
56 #define BTRFS_EMPTY_DIR_SIZE 6
57
58 #define BTRFS_FT_UNKNOWN        0
59 #define BTRFS_FT_REG_FILE       1
60 #define BTRFS_FT_DIR            2
61 #define BTRFS_FT_CHRDEV         3
62 #define BTRFS_FT_BLKDEV         4
63 #define BTRFS_FT_FIFO           5
64 #define BTRFS_FT_SOCK           6
65 #define BTRFS_FT_SYMLINK        7
66 #define BTRFS_FT_MAX            8
67
68 /*
69  * the key defines the order in the tree, and so it also defines (optimal)
70  * block layout.  objectid corresonds to the inode number.  The flags
71  * tells us things about the object, and is a kind of stream selector.
72  * so for a given inode, keys with flags of 1 might refer to the inode
73  * data, flags of 2 may point to file data in the btree and flags == 3
74  * may point to extents.
75  *
76  * offset is the starting byte offset for this key in the stream.
77  *
78  * btrfs_disk_key is in disk byte order.  struct btrfs_key is always
79  * in cpu native order.  Otherwise they are identical and their sizes
80  * should be the same (ie both packed)
81  */
82 struct btrfs_disk_key {
83         __le64 objectid;
84         u8 type;
85         __le64 offset;
86 } __attribute__ ((__packed__));
87
88 struct btrfs_key {
89         u64 objectid;
90         u8 type;
91         u64 offset;
92 } __attribute__ ((__packed__));
93
94 #define BTRFS_FSID_SIZE 16
95 /*
96  * every tree block (leaf or node) starts with this header.
97  */
98 struct btrfs_header {
99         u8 csum[BTRFS_CSUM_SIZE];
100         u8 fsid[BTRFS_FSID_SIZE]; /* FS specific uuid */
101         __le64 bytenr; /* which block this node is supposed to live in */
102         __le64 generation;
103         __le64 owner;
104         __le32 nritems;
105         __le16 flags;
106         u8 level;
107 } __attribute__ ((__packed__));
108
109 #define BTRFS_MAX_LEVEL 8
110 #define BTRFS_NODEPTRS_PER_BLOCK(r) (((r)->nodesize - \
111                                 sizeof(struct btrfs_header)) / \
112                                (sizeof(struct btrfs_disk_key) + sizeof(u64)))
113 #define __BTRFS_LEAF_DATA_SIZE(bs) ((bs) - sizeof(struct btrfs_header))
114 #define BTRFS_LEAF_DATA_SIZE(r) (__BTRFS_LEAF_DATA_SIZE(r->leafsize))
115 #define BTRFS_MAX_INLINE_DATA_SIZE(r) (BTRFS_LEAF_DATA_SIZE(r) - \
116                                         sizeof(struct btrfs_item) - \
117                                         sizeof(struct btrfs_file_extent_item))
118
119 /*
120  * the super block basically lists the main trees of the FS
121  * it currently lacks any block count etc etc
122  */
123 struct btrfs_super_block {
124         u8 csum[BTRFS_CSUM_SIZE];
125         /* the first 3 fields must match struct btrfs_header */
126         u8 fsid[16];    /* FS specific uuid */
127         __le64 bytenr; /* this block number */
128         __le64 magic;
129         __le64 generation;
130         __le64 root;
131         __le64 total_bytes;
132         __le64 bytes_used;
133         __le64 root_dir_objectid;
134         __le32 sectorsize;
135         __le32 nodesize;
136         __le32 leafsize;
137         u8 root_level;
138 } __attribute__ ((__packed__));
139
140 /*
141  * A leaf is full of items. offset and size tell us where to find
142  * the item in the leaf (relative to the start of the data area)
143  */
144 struct btrfs_item {
145         struct btrfs_disk_key key;
146         __le32 offset;
147         __le32 size;
148 } __attribute__ ((__packed__));
149
150 /*
151  * leaves have an item area and a data area:
152  * [item0, item1....itemN] [free space] [dataN...data1, data0]
153  *
154  * The data is separate from the items to get the keys closer together
155  * during searches.
156  */
157 struct btrfs_leaf {
158         struct btrfs_header header;
159         struct btrfs_item items[];
160 } __attribute__ ((__packed__));
161
162 /*
163  * all non-leaf blocks are nodes, they hold only keys and pointers to
164  * other blocks
165  */
166 struct btrfs_key_ptr {
167         struct btrfs_disk_key key;
168         __le64 blockptr;
169 } __attribute__ ((__packed__));
170
171 struct btrfs_node {
172         struct btrfs_header header;
173         struct btrfs_key_ptr ptrs[];
174 } __attribute__ ((__packed__));
175
176 /*
177  * btrfs_paths remember the path taken from the root down to the leaf.
178  * level 0 is always the leaf, and nodes[1...BTRFS_MAX_LEVEL] will point
179  * to any other levels that are present.
180  *
181  * The slots array records the index of the item or block pointer
182  * used while walking the tree.
183  */
184 struct btrfs_path {
185         struct extent_buffer *nodes[BTRFS_MAX_LEVEL];
186         int slots[BTRFS_MAX_LEVEL];
187         int reada;
188         int lowest_level;
189 };
190
191 /*
192  * items in the extent btree are used to record the objectid of the
193  * owner of the block and the number of references
194  */
195 struct btrfs_extent_item {
196         __le32 refs;
197         __le64 owner;
198 } __attribute__ ((__packed__));
199
200 struct btrfs_inode_timespec {
201         __le64 sec;
202         __le32 nsec;
203 } __attribute__ ((__packed__));
204
205 /*
206  * there is no padding here on purpose.  If you want to extent the inode,
207  * make a new item type
208  */
209 struct btrfs_inode_item {
210         __le64 generation;
211         __le64 size;
212         __le64 nblocks;
213         __le64 block_group;
214         __le32 nlink;
215         __le32 uid;
216         __le32 gid;
217         __le32 mode;
218         __le32 rdev;
219         __le16 flags;
220         __le16 compat_flags;
221         struct btrfs_inode_timespec atime;
222         struct btrfs_inode_timespec ctime;
223         struct btrfs_inode_timespec mtime;
224         struct btrfs_inode_timespec otime;
225 } __attribute__ ((__packed__));
226
227 struct btrfs_dir_item {
228         struct btrfs_disk_key location;
229         __le16 flags;
230         __le16 name_len;
231         u8 type;
232 } __attribute__ ((__packed__));
233
234 struct btrfs_root_item {
235         struct btrfs_inode_item inode;
236         __le64 root_dirid;
237         __le64 bytenr;
238         __le64 byte_limit;
239         __le64 bytes_used;
240         __le32 flags;
241         __le32 refs;
242         struct btrfs_disk_key drop_progress;
243         u8 drop_level;
244         u8 level;
245 } __attribute__ ((__packed__));
246
247 #define BTRFS_FILE_EXTENT_REG 0
248 #define BTRFS_FILE_EXTENT_INLINE 1
249
250 struct btrfs_file_extent_item {
251         __le64 generation;
252         u8 type;
253         /*
254          * disk space consumed by the extent, checksum blocks are included
255          * in these numbers
256          */
257         __le64 disk_bytenr;
258         __le64 disk_num_bytes;
259         /*
260          * the logical offset in file blocks (no csums)
261          * this extent record is for.  This allows a file extent to point
262          * into the middle of an existing extent on disk, sharing it
263          * between two snapshots (useful if some bytes in the middle of the
264          * extent have changed
265          */
266         __le64 offset;
267         /*
268          * the logical number of file blocks (no csums included)
269          */
270         __le64 num_bytes;
271 } __attribute__ ((__packed__));
272
273 struct btrfs_csum_item {
274         u8 csum;
275 } __attribute__ ((__packed__));
276
277 /* tag for the radix tree of block groups in ram */
278 #define BTRFS_BLOCK_GROUP_SIZE (256 * 1024 * 1024)
279
280
281 #define BTRFS_BLOCK_GROUP_DATA 1
282 struct btrfs_block_group_item {
283         __le64 used;
284         u8 flags;
285 } __attribute__ ((__packed__));
286
287 struct btrfs_block_group_cache {
288         struct btrfs_key key;
289         struct btrfs_block_group_item item;
290         int data;
291         int cached;
292 };
293
294 struct btrfs_fs_info {
295         u8 fsid[BTRFS_FSID_SIZE];
296         struct btrfs_root *extent_root;
297         struct btrfs_root *tree_root;
298         struct radix_tree_root fs_roots_radix;
299
300         struct extent_map_tree free_space_cache;
301         struct extent_map_tree block_group_cache;
302         struct extent_map_tree pinned_extents;
303         struct extent_map_tree pending_del;
304         struct extent_map_tree extent_ins;
305
306         u64 generation;
307         u64 last_trans_committed;
308         struct btrfs_transaction *running_transaction;
309         struct btrfs_super_block super_copy;
310         struct extent_buffer *sb_buffer;
311         struct super_block *sb;
312         struct inode *btree_inode;
313         struct mutex trans_mutex;
314         struct mutex fs_mutex;
315         struct list_head trans_list;
316         struct list_head dead_roots;
317         struct delayed_work trans_work;
318         struct kobject super_kobj;
319         struct completion kobj_unregister;
320         int do_barriers;
321         int closing;
322 };
323
324 /*
325  * in ram representation of the tree.  extent_root is used for all allocations
326  * and for the extent tree extent_root root.
327  */
328 struct btrfs_root {
329         struct extent_buffer *node;
330         struct extent_buffer *commit_root;
331         struct btrfs_root_item root_item;
332         struct btrfs_key root_key;
333         struct btrfs_fs_info *fs_info;
334         struct inode *inode;
335         struct kobject root_kobj;
336         struct completion kobj_unregister;
337         struct rw_semaphore snap_sem;
338         u64 objectid;
339         u64 last_trans;
340
341         /* data allocations are done in sectorsize units */
342         u32 sectorsize;
343
344         /* node allocations are done in nodesize units */
345         u32 nodesize;
346
347         /* leaf allocations are done in leafsize units */
348         u32 leafsize;
349
350         u32 type;
351         u64 highest_inode;
352         u64 last_inode_alloc;
353         int ref_cows;
354         struct btrfs_key defrag_progress;
355         int defrag_running;
356         int defrag_level;
357         char *name;
358 };
359
360 /*
361  * inode items have the data typically returned from stat and store other
362  * info about object characteristics.  There is one for every file and dir in
363  * the FS
364  */
365 #define BTRFS_INODE_ITEM_KEY            1
366
367 /* reserve 2-15 close to the inode for later flexibility */
368
369 /*
370  * dir items are the name -> inode pointers in a directory.  There is one
371  * for every name in a directory.
372  */
373 #define BTRFS_DIR_ITEM_KEY      16
374 #define BTRFS_DIR_INDEX_KEY     17
375 /*
376  * extent data is for file data
377  */
378 #define BTRFS_EXTENT_DATA_KEY   18
379 /*
380  * csum items have the checksums for data in the extents
381  */
382 #define BTRFS_CSUM_ITEM_KEY     19
383
384 /* reserve 20-31 for other file stuff */
385
386 /*
387  * root items point to tree roots.  There are typically in the root
388  * tree used by the super block to find all the other trees
389  */
390 #define BTRFS_ROOT_ITEM_KEY     32
391 /*
392  * extent items are in the extent map tree.  These record which blocks
393  * are used, and how many references there are to each block
394  */
395 #define BTRFS_EXTENT_ITEM_KEY   33
396
397 /*
398  * block groups give us hints into the extent allocation trees.  Which
399  * blocks are free etc etc
400  */
401 #define BTRFS_BLOCK_GROUP_ITEM_KEY 34
402
403 /*
404  * string items are for debugging.  They just store a short string of
405  * data in the FS
406  */
407 #define BTRFS_STRING_ITEM_KEY   253
408
409 /* some macros to generate set/get funcs for the struct fields.  This
410  * assumes there is a lefoo_to_cpu for every type, so lets make a simple
411  * one for u8:
412  */
413 #define le8_to_cpu(v) (v)
414 #define cpu_to_le8(v) (v)
415 #define __le8 u8
416
417 #define read_eb_member(eb, ptr, type, member, result) (                 \
418         read_extent_buffer(eb, (char *)(result),                        \
419                            ((unsigned long)(ptr)) +                     \
420                             offsetof(type, member),                     \
421                            sizeof(((type *)0)->member)))
422
423 #define write_eb_member(eb, ptr, type, member, result) (                \
424         write_extent_buffer(eb, (char *)(result),                       \
425                            ((unsigned long)(ptr)) +                     \
426                             offsetof(type, member),                     \
427                            sizeof(((type *)0)->member)))
428
429 #define BTRFS_SETGET_FUNCS(name, type, member, bits)                    \
430 static inline u##bits btrfs_##name(struct extent_buffer *eb,            \
431                                    type *s)                             \
432 {                                                                       \
433         int err;                                                        \
434         char *map_token;                                                \
435         char *kaddr;                                                    \
436         int unmap_on_exit = (eb->map_token == NULL);                    \
437         unsigned long map_start;                                        \
438         unsigned long map_len;                                          \
439         unsigned long offset = (unsigned long)s +                       \
440                                 offsetof(type, member);                 \
441         if (eb->map_token && offset >= eb->map_start &&                 \
442             offset + sizeof(((type *)0)->member) <= eb->map_start +     \
443             eb->map_len) {                                              \
444             kaddr = eb->kaddr;                                          \
445             map_start = eb->map_start;                                  \
446             err = 0;                                                    \
447         } else {                                                        \
448                 err = map_extent_buffer(eb, offset,                     \
449                                 sizeof(((type *)0)->member),            \
450                                 &map_token, &kaddr,                     \
451                                 &map_start, &map_len, KM_USER1);        \
452         }                                                               \
453         if (!err) {                                                     \
454                 __le##bits *tmp = (__le##bits *)(kaddr + offset -       \
455                                                map_start);              \
456                 u##bits res = le##bits##_to_cpu(*tmp);                  \
457                 if (unmap_on_exit)                                      \
458                         unmap_extent_buffer(eb, map_token, KM_USER1);   \
459                 return res;                                             \
460         } else {                                                        \
461                 __le##bits res;                                         \
462                 read_eb_member(eb, s, type, member, &res);              \
463                 return le##bits##_to_cpu(res);                          \
464         }                                                               \
465 }                                                                       \
466 static inline void btrfs_set_##name(struct extent_buffer *eb,           \
467                                     type *s, u##bits val)               \
468 {                                                                       \
469         int err;                                                        \
470         char *map_token;                                                \
471         char *kaddr;                                                    \
472         unsigned long map_start;                                        \
473         unsigned long map_len;                                          \
474         int unmap_on_exit = (eb->map_token == NULL);                    \
475         unsigned long offset = (unsigned long)s +                       \
476                                 offsetof(type, member);                 \
477         if (eb->map_token && offset >= eb->map_start &&                 \
478             offset + sizeof(((type *)0)->member) <= eb->map_start +     \
479             eb->map_len) {                                              \
480             kaddr = eb->kaddr;                                          \
481             map_start = eb->map_start;                                  \
482             err = 0;                                                    \
483         } else {                                                        \
484                 err = map_extent_buffer(eb, offset,                     \
485                                 sizeof(((type *)0)->member),            \
486                                 &map_token, &kaddr,                     \
487                                 &map_start, &map_len, KM_USER1);        \
488         }                                                               \
489         if (!err) {                                                     \
490                 __le##bits *tmp = (__le##bits *)(kaddr + offset -       \
491                                                map_start);              \
492                 *tmp = cpu_to_le##bits(val);                            \
493                 if (unmap_on_exit)                                      \
494                         unmap_extent_buffer(eb, map_token, KM_USER1);   \
495         } else {                                                        \
496                 val = cpu_to_le##bits(val);                             \
497                 write_eb_member(eb, s, type, member, &val);             \
498         }                                                               \
499 }
500
501 #define BTRFS_SETGET_HEADER_FUNCS(name, type, member, bits)             \
502 static inline u##bits btrfs_##name(struct extent_buffer *eb)            \
503 {                                                                       \
504         char *kaddr = kmap_atomic(eb->first_page, KM_USER0);            \
505         unsigned long offset = offsetof(type, member);                  \
506         u##bits res;                                                    \
507         __le##bits *tmp = (__le##bits *)(kaddr + offset);               \
508         res = le##bits##_to_cpu(*tmp);                                  \
509         kunmap_atomic(kaddr, KM_USER0);                                 \
510         return res;                                                     \
511 }                                                                       \
512 static inline void btrfs_set_##name(struct extent_buffer *eb,           \
513                                     u##bits val)                        \
514 {                                                                       \
515         char *kaddr = kmap_atomic(eb->first_page, KM_USER0);            \
516         unsigned long offset = offsetof(type, member);                  \
517         __le##bits *tmp = (__le##bits *)(kaddr + offset);               \
518         *tmp = cpu_to_le##bits(val);                                    \
519         kunmap_atomic(kaddr, KM_USER0);                                 \
520 }
521
522 #define BTRFS_SETGET_STACK_FUNCS(name, type, member, bits)              \
523 static inline u##bits btrfs_##name(type *s)                             \
524 {                                                                       \
525         return le##bits##_to_cpu(s->member);                            \
526 }                                                                       \
527 static inline void btrfs_set_##name(type *s, u##bits val)               \
528 {                                                                       \
529         s->member = cpu_to_le##bits(val);                               \
530 }
531
532 /* struct btrfs_block_group_item */
533 BTRFS_SETGET_STACK_FUNCS(block_group_used, struct btrfs_block_group_item,
534                          used, 64);
535 BTRFS_SETGET_FUNCS(disk_block_group_used, struct btrfs_block_group_item,
536                          used, 64);
537
538 /* struct btrfs_inode_item */
539 BTRFS_SETGET_FUNCS(inode_generation, struct btrfs_inode_item, generation, 64);
540 BTRFS_SETGET_FUNCS(inode_size, struct btrfs_inode_item, size, 64);
541 BTRFS_SETGET_FUNCS(inode_nblocks, struct btrfs_inode_item, nblocks, 64);
542 BTRFS_SETGET_FUNCS(inode_block_group, struct btrfs_inode_item, block_group, 64);
543 BTRFS_SETGET_FUNCS(inode_nlink, struct btrfs_inode_item, nlink, 32);
544 BTRFS_SETGET_FUNCS(inode_uid, struct btrfs_inode_item, uid, 32);
545 BTRFS_SETGET_FUNCS(inode_gid, struct btrfs_inode_item, gid, 32);
546 BTRFS_SETGET_FUNCS(inode_mode, struct btrfs_inode_item, mode, 32);
547 BTRFS_SETGET_FUNCS(inode_rdev, struct btrfs_inode_item, rdev, 32);
548 BTRFS_SETGET_FUNCS(inode_flags, struct btrfs_inode_item, flags, 16);
549 BTRFS_SETGET_FUNCS(inode_compat_flags, struct btrfs_inode_item,
550                    compat_flags, 16);
551
552 static inline struct btrfs_inode_timespec *
553 btrfs_inode_atime(struct btrfs_inode_item *inode_item)
554 {
555         unsigned long ptr = (unsigned long)inode_item;
556         ptr += offsetof(struct btrfs_inode_item, atime);
557         return (struct btrfs_inode_timespec *)ptr;
558 }
559
560 static inline struct btrfs_inode_timespec *
561 btrfs_inode_mtime(struct btrfs_inode_item *inode_item)
562 {
563         unsigned long ptr = (unsigned long)inode_item;
564         ptr += offsetof(struct btrfs_inode_item, mtime);
565         return (struct btrfs_inode_timespec *)ptr;
566 }
567
568 static inline struct btrfs_inode_timespec *
569 btrfs_inode_ctime(struct btrfs_inode_item *inode_item)
570 {
571         unsigned long ptr = (unsigned long)inode_item;
572         ptr += offsetof(struct btrfs_inode_item, ctime);
573         return (struct btrfs_inode_timespec *)ptr;
574 }
575
576 static inline struct btrfs_inode_timespec *
577 btrfs_inode_otime(struct btrfs_inode_item *inode_item)
578 {
579         unsigned long ptr = (unsigned long)inode_item;
580         ptr += offsetof(struct btrfs_inode_item, otime);
581         return (struct btrfs_inode_timespec *)ptr;
582 }
583
584 BTRFS_SETGET_FUNCS(timespec_sec, struct btrfs_inode_timespec, sec, 64);
585 BTRFS_SETGET_FUNCS(timespec_nsec, struct btrfs_inode_timespec, nsec, 32);
586
587 /* struct btrfs_extent_item */
588 BTRFS_SETGET_FUNCS(extent_refs, struct btrfs_extent_item, refs, 32);
589 BTRFS_SETGET_FUNCS(extent_owner, struct btrfs_extent_item, owner, 32);
590
591 BTRFS_SETGET_STACK_FUNCS(stack_extent_refs, struct btrfs_extent_item,
592                          refs, 32);
593 BTRFS_SETGET_STACK_FUNCS(stack_extent_owner, struct btrfs_extent_item,
594                          owner, 32);
595
596 /* struct btrfs_node */
597 BTRFS_SETGET_FUNCS(key_blockptr, struct btrfs_key_ptr, blockptr, 64);
598
599 static inline u64 btrfs_node_blockptr(struct extent_buffer *eb, int nr)
600 {
601         unsigned long ptr;
602         ptr = offsetof(struct btrfs_node, ptrs) +
603                 sizeof(struct btrfs_key_ptr) * nr;
604         return btrfs_key_blockptr(eb, (struct btrfs_key_ptr *)ptr);
605 }
606
607 static inline void btrfs_set_node_blockptr(struct extent_buffer *eb,
608                                            int nr, u64 val)
609 {
610         unsigned long ptr;
611         ptr = offsetof(struct btrfs_node, ptrs) +
612                 sizeof(struct btrfs_key_ptr) * nr;
613         btrfs_set_key_blockptr(eb, (struct btrfs_key_ptr *)ptr, val);
614 }
615
616 static inline unsigned long btrfs_node_key_ptr_offset(int nr)
617 {
618         return offsetof(struct btrfs_node, ptrs) +
619                 sizeof(struct btrfs_key_ptr) * nr;
620 }
621
622 static inline void btrfs_node_key(struct extent_buffer *eb,
623                            struct btrfs_disk_key *disk_key, int nr)
624 {
625         unsigned long ptr;
626         ptr = btrfs_node_key_ptr_offset(nr);
627         read_eb_member(eb, (struct btrfs_key_ptr *)ptr,
628                        struct btrfs_key_ptr, key, disk_key);
629 }
630 static inline void btrfs_set_node_key(struct extent_buffer *eb,
631                                       struct btrfs_disk_key *disk_key, int nr)
632 {
633         unsigned long ptr;
634         ptr = btrfs_node_key_ptr_offset(nr);
635         write_eb_member(eb, (struct btrfs_key_ptr *)ptr,
636                        struct btrfs_key_ptr, key, disk_key);
637 }
638
639 /* struct btrfs_item */
640 BTRFS_SETGET_FUNCS(item_offset, struct btrfs_item, offset, 32);
641 BTRFS_SETGET_FUNCS(item_size, struct btrfs_item, size, 32);
642
643 static inline unsigned long btrfs_item_nr_offset(int nr)
644 {
645         return offsetof(struct btrfs_leaf, items) +
646                 sizeof(struct btrfs_item) * nr;
647 }
648
649 static inline struct btrfs_item *btrfs_item_nr(struct extent_buffer *eb,
650                                                int nr)
651 {
652         return (struct btrfs_item *)btrfs_item_nr_offset(nr);
653 }
654
655 static inline u32 btrfs_item_end(struct extent_buffer *eb,
656                                  struct btrfs_item *item)
657 {
658         return btrfs_item_offset(eb, item) + btrfs_item_size(eb, item);
659 }
660
661 static inline u32 btrfs_item_end_nr(struct extent_buffer *eb, int nr)
662 {
663         return btrfs_item_end(eb, btrfs_item_nr(eb, nr));
664 }
665
666 static inline u32 btrfs_item_offset_nr(struct extent_buffer *eb, int nr)
667 {
668         return btrfs_item_offset(eb, btrfs_item_nr(eb, nr));
669 }
670
671 static inline u32 btrfs_item_size_nr(struct extent_buffer *eb, int nr)
672 {
673         return btrfs_item_size(eb, btrfs_item_nr(eb, nr));
674 }
675
676 static inline void btrfs_item_key(struct extent_buffer *eb,
677                            struct btrfs_disk_key *disk_key, int nr)
678 {
679         struct btrfs_item *item = btrfs_item_nr(eb, nr);
680         read_eb_member(eb, item, struct btrfs_item, key, disk_key);
681 }
682
683 static inline void btrfs_set_item_key(struct extent_buffer *eb,
684                                struct btrfs_disk_key *disk_key, int nr)
685 {
686         struct btrfs_item *item = btrfs_item_nr(eb, nr);
687         write_eb_member(eb, item, struct btrfs_item, key, disk_key);
688 }
689
690 /* struct btrfs_dir_item */
691 BTRFS_SETGET_FUNCS(dir_flags, struct btrfs_dir_item, flags, 16);
692 BTRFS_SETGET_FUNCS(dir_type, struct btrfs_dir_item, type, 8);
693 BTRFS_SETGET_FUNCS(dir_name_len, struct btrfs_dir_item, name_len, 16);
694
695 static inline void btrfs_dir_item_key(struct extent_buffer *eb,
696                                       struct btrfs_dir_item *item,
697                                       struct btrfs_disk_key *key)
698 {
699         read_eb_member(eb, item, struct btrfs_dir_item, location, key);
700 }
701
702 static inline void btrfs_set_dir_item_key(struct extent_buffer *eb,
703                                           struct btrfs_dir_item *item,
704                                           struct btrfs_disk_key *key)
705 {
706         write_eb_member(eb, item, struct btrfs_dir_item, location, key);
707 }
708
709 /* struct btrfs_disk_key */
710 BTRFS_SETGET_STACK_FUNCS(disk_key_objectid, struct btrfs_disk_key,
711                          objectid, 64);
712 BTRFS_SETGET_STACK_FUNCS(disk_key_offset, struct btrfs_disk_key, offset, 64);
713 BTRFS_SETGET_STACK_FUNCS(disk_key_type, struct btrfs_disk_key, type, 8);
714
715 static inline void btrfs_disk_key_to_cpu(struct btrfs_key *cpu,
716                                          struct btrfs_disk_key *disk)
717 {
718         cpu->offset = le64_to_cpu(disk->offset);
719         cpu->type = disk->type;
720         cpu->objectid = le64_to_cpu(disk->objectid);
721 }
722
723 static inline void btrfs_cpu_key_to_disk(struct btrfs_disk_key *disk,
724                                          struct btrfs_key *cpu)
725 {
726         disk->offset = cpu_to_le64(cpu->offset);
727         disk->type = cpu->type;
728         disk->objectid = cpu_to_le64(cpu->objectid);
729 }
730
731 static inline void btrfs_node_key_to_cpu(struct extent_buffer *eb,
732                                   struct btrfs_key *key, int nr)
733 {
734         struct btrfs_disk_key disk_key;
735         btrfs_node_key(eb, &disk_key, nr);
736         btrfs_disk_key_to_cpu(key, &disk_key);
737 }
738
739 static inline void btrfs_item_key_to_cpu(struct extent_buffer *eb,
740                                   struct btrfs_key *key, int nr)
741 {
742         struct btrfs_disk_key disk_key;
743         btrfs_item_key(eb, &disk_key, nr);
744         btrfs_disk_key_to_cpu(key, &disk_key);
745 }
746
747 static inline void btrfs_dir_item_key_to_cpu(struct extent_buffer *eb,
748                                       struct btrfs_dir_item *item,
749                                       struct btrfs_key *key)
750 {
751         struct btrfs_disk_key disk_key;
752         btrfs_dir_item_key(eb, item, &disk_key);
753         btrfs_disk_key_to_cpu(key, &disk_key);
754 }
755
756
757 static inline u8 btrfs_key_type(struct btrfs_key *key)
758 {
759         return key->type;
760 }
761
762 static inline void btrfs_set_key_type(struct btrfs_key *key, u8 val)
763 {
764         key->type = val;
765 }
766
767 /* struct btrfs_header */
768 BTRFS_SETGET_HEADER_FUNCS(header_bytenr, struct btrfs_header, bytenr, 64);
769 BTRFS_SETGET_HEADER_FUNCS(header_generation, struct btrfs_header,
770                           generation, 64);
771 BTRFS_SETGET_HEADER_FUNCS(header_owner, struct btrfs_header, owner, 64);
772 BTRFS_SETGET_HEADER_FUNCS(header_nritems, struct btrfs_header, nritems, 32);
773 BTRFS_SETGET_HEADER_FUNCS(header_flags, struct btrfs_header, flags, 16);
774 BTRFS_SETGET_HEADER_FUNCS(header_level, struct btrfs_header, level, 8);
775
776 static inline u8 *btrfs_header_fsid(struct extent_buffer *eb)
777 {
778         unsigned long ptr = offsetof(struct btrfs_header, fsid);
779         return (u8 *)ptr;
780 }
781
782 static inline u8 *btrfs_super_fsid(struct extent_buffer *eb)
783 {
784         unsigned long ptr = offsetof(struct btrfs_super_block, fsid);
785         return (u8 *)ptr;
786 }
787
788 static inline u8 *btrfs_header_csum(struct extent_buffer *eb)
789 {
790         unsigned long ptr = offsetof(struct btrfs_header, csum);
791         return (u8 *)ptr;
792 }
793
794 static inline struct btrfs_node *btrfs_buffer_node(struct extent_buffer *eb)
795 {
796         return NULL;
797 }
798
799 static inline struct btrfs_leaf *btrfs_buffer_leaf(struct extent_buffer *eb)
800 {
801         return NULL;
802 }
803
804 static inline struct btrfs_header *btrfs_buffer_header(struct extent_buffer *eb)
805 {
806         return NULL;
807 }
808
809 static inline int btrfs_is_leaf(struct extent_buffer *eb)
810 {
811         return (btrfs_header_level(eb) == 0);
812 }
813
814 /* struct btrfs_root_item */
815 BTRFS_SETGET_FUNCS(disk_root_refs, struct btrfs_root_item, refs, 32);
816 BTRFS_SETGET_FUNCS(disk_root_bytenr, struct btrfs_root_item, bytenr, 64);
817 BTRFS_SETGET_FUNCS(disk_root_level, struct btrfs_root_item, level, 8);
818
819 BTRFS_SETGET_STACK_FUNCS(root_bytenr, struct btrfs_root_item, bytenr, 64);
820 BTRFS_SETGET_STACK_FUNCS(root_level, struct btrfs_root_item, level, 8);
821 BTRFS_SETGET_STACK_FUNCS(root_dirid, struct btrfs_root_item, root_dirid, 64);
822 BTRFS_SETGET_STACK_FUNCS(root_refs, struct btrfs_root_item, refs, 32);
823 BTRFS_SETGET_STACK_FUNCS(root_flags, struct btrfs_root_item, flags, 32);
824 BTRFS_SETGET_STACK_FUNCS(root_used, struct btrfs_root_item, bytes_used, 64);
825 BTRFS_SETGET_STACK_FUNCS(root_limit, struct btrfs_root_item, byte_limit, 64);
826
827 /* struct btrfs_super_block */
828 BTRFS_SETGET_STACK_FUNCS(super_bytenr, struct btrfs_super_block, bytenr, 64);
829 BTRFS_SETGET_STACK_FUNCS(super_generation, struct btrfs_super_block,
830                          generation, 64);
831 BTRFS_SETGET_STACK_FUNCS(super_root, struct btrfs_super_block, root, 64);
832 BTRFS_SETGET_STACK_FUNCS(super_root_level, struct btrfs_super_block,
833                          root_level, 8);
834 BTRFS_SETGET_STACK_FUNCS(super_total_bytes, struct btrfs_super_block,
835                          total_bytes, 64);
836 BTRFS_SETGET_STACK_FUNCS(super_bytes_used, struct btrfs_super_block,
837                          bytes_used, 64);
838 BTRFS_SETGET_STACK_FUNCS(super_sectorsize, struct btrfs_super_block,
839                          sectorsize, 32);
840 BTRFS_SETGET_STACK_FUNCS(super_nodesize, struct btrfs_super_block,
841                          nodesize, 32);
842 BTRFS_SETGET_STACK_FUNCS(super_leafsize, struct btrfs_super_block,
843                          leafsize, 32);
844 BTRFS_SETGET_STACK_FUNCS(super_root_dir, struct btrfs_super_block,
845                          root_dir_objectid, 64);
846
847 static inline unsigned long btrfs_leaf_data(struct extent_buffer *l)
848 {
849         return offsetof(struct btrfs_leaf, items);
850 }
851
852 /* struct btrfs_file_extent_item */
853 BTRFS_SETGET_FUNCS(file_extent_type, struct btrfs_file_extent_item, type, 8);
854
855 static inline unsigned long btrfs_file_extent_inline_start(struct
856                                                    btrfs_file_extent_item *e)
857 {
858         unsigned long offset = (unsigned long)e;
859         offset += offsetof(struct btrfs_file_extent_item, disk_bytenr);
860         return offset;
861 }
862
863 static inline u32 btrfs_file_extent_calc_inline_size(u32 datasize)
864 {
865         return offsetof(struct btrfs_file_extent_item, disk_bytenr) + datasize;
866 }
867
868 static inline u32 btrfs_file_extent_inline_len(struct extent_buffer *eb,
869                                                struct btrfs_item *e)
870 {
871         unsigned long offset;
872         offset = offsetof(struct btrfs_file_extent_item, disk_bytenr);
873         return btrfs_item_size(eb, e) - offset;
874 }
875
876 BTRFS_SETGET_FUNCS(file_extent_disk_bytenr, struct btrfs_file_extent_item,
877                    disk_bytenr, 64);
878 BTRFS_SETGET_FUNCS(file_extent_generation, struct btrfs_file_extent_item,
879                    generation, 64);
880 BTRFS_SETGET_FUNCS(file_extent_disk_num_bytes, struct btrfs_file_extent_item,
881                    disk_num_bytes, 64);
882 BTRFS_SETGET_FUNCS(file_extent_offset, struct btrfs_file_extent_item,
883                   offset, 64);
884 BTRFS_SETGET_FUNCS(file_extent_num_bytes, struct btrfs_file_extent_item,
885                    num_bytes, 64);
886
887 static inline struct btrfs_root *btrfs_sb(struct super_block *sb)
888 {
889         return sb->s_fs_info;
890 }
891
892 static inline int btrfs_set_root_name(struct btrfs_root *root,
893                                       const char *name, int len)
894 {
895         /* if we already have a name just free it */
896         if (root->name)
897                 kfree(root->name);
898
899         root->name = kmalloc(len+1, GFP_KERNEL);
900         if (!root->name)
901                 return -ENOMEM;
902
903         memcpy(root->name, name, len);
904         root->name[len] ='\0';
905
906         return 0;
907 }
908
909 static inline u32 btrfs_level_size(struct btrfs_root *root, int level) {
910         if (level == 0)
911                 return root->leafsize;
912         return root->nodesize;
913 }
914
915 /* helper function to cast into the data area of the leaf. */
916 #define btrfs_item_ptr(leaf, slot, type) \
917         ((type *)(btrfs_leaf_data(leaf) + \
918         btrfs_item_offset_nr(leaf, slot)))
919
920 #define btrfs_item_ptr_offset(leaf, slot) \
921         ((unsigned long)(btrfs_leaf_data(leaf) + \
922         btrfs_item_offset_nr(leaf, slot)))
923
924 /* mount option defines and helpers */
925 #define BTRFS_MOUNT_SUBVOL              0x000001
926 #define btrfs_clear_opt(o, opt)         o &= ~BTRFS_MOUNT_##opt
927 #define btrfs_set_opt(o, opt)           o |= BTRFS_MOUNT_##opt
928 #define btrfs_test_opt(sb, opt)         (BTRFS_SB(sb)->s_mount_opt & \
929                                          BTRFS_MOUNT_##opt)
930 /* extent-tree.c */
931 int btrfs_extent_post_op(struct btrfs_trans_handle *trans,
932                          struct btrfs_root *root);
933 int btrfs_copy_pinned(struct btrfs_root *root, struct extent_map_tree *copy);
934 struct btrfs_block_group_cache *btrfs_lookup_block_group(struct
935                                                          btrfs_fs_info *info,
936                                                          u64 bytenr);
937 struct btrfs_block_group_cache *btrfs_find_block_group(struct btrfs_root *root,
938                                                  struct btrfs_block_group_cache
939                                                  *hint, u64 search_start,
940                                                  int data, int owner);
941 int btrfs_inc_root_ref(struct btrfs_trans_handle *trans,
942                        struct btrfs_root *root);
943 struct extent_buffer *btrfs_alloc_free_block(struct btrfs_trans_handle *trans,
944                                             struct btrfs_root *root, u32 size,
945                                             u64 hint, u64 empty_size);
946 int btrfs_alloc_extent(struct btrfs_trans_handle *trans,
947                        struct btrfs_root *root, u64 owner,
948                        u64 num_bytes, u64 empty_size, u64 search_start,
949                        u64 search_end, struct btrfs_key *ins, int data);
950 int btrfs_inc_ref(struct btrfs_trans_handle *trans, struct btrfs_root *root,
951                   struct extent_buffer *buf);
952 int btrfs_free_extent(struct btrfs_trans_handle *trans, struct btrfs_root
953                       *root, u64 bytenr, u64 num_bytes, int pin);
954 int btrfs_finish_extent_commit(struct btrfs_trans_handle *trans,
955                                struct btrfs_root *root,
956                                struct extent_map_tree *unpin);
957 int btrfs_inc_extent_ref(struct btrfs_trans_handle *trans,
958                                 struct btrfs_root *root,
959                                 u64 bytenr, u64 num_bytes);
960 int btrfs_write_dirty_block_groups(struct btrfs_trans_handle *trans,
961                                     struct btrfs_root *root);
962 int btrfs_free_block_groups(struct btrfs_fs_info *info);
963 int btrfs_read_block_groups(struct btrfs_root *root);
964 /* ctree.c */
965 int btrfs_cow_block(struct btrfs_trans_handle *trans,
966                     struct btrfs_root *root, struct extent_buffer *buf,
967                     struct extent_buffer *parent, int parent_slot,
968                     struct extent_buffer **cow_ret);
969 int btrfs_extend_item(struct btrfs_trans_handle *trans, struct btrfs_root
970                       *root, struct btrfs_path *path, u32 data_size);
971 int btrfs_truncate_item(struct btrfs_trans_handle *trans,
972                         struct btrfs_root *root,
973                         struct btrfs_path *path,
974                         u32 new_size);
975 int btrfs_search_slot(struct btrfs_trans_handle *trans, struct btrfs_root
976                       *root, struct btrfs_key *key, struct btrfs_path *p, int
977                       ins_len, int cow);
978 int btrfs_realloc_node(struct btrfs_trans_handle *trans,
979                        struct btrfs_root *root, struct extent_buffer *parent,
980                        int cache_only, u64 *last_ret);
981 void btrfs_release_path(struct btrfs_root *root, struct btrfs_path *p);
982 struct btrfs_path *btrfs_alloc_path(void);
983 void btrfs_free_path(struct btrfs_path *p);
984 void btrfs_init_path(struct btrfs_path *p);
985 int btrfs_del_item(struct btrfs_trans_handle *trans, struct btrfs_root *root,
986                    struct btrfs_path *path);
987 int btrfs_insert_item(struct btrfs_trans_handle *trans, struct btrfs_root
988                       *root, struct btrfs_key *key, void *data, u32 data_size);
989 int btrfs_insert_empty_item(struct btrfs_trans_handle *trans, struct btrfs_root
990                             *root, struct btrfs_path *path, struct btrfs_key
991                             *cpu_key, u32 data_size);
992 int btrfs_next_leaf(struct btrfs_root *root, struct btrfs_path *path);
993 int btrfs_leaf_free_space(struct btrfs_root *root, struct extent_buffer *leaf);
994 int btrfs_drop_snapshot(struct btrfs_trans_handle *trans, struct btrfs_root
995                         *root);
996 /* root-item.c */
997 int btrfs_del_root(struct btrfs_trans_handle *trans, struct btrfs_root *root,
998                    struct btrfs_key *key);
999 int btrfs_insert_root(struct btrfs_trans_handle *trans, struct btrfs_root
1000                       *root, struct btrfs_key *key, struct btrfs_root_item
1001                       *item);
1002 int btrfs_update_root(struct btrfs_trans_handle *trans, struct btrfs_root
1003                       *root, struct btrfs_key *key, struct btrfs_root_item
1004                       *item);
1005 int btrfs_find_last_root(struct btrfs_root *root, u64 objectid, struct
1006                          btrfs_root_item *item, struct btrfs_key *key);
1007 int btrfs_find_dead_roots(struct btrfs_root *root, u64 objectid,
1008                           struct btrfs_root *latest_root);
1009 /* dir-item.c */
1010 int btrfs_insert_dir_item(struct btrfs_trans_handle *trans, struct btrfs_root
1011                           *root, const char *name, int name_len, u64 dir,
1012                           struct btrfs_key *location, u8 type);
1013 struct btrfs_dir_item *btrfs_lookup_dir_item(struct btrfs_trans_handle *trans,
1014                                              struct btrfs_root *root,
1015                                              struct btrfs_path *path, u64 dir,
1016                                              const char *name, int name_len,
1017                                              int mod);
1018 struct btrfs_dir_item *
1019 btrfs_lookup_dir_index_item(struct btrfs_trans_handle *trans,
1020                             struct btrfs_root *root,
1021                             struct btrfs_path *path, u64 dir,
1022                             u64 objectid, const char *name, int name_len,
1023                             int mod);
1024 struct btrfs_dir_item *btrfs_match_dir_item_name(struct btrfs_root *root,
1025                               struct btrfs_path *path,
1026                               const char *name, int name_len);
1027 int btrfs_delete_one_dir_name(struct btrfs_trans_handle *trans,
1028                               struct btrfs_root *root,
1029                               struct btrfs_path *path,
1030                               struct btrfs_dir_item *di);
1031 /* inode-map.c */
1032 int btrfs_find_free_objectid(struct btrfs_trans_handle *trans,
1033                              struct btrfs_root *fs_root,
1034                              u64 dirid, u64 *objectid);
1035 int btrfs_find_highest_inode(struct btrfs_root *fs_root, u64 *objectid);
1036
1037 /* inode-item.c */
1038 int btrfs_insert_empty_inode(struct btrfs_trans_handle *trans,
1039                              struct btrfs_root *root,
1040                              struct btrfs_path *path, u64 objectid);
1041 int btrfs_lookup_inode(struct btrfs_trans_handle *trans, struct btrfs_root
1042                        *root, struct btrfs_path *path,
1043                        struct btrfs_key *location, int mod);
1044
1045 /* file-item.c */
1046 int btrfs_insert_file_extent(struct btrfs_trans_handle *trans,
1047                                struct btrfs_root *root,
1048                                u64 objectid, u64 pos, u64 offset,
1049                                u64 disk_num_bytes,
1050                                u64 num_bytes);
1051 int btrfs_lookup_file_extent(struct btrfs_trans_handle *trans,
1052                              struct btrfs_root *root,
1053                              struct btrfs_path *path, u64 objectid,
1054                              u64 bytenr, int mod);
1055 int btrfs_csum_file_block(struct btrfs_trans_handle *trans,
1056                           struct btrfs_root *root,
1057                           u64 objectid, u64 offset,
1058                           char *data, size_t len);
1059 struct btrfs_csum_item *btrfs_lookup_csum(struct btrfs_trans_handle *trans,
1060                                           struct btrfs_root *root,
1061                                           struct btrfs_path *path,
1062                                           u64 objectid, u64 offset,
1063                                           int cow);
1064 int btrfs_csum_truncate(struct btrfs_trans_handle *trans,
1065                         struct btrfs_root *root, struct btrfs_path *path,
1066                         u64 isize);
1067 /* inode.c */
1068 int btrfs_page_mkwrite(struct vm_area_struct *vma, struct page *page);
1069 int btrfs_readpage(struct file *file, struct page *page);
1070 void btrfs_delete_inode(struct inode *inode);
1071 void btrfs_read_locked_inode(struct inode *inode);
1072 int btrfs_write_inode(struct inode *inode, int wait);
1073 void btrfs_dirty_inode(struct inode *inode);
1074 struct inode *btrfs_alloc_inode(struct super_block *sb);
1075 void btrfs_destroy_inode(struct inode *inode);
1076 int btrfs_init_cachep(void);
1077 void btrfs_destroy_cachep(void);
1078 long btrfs_ioctl(struct file *file, unsigned int cmd, unsigned long arg);
1079 struct inode *btrfs_iget_locked(struct super_block *s, u64 objectid,
1080                                 struct btrfs_root *root);
1081 int btrfs_commit_write(struct file *file, struct page *page,
1082                        unsigned from, unsigned to);
1083 struct extent_map *btrfs_get_extent(struct inode *inode, struct page *page,
1084                                     size_t page_offset, u64 start, u64 end,
1085                                     int create);
1086 int btrfs_update_inode(struct btrfs_trans_handle *trans,
1087                               struct btrfs_root *root,
1088                               struct inode *inode);
1089 /* file.c */
1090 int btrfs_drop_extent_cache(struct inode *inode, u64 start, u64 end);
1091 extern struct file_operations btrfs_file_operations;
1092 int btrfs_drop_extents(struct btrfs_trans_handle *trans,
1093                        struct btrfs_root *root, struct inode *inode,
1094                        u64 start, u64 end, u64 inline_end, u64 *hint_block);
1095 /* tree-defrag.c */
1096 int btrfs_defrag_leaves(struct btrfs_trans_handle *trans,
1097                         struct btrfs_root *root, int cache_only);
1098
1099 /* sysfs.c */
1100 int btrfs_init_sysfs(void);
1101 void btrfs_exit_sysfs(void);
1102 int btrfs_sysfs_add_super(struct btrfs_fs_info *fs);
1103 int btrfs_sysfs_add_root(struct btrfs_root *root);
1104 void btrfs_sysfs_del_root(struct btrfs_root *root);
1105 void btrfs_sysfs_del_super(struct btrfs_fs_info *root);
1106
1107 #endif