x86: Improve __phys_addr performance by making use of carry flags and inlining
[linux-2.6-block.git] / arch / x86 / include / asm / page_64.h
1 #ifndef _ASM_X86_PAGE_64_H
2 #define _ASM_X86_PAGE_64_H
3
4 #include <asm/page_64_types.h>
5
6 #ifndef __ASSEMBLY__
7
8 /* duplicated to the one in bootmem.h */
9 extern unsigned long max_pfn;
10 extern unsigned long phys_base;
11
12 static inline unsigned long __phys_addr_nodebug(unsigned long x)
13 {
14         unsigned long y = x - __START_KERNEL_map;
15
16         /* use the carry flag to determine if x was < __START_KERNEL_map */
17         x = y + ((x > y) ? phys_base : (__START_KERNEL_map - PAGE_OFFSET));
18
19         return x;
20 }
21
22 #ifdef CONFIG_DEBUG_VIRTUAL
23 extern unsigned long __phys_addr(unsigned long);
24 #else
25 #define __phys_addr(x)          __phys_addr_nodebug(x)
26 #endif
27
28 #define __phys_reloc_hide(x)    (x)
29
30 #ifdef CONFIG_FLATMEM
31 #define pfn_valid(pfn)          ((pfn) < max_pfn)
32 #endif
33
34 void clear_page(void *page);
35 void copy_page(void *to, void *from);
36
37 #endif  /* !__ASSEMBLY__ */
38
39 #endif /* _ASM_X86_PAGE_64_H */