arch/powerpc/kernel/vmlinux.lds.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifdef CONFIG_PPC64
   3 #define PROVIDE32(x)    PROVIDE(__unused__##x)
   4 #else
   5 #define PROVIDE32(x)    PROVIDE(x)
   6 #endif
   7
   8 #define BSS_FIRST_SECTIONS *(.bss.prominit)
   9
  10 #include <asm/page.h>
  11 #include <asm-generic/vmlinux.lds.h>
  12 #include <asm/cache.h>
  13 #include <asm/thread_info.h>
  14
  15 #if defined(CONFIG_STRICT_KERNEL_RWX) && !defined(CONFIG_PPC32)
  16 #define STRICT_ALIGN_SIZE       (1 << 24)
  17 #else
  18 #define STRICT_ALIGN_SIZE       PAGE_SIZE
  19 #endif
  20
  21 ENTRY(_stext)
  22
  23 PHDRS {
  24         kernel PT_LOAD FLAGS(7); /* RWX */
  25         notes PT_NOTE FLAGS(0);
  26         dummy PT_NOTE FLAGS(0);
  27
  28         /* binutils < 2.18 has a bug that makes it misbehave when taking an
  29            ELF file with all segments at load address 0 as input.  This
  30            happens when running "strip" on vmlinux, because of the AT() magic
  31            in this linker script.  People using GCC >= 4.2 won't run into
  32            this problem, because the "build-id" support will put some data
  33            into the "notes" segment (at a non-zero load address).
  34
  35            To work around this, we force some data into both the "dummy"
  36            segment and the kernel segment, so the dummy segment will get a
  37            non-zero load address.  It's not enough to always create the
  38            "notes" segment, since if nothing gets assigned to it, its load
  39            address will be zero.  */
  40 }
  41
  42 #ifdef CONFIG_PPC64
  43 OUTPUT_ARCH(powerpc:common64)
  44 jiffies = jiffies_64;
  45 #else
  46 OUTPUT_ARCH(powerpc:common)
  47 jiffies = jiffies_64 + 4;
  48 #endif
  49 SECTIONS
  50 {
  51         . = KERNELBASE;
  52
  53 /*
  54  * Text, read only data and other permanent read-only sections
  55  */
  56
  57         _text = .;
  58         _stext = .;
  59
  60         /*
  61          * Head text.
  62          * This needs to be in its own output section to avoid ld placing
  63          * branch trampoline stubs randomly throughout the fixed sections,
  64          * which it will do (even if the branch comes from another section)
  65          * in order to optimize stub generation.
  66          */
  67         .head.text : AT(ADDR(.head.text) - LOAD_OFFSET) {
  68 #ifdef CONFIG_PPC64
  69                 KEEP(*(.head.text.first_256B));
  70 #ifdef CONFIG_PPC_BOOK3E
  71 #else
  72                 KEEP(*(.head.text.real_vectors));
  73                 *(.head.text.real_trampolines);
  74                 KEEP(*(.head.text.virt_vectors));
  75                 *(.head.text.virt_trampolines);
  76 # if defined(CONFIG_PPC_PSERIES) || defined(CONFIG_PPC_POWERNV)
  77                 KEEP(*(.head.data.fwnmi_page));
  78 # endif
  79 #endif
  80 #else /* !CONFIG_PPC64 */
  81                 HEAD_TEXT
  82 #endif
  83         } :kernel
  84
  85         __head_end = .;
  86
  87 #ifdef CONFIG_PPC64
  88         /*
  89          * BLOCK(0) overrides the default output section alignment because
  90          * this needs to start right after .head.text in order for fixed
  91          * section placement to work.
  92          */
  93         .text BLOCK(0) : AT(ADDR(.text) - LOAD_OFFSET) {
  94 #ifdef CONFIG_LD_HEAD_STUB_CATCH
  95                 KEEP(*(.linker_stub_catch));
  96                 . = . ;
  97 #endif
  98
  99 #else
 100         .text : AT(ADDR(.text) - LOAD_OFFSET) {
 101                 ALIGN_FUNCTION();
 102 #endif
 103                 /* careful! __ftr_alt_* sections need to be close to .text */
 104                 *(.text.hot TEXT_MAIN .text.fixup .text.unlikely .fixup __ftr_alt_* .ref.text);
 105 #ifdef CONFIG_PPC64
 106                 *(.tramp.ftrace.text);
 107 #endif
 108                 SCHED_TEXT
 109                 CPUIDLE_TEXT
 110                 LOCK_TEXT
 111                 KPROBES_TEXT
 112                 IRQENTRY_TEXT
 113                 SOFTIRQENTRY_TEXT
 114                 /*
 115                  * -Os builds call FP save/restore functions. The powerpc64
 116                  * linker generates those on demand in the .sfpr section.
 117                  * .sfpr gets placed at the beginning of a group of input
 118                  * sections, which can break start-of-text offset if it is
 119                  * included with the main text sections, so put it by itself.
 120                  */
 121                 *(.sfpr);
 122                 MEM_KEEP(init.text)
 123                 MEM_KEEP(exit.text)
 124
 125 #ifdef CONFIG_PPC32
 126                 *(.got1)
 127                 __got2_start = .;
 128                 *(.got2)
 129                 __got2_end = .;
 130 #endif /* CONFIG_PPC32 */
 131
 132         } :kernel
 133
 134         . = ALIGN(PAGE_SIZE);
 135         _etext = .;
 136         PROVIDE32 (etext = .);
 137
 138         /* Read-only data */
 139         RO_DATA(PAGE_SIZE)
 140
 141 #ifdef CONFIG_PPC64
 142         . = ALIGN(8);
 143         __stf_entry_barrier_fixup : AT(ADDR(__stf_entry_barrier_fixup) - LOAD_OFFSET) {
 144                 __start___stf_entry_barrier_fixup = .;
 145                 *(__stf_entry_barrier_fixup)
 146                 __stop___stf_entry_barrier_fixup = .;
 147         }
 148
 149         . = ALIGN(8);
 150         __stf_exit_barrier_fixup : AT(ADDR(__stf_exit_barrier_fixup) - LOAD_OFFSET) {
 151                 __start___stf_exit_barrier_fixup = .;
 152                 *(__stf_exit_barrier_fixup)
 153                 __stop___stf_exit_barrier_fixup = .;
 154         }
 155
 156         . = ALIGN(8);
 157         __rfi_flush_fixup : AT(ADDR(__rfi_flush_fixup) - LOAD_OFFSET) {
 158                 __start___rfi_flush_fixup = .;
 159                 *(__rfi_flush_fixup)
 160                 __stop___rfi_flush_fixup = .;
 161         }
 162 #endif /* CONFIG_PPC64 */
 163
 164 #ifdef CONFIG_PPC_BARRIER_NOSPEC
 165         . = ALIGN(8);
 166         __spec_barrier_fixup : AT(ADDR(__spec_barrier_fixup) - LOAD_OFFSET) {
 167                 __start___barrier_nospec_fixup = .;
 168                 *(__barrier_nospec_fixup)
 169                 __stop___barrier_nospec_fixup = .;
 170         }
 171 #endif /* CONFIG_PPC_BARRIER_NOSPEC */
 172
 173 #ifdef CONFIG_PPC_FSL_BOOK3E
 174         . = ALIGN(8);
 175         __spec_btb_flush_fixup : AT(ADDR(__spec_btb_flush_fixup) - LOAD_OFFSET) {
 176                 __start__btb_flush_fixup = .;
 177                 *(__btb_flush_fixup)
 178                 __stop__btb_flush_fixup = .;
 179         }
 180 #endif
 181         EXCEPTION_TABLE(0)
 182
 183         NOTES :kernel :notes
 184
 185         /* The dummy segment contents for the bug workaround mentioned above
 186            near PHDRS.  */
 187         .dummy : AT(ADDR(.dummy) - LOAD_OFFSET) {
 188                 LONG(0)
 189                 LONG(0)
 190                 LONG(0)
 191         } :kernel :dummy
 192
 193 /*
 194  * Init sections discarded at runtime
 195  */
 196         . = ALIGN(STRICT_ALIGN_SIZE);
 197         __init_begin = .;
 198         . = ALIGN(PAGE_SIZE);
 199         .init.text : AT(ADDR(.init.text) - LOAD_OFFSET) {
 200                 _sinittext = .;
 201                 INIT_TEXT
 202                 _einittext = .;
 203 #ifdef CONFIG_PPC64
 204                 *(.tramp.ftrace.init);
 205 #endif
 206         } :kernel
 207
 208         /* .exit.text is discarded at runtime, not link time,
 209          * to deal with references from __bug_table
 210          */
 211         .exit.text : AT(ADDR(.exit.text) - LOAD_OFFSET) {
 212                 EXIT_TEXT
 213         }
 214
 215         .init.data : AT(ADDR(.init.data) - LOAD_OFFSET) {
 216                 INIT_DATA
 217         }
 218
 219         .init.setup : AT(ADDR(.init.setup) - LOAD_OFFSET) {
 220                 INIT_SETUP(16)
 221         }
 222
 223         .initcall.init : AT(ADDR(.initcall.init) - LOAD_OFFSET) {
 224                 INIT_CALLS
 225         }
 226
 227         .con_initcall.init : AT(ADDR(.con_initcall.init) - LOAD_OFFSET) {
 228                 CON_INITCALL
 229         }
 230
 231         . = ALIGN(8);
 232         __ftr_fixup : AT(ADDR(__ftr_fixup) - LOAD_OFFSET) {
 233                 __start___ftr_fixup = .;
 234                 KEEP(*(__ftr_fixup))
 235                 __stop___ftr_fixup = .;
 236         }
 237         . = ALIGN(8);
 238         __mmu_ftr_fixup : AT(ADDR(__mmu_ftr_fixup) - LOAD_OFFSET) {
 239                 __start___mmu_ftr_fixup = .;
 240                 KEEP(*(__mmu_ftr_fixup))
 241                 __stop___mmu_ftr_fixup = .;
 242         }
 243         . = ALIGN(8);
 244         __lwsync_fixup : AT(ADDR(__lwsync_fixup) - LOAD_OFFSET) {
 245                 __start___lwsync_fixup = .;
 246                 KEEP(*(__lwsync_fixup))
 247                 __stop___lwsync_fixup = .;
 248         }
 249 #ifdef CONFIG_PPC64
 250         . = ALIGN(8);
 251         __fw_ftr_fixup : AT(ADDR(__fw_ftr_fixup) - LOAD_OFFSET) {
 252                 __start___fw_ftr_fixup = .;
 253                 KEEP(*(__fw_ftr_fixup))
 254                 __stop___fw_ftr_fixup = .;
 255         }
 256 #endif
 257         .init.ramfs : AT(ADDR(.init.ramfs) - LOAD_OFFSET) {
 258                 INIT_RAM_FS
 259         }
 260
 261         PERCPU_SECTION(L1_CACHE_BYTES)
 262
 263         . = ALIGN(8);
 264         .machine.desc : AT(ADDR(.machine.desc) - LOAD_OFFSET) {
 265                 __machine_desc_start = . ;
 266                 KEEP(*(.machine.desc))
 267                 __machine_desc_end = . ;
 268         }
 269 #ifdef CONFIG_RELOCATABLE
 270         . = ALIGN(8);
 271         .dynsym : AT(ADDR(.dynsym) - LOAD_OFFSET)
 272         {
 273 #ifdef CONFIG_PPC32
 274                 __dynamic_symtab = .;
 275 #endif
 276                 *(.dynsym)
 277         }
 278         .dynstr : AT(ADDR(.dynstr) - LOAD_OFFSET) { *(.dynstr) }
 279         .dynamic : AT(ADDR(.dynamic) - LOAD_OFFSET)
 280         {
 281                 __dynamic_start = .;
 282                 *(.dynamic)
 283         }
 284         .hash : AT(ADDR(.hash) - LOAD_OFFSET) { *(.hash) }
 285         .interp : AT(ADDR(.interp) - LOAD_OFFSET) { *(.interp) }
 286         .rela.dyn : AT(ADDR(.rela.dyn) - LOAD_OFFSET)
 287         {
 288                 __rela_dyn_start = .;
 289                 *(.rela*)
 290         }
 291 #endif
 292         /* .exit.data is discarded at runtime, not link time,
 293          * to deal with references from .exit.text
 294          */
 295         .exit.data : AT(ADDR(.exit.data) - LOAD_OFFSET) {
 296                 EXIT_DATA
 297         }
 298
 299         /* freed after init ends here */
 300         . = ALIGN(PAGE_SIZE);
 301         __init_end = .;
 302
 303 /*
 304  * And now the various read/write data
 305  */
 306
 307         . = ALIGN(PAGE_SIZE);
 308         _sdata = .;
 309
 310 #ifdef CONFIG_PPC32
 311         .data : AT(ADDR(.data) - LOAD_OFFSET) {
 312                 DATA_DATA
 313 #ifdef CONFIG_UBSAN
 314                 *(.data..Lubsan_data*)
 315                 *(.data..Lubsan_type*)
 316 #endif
 317                 *(.data.rel*)
 318                 *(SDATA_MAIN)
 319                 *(.sdata2)
 320                 *(.got.plt) *(.got)
 321                 *(.plt)
 322         }
 323 #else
 324         .data : AT(ADDR(.data) - LOAD_OFFSET) {
 325                 DATA_DATA
 326                 *(.data.rel*)
 327                 *(.toc1)
 328                 *(.branch_lt)
 329         }
 330
 331         .opd : AT(ADDR(.opd) - LOAD_OFFSET) {
 332                 __start_opd = .;
 333                 KEEP(*(.opd))
 334                 __end_opd = .;
 335         }
 336
 337         . = ALIGN(256);
 338         .got : AT(ADDR(.got) - LOAD_OFFSET) {
 339                 __toc_start = .;
 340 #ifndef CONFIG_RELOCATABLE
 341                 __prom_init_toc_start = .;
 342                 arch/powerpc/kernel/prom_init.o*(.toc .got)
 343                 __prom_init_toc_end = .;
 344 #endif
 345                 *(.got)
 346                 *(.toc)
 347         }
 348 #endif
 349
 350         /* The initial task and kernel stack */
 351         INIT_TASK_DATA_SECTION(THREAD_SIZE)
 352
 353         .data..page_aligned : AT(ADDR(.data..page_aligned) - LOAD_OFFSET) {
 354                 PAGE_ALIGNED_DATA(PAGE_SIZE)
 355         }
 356
 357         .data..cacheline_aligned : AT(ADDR(.data..cacheline_aligned) - LOAD_OFFSET) {
 358                 CACHELINE_ALIGNED_DATA(L1_CACHE_BYTES)
 359         }
 360
 361         .data..read_mostly : AT(ADDR(.data..read_mostly) - LOAD_OFFSET) {
 362                 READ_MOSTLY_DATA(L1_CACHE_BYTES)
 363         }
 364
 365         . = ALIGN(PAGE_SIZE);
 366         .data_nosave : AT(ADDR(.data_nosave) - LOAD_OFFSET) {
 367                 NOSAVE_DATA
 368         }
 369
 370         BUG_TABLE
 371
 372         . = ALIGN(PAGE_SIZE);
 373         _edata  =  .;
 374         PROVIDE32 (edata = .);
 375
 376 /*
 377  * And finally the bss
 378  */
 379
 380         BSS_SECTION(0, 0, 0)
 381
 382         . = ALIGN(PAGE_SIZE);
 383         _end = . ;
 384         PROVIDE32 (end = .);
 385
 386         STABS_DEBUG
 387
 388         DWARF_DEBUG
 389
 390         DISCARDS
 391         /DISCARD/ : {
 392                 *(*.EMB.apuinfo)
 393                 *(.glink .iplt .plt .rela* .comment)
 394                 *(.gnu.version*)
 395                 *(.gnu.attributes)
 396                 *(.eh_frame)
 397         }
 398 }