arch/xtensa/mm/mmu.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * xtensa mmu stuff
   4  *
   5  * Extracted from init.c
   6  */
   7 #include <linux/memblock.h>
   8 #include <linux/percpu.h>
   9 #include <linux/init.h>
  10 #include <linux/string.h>
  11 #include <linux/slab.h>
  12 #include <linux/cache.h>
  13
  14 #include <asm/tlb.h>
  15 #include <asm/tlbflush.h>
  16 #include <asm/mmu_context.h>
  17 #include <asm/page.h>
  18 #include <asm/initialize_mmu.h>
  19 #include <asm/io.h>
  20
  21 #if defined(CONFIG_HIGHMEM)
  22 static void * __init init_pmd(unsigned long vaddr, unsigned long n_pages)
  23 {
  24         pgd_t *pgd = pgd_offset_k(vaddr);
  25         p4d_t *p4d = p4d_offset(pgd, vaddr);
  26         pud_t *pud = pud_offset(p4d, vaddr);
  27         pmd_t *pmd = pmd_offset(pud, vaddr);
  28         pte_t *pte;
  29         unsigned long i;
  30
  31         n_pages = ALIGN(n_pages, PTRS_PER_PTE);
  32
  33         pr_debug("%s: vaddr: 0x%08lx, n_pages: %ld\n",
  34                  __func__, vaddr, n_pages);
  35
  36         pte = memblock_alloc_low(n_pages * sizeof(pte_t), PAGE_SIZE);
  37         if (!pte)
  38                 panic("%s: Failed to allocate %lu bytes align=%lx\n",
  39                       __func__, n_pages * sizeof(pte_t), PAGE_SIZE);
  40
  41         for (i = 0; i < n_pages; ++i)
  42                 pte_clear(NULL, 0, pte + i);
  43
  44         for (i = 0; i < n_pages; i += PTRS_PER_PTE, ++pmd) {
  45                 pte_t *cur_pte = pte + i;
  46
  47                 BUG_ON(!pmd_none(*pmd));
  48                 set_pmd(pmd, __pmd(((unsigned long)cur_pte) & PAGE_MASK));
  49                 BUG_ON(cur_pte != pte_offset_kernel(pmd, 0));
  50                 pr_debug("%s: pmd: 0x%p, pte: 0x%p\n",
  51                          __func__, pmd, cur_pte);
  52         }
  53         return pte;
  54 }
  55
  56 static void __init fixedrange_init(void)
  57 {
  58         init_pmd(__fix_to_virt(0), __end_of_fixed_addresses);
  59 }
  60 #endif
  61
  62 void __init paging_init(void)
  63 {
  64 #ifdef CONFIG_HIGHMEM
  65         fixedrange_init();
  66         pkmap_page_table = init_pmd(PKMAP_BASE, LAST_PKMAP);
  67         kmap_init();
  68 #endif
  69 }
  70
  71 /*
  72  * Flush the mmu and reset associated register to default values.
  73  */
  74 void init_mmu(void)
  75 {
  76 #if !(XCHAL_HAVE_PTP_MMU && XCHAL_HAVE_SPANNING_WAY)
  77         /*
  78          * Writing zeros to the instruction and data TLBCFG special
  79          * registers ensure that valid values exist in the register.
  80          *
  81          * For existing PGSZID<w> fields, zero selects the first element
  82          * of the page-size array.  For nonexistent PGSZID<w> fields,
  83          * zero is the best value to write.  Also, when changing PGSZID<w>
  84          * fields, the corresponding TLB must be flushed.
  85          */
  86         set_itlbcfg_register(0);
  87         set_dtlbcfg_register(0);
  88 #endif
  89         init_kio();
  90         local_flush_tlb_all();
  91
  92         /* Set rasid register to a known value. */
  93
  94         set_rasid_register(ASID_INSERT(ASID_USER_FIRST));
  95
  96         /* Set PTEVADDR special register to the start of the page
  97          * table, which is in kernel mappable space (ie. not
  98          * statically mapped).  This register's value is undefined on
  99          * reset.
 100          */
 101         set_ptevaddr_register(XCHAL_PAGE_TABLE_VADDR);
 102 }
 103
 104 void init_kio(void)
 105 {
 106 #if XCHAL_HAVE_PTP_MMU && XCHAL_HAVE_SPANNING_WAY && defined(CONFIG_OF)
 107         /*
 108          * Update the IO area mapping in case xtensa_kio_paddr has changed
 109          */
 110         write_dtlb_entry(__pte(xtensa_kio_paddr + CA_WRITEBACK),
 111                         XCHAL_KIO_CACHED_VADDR + 6);
 112         write_itlb_entry(__pte(xtensa_kio_paddr + CA_WRITEBACK),
 113                         XCHAL_KIO_CACHED_VADDR + 6);
 114         write_dtlb_entry(__pte(xtensa_kio_paddr + CA_BYPASS),
 115                         XCHAL_KIO_BYPASS_VADDR + 6);
 116         write_itlb_entry(__pte(xtensa_kio_paddr + CA_BYPASS),
 117                         XCHAL_KIO_BYPASS_VADDR + 6);
 118 #endif
 119 }