arch/arm/mm/context.c

   1 /*
   2  *  linux/arch/arm/mm/context.c
   3  *
   4  *  Copyright (C) 2002-2003 Deep Blue Solutions Ltd, all rights reserved.
   5  *  Copyright (C) 2012 ARM Limited
   6  *
   7  *  Author: Will Deacon <will.deacon@arm.com>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License version 2 as
  11  * published by the Free Software Foundation.
  12  */
  13 #include <linux/init.h>
  14 #include <linux/sched.h>
  15 #include <linux/mm.h>
  16 #include <linux/smp.h>
  17 #include <linux/percpu.h>
  18
  19 #include <asm/mmu_context.h>
  20 #include <asm/smp_plat.h>
  21 #include <asm/thread_notify.h>
  22 #include <asm/tlbflush.h>
  23
  24 /*
  25  * On ARMv6, we have the following structure in the Context ID:
  26  *
  27  * 31                         7          0
  28  * +-------------------------+-----------+
  29  * |      process ID         |   ASID    |
  30  * +-------------------------+-----------+
  31  * |              context ID             |
  32  * +-------------------------------------+
  33  *
  34  * The ASID is used to tag entries in the CPU caches and TLBs.
  35  * The context ID is used by debuggers and trace logic, and
  36  * should be unique within all running processes.
  37  */
  38 #define ASID_FIRST_VERSION      (1ULL << ASID_BITS)
  39
  40 static DEFINE_RAW_SPINLOCK(cpu_asid_lock);
  41 static atomic64_t cpu_last_asid = ATOMIC64_INIT(ASID_FIRST_VERSION);
  42
  43 static DEFINE_PER_CPU(atomic64_t, active_asids);
  44 static DEFINE_PER_CPU(u64, reserved_asids);
  45 static cpumask_t tlb_flush_pending;
  46
  47 #ifdef CONFIG_ARM_LPAE
  48 static void cpu_set_reserved_ttbr0(void)
  49 {
  50         unsigned long ttbl = __pa(swapper_pg_dir);
  51         unsigned long ttbh = 0;
  52
  53         /*
  54          * Set TTBR0 to swapper_pg_dir which contains only global entries. The
  55          * ASID is set to 0.
  56          */
  57         asm volatile(
  58         "       mcrr    p15, 0, %0, %1, c2              @ set TTBR0\n"
  59         :
  60         : "r" (ttbl), "r" (ttbh));
  61         isb();
  62 }
  63 #else
  64 static void cpu_set_reserved_ttbr0(void)
  65 {
  66         u32 ttb;
  67         /* Copy TTBR1 into TTBR0 */
  68         asm volatile(
  69         "       mrc     p15, 0, %0, c2, c0, 1           @ read TTBR1\n"
  70         "       mcr     p15, 0, %0, c2, c0, 0           @ set TTBR0\n"
  71         : "=r" (ttb));
  72         isb();
  73 }
  74 #endif
  75
  76 #ifdef CONFIG_PID_IN_CONTEXTIDR
  77 static int contextidr_notifier(struct notifier_block *unused, unsigned long cmd,
  78                                void *t)
  79 {
  80         u32 contextidr;
  81         pid_t pid;
  82         struct thread_info *thread = t;
  83
  84         if (cmd != THREAD_NOTIFY_SWITCH)
  85                 return NOTIFY_DONE;
  86
  87         pid = task_pid_nr(thread->task) << ASID_BITS;
  88         asm volatile(
  89         "       mrc     p15, 0, %0, c13, c0, 1\n"
  90         "       and     %0, %0, %2\n"
  91         "       orr     %0, %0, %1\n"
  92         "       mcr     p15, 0, %0, c13, c0, 1\n"
  93         : "=r" (contextidr), "+r" (pid)
  94         : "I" (~ASID_MASK));
  95         isb();
  96
  97         return NOTIFY_OK;
  98 }
  99
 100 static struct notifier_block contextidr_notifier_block = {
 101         .notifier_call = contextidr_notifier,
 102 };
 103
 104 static int __init contextidr_notifier_init(void)
 105 {
 106         return thread_register_notifier(&contextidr_notifier_block);
 107 }
 108 arch_initcall(contextidr_notifier_init);
 109 #endif
 110
 111 static void flush_context(unsigned int cpu)
 112 {
 113         int i;
 114
 115         /* Update the list of reserved ASIDs. */
 116         for_each_possible_cpu(i)
 117                 per_cpu(reserved_asids, i) =
 118                         atomic64_xchg(&per_cpu(active_asids, i), 0);
 119         per_cpu(reserved_asids, cpu) = 0;
 120
 121         /* Queue a TLB invalidate and flush the I-cache if necessary. */
 122         if (!tlb_ops_need_broadcast())
 123                 cpumask_set_cpu(cpu, &tlb_flush_pending);
 124         else
 125                 cpumask_setall(&tlb_flush_pending);
 126
 127         if (icache_is_vivt_asid_tagged())
 128                 __flush_icache_all();
 129 }
 130
 131 static int is_reserved_asid(u64 asid, u64 mask)
 132 {
 133         int cpu;
 134         for_each_possible_cpu(cpu)
 135                 if ((per_cpu(reserved_asids, cpu) & mask) == (asid & mask))
 136                         return 1;
 137         return 0;
 138 }
 139
 140 static void new_context(struct mm_struct *mm, unsigned int cpu)
 141 {
 142         u64 asid = mm->context.id;
 143
 144         if (asid != 0 && is_reserved_asid(asid, ULLONG_MAX)) {
 145                 /*
 146                  * Our current ASID was active during a rollover, we can
 147                  * continue to use it and this was just a false alarm.
 148                  */
 149                 asid = (atomic64_read(&cpu_last_asid) & ASID_MASK) | \
 150                        (asid & ~ASID_MASK);
 151         } else {
 152                 /*
 153                  * Allocate a free ASID. If we can't find one, take a
 154                  * note of the currently active ASIDs and mark the TLBs
 155                  * as requiring flushes.
 156                  */
 157                 do {
 158                         asid = atomic64_inc_return(&cpu_last_asid);
 159                         if ((asid & ~ASID_MASK) == 0)
 160                                 flush_context(cpu);
 161                 } while (is_reserved_asid(asid, ~ASID_MASK));
 162                 cpumask_clear(mm_cpumask(mm));
 163         }
 164
 165         mm->context.id = asid;
 166 }
 167
 168 void check_and_switch_context(struct mm_struct *mm, struct task_struct *tsk)
 169 {
 170         unsigned long flags;
 171         unsigned int cpu = smp_processor_id();
 172
 173         if (unlikely(mm->context.kvm_seq != init_mm.context.kvm_seq))
 174                 __check_kvm_seq(mm);
 175
 176         /*
 177          * Required during context switch to avoid speculative page table
 178          * walking with the wrong TTBR.
 179          */
 180         cpu_set_reserved_ttbr0();
 181
 182         if (!((mm->context.id ^ atomic64_read(&cpu_last_asid)) >> ASID_BITS)
 183             && atomic64_xchg(&per_cpu(active_asids, cpu), mm->context.id))
 184                 goto switch_mm_fastpath;
 185
 186         raw_spin_lock_irqsave(&cpu_asid_lock, flags);
 187         /* Check that our ASID belongs to the current generation. */
 188         if ((mm->context.id ^ atomic64_read(&cpu_last_asid)) >> ASID_BITS)
 189                 new_context(mm, cpu);
 190
 191         atomic64_set(&per_cpu(active_asids, cpu), mm->context.id);
 192         cpumask_set_cpu(cpu, mm_cpumask(mm));
 193
 194         if (cpumask_test_and_clear_cpu(cpu, &tlb_flush_pending))
 195                 local_flush_tlb_all();
 196         raw_spin_unlock_irqrestore(&cpu_asid_lock, flags);
 197
 198 switch_mm_fastpath:
 199         cpu_switch_mm(mm->pgd, mm);
 200 }