x86/resctrl: Allow RMID allocation to be scoped by CLOSID
authorJames Morse <james.morse@arm.com>
Tue, 13 Feb 2024 18:44:21 +0000 (18:44 +0000)
committerBorislav Petkov (AMD) <bp@alien8.de>
Fri, 16 Feb 2024 18:18:31 +0000 (19:18 +0100)
MPAMs RMID values are not unique unless the CLOSID is considered as well.

alloc_rmid() expects the RMID to be an independent number.

Pass the CLOSID in to alloc_rmid(). Use this to compare indexes when
allocating. If the CLOSID is not relevant to the index, this ends up comparing
the free RMID with itself, and the first free entry will be used. With MPAM the
CLOSID is included in the index, so this becomes a walk of the free RMID
entries, until one that matches the supplied CLOSID is found.

Signed-off-by: James Morse <james.morse@arm.com>
Signed-off-by: Borislav Petkov (AMD) <bp@alien8.de>
Reviewed-by: Shaopeng Tan <tan.shaopeng@fujitsu.com>
Reviewed-by: Reinette Chatre <reinette.chatre@intel.com>
Reviewed-by: Babu Moger <babu.moger@amd.com>
Tested-by: Shaopeng Tan <tan.shaopeng@fujitsu.com>
Tested-by: Peter Newman <peternewman@google.com>
Tested-by: Babu Moger <babu.moger@amd.com>
Tested-by: Carl Worth <carl@os.amperecomputing.com> # arm64
Link: https://lore.kernel.org/r/20240213184438.16675-8-james.morse@arm.com
Signed-off-by: Borislav Petkov (AMD) <bp@alien8.de>
arch/x86/kernel/cpu/resctrl/internal.h
arch/x86/kernel/cpu/resctrl/monitor.c
arch/x86/kernel/cpu/resctrl/pseudo_lock.c
arch/x86/kernel/cpu/resctrl/rdtgroup.c

index cbba782acd0c8a514a056230989e1bb11e23052b..872ba1a341039cfc5d1633517acc82291646d404 100644 (file)
@@ -543,7 +543,7 @@ void rdtgroup_pseudo_lock_remove(struct rdtgroup *rdtgrp);
 struct rdt_domain *get_domain_from_cpu(int cpu, struct rdt_resource *r);
 int closids_supported(void);
 void closid_free(int closid);
-int alloc_rmid(void);
+int alloc_rmid(u32 closid);
 void free_rmid(u32 closid, u32 rmid);
 int rdt_get_mon_l3_config(struct rdt_resource *r);
 void __exit rdt_put_mon_l3_config(void);
index bc5ceef143ab476cc28d9e235e8efb853ee6140e..c49f2e89ef29da1dda4a021e3614221e92963b16 100644 (file)
@@ -344,24 +344,49 @@ bool has_busy_rmid(struct rdt_domain *d)
        return find_first_bit(d->rmid_busy_llc, idx_limit) != idx_limit;
 }
 
+static struct rmid_entry *resctrl_find_free_rmid(u32 closid)
+{
+       struct rmid_entry *itr;
+       u32 itr_idx, cmp_idx;
+
+       if (list_empty(&rmid_free_lru))
+               return rmid_limbo_count ? ERR_PTR(-EBUSY) : ERR_PTR(-ENOSPC);
+
+       list_for_each_entry(itr, &rmid_free_lru, list) {
+               /*
+                * Get the index of this free RMID, and the index it would need
+                * to be if it were used with this CLOSID.
+                * If the CLOSID is irrelevant on this architecture, the two
+                * index values are always the same on every entry and thus the
+                * very first entry will be returned.
+                */
+               itr_idx = resctrl_arch_rmid_idx_encode(itr->closid, itr->rmid);
+               cmp_idx = resctrl_arch_rmid_idx_encode(closid, itr->rmid);
+
+               if (itr_idx == cmp_idx)
+                       return itr;
+       }
+
+       return ERR_PTR(-ENOSPC);
+}
+
 /*
- * As of now the RMIDs allocation is global.
- * However we keep track of which packages the RMIDs
- * are used to optimize the limbo list management.
+ * For MPAM the RMID value is not unique, and has to be considered with
+ * the CLOSID. The (CLOSID, RMID) pair is allocated on all domains, which
+ * allows all domains to be managed by a single free list.
+ * Each domain also has a rmid_busy_llc to reduce the work of the limbo handler.
  */
-int alloc_rmid(void)
+int alloc_rmid(u32 closid)
 {
        struct rmid_entry *entry;
 
        lockdep_assert_held(&rdtgroup_mutex);
 
-       if (list_empty(&rmid_free_lru))
-               return rmid_limbo_count ? -EBUSY : -ENOSPC;
+       entry = resctrl_find_free_rmid(closid);
+       if (IS_ERR(entry))
+               return PTR_ERR(entry);
 
-       entry = list_first_entry(&rmid_free_lru,
-                                struct rmid_entry, list);
        list_del(&entry->list);
-
        return entry->rmid;
 }
 
index 65bee6f11015e4fb3ed5428954163906bdfbf858..d8f44113ed1f12bf8d8e552e9dc1019866bfbb22 100644 (file)
@@ -777,7 +777,7 @@ int rdtgroup_locksetup_exit(struct rdtgroup *rdtgrp)
        int ret;
 
        if (rdt_mon_capable) {
-               ret = alloc_rmid();
+               ret = alloc_rmid(rdtgrp->closid);
                if (ret < 0) {
                        rdt_last_cmd_puts("Out of RMIDs\n");
                        return ret;
index a7dbc0e7e5595b1547c2114a0e2b8ad10ee12085..dcffd1c4a476f0a593ab21691487f6fb2c733df6 100644 (file)
@@ -3295,7 +3295,7 @@ static int mkdir_rdt_prepare_rmid_alloc(struct rdtgroup *rdtgrp)
        if (!rdt_mon_capable)
                return 0;
 
-       ret = alloc_rmid();
+       ret = alloc_rmid(rdtgrp->closid);
        if (ret < 0) {
                rdt_last_cmd_puts("Out of RMIDs\n");
                return ret;