Merge branch 'arm-detect-pmull' of https://github.com/sitsofe/fio
[fio.git] / os / windows / cpu-affinity.c
1 #include "os/os.h"
2
3 #include <windows.h>
4
5 /* Return all processors regardless of processor group */
6 unsigned int cpus_online(void)
7 {
8         return GetActiveProcessorCount(ALL_PROCESSOR_GROUPS);
9 }
10
11 static void print_mask(os_cpu_mask_t *cpumask)
12 {
13         for (int i = 0; i < FIO_CPU_MASK_ROWS; i++)
14                 dprint(FD_PROCESS, "cpumask[%d]=%" PRIu64 "\n", i, cpumask->row[i]);
15 }
16
17 /* Return the index of the least significant set CPU in cpumask or -1 if no
18  * CPUs are set */
19 int first_set_cpu(os_cpu_mask_t *cpumask)
20 {
21         int cpus_offset, mask_first_cpu, row;
22
23         cpus_offset = 0;
24         row = 0;
25         mask_first_cpu = -1;
26         while (mask_first_cpu < 0 && row < FIO_CPU_MASK_ROWS) {
27                 int row_first_cpu;
28
29                 row_first_cpu = __builtin_ffsll(cpumask->row[row]) - 1;
30                 dprint(FD_PROCESS, "row_first_cpu=%d cpumask->row[%d]=%" PRIu64 "\n",
31                        row_first_cpu, row, cpumask->row[row]);
32                 if (row_first_cpu > -1) {
33                         mask_first_cpu = cpus_offset + row_first_cpu;
34                         dprint(FD_PROCESS, "first set cpu in mask is at index %d\n",
35                                mask_first_cpu);
36                 } else {
37                         cpus_offset += FIO_CPU_MASK_STRIDE;
38                         row++;
39                 }
40         }
41
42         return mask_first_cpu;
43 }
44
45 /* Return the index of the most significant set CPU in cpumask or -1 if no
46  * CPUs are set */
47 static int last_set_cpu(os_cpu_mask_t *cpumask)
48 {
49         int cpus_offset, mask_last_cpu, row;
50
51         cpus_offset = (FIO_CPU_MASK_ROWS - 1) * FIO_CPU_MASK_STRIDE;
52         row = FIO_CPU_MASK_ROWS - 1;
53         mask_last_cpu = -1;
54         while (mask_last_cpu < 0 && row >= 0) {
55                 int row_last_cpu;
56
57                 if (cpumask->row[row] == 0)
58                         row_last_cpu = -1;
59                 else {
60                         uint64_t tmp = cpumask->row[row];
61
62                         row_last_cpu = 0;
63                         while (tmp >>= 1)
64                             row_last_cpu++;
65                 }
66
67                 dprint(FD_PROCESS, "row_last_cpu=%d cpumask->row[%d]=%" PRIu64 "\n",
68                        row_last_cpu, row, cpumask->row[row]);
69                 if (row_last_cpu > -1) {
70                         mask_last_cpu = cpus_offset + row_last_cpu;
71                         dprint(FD_PROCESS, "last set cpu in mask is at index %d\n",
72                                mask_last_cpu);
73                 } else {
74                         cpus_offset -= FIO_CPU_MASK_STRIDE;
75                         row--;
76                 }
77         }
78
79         return mask_last_cpu;
80 }
81
82 static int mask_to_group_mask(os_cpu_mask_t *cpumask, int *processor_group, uint64_t *affinity_mask)
83 {
84         WORD online_groups, group, group_size;
85         bool found;
86         int cpus_offset, search_cpu, last_cpu, bit_offset, row, end;
87         uint64_t group_cpumask;
88
89         search_cpu = first_set_cpu(cpumask);
90         if (search_cpu < 0) {
91                 log_info("CPU mask doesn't set any CPUs\n");
92                 return 1;
93         }
94
95         /* Find processor group first set CPU applies to */
96         online_groups = GetActiveProcessorGroupCount();
97         group = 0;
98         found = false;
99         cpus_offset = 0;
100         group_size = 0;
101         while (!found && group < online_groups) {
102                 group_size = GetActiveProcessorCount(group);
103                 dprint(FD_PROCESS, "group=%d group_start=%d group_size=%u search_cpu=%d\n",
104                        group, cpus_offset, group_size, search_cpu);
105                 if (cpus_offset + group_size > search_cpu)
106                         found = true;
107                 else {
108                         cpus_offset += group_size;
109                         group++;
110                 }
111         }
112
113         if (!found) {
114                 log_err("CPU mask contains processor beyond last active processor index (%d)\n",
115                          cpus_offset - 1);
116                 print_mask(cpumask);
117                 return 1;
118         }
119
120         /* Check all the CPUs in the mask apply to ONLY that processor group */
121         last_cpu = last_set_cpu(cpumask);
122         if (last_cpu > (cpus_offset + group_size - 1)) {
123                 log_info("CPU mask cannot bind CPUs (e.g. %d, %d) that are "
124                          "in different processor groups\n", search_cpu,
125                          last_cpu);
126                 print_mask(cpumask);
127                 return 1;
128         }
129
130         /* Extract the current processor group mask from the cpumask */
131         row = cpus_offset / FIO_CPU_MASK_STRIDE;
132         bit_offset = cpus_offset % FIO_CPU_MASK_STRIDE;
133         group_cpumask = cpumask->row[row] >> bit_offset;
134         end = bit_offset + group_size;
135         if (end > FIO_CPU_MASK_STRIDE && (row + 1 < FIO_CPU_MASK_ROWS)) {
136                 /* Some of the next row needs to be part of the mask */
137                 int needed, needed_shift, needed_mask_shift;
138                 uint64_t needed_mask;
139
140                 needed = end - FIO_CPU_MASK_STRIDE;
141                 needed_shift = FIO_CPU_MASK_STRIDE - bit_offset;
142                 needed_mask_shift = FIO_CPU_MASK_STRIDE - needed;
143                 needed_mask = (uint64_t)-1 >> needed_mask_shift;
144                 dprint(FD_PROCESS,
145                        "bit_offset=%d end=%d needed=%d needed_shift=%d needed_mask=%" PRIu64 "needed_mask_shift=%d\n",
146                        bit_offset, end, needed, needed_shift, needed_mask,
147                        needed_mask_shift);
148                 group_cpumask |= (cpumask->row[row + 1] & needed_mask) << needed_shift;
149         }
150         group_cpumask &= (uint64_t)-1 >> (FIO_CPU_MASK_STRIDE - group_size);
151
152         /* Return group and mask */
153         dprint(FD_PROCESS, "Returning group=%d group_mask=%" PRIu64 "\n",
154                group, group_cpumask);
155         *processor_group = group;
156         *affinity_mask = group_cpumask;
157
158         return 0;
159 }
160
161 int fio_setaffinity(int pid, os_cpu_mask_t cpumask)
162 {
163         HANDLE handle = NULL;
164         int group, ret;
165         uint64_t group_mask = 0;
166         GROUP_AFFINITY new_group_affinity;
167
168         ret = -1;
169
170         if (mask_to_group_mask(&cpumask, &group, &group_mask) != 0)
171                 goto err;
172
173         handle = OpenThread(THREAD_QUERY_INFORMATION | THREAD_SET_INFORMATION,
174                             TRUE, pid);
175         if (handle == NULL) {
176                 log_err("fio_setaffinity: failed to get handle for pid %d\n", pid);
177                 goto err;
178         }
179
180         /* Set group and mask.
181          * Note: if the GROUP_AFFINITY struct's Reserved members are not
182          * initialised to 0 then SetThreadGroupAffinity will fail with
183          * GetLastError() set to ERROR_INVALID_PARAMETER */
184         new_group_affinity.Mask = (KAFFINITY) group_mask;
185         new_group_affinity.Group = group;
186         new_group_affinity.Reserved[0] = 0;
187         new_group_affinity.Reserved[1] = 0;
188         new_group_affinity.Reserved[2] = 0;
189         if (SetThreadGroupAffinity(handle, &new_group_affinity, NULL) != 0)
190                 ret = 0;
191         else {
192                 log_err("fio_setaffinity: failed to set thread affinity (pid %d, group %d, mask %" PRIx64 ", GetLastError=%lu)\n",
193                         pid, group, group_mask, GetLastError());
194                 goto err;
195         }
196
197 err:
198         if (handle)
199                 CloseHandle(handle);
200         return ret;
201 }
202
203 static void cpu_to_row_offset(int cpu, int *row, int *offset)
204 {
205         *row = cpu / FIO_CPU_MASK_STRIDE;
206         *offset = cpu << FIO_CPU_MASK_STRIDE * *row;
207 }
208
209 int fio_cpuset_init(os_cpu_mask_t *mask)
210 {
211         for (int i = 0; i < FIO_CPU_MASK_ROWS; i++)
212                 mask->row[i] = 0;
213         return 0;
214 }
215
216 /*
217  * fio_getaffinity() should not be called once a fio_setaffinity() call has
218  * been made because fio_setaffinity() may put the process into multiple
219  * processor groups
220  */
221 int fio_getaffinity(int pid, os_cpu_mask_t *mask)
222 {
223         int ret;
224         int row, offset, end, group, group_size, group_start_cpu;
225         DWORD_PTR process_mask, system_mask;
226         HANDLE handle;
227         PUSHORT current_groups;
228         USHORT group_count;
229         WORD online_groups;
230
231         ret = -1;
232         current_groups = NULL;
233         handle = OpenProcess(PROCESS_QUERY_INFORMATION, TRUE, pid);
234         if (handle == NULL) {
235                 log_err("fio_getaffinity: failed to get handle for pid %d\n",
236                         pid);
237                 goto err;
238         }
239
240         group_count = 16;
241         /*
242          * GetProcessGroupAffinity() seems to expect more than the natural
243          * alignment for a USHORT from the area pointed to by current_groups so
244          * arrange for maximum alignment by allocating via malloc()
245          */
246         current_groups = malloc(group_count * sizeof(USHORT));
247         if (!current_groups) {
248                 log_err("fio_getaffinity: malloc failed\n");
249                 goto err;
250         }
251         if (!GetProcessGroupAffinity(handle, &group_count, current_groups)) {
252                 log_err("%s: failed to get single group affinity for pid %d (%lu)\n",
253                         __func__, pid, GetLastError());
254                 goto err;
255         }
256         if (group_count > 1) {
257                 log_err("%s: pid %d is associated with %d process groups\n",
258                         __func__, pid, group_count);
259                 goto err;
260         }
261         if (!GetProcessAffinityMask(handle, &process_mask, &system_mask)) {
262                 log_err("%s: GetProcessAffinityMask() failed for pid %d\n",
263                         __func__, pid);
264                 goto err;
265         }
266
267         /* Convert group and group relative mask to full CPU mask */
268         online_groups = GetActiveProcessorGroupCount();
269         if (online_groups == 0) {
270                 log_err("fio_getaffinity: error retrieving total processor groups\n");
271                 goto err;
272         }
273
274         group = 0;
275         group_start_cpu = 0;
276         group_size = 0;
277         dprint(FD_PROCESS, "current_groups=%d group_count=%d\n",
278                current_groups[0], group_count);
279         while (true) {
280                 group_size = GetActiveProcessorCount(group);
281                 if (group_size == 0) {
282                         log_err("fio_getaffinity: error retrieving size of "
283                                 "processor group %d\n", group);
284                         goto err;
285                 } else if (group >= current_groups[0] || group >= online_groups)
286                         break;
287                 else {
288                         group_start_cpu += group_size;
289                         group++;
290                 }
291         }
292
293         if (group != current_groups[0]) {
294                 log_err("fio_getaffinity: could not find processor group %d\n",
295                         current_groups[0]);
296                 goto err;
297         }
298
299         dprint(FD_PROCESS, "group_start_cpu=%d, group size=%u\n",
300                group_start_cpu, group_size);
301         if ((group_start_cpu + group_size) >= FIO_MAX_CPUS) {
302                 log_err("fio_getaffinity failed: current CPU affinity (group "
303                         "%d, group_start_cpu %d, group_size %d) extends "
304                         "beyond mask's highest CPU (%d)\n", group,
305                         group_start_cpu, group_size, FIO_MAX_CPUS);
306                 goto err;
307         }
308
309         fio_cpuset_init(mask);
310         cpu_to_row_offset(group_start_cpu, &row, &offset);
311         mask->row[row] = process_mask;
312         mask->row[row] <<= offset;
313         end = offset + group_size;
314         if (end > FIO_CPU_MASK_STRIDE) {
315                 int needed;
316                 uint64_t needed_mask;
317
318                 needed = FIO_CPU_MASK_STRIDE - end;
319                 needed_mask = (uint64_t)-1 >> (FIO_CPU_MASK_STRIDE - needed);
320                 row++;
321                 mask->row[row] = process_mask;
322                 mask->row[row] >>= needed;
323                 mask->row[row] &= needed_mask;
324         }
325         ret = 0;
326
327 err:
328         if (handle)
329                 CloseHandle(handle);
330         if (current_groups)
331                 free(current_groups);
332
333         return ret;
334 }
335
336 void fio_cpu_clear(os_cpu_mask_t *mask, int cpu)
337 {
338         int row, offset;
339         cpu_to_row_offset(cpu, &row, &offset);
340
341         mask->row[row] &= ~(1ULL << offset);
342 }
343
344 void fio_cpu_set(os_cpu_mask_t *mask, int cpu)
345 {
346         int row, offset;
347         cpu_to_row_offset(cpu, &row, &offset);
348
349         mask->row[row] |= 1ULL << offset;
350 }
351
352 int fio_cpu_isset(os_cpu_mask_t *mask, int cpu)
353 {
354         int row, offset;
355         cpu_to_row_offset(cpu, &row, &offset);
356
357         return (mask->row[row] & (1ULL << offset)) != 0;
358 }
359
360 int fio_cpu_count(os_cpu_mask_t *mask)
361 {
362         int count = 0;
363
364         for (int i = 0; i < FIO_CPU_MASK_ROWS; i++)
365                 count += hweight64(mask->row[i]);
366
367         return count;
368 }
369
370 int fio_cpuset_exit(os_cpu_mask_t *mask)
371 {
372         return 0;
373 }