governors: unify last_state_idx
[linux-block.git] / include / linux / cpuidle.h
1 /*
2  * cpuidle.h - a generic framework for CPU idle power management
3  *
4  * (C) 2007 Venkatesh Pallipadi <venkatesh.pallipadi@intel.com>
5  *          Shaohua Li <shaohua.li@intel.com>
6  *          Adam Belay <abelay@novell.com>
7  *
8  * This code is licenced under the GPL.
9  */
10
11 #ifndef _LINUX_CPUIDLE_H
12 #define _LINUX_CPUIDLE_H
13
14 #include <linux/percpu.h>
15 #include <linux/list.h>
16 #include <linux/hrtimer.h>
17
18 #define CPUIDLE_STATE_MAX       10
19 #define CPUIDLE_NAME_LEN        16
20 #define CPUIDLE_DESC_LEN        32
21
22 struct module;
23
24 struct cpuidle_device;
25 struct cpuidle_driver;
26
27
28 /****************************
29  * CPUIDLE DEVICE INTERFACE *
30  ****************************/
31
32 struct cpuidle_state_usage {
33         unsigned long long      disable;
34         unsigned long long      usage;
35         unsigned long long      time; /* in US */
36         unsigned long long      above; /* Number of times it's been too deep */
37         unsigned long long      below; /* Number of times it's been too shallow */
38 #ifdef CONFIG_SUSPEND
39         unsigned long long      s2idle_usage;
40         unsigned long long      s2idle_time; /* in US */
41 #endif
42 };
43
44 struct cpuidle_state {
45         char            name[CPUIDLE_NAME_LEN];
46         char            desc[CPUIDLE_DESC_LEN];
47
48         unsigned int    flags;
49         unsigned int    exit_latency; /* in US */
50         int             power_usage; /* in mW */
51         unsigned int    target_residency; /* in US */
52         bool            disabled; /* disabled on all CPUs */
53
54         int (*enter)    (struct cpuidle_device *dev,
55                         struct cpuidle_driver *drv,
56                         int index);
57
58         int (*enter_dead) (struct cpuidle_device *dev, int index);
59
60         /*
61          * CPUs execute ->enter_s2idle with the local tick or entire timekeeping
62          * suspended, so it must not re-enable interrupts at any point (even
63          * temporarily) or attempt to change states of clock event devices.
64          */
65         void (*enter_s2idle) (struct cpuidle_device *dev,
66                               struct cpuidle_driver *drv,
67                               int index);
68 };
69
70 /* Idle State Flags */
71 #define CPUIDLE_FLAG_NONE       (0x00)
72 #define CPUIDLE_FLAG_POLLING    BIT(0) /* polling state */
73 #define CPUIDLE_FLAG_COUPLED    BIT(1) /* state applies to multiple cpus */
74 #define CPUIDLE_FLAG_TIMER_STOP BIT(2) /* timer is stopped on this state */
75
76 struct cpuidle_device_kobj;
77 struct cpuidle_state_kobj;
78 struct cpuidle_driver_kobj;
79
80 struct cpuidle_device {
81         unsigned int            registered:1;
82         unsigned int            enabled:1;
83         unsigned int            use_deepest_state:1;
84         unsigned int            poll_time_limit:1;
85         unsigned int            cpu;
86         ktime_t                 next_hrtimer;
87
88         int                     last_state_idx;
89         int                     last_residency;
90         u64                     poll_limit_ns;
91         struct cpuidle_state_usage      states_usage[CPUIDLE_STATE_MAX];
92         struct cpuidle_state_kobj *kobjs[CPUIDLE_STATE_MAX];
93         struct cpuidle_driver_kobj *kobj_driver;
94         struct cpuidle_device_kobj *kobj_dev;
95         struct list_head        device_list;
96
97 #ifdef CONFIG_ARCH_NEEDS_CPU_IDLE_COUPLED
98         cpumask_t               coupled_cpus;
99         struct cpuidle_coupled  *coupled;
100 #endif
101 };
102
103 DECLARE_PER_CPU(struct cpuidle_device *, cpuidle_devices);
104 DECLARE_PER_CPU(struct cpuidle_device, cpuidle_dev);
105
106 /****************************
107  * CPUIDLE DRIVER INTERFACE *
108  ****************************/
109
110 struct cpuidle_driver {
111         const char              *name;
112         struct module           *owner;
113         int                     refcnt;
114
115         /* used by the cpuidle framework to setup the broadcast timer */
116         unsigned int            bctimer:1;
117         /* states array must be ordered in decreasing power consumption */
118         struct cpuidle_state    states[CPUIDLE_STATE_MAX];
119         int                     state_count;
120         int                     safe_state_index;
121
122         /* the driver handles the cpus in cpumask */
123         struct cpumask          *cpumask;
124 };
125
126 #ifdef CONFIG_CPU_IDLE
127 extern void disable_cpuidle(void);
128 extern bool cpuidle_not_available(struct cpuidle_driver *drv,
129                                   struct cpuidle_device *dev);
130
131 extern int cpuidle_select(struct cpuidle_driver *drv,
132                           struct cpuidle_device *dev,
133                           bool *stop_tick);
134 extern int cpuidle_enter(struct cpuidle_driver *drv,
135                          struct cpuidle_device *dev, int index);
136 extern void cpuidle_reflect(struct cpuidle_device *dev, int index);
137 extern u64 cpuidle_poll_time(struct cpuidle_driver *drv,
138                              struct cpuidle_device *dev);
139
140 extern int cpuidle_register_driver(struct cpuidle_driver *drv);
141 extern struct cpuidle_driver *cpuidle_get_driver(void);
142 extern struct cpuidle_driver *cpuidle_driver_ref(void);
143 extern void cpuidle_driver_unref(void);
144 extern void cpuidle_unregister_driver(struct cpuidle_driver *drv);
145 extern int cpuidle_register_device(struct cpuidle_device *dev);
146 extern void cpuidle_unregister_device(struct cpuidle_device *dev);
147 extern int cpuidle_register(struct cpuidle_driver *drv,
148                             const struct cpumask *const coupled_cpus);
149 extern void cpuidle_unregister(struct cpuidle_driver *drv);
150 extern void cpuidle_pause_and_lock(void);
151 extern void cpuidle_resume_and_unlock(void);
152 extern void cpuidle_pause(void);
153 extern void cpuidle_resume(void);
154 extern int cpuidle_enable_device(struct cpuidle_device *dev);
155 extern void cpuidle_disable_device(struct cpuidle_device *dev);
156 extern int cpuidle_play_dead(void);
157
158 extern struct cpuidle_driver *cpuidle_get_cpu_driver(struct cpuidle_device *dev);
159 static inline struct cpuidle_device *cpuidle_get_device(void)
160 {return __this_cpu_read(cpuidle_devices); }
161 #else
162 static inline void disable_cpuidle(void) { }
163 static inline bool cpuidle_not_available(struct cpuidle_driver *drv,
164                                          struct cpuidle_device *dev)
165 {return true; }
166 static inline int cpuidle_select(struct cpuidle_driver *drv,
167                                  struct cpuidle_device *dev, bool *stop_tick)
168 {return -ENODEV; }
169 static inline int cpuidle_enter(struct cpuidle_driver *drv,
170                                 struct cpuidle_device *dev, int index)
171 {return -ENODEV; }
172 static inline void cpuidle_reflect(struct cpuidle_device *dev, int index) { }
173 extern u64 cpuidle_poll_time(struct cpuidle_driver *drv,
174                              struct cpuidle_device *dev)
175 {return 0; }
176 static inline int cpuidle_register_driver(struct cpuidle_driver *drv)
177 {return -ENODEV; }
178 static inline struct cpuidle_driver *cpuidle_get_driver(void) {return NULL; }
179 static inline struct cpuidle_driver *cpuidle_driver_ref(void) {return NULL; }
180 static inline void cpuidle_driver_unref(void) {}
181 static inline void cpuidle_unregister_driver(struct cpuidle_driver *drv) { }
182 static inline int cpuidle_register_device(struct cpuidle_device *dev)
183 {return -ENODEV; }
184 static inline void cpuidle_unregister_device(struct cpuidle_device *dev) { }
185 static inline int cpuidle_register(struct cpuidle_driver *drv,
186                                    const struct cpumask *const coupled_cpus)
187 {return -ENODEV; }
188 static inline void cpuidle_unregister(struct cpuidle_driver *drv) { }
189 static inline void cpuidle_pause_and_lock(void) { }
190 static inline void cpuidle_resume_and_unlock(void) { }
191 static inline void cpuidle_pause(void) { }
192 static inline void cpuidle_resume(void) { }
193 static inline int cpuidle_enable_device(struct cpuidle_device *dev)
194 {return -ENODEV; }
195 static inline void cpuidle_disable_device(struct cpuidle_device *dev) { }
196 static inline int cpuidle_play_dead(void) {return -ENODEV; }
197 static inline struct cpuidle_driver *cpuidle_get_cpu_driver(
198         struct cpuidle_device *dev) {return NULL; }
199 static inline struct cpuidle_device *cpuidle_get_device(void) {return NULL; }
200 #endif
201
202 #ifdef CONFIG_CPU_IDLE
203 extern int cpuidle_find_deepest_state(struct cpuidle_driver *drv,
204                                       struct cpuidle_device *dev);
205 extern int cpuidle_enter_s2idle(struct cpuidle_driver *drv,
206                                 struct cpuidle_device *dev);
207 extern void cpuidle_use_deepest_state(bool enable);
208 #else
209 static inline int cpuidle_find_deepest_state(struct cpuidle_driver *drv,
210                                              struct cpuidle_device *dev)
211 {return -ENODEV; }
212 static inline int cpuidle_enter_s2idle(struct cpuidle_driver *drv,
213                                        struct cpuidle_device *dev)
214 {return -ENODEV; }
215 static inline void cpuidle_use_deepest_state(bool enable)
216 {
217 }
218 #endif
219
220 /* kernel/sched/idle.c */
221 extern void sched_idle_set_state(struct cpuidle_state *idle_state);
222 extern void default_idle_call(void);
223
224 #ifdef CONFIG_ARCH_NEEDS_CPU_IDLE_COUPLED
225 void cpuidle_coupled_parallel_barrier(struct cpuidle_device *dev, atomic_t *a);
226 #else
227 static inline void cpuidle_coupled_parallel_barrier(struct cpuidle_device *dev, atomic_t *a)
228 {
229 }
230 #endif
231
232 #if defined(CONFIG_CPU_IDLE) && defined(CONFIG_ARCH_HAS_CPU_RELAX)
233 void cpuidle_poll_state_init(struct cpuidle_driver *drv);
234 #else
235 static inline void cpuidle_poll_state_init(struct cpuidle_driver *drv) {}
236 #endif
237
238 /******************************
239  * CPUIDLE GOVERNOR INTERFACE *
240  ******************************/
241
242 struct cpuidle_governor {
243         char                    name[CPUIDLE_NAME_LEN];
244         struct list_head        governor_list;
245         unsigned int            rating;
246
247         int  (*enable)          (struct cpuidle_driver *drv,
248                                         struct cpuidle_device *dev);
249         void (*disable)         (struct cpuidle_driver *drv,
250                                         struct cpuidle_device *dev);
251
252         int  (*select)          (struct cpuidle_driver *drv,
253                                         struct cpuidle_device *dev,
254                                         bool *stop_tick);
255         void (*reflect)         (struct cpuidle_device *dev, int index);
256 };
257
258 #ifdef CONFIG_CPU_IDLE
259 extern int cpuidle_register_governor(struct cpuidle_governor *gov);
260 extern int cpuidle_governor_latency_req(unsigned int cpu);
261 #else
262 static inline int cpuidle_register_governor(struct cpuidle_governor *gov)
263 {return 0;}
264 #endif
265
266 #define __CPU_PM_CPU_IDLE_ENTER(low_level_idle_enter, idx, is_retention) \
267 ({                                                                      \
268         int __ret = 0;                                                  \
269                                                                         \
270         if (!idx) {                                                     \
271                 cpu_do_idle();                                          \
272                 return idx;                                             \
273         }                                                               \
274                                                                         \
275         if (!is_retention)                                              \
276                 __ret =  cpu_pm_enter();                                \
277         if (!__ret) {                                                   \
278                 __ret = low_level_idle_enter(idx);                      \
279                 if (!is_retention)                                      \
280                         cpu_pm_exit();                                  \
281         }                                                               \
282                                                                         \
283         __ret ? -1 : idx;                                               \
284 })
285
286 #define CPU_PM_CPU_IDLE_ENTER(low_level_idle_enter, idx)        \
287         __CPU_PM_CPU_IDLE_ENTER(low_level_idle_enter, idx, 0)
288
289 #define CPU_PM_CPU_IDLE_ENTER_RETENTION(low_level_idle_enter, idx)      \
290         __CPU_PM_CPU_IDLE_ENTER(low_level_idle_enter, idx, 1)
291
292 #endif /* _LINUX_CPUIDLE_H */