Documentation/kernel-per-CPU-kthreads.txt

   1 ==========================================
   2 Reducing OS jitter due to per-cpu kthreads
   3 ==========================================
   4
   5 This document lists per-CPU kthreads in the Linux kernel and presents
   6 options to control their OS jitter.  Note that non-per-CPU kthreads are
   7 not listed here.  To reduce OS jitter from non-per-CPU kthreads, bind
   8 them to a "housekeeping" CPU dedicated to such work.
   9
  10 References
  11 ==========
  12
  13 -       Documentation/IRQ-affinity.txt:  Binding interrupts to sets of CPUs.
  14
  15 -       Documentation/cgroup-v1:  Using cgroups to bind tasks to sets of CPUs.
  16
  17 -       man taskset:  Using the taskset command to bind tasks to sets
  18         of CPUs.
  19
  20 -       man sched_setaffinity:  Using the sched_setaffinity() system
  21         call to bind tasks to sets of CPUs.
  22
  23 -       /sys/devices/system/cpu/cpuN/online:  Control CPU N's hotplug state,
  24         writing "0" to offline and "1" to online.
  25
  26 -       In order to locate kernel-generated OS jitter on CPU N:
  27
  28                 cd /sys/kernel/debug/tracing
  29                 echo 1 > max_graph_depth # Increase the "1" for more detail
  30                 echo function_graph > current_tracer
  31                 # run workload
  32                 cat per_cpu/cpuN/trace
  33
  34 kthreads
  35 ========
  36
  37 Name:
  38   ehca_comp/%u
  39
  40 Purpose:
  41   Periodically process Infiniband-related work.
  42
  43 To reduce its OS jitter, do any of the following:
  44
  45 1.      Don't use eHCA Infiniband hardware, instead choosing hardware
  46         that does not require per-CPU kthreads.  This will prevent these
  47         kthreads from being created in the first place.  (This will
  48         work for most people, as this hardware, though important, is
  49         relatively old and is produced in relatively low unit volumes.)
  50 2.      Do all eHCA-Infiniband-related work on other CPUs, including
  51         interrupts.
  52 3.      Rework the eHCA driver so that its per-CPU kthreads are
  53         provisioned only on selected CPUs.
  54
  55
  56 Name:
  57   irq/%d-%s
  58
  59 Purpose:
  60   Handle threaded interrupts.
  61
  62 To reduce its OS jitter, do the following:
  63
  64 1.      Use irq affinity to force the irq threads to execute on
  65         some other CPU.
  66
  67 Name:
  68   kcmtpd_ctr_%d
  69
  70 Purpose:
  71   Handle Bluetooth work.
  72
  73 To reduce its OS jitter, do one of the following:
  74
  75 1.      Don't use Bluetooth, in which case these kthreads won't be
  76         created in the first place.
  77 2.      Use irq affinity to force Bluetooth-related interrupts to
  78         occur on some other CPU and furthermore initiate all
  79         Bluetooth activity on some other CPU.
  80
  81 Name:
  82   ksoftirqd/%u
  83
  84 Purpose:
  85   Execute softirq handlers when threaded or when under heavy load.
  86
  87 To reduce its OS jitter, each softirq vector must be handled
  88 separately as follows:
  89
  90 TIMER_SOFTIRQ
  91 -------------
  92
  93 Do all of the following:
  94
  95 1.      To the extent possible, keep the CPU out of the kernel when it
  96         is non-idle, for example, by avoiding system calls and by forcing
  97         both kernel threads and interrupts to execute elsewhere.
  98 2.      Build with CONFIG_HOTPLUG_CPU=y.  After boot completes, force
  99         the CPU offline, then bring it back online.  This forces
 100         recurring timers to migrate elsewhere.  If you are concerned
 101         with multiple CPUs, force them all offline before bringing the
 102         first one back online.  Once you have onlined the CPUs in question,
 103         do not offline any other CPUs, because doing so could force the
 104         timer back onto one of the CPUs in question.
 105
 106 NET_TX_SOFTIRQ and NET_RX_SOFTIRQ
 107 ---------------------------------
 108
 109 Do all of the following:
 110
 111 1.      Force networking interrupts onto other CPUs.
 112 2.      Initiate any network I/O on other CPUs.
 113 3.      Once your application has started, prevent CPU-hotplug operations
 114         from being initiated from tasks that might run on the CPU to
 115         be de-jittered.  (It is OK to force this CPU offline and then
 116         bring it back online before you start your application.)
 117
 118 BLOCK_SOFTIRQ
 119 -------------
 120
 121 Do all of the following:
 122
 123 1.      Force block-device interrupts onto some other CPU.
 124 2.      Initiate any block I/O on other CPUs.
 125 3.      Once your application has started, prevent CPU-hotplug operations
 126         from being initiated from tasks that might run on the CPU to
 127         be de-jittered.  (It is OK to force this CPU offline and then
 128         bring it back online before you start your application.)
 129
 130 IRQ_POLL_SOFTIRQ
 131 ----------------
 132
 133 Do all of the following:
 134
 135 1.      Force block-device interrupts onto some other CPU.
 136 2.      Initiate any block I/O and block-I/O polling on other CPUs.
 137 3.      Once your application has started, prevent CPU-hotplug operations
 138         from being initiated from tasks that might run on the CPU to
 139         be de-jittered.  (It is OK to force this CPU offline and then
 140         bring it back online before you start your application.)
 141
 142 TASKLET_SOFTIRQ
 143 ---------------
 144
 145 Do one or more of the following:
 146
 147 1.      Avoid use of drivers that use tasklets.  (Such drivers will contain
 148         calls to things like tasklet_schedule().)
 149 2.      Convert all drivers that you must use from tasklets to workqueues.
 150 3.      Force interrupts for drivers using tasklets onto other CPUs,
 151         and also do I/O involving these drivers on other CPUs.
 152
 153 SCHED_SOFTIRQ
 154 -------------
 155
 156 Do all of the following:
 157
 158 1.      Avoid sending scheduler IPIs to the CPU to be de-jittered,
 159         for example, ensure that at most one runnable kthread is present
 160         on that CPU.  If a thread that expects to run on the de-jittered
 161         CPU awakens, the scheduler will send an IPI that can result in
 162         a subsequent SCHED_SOFTIRQ.
 163 2.      CONFIG_NO_HZ_FULL=y and ensure that the CPU to be de-jittered
 164         is marked as an adaptive-ticks CPU using the "nohz_full="
 165         boot parameter.  This reduces the number of scheduler-clock
 166         interrupts that the de-jittered CPU receives, minimizing its
 167         chances of being selected to do the load balancing work that
 168         runs in SCHED_SOFTIRQ context.
 169 3.      To the extent possible, keep the CPU out of the kernel when it
 170         is non-idle, for example, by avoiding system calls and by
 171         forcing both kernel threads and interrupts to execute elsewhere.
 172         This further reduces the number of scheduler-clock interrupts
 173         received by the de-jittered CPU.
 174
 175 HRTIMER_SOFTIRQ
 176 ---------------
 177
 178 Do all of the following:
 179
 180 1.      To the extent possible, keep the CPU out of the kernel when it
 181         is non-idle.  For example, avoid system calls and force both
 182         kernel threads and interrupts to execute elsewhere.
 183 2.      Build with CONFIG_HOTPLUG_CPU=y.  Once boot completes, force the
 184         CPU offline, then bring it back online.  This forces recurring
 185         timers to migrate elsewhere.  If you are concerned with multiple
 186         CPUs, force them all offline before bringing the first one
 187         back online.  Once you have onlined the CPUs in question, do not
 188         offline any other CPUs, because doing so could force the timer
 189         back onto one of the CPUs in question.
 190
 191 RCU_SOFTIRQ
 192 -----------
 193
 194 Do at least one of the following:
 195
 196 1.      Offload callbacks and keep the CPU in either dyntick-idle or
 197         adaptive-ticks state by doing all of the following:
 198
 199         a.      CONFIG_NO_HZ_FULL=y and ensure that the CPU to be
 200                 de-jittered is marked as an adaptive-ticks CPU using the
 201                 "nohz_full=" boot parameter.  Bind the rcuo kthreads to
 202                 housekeeping CPUs, which can tolerate OS jitter.
 203         b.      To the extent possible, keep the CPU out of the kernel
 204                 when it is non-idle, for example, by avoiding system
 205                 calls and by forcing both kernel threads and interrupts
 206                 to execute elsewhere.
 207
 208 2.      Enable RCU to do its processing remotely via dyntick-idle by
 209         doing all of the following:
 210
 211         a.      Build with CONFIG_NO_HZ=y and CONFIG_RCU_FAST_NO_HZ=y.
 212         b.      Ensure that the CPU goes idle frequently, allowing other
 213                 CPUs to detect that it has passed through an RCU quiescent
 214                 state.  If the kernel is built with CONFIG_NO_HZ_FULL=y,
 215                 userspace execution also allows other CPUs to detect that
 216                 the CPU in question has passed through a quiescent state.
 217         c.      To the extent possible, keep the CPU out of the kernel
 218                 when it is non-idle, for example, by avoiding system
 219                 calls and by forcing both kernel threads and interrupts
 220                 to execute elsewhere.
 221
 222 Name:
 223   kworker/%u:%d%s (cpu, id, priority)
 224
 225 Purpose:
 226   Execute workqueue requests
 227
 228 To reduce its OS jitter, do any of the following:
 229
 230 1.      Run your workload at a real-time priority, which will allow
 231         preempting the kworker daemons.
 232 2.      A given workqueue can be made visible in the sysfs filesystem
 233         by passing the WQ_SYSFS to that workqueue's alloc_workqueue().
 234         Such a workqueue can be confined to a given subset of the
 235         CPUs using the ``/sys/devices/virtual/workqueue/*/cpumask`` sysfs
 236         files.  The set of WQ_SYSFS workqueues can be displayed using
 237         "ls sys/devices/virtual/workqueue".  That said, the workqueues
 238         maintainer would like to caution people against indiscriminately
 239         sprinkling WQ_SYSFS across all the workqueues.  The reason for
 240         caution is that it is easy to add WQ_SYSFS, but because sysfs is
 241         part of the formal user/kernel API, it can be nearly impossible
 242         to remove it, even if its addition was a mistake.
 243 3.      Do any of the following needed to avoid jitter that your
 244         application cannot tolerate:
 245
 246         a.      Build your kernel with CONFIG_SLUB=y rather than
 247                 CONFIG_SLAB=y, thus avoiding the slab allocator's periodic
 248                 use of each CPU's workqueues to run its cache_reap()
 249                 function.
 250         b.      Avoid using oprofile, thus avoiding OS jitter from
 251                 wq_sync_buffer().
 252         c.      Limit your CPU frequency so that a CPU-frequency
 253                 governor is not required, possibly enlisting the aid of
 254                 special heatsinks or other cooling technologies.  If done
 255                 correctly, and if you CPU architecture permits, you should
 256                 be able to build your kernel with CONFIG_CPU_FREQ=n to
 257                 avoid the CPU-frequency governor periodically running
 258                 on each CPU, including cs_dbs_timer() and od_dbs_timer().
 259
 260                 WARNING:  Please check your CPU specifications to
 261                 make sure that this is safe on your particular system.
 262         d.      As of v3.18, Christoph Lameter's on-demand vmstat workers
 263                 commit prevents OS jitter due to vmstat_update() on
 264                 CONFIG_SMP=y systems.  Before v3.18, is not possible
 265                 to entirely get rid of the OS jitter, but you can
 266                 decrease its frequency by writing a large value to
 267                 /proc/sys/vm/stat_interval.  The default value is HZ,
 268                 for an interval of one second.  Of course, larger values
 269                 will make your virtual-memory statistics update more
 270                 slowly.  Of course, you can also run your workload at
 271                 a real-time priority, thus preempting vmstat_update(),
 272                 but if your workload is CPU-bound, this is a bad idea.
 273                 However, there is an RFC patch from Christoph Lameter
 274                 (based on an earlier one from Gilad Ben-Yossef) that
 275                 reduces or even eliminates vmstat overhead for some
 276                 workloads at https://lkml.org/lkml/2013/9/4/379.
 277         e.      Boot with "elevator=noop" to avoid workqueue use by
 278                 the block layer.
 279         f.      If running on high-end powerpc servers, build with
 280                 CONFIG_PPC_RTAS_DAEMON=n.  This prevents the RTAS
 281                 daemon from running on each CPU every second or so.
 282                 (This will require editing Kconfig files and will defeat
 283                 this platform's RAS functionality.)  This avoids jitter
 284                 due to the rtas_event_scan() function.
 285                 WARNING:  Please check your CPU specifications to
 286                 make sure that this is safe on your particular system.
 287         g.      If running on Cell Processor, build your kernel with
 288                 CBE_CPUFREQ_SPU_GOVERNOR=n to avoid OS jitter from
 289                 spu_gov_work().
 290                 WARNING:  Please check your CPU specifications to
 291                 make sure that this is safe on your particular system.
 292         h.      If running on PowerMAC, build your kernel with
 293                 CONFIG_PMAC_RACKMETER=n to disable the CPU-meter,
 294                 avoiding OS jitter from rackmeter_do_timer().
 295
 296 Name:
 297   rcuc/%u
 298
 299 Purpose:
 300   Execute RCU callbacks in CONFIG_RCU_BOOST=y kernels.
 301
 302 To reduce its OS jitter, do at least one of the following:
 303
 304 1.      Build the kernel with CONFIG_PREEMPT=n.  This prevents these
 305         kthreads from being created in the first place, and also obviates
 306         the need for RCU priority boosting.  This approach is feasible
 307         for workloads that do not require high degrees of responsiveness.
 308 2.      Build the kernel with CONFIG_RCU_BOOST=n.  This prevents these
 309         kthreads from being created in the first place.  This approach
 310         is feasible only if your workload never requires RCU priority
 311         boosting, for example, if you ensure frequent idle time on all
 312         CPUs that might execute within the kernel.
 313 3.      Build with CONFIG_RCU_NOCB_CPU=y and boot with the rcu_nocbs=
 314         boot parameter offloading RCU callbacks from all CPUs susceptible
 315         to OS jitter.  This approach prevents the rcuc/%u kthreads from
 316         having any work to do, so that they are never awakened.
 317 4.      Ensure that the CPU never enters the kernel, and, in particular,
 318         avoid initiating any CPU hotplug operations on this CPU.  This is
 319         another way of preventing any callbacks from being queued on the
 320         CPU, again preventing the rcuc/%u kthreads from having any work
 321         to do.
 322
 323 Name:
 324   rcuob/%d, rcuop/%d, and rcuos/%d
 325
 326 Purpose:
 327   Offload RCU callbacks from the corresponding CPU.
 328
 329 To reduce its OS jitter, do at least one of the following:
 330
 331 1.      Use affinity, cgroups, or other mechanism to force these kthreads
 332         to execute on some other CPU.
 333 2.      Build with CONFIG_RCU_NOCB_CPU=n, which will prevent these
 334         kthreads from being created in the first place.  However, please
 335         note that this will not eliminate OS jitter, but will instead
 336         shift it to RCU_SOFTIRQ.
 337
 338 Name:
 339   watchdog/%u
 340
 341 Purpose:
 342   Detect software lockups on each CPU.
 343
 344 To reduce its OS jitter, do at least one of the following:
 345
 346 1.      Build with CONFIG_LOCKUP_DETECTOR=n, which will prevent these
 347         kthreads from being created in the first place.
 348 2.      Boot with "nosoftlockup=0", which will also prevent these kthreads
 349         from being created.  Other related watchdog and softlockup boot
 350         parameters may be found in Documentation/admin-guide/kernel-parameters.rst
 351         and Documentation/watchdog/watchdog-parameters.txt.
 352 3.      Echo a zero to /proc/sys/kernel/watchdog to disable the
 353         watchdog timer.
 354 4.      Echo a large number of /proc/sys/kernel/watchdog_thresh in
 355         order to reduce the frequency of OS jitter due to the watchdog
 356         timer down to a level that is acceptable for your workload.