kernel/rcu/Kconfig

   1 # SPDX-License-Identifier: GPL-2.0-only
   2 #
   3 # RCU-related configuration options
   4 #
   5
   6 menu "RCU Subsystem"
   7
   8 config TREE_RCU
   9         bool
  10         default y if SMP
  11         # Dynticks-idle tracking
  12         select CONTEXT_TRACKING_IDLE
  13         help
  14           This option selects the RCU implementation that is
  15           designed for very large SMP system with hundreds or
  16           thousands of CPUs.  It also scales down nicely to
  17           smaller systems.
  18
  19 config PREEMPT_RCU
  20         bool
  21         default y if PREEMPTION
  22         select TREE_RCU
  23         help
  24           This option selects the RCU implementation that is
  25           designed for very large SMP systems with hundreds or
  26           thousands of CPUs, but for which real-time response
  27           is also required.  It also scales down nicely to
  28           smaller systems.
  29
  30           Select this option if you are unsure.
  31
  32 config TINY_RCU
  33         bool
  34         default y if !PREEMPT_RCU && !SMP
  35         help
  36           This option selects the RCU implementation that is
  37           designed for UP systems from which real-time response
  38           is not required.  This option greatly reduces the
  39           memory footprint of RCU.
  40
  41 config RCU_EXPERT
  42         bool "Make expert-level adjustments to RCU configuration"
  43         default n
  44         help
  45           This option needs to be enabled if you wish to make
  46           expert-level adjustments to RCU configuration.  By default,
  47           no such adjustments can be made, which has the often-beneficial
  48           side-effect of preventing "make oldconfig" from asking you all
  49           sorts of detailed questions about how you would like numerous
  50           obscure RCU options to be set up.
  51
  52           Say Y if you need to make expert-level adjustments to RCU.
  53
  54           Say N if you are unsure.
  55
  56 config TINY_SRCU
  57         bool
  58         default y if TINY_RCU
  59         help
  60           This option selects the single-CPU non-preemptible version of SRCU.
  61
  62 config TREE_SRCU
  63         bool
  64         default y if !TINY_RCU
  65         help
  66           This option selects the full-fledged version of SRCU.
  67
  68 config NEED_SRCU_NMI_SAFE
  69         def_bool HAVE_NMI && !ARCH_HAS_NMI_SAFE_THIS_CPU_OPS && !TINY_SRCU
  70
  71 config TASKS_RCU_GENERIC
  72         def_bool TASKS_RCU || TASKS_RUDE_RCU || TASKS_TRACE_RCU
  73         help
  74           This option enables generic infrastructure code supporting
  75           task-based RCU implementations.  Not for manual selection.
  76
  77 config FORCE_TASKS_RCU
  78         bool "Force selection of TASKS_RCU"
  79         depends on RCU_EXPERT
  80         select TASKS_RCU
  81         default n
  82         help
  83           This option force-enables a task-based RCU implementation
  84           that uses only voluntary context switch (not preemption!),
  85           idle, and user-mode execution as quiescent states.  Not for
  86           manual selection in most cases.
  87
  88 config NEED_TASKS_RCU
  89         bool
  90         default n
  91
  92 config TASKS_RCU
  93         bool
  94         default NEED_TASKS_RCU && (PREEMPTION || PREEMPT_AUTO)
  95         select IRQ_WORK
  96
  97 config FORCE_TASKS_RUDE_RCU
  98         bool "Force selection of Tasks Rude RCU"
  99         depends on RCU_EXPERT
 100         select TASKS_RUDE_RCU
 101         default n
 102         help
 103           This option force-enables a task-based RCU implementation
 104           that uses only context switch (including preemption) and
 105           user-mode execution as quiescent states.  It forces IPIs and
 106           context switches on all online CPUs, including idle ones,
 107           so use with caution.  Not for manual selection in most cases.
 108
 109 config TASKS_RUDE_RCU
 110         bool
 111         default n
 112         select IRQ_WORK
 113
 114 config FORCE_TASKS_TRACE_RCU
 115         bool "Force selection of Tasks Trace RCU"
 116         depends on RCU_EXPERT
 117         select TASKS_TRACE_RCU
 118         default n
 119         help
 120           This option enables a task-based RCU implementation that uses
 121           explicit rcu_read_lock_trace() read-side markers, and allows
 122           these readers to appear in the idle loop as well as on the
 123           CPU hotplug code paths.  It can force IPIs on online CPUs,
 124           including idle ones, so use with caution.  Not for manual
 125           selection in most cases.
 126
 127 config TASKS_TRACE_RCU
 128         bool
 129         default n
 130         select IRQ_WORK
 131
 132 config RCU_STALL_COMMON
 133         def_bool TREE_RCU
 134         help
 135           This option enables RCU CPU stall code that is common between
 136           the TINY and TREE variants of RCU.  The purpose is to allow
 137           the tiny variants to disable RCU CPU stall warnings, while
 138           making these warnings mandatory for the tree variants.
 139
 140 config RCU_NEED_SEGCBLIST
 141         def_bool ( TREE_RCU || TREE_SRCU || TASKS_RCU_GENERIC )
 142
 143 config RCU_FANOUT
 144         int "Tree-based hierarchical RCU fanout value"
 145         range 2 64 if 64BIT
 146         range 2 32 if !64BIT
 147         depends on TREE_RCU && RCU_EXPERT
 148         default 64 if 64BIT
 149         default 32 if !64BIT
 150         help
 151           This option controls the fanout of hierarchical implementations
 152           of RCU, allowing RCU to work efficiently on machines with
 153           large numbers of CPUs.  This value must be at least the fourth
 154           root of NR_CPUS, which allows NR_CPUS to be insanely large.
 155           The default value of RCU_FANOUT should be used for production
 156           systems, but if you are stress-testing the RCU implementation
 157           itself, small RCU_FANOUT values allow you to test large-system
 158           code paths on small(er) systems.
 159
 160           Select a specific number if testing RCU itself.
 161           Take the default if unsure.
 162
 163 config RCU_FANOUT_LEAF
 164         int "Tree-based hierarchical RCU leaf-level fanout value"
 165         range 2 64 if 64BIT && !RCU_STRICT_GRACE_PERIOD
 166         range 2 32 if !64BIT && !RCU_STRICT_GRACE_PERIOD
 167         range 2 3 if RCU_STRICT_GRACE_PERIOD
 168         depends on TREE_RCU && RCU_EXPERT
 169         default 16 if !RCU_STRICT_GRACE_PERIOD
 170         default 2 if RCU_STRICT_GRACE_PERIOD
 171         help
 172           This option controls the leaf-level fanout of hierarchical
 173           implementations of RCU, and allows trading off cache misses
 174           against lock contention.  Systems that synchronize their
 175           scheduling-clock interrupts for energy-efficiency reasons will
 176           want the default because the smaller leaf-level fanout keeps
 177           lock contention levels acceptably low.  Very large systems
 178           (hundreds or thousands of CPUs) will instead want to set this
 179           value to the maximum value possible in order to reduce the
 180           number of cache misses incurred during RCU's grace-period
 181           initialization.  These systems tend to run CPU-bound, and thus
 182           are not helped by synchronized interrupts, and thus tend to
 183           skew them, which reduces lock contention enough that large
 184           leaf-level fanouts work well.  That said, setting leaf-level
 185           fanout to a large number will likely cause problematic
 186           lock contention on the leaf-level rcu_node structures unless
 187           you boot with the skew_tick kernel parameter.
 188
 189           Select a specific number if testing RCU itself.
 190
 191           Select the maximum permissible value for large systems, but
 192           please understand that you may also need to set the skew_tick
 193           kernel boot parameter to avoid contention on the rcu_node
 194           structure's locks.
 195
 196           Take the default if unsure.
 197
 198 config RCU_BOOST
 199         bool "Enable RCU priority boosting"
 200         depends on (RT_MUTEXES && PREEMPT_RCU && RCU_EXPERT) || PREEMPT_RT
 201         default y if PREEMPT_RT
 202         help
 203           This option boosts the priority of preempted RCU readers that
 204           block the current preemptible RCU grace period for too long.
 205           This option also prevents heavy loads from blocking RCU
 206           callback invocation.
 207
 208           Say Y here if you are working with real-time apps or heavy loads
 209           Say N here if you are unsure.
 210
 211 config RCU_BOOST_DELAY
 212         int "Milliseconds to delay boosting after RCU grace-period start"
 213         range 0 3000
 214         depends on RCU_BOOST
 215         default 500
 216         help
 217           This option specifies the time to wait after the beginning of
 218           a given grace period before priority-boosting preempted RCU
 219           readers blocking that grace period.  Note that any RCU reader
 220           blocking an expedited RCU grace period is boosted immediately.
 221
 222           Accept the default if unsure.
 223
 224 config RCU_EXP_KTHREAD
 225         bool "Perform RCU expedited work in a real-time kthread"
 226         depends on RCU_BOOST && RCU_EXPERT
 227         default !PREEMPT_RT && NR_CPUS <= 32
 228         help
 229           Use this option to further reduce the latencies of expedited
 230           grace periods at the expense of being more disruptive.
 231
 232           This option is disabled by default on PREEMPT_RT=y kernels which
 233           disable expedited grace periods after boot by unconditionally
 234           setting rcupdate.rcu_normal_after_boot=1.
 235
 236           Accept the default if unsure.
 237
 238 config RCU_NOCB_CPU
 239         bool "Offload RCU callback processing from boot-selected CPUs"
 240         depends on TREE_RCU
 241         depends on RCU_EXPERT || NO_HZ_FULL
 242         default n
 243         help
 244           Use this option to reduce OS jitter for aggressive HPC or
 245           real-time workloads.  It can also be used to offload RCU
 246           callback invocation to energy-efficient CPUs in battery-powered
 247           asymmetric multiprocessors.  The price of this reduced jitter
 248           is that the overhead of call_rcu() increases and that some
 249           workloads will incur significant increases in context-switch
 250           rates.
 251
 252           This option offloads callback invocation from the set of
 253           CPUs specified at boot time by the rcu_nocbs parameter.
 254           For each such CPU, a kthread ("rcuox/N") will be created to
 255           invoke callbacks, where the "N" is the CPU being offloaded,
 256           and where the "x" is "p" for RCU-preempt (PREEMPTION kernels)
 257           and "s" for RCU-sched (!PREEMPTION kernels).  This option
 258           also creates another kthread for each sqrt(nr_cpu_ids) CPUs
 259           ("rcuog/N", where N is the first CPU in that group to come
 260           online), which handles grace periods for its group.  Nothing
 261           prevents these kthreads from running on the specified CPUs,
 262           but (1) the kthreads may be preempted between each callback,
 263           and (2) affinity or cgroups can be used to force the kthreads
 264           to run on whatever set of CPUs is desired.
 265
 266           The sqrt(nr_cpu_ids) grouping may be overridden using the
 267           rcutree.rcu_nocb_gp_stride kernel boot parameter.  This can
 268           be especially helpful for smaller numbers of CPUs, where
 269           sqrt(nr_cpu_ids) can be a bit of a blunt instrument.
 270
 271           Say Y here if you need reduced OS jitter, despite added overhead.
 272           Say N here if you are unsure.
 273
 274 config RCU_NOCB_CPU_DEFAULT_ALL
 275         bool "Offload RCU callback processing from all CPUs by default"
 276         depends on RCU_NOCB_CPU
 277         default n
 278         help
 279           Use this option to offload callback processing from all CPUs
 280           by default, in the absence of the rcu_nocbs or nohz_full boot
 281           parameter. This also avoids the need to use any boot parameters
 282           to achieve the effect of offloading all CPUs on boot.
 283
 284           Say Y here if you want offload all CPUs by default on boot.
 285           Say N here if you are unsure.
 286
 287 config RCU_NOCB_CPU_CB_BOOST
 288         bool "Offload RCU callback from real-time kthread"
 289         depends on RCU_NOCB_CPU && RCU_BOOST
 290         default y if PREEMPT_RT
 291         help
 292           Use this option to invoke offloaded callbacks as SCHED_FIFO
 293           to avoid starvation by heavy SCHED_OTHER background load.
 294           Of course, running as SCHED_FIFO during callback floods will
 295           cause the rcuo[ps] kthreads to monopolize the CPU for hundreds
 296           of milliseconds or more.  Therefore, when enabling this option,
 297           it is your responsibility to ensure that latency-sensitive
 298           tasks either run with higher priority or run on some other CPU.
 299
 300           Say Y here if you want to set RT priority for offloading kthreads.
 301           Say N here if you are building a !PREEMPT_RT kernel and are unsure.
 302
 303 config TASKS_TRACE_RCU_READ_MB
 304         bool "Tasks Trace RCU readers use memory barriers in user and idle"
 305         depends on RCU_EXPERT && TASKS_TRACE_RCU
 306         default PREEMPT_RT || NR_CPUS < 8
 307         help
 308           Use this option to further reduce the number of IPIs sent
 309           to CPUs executing in userspace or idle during tasks trace
 310           RCU grace periods.  Given that a reasonable setting of
 311           the rcupdate.rcu_task_ipi_delay kernel boot parameter
 312           eliminates such IPIs for many workloads, proper setting
 313           of this Kconfig option is important mostly for aggressive
 314           real-time installations and for battery-powered devices,
 315           hence the default chosen above.
 316
 317           Say Y here if you hate IPIs.
 318           Say N here if you hate read-side memory barriers.
 319           Take the default if you are unsure.
 320
 321 config RCU_LAZY
 322         bool "RCU callback lazy invocation functionality"
 323         depends on RCU_NOCB_CPU
 324         default n
 325         help
 326           To save power, batch RCU callbacks and flush after delay, memory
 327           pressure, or callback list growing too big.
 328
 329           Requires rcu_nocbs=all to be set.
 330
 331           Use rcutree.enable_rcu_lazy=0 to turn it off at boot time.
 332
 333 config RCU_LAZY_DEFAULT_OFF
 334         bool "Turn RCU lazy invocation off by default"
 335         depends on RCU_LAZY
 336         default n
 337         help
 338           Allows building the kernel with CONFIG_RCU_LAZY=y yet keep it default
 339           off. Boot time param rcutree.enable_rcu_lazy=1 can be used to switch
 340           it back on.
 341
 342 config RCU_DOUBLE_CHECK_CB_TIME
 343         bool "RCU callback-batch backup time check"
 344         depends on RCU_EXPERT
 345         default n
 346         help
 347           Use this option to provide more precise enforcement of the
 348           rcutree.rcu_resched_ns module parameter in situations where
 349           a single RCU callback might run for hundreds of microseconds,
 350           thus defeating the 32-callback batching used to amortize the
 351           cost of the fine-grained but expensive local_clock() function.
 352
 353           This option rounds rcutree.rcu_resched_ns up to the next
 354           jiffy, and overrides the 32-callback batching if this limit
 355           is exceeded.
 356
 357           Say Y here if you need tighter callback-limit enforcement.
 358           Say N here if you are unsure.
 359
 360 endmenu # "RCU Subsystem"