Documentation/dev-tools/kmemleak.rst

   1 Kernel Memory Leak Detector
   2 ===========================
   3
   4 Kmemleak provides a way of detecting possible kernel memory leaks in a
   5 way similar to a `tracing garbage collector
   6 <https://en.wikipedia.org/wiki/Tracing_garbage_collection>`_,
   7 with the difference that the orphan objects are not freed but only
   8 reported via /sys/kernel/debug/kmemleak. A similar method is used by the
   9 Valgrind tool (``memcheck --leak-check``) to detect the memory leaks in
  10 user-space applications.
  11 Kmemleak is supported on x86, arm, powerpc, sparc, sh, microblaze, ppc, mips, s390 and tile.
  12
  13 Usage
  14 -----
  15
  16 CONFIG_DEBUG_KMEMLEAK in "Kernel hacking" has to be enabled. A kernel
  17 thread scans the memory every 10 minutes (by default) and prints the
  18 number of new unreferenced objects found. If the ``debugfs`` isn't already
  19 mounted, mount with::
  20
  21   # mount -t debugfs nodev /sys/kernel/debug/
  22
  23 To display the details of all the possible scanned memory leaks::
  24
  25   # cat /sys/kernel/debug/kmemleak
  26
  27 To trigger an intermediate memory scan::
  28
  29   # echo scan > /sys/kernel/debug/kmemleak
  30
  31 To clear the list of all current possible memory leaks::
  32
  33   # echo clear > /sys/kernel/debug/kmemleak
  34
  35 New leaks will then come up upon reading ``/sys/kernel/debug/kmemleak``
  36 again.
  37
  38 Note that the orphan objects are listed in the order they were allocated
  39 and one object at the beginning of the list may cause other subsequent
  40 objects to be reported as orphan.
  41
  42 Memory scanning parameters can be modified at run-time by writing to the
  43 ``/sys/kernel/debug/kmemleak`` file. The following parameters are supported:
  44
  45 - off
  46     disable kmemleak (irreversible)
  47 - stack=on
  48     enable the task stacks scanning (default)
  49 - stack=off
  50     disable the tasks stacks scanning
  51 - scan=on
  52     start the automatic memory scanning thread (default)
  53 - scan=off
  54     stop the automatic memory scanning thread
  55 - scan=<secs>
  56     set the automatic memory scanning period in seconds
  57     (default 600, 0 to stop the automatic scanning)
  58 - scan
  59     trigger a memory scan
  60 - clear
  61     clear list of current memory leak suspects, done by
  62     marking all current reported unreferenced objects grey,
  63     or free all kmemleak objects if kmemleak has been disabled.
  64 - dump=<addr>
  65     dump information about the object found at <addr>
  66
  67 Kmemleak can also be disabled at boot-time by passing ``kmemleak=off`` on
  68 the kernel command line.
  69
  70 Memory may be allocated or freed before kmemleak is initialised and
  71 these actions are stored in an early log buffer. The size of this buffer
  72 is configured via the CONFIG_DEBUG_KMEMLEAK_MEM_POOL_SIZE option.
  73
  74 If CONFIG_DEBUG_KMEMLEAK_DEFAULT_OFF are enabled, the kmemleak is
  75 disabled by default. Passing ``kmemleak=on`` on the kernel command
  76 line enables the function.
  77
  78 If you are getting errors like "Error while writing to stdout" or "write_loop:
  79 Invalid argument", make sure kmemleak is properly enabled.
  80
  81 Basic Algorithm
  82 ---------------
  83
  84 The memory allocations via :c:func:`kmalloc`, :c:func:`vmalloc`,
  85 :c:func:`kmem_cache_alloc` and
  86 friends are traced and the pointers, together with additional
  87 information like size and stack trace, are stored in a rbtree.
  88 The corresponding freeing function calls are tracked and the pointers
  89 removed from the kmemleak data structures.
  90
  91 An allocated block of memory is considered orphan if no pointer to its
  92 start address or to any location inside the block can be found by
  93 scanning the memory (including saved registers). This means that there
  94 might be no way for the kernel to pass the address of the allocated
  95 block to a freeing function and therefore the block is considered a
  96 memory leak.
  97
  98 The scanning algorithm steps:
  99
 100   1. mark all objects as white (remaining white objects will later be
 101      considered orphan)
 102   2. scan the memory starting with the data section and stacks, checking
 103      the values against the addresses stored in the rbtree. If
 104      a pointer to a white object is found, the object is added to the
 105      gray list
 106   3. scan the gray objects for matching addresses (some white objects
 107      can become gray and added at the end of the gray list) until the
 108      gray set is finished
 109   4. the remaining white objects are considered orphan and reported via
 110      /sys/kernel/debug/kmemleak
 111
 112 Some allocated memory blocks have pointers stored in the kernel's
 113 internal data structures and they cannot be detected as orphans. To
 114 avoid this, kmemleak can also store the number of values pointing to an
 115 address inside the block address range that need to be found so that the
 116 block is not considered a leak. One example is __vmalloc().
 117
 118 Testing specific sections with kmemleak
 119 ---------------------------------------
 120
 121 Upon initial bootup your /sys/kernel/debug/kmemleak output page may be
 122 quite extensive. This can also be the case if you have very buggy code
 123 when doing development. To work around these situations you can use the
 124 'clear' command to clear all reported unreferenced objects from the
 125 /sys/kernel/debug/kmemleak output. By issuing a 'scan' after a 'clear'
 126 you can find new unreferenced objects; this should help with testing
 127 specific sections of code.
 128
 129 To test a critical section on demand with a clean kmemleak do::
 130
 131   # echo clear > /sys/kernel/debug/kmemleak
 132   ... test your kernel or modules ...
 133   # echo scan > /sys/kernel/debug/kmemleak
 134
 135 Then as usual to get your report with::
 136
 137   # cat /sys/kernel/debug/kmemleak
 138
 139 Freeing kmemleak internal objects
 140 ---------------------------------
 141
 142 To allow access to previously found memory leaks after kmemleak has been
 143 disabled by the user or due to an fatal error, internal kmemleak objects
 144 won't be freed when kmemleak is disabled, and those objects may occupy
 145 a large part of physical memory.
 146
 147 In this situation, you may reclaim memory with::
 148
 149   # echo clear > /sys/kernel/debug/kmemleak
 150
 151 Kmemleak API
 152 ------------
 153
 154 See the include/linux/kmemleak.h header for the functions prototype.
 155
 156 - ``kmemleak_init``              - initialize kmemleak
 157 - ``kmemleak_alloc``             - notify of a memory block allocation
 158 - ``kmemleak_alloc_percpu``      - notify of a percpu memory block allocation
 159 - ``kmemleak_vmalloc``           - notify of a vmalloc() memory allocation
 160 - ``kmemleak_free``              - notify of a memory block freeing
 161 - ``kmemleak_free_part``         - notify of a partial memory block freeing
 162 - ``kmemleak_free_percpu``       - notify of a percpu memory block freeing
 163 - ``kmemleak_update_trace``      - update object allocation stack trace
 164 - ``kmemleak_not_leak``  - mark an object as not a leak
 165 - ``kmemleak_ignore``            - do not scan or report an object as leak
 166 - ``kmemleak_scan_area``         - add scan areas inside a memory block
 167 - ``kmemleak_no_scan``   - do not scan a memory block
 168 - ``kmemleak_erase``             - erase an old value in a pointer variable
 169 - ``kmemleak_alloc_recursive`` - as kmemleak_alloc but checks the recursiveness
 170 - ``kmemleak_free_recursive``    - as kmemleak_free but checks the recursiveness
 171
 172 The following functions take a physical address as the object pointer
 173 and only perform the corresponding action if the address has a lowmem
 174 mapping:
 175
 176 - ``kmemleak_alloc_phys``
 177 - ``kmemleak_free_part_phys``
 178 - ``kmemleak_not_leak_phys``
 179 - ``kmemleak_ignore_phys``
 180
 181 Dealing with false positives/negatives
 182 --------------------------------------
 183
 184 The false negatives are real memory leaks (orphan objects) but not
 185 reported by kmemleak because values found during the memory scanning
 186 point to such objects. To reduce the number of false negatives, kmemleak
 187 provides the kmemleak_ignore, kmemleak_scan_area, kmemleak_no_scan and
 188 kmemleak_erase functions (see above). The task stacks also increase the
 189 amount of false negatives and their scanning is not enabled by default.
 190
 191 The false positives are objects wrongly reported as being memory leaks
 192 (orphan). For objects known not to be leaks, kmemleak provides the
 193 kmemleak_not_leak function. The kmemleak_ignore could also be used if
 194 the memory block is known not to contain other pointers and it will no
 195 longer be scanned.
 196
 197 Some of the reported leaks are only transient, especially on SMP
 198 systems, because of pointers temporarily stored in CPU registers or
 199 stacks. Kmemleak defines MSECS_MIN_AGE (defaulting to 1000) representing
 200 the minimum age of an object to be reported as a memory leak.
 201
 202 Limitations and Drawbacks
 203 -------------------------
 204
 205 The main drawback is the reduced performance of memory allocation and
 206 freeing. To avoid other penalties, the memory scanning is only performed
 207 when the /sys/kernel/debug/kmemleak file is read. Anyway, this tool is
 208 intended for debugging purposes where the performance might not be the
 209 most important requirement.
 210
 211 To keep the algorithm simple, kmemleak scans for values pointing to any
 212 address inside a block's address range. This may lead to an increased
 213 number of false negatives. However, it is likely that a real memory leak
 214 will eventually become visible.
 215
 216 Another source of false negatives is the data stored in non-pointer
 217 values. In a future version, kmemleak could only scan the pointer
 218 members in the allocated structures. This feature would solve many of
 219 the false negative cases described above.
 220
 221 The tool can report false positives. These are cases where an allocated
 222 block doesn't need to be freed (some cases in the init_call functions),
 223 the pointer is calculated by other methods than the usual container_of
 224 macro or the pointer is stored in a location not scanned by kmemleak.
 225
 226 Page allocations and ioremap are not tracked.
 227
 228 Testing with kmemleak-test
 229 --------------------------
 230
 231 To check if you have all set up to use kmemleak, you can use the kmemleak-test
 232 module, a module that deliberately leaks memory. Set CONFIG_DEBUG_KMEMLEAK_TEST
 233 as module (it can't be used as bult-in) and boot the kernel with kmemleak
 234 enabled. Load the module and perform a scan with::
 235
 236         # modprobe kmemleak-test
 237         # echo scan > /sys/kernel/debug/kmemleak
 238
 239 Note that the you may not get results instantly or on the first scanning. When
 240 kmemleak gets results, it'll log ``kmemleak: <count of leaks> new suspected
 241 memory leaks``. Then read the file to see then::
 242
 243         # cat /sys/kernel/debug/kmemleak
 244         unreferenced object 0xffff89862ca702e8 (size 32):
 245           comm "modprobe", pid 2088, jiffies 4294680594 (age 375.486s)
 246           hex dump (first 32 bytes):
 247             6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b  kkkkkkkkkkkkkkkk
 248             6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b 6b a5  kkkkkkkkkkkkkkk.
 249           backtrace:
 250             [<00000000e0a73ec7>] 0xffffffffc01d2036
 251             [<000000000c5d2a46>] do_one_initcall+0x41/0x1df
 252             [<0000000046db7e0a>] do_init_module+0x55/0x200
 253             [<00000000542b9814>] load_module+0x203c/0x2480
 254             [<00000000c2850256>] __do_sys_finit_module+0xba/0xe0
 255             [<000000006564e7ef>] do_syscall_64+0x43/0x110
 256             [<000000007c873fa6>] entry_SYSCALL_64_after_hwframe+0x44/0xa9
 257         ...
 258
 259 Removing the module with ``rmmod kmemleak_test`` should also trigger some
 260 kmemleak results.