arch/x86/kernel/relocate_kernel_32.S

   1 /*
   2  * relocate_kernel.S - put the kernel image in place to boot
   3  * Copyright (C) 2002-2004 Eric Biederman  <ebiederm@xmission.com>
   4  *
   5  * This source code is licensed under the GNU General Public License,
   6  * Version 2.  See the file COPYING for more details.
   7  */
   8
   9 #include <linux/linkage.h>
  10 #include <asm/page.h>
  11 #include <asm/kexec.h>
  12 #include <asm/processor-flags.h>
  13 #include <asm/pgtable.h>
  14
  15 /*
  16  * Must be relocatable PIC code callable as a C function
  17  */
  18
  19 #define PTR(x) (x << 2)
  20 #define PAGE_ATTR (_PAGE_PRESENT | _PAGE_RW | _PAGE_ACCESSED | _PAGE_DIRTY)
  21 #define PAE_PGD_ATTR (_PAGE_PRESENT)
  22
  23 /* control_page + KEXEC_CONTROL_CODE_MAX_SIZE
  24  * ~ control_page + PAGE_SIZE are used as data storage and stack for
  25  * jumping back
  26  */
  27 #define DATA(offset)            (KEXEC_CONTROL_CODE_MAX_SIZE+(offset))
  28
  29 /* Minimal CPU state */
  30 #define ESP                     DATA(0x0)
  31 #define CR0                     DATA(0x4)
  32 #define CR3                     DATA(0x8)
  33 #define CR4                     DATA(0xc)
  34
  35 /* other data */
  36 #define CP_VA_CONTROL_PAGE      DATA(0x10)
  37 #define CP_PA_PGD               DATA(0x14)
  38 #define CP_PA_SWAP_PAGE         DATA(0x18)
  39 #define CP_PA_BACKUP_PAGES_MAP  DATA(0x1c)
  40
  41         .text
  42         .align PAGE_SIZE
  43         .globl relocate_kernel
  44 relocate_kernel:
  45         /* Save the CPU context, used for jumping back */
  46
  47         pushl   %ebx
  48         pushl   %esi
  49         pushl   %edi
  50         pushl   %ebp
  51         pushf
  52
  53         movl    20+8(%esp), %ebp /* list of pages */
  54         movl    PTR(VA_CONTROL_PAGE)(%ebp), %edi
  55         movl    %esp, ESP(%edi)
  56         movl    %cr0, %eax
  57         movl    %eax, CR0(%edi)
  58         movl    %cr3, %eax
  59         movl    %eax, CR3(%edi)
  60         movl    %cr4, %eax
  61         movl    %eax, CR4(%edi)
  62
  63 #ifdef CONFIG_X86_PAE
  64         /* map the control page at its virtual address */
  65
  66         movl    PTR(VA_PGD)(%ebp), %edi
  67         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
  68         andl    $0xc0000000, %eax
  69         shrl    $27, %eax
  70         addl    %edi, %eax
  71
  72         movl    PTR(PA_PMD_0)(%ebp), %edx
  73         orl     $PAE_PGD_ATTR, %edx
  74         movl    %edx, (%eax)
  75
  76         movl    PTR(VA_PMD_0)(%ebp), %edi
  77         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
  78         andl    $0x3fe00000, %eax
  79         shrl    $18, %eax
  80         addl    %edi, %eax
  81
  82         movl    PTR(PA_PTE_0)(%ebp), %edx
  83         orl     $PAGE_ATTR, %edx
  84         movl    %edx, (%eax)
  85
  86         movl    PTR(VA_PTE_0)(%ebp), %edi
  87         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
  88         andl    $0x001ff000, %eax
  89         shrl    $9, %eax
  90         addl    %edi, %eax
  91
  92         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
  93         orl     $PAGE_ATTR, %edx
  94         movl    %edx, (%eax)
  95
  96         /* identity map the control page at its physical address */
  97
  98         movl    PTR(VA_PGD)(%ebp), %edi
  99         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
 100         andl    $0xc0000000, %eax
 101         shrl    $27, %eax
 102         addl    %edi, %eax
 103
 104         movl    PTR(PA_PMD_1)(%ebp), %edx
 105         orl     $PAE_PGD_ATTR, %edx
 106         movl    %edx, (%eax)
 107
 108         movl    PTR(VA_PMD_1)(%ebp), %edi
 109         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
 110         andl    $0x3fe00000, %eax
 111         shrl    $18, %eax
 112         addl    %edi, %eax
 113
 114         movl    PTR(PA_PTE_1)(%ebp), %edx
 115         orl     $PAGE_ATTR, %edx
 116         movl    %edx, (%eax)
 117
 118         movl    PTR(VA_PTE_1)(%ebp), %edi
 119         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
 120         andl    $0x001ff000, %eax
 121         shrl    $9, %eax
 122         addl    %edi, %eax
 123
 124         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
 125         orl     $PAGE_ATTR, %edx
 126         movl    %edx, (%eax)
 127 #else
 128         /* map the control page at its virtual address */
 129
 130         movl    PTR(VA_PGD)(%ebp), %edi
 131         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
 132         andl    $0xffc00000, %eax
 133         shrl    $20, %eax
 134         addl    %edi, %eax
 135
 136         movl    PTR(PA_PTE_0)(%ebp), %edx
 137         orl     $PAGE_ATTR, %edx
 138         movl    %edx, (%eax)
 139
 140         movl    PTR(VA_PTE_0)(%ebp), %edi
 141         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
 142         andl    $0x003ff000, %eax
 143         shrl    $10, %eax
 144         addl    %edi, %eax
 145
 146         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
 147         orl     $PAGE_ATTR, %edx
 148         movl    %edx, (%eax)
 149
 150         /* identity map the control page at its physical address */
 151
 152         movl    PTR(VA_PGD)(%ebp), %edi
 153         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
 154         andl    $0xffc00000, %eax
 155         shrl    $20, %eax
 156         addl    %edi, %eax
 157
 158         movl    PTR(PA_PTE_1)(%ebp), %edx
 159         orl     $PAGE_ATTR, %edx
 160         movl    %edx, (%eax)
 161
 162         movl    PTR(VA_PTE_1)(%ebp), %edi
 163         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
 164         andl    $0x003ff000, %eax
 165         shrl    $10, %eax
 166         addl    %edi, %eax
 167
 168         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
 169         orl     $PAGE_ATTR, %edx
 170         movl    %edx, (%eax)
 171 #endif
 172
 173 relocate_new_kernel:
 174         /* read the arguments and say goodbye to the stack */
 175         movl  20+4(%esp), %ebx /* page_list */
 176         movl  20+8(%esp), %ebp /* list of pages */
 177         movl  20+12(%esp), %edx /* start address */
 178         movl  20+16(%esp), %ecx /* cpu_has_pae */
 179         movl  20+20(%esp), %esi /* preserve_context */
 180
 181         /* zero out flags, and disable interrupts */
 182         pushl $0
 183         popfl
 184
 185         /* save some information for jumping back */
 186         movl    PTR(VA_CONTROL_PAGE)(%ebp), %edi
 187         movl    %edi, CP_VA_CONTROL_PAGE(%edi)
 188         movl    PTR(PA_PGD)(%ebp), %eax
 189         movl    %eax, CP_PA_PGD(%edi)
 190         movl    PTR(PA_SWAP_PAGE)(%ebp), %eax
 191         movl    %eax, CP_PA_SWAP_PAGE(%edi)
 192         movl    %ebx, CP_PA_BACKUP_PAGES_MAP(%edi)
 193
 194         /* get physical address of control page now */
 195         /* this is impossible after page table switch */
 196         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edi
 197
 198         /* switch to new set of page tables */
 199         movl    PTR(PA_PGD)(%ebp), %eax
 200         movl    %eax, %cr3
 201
 202         /* setup a new stack at the end of the physical control page */
 203         lea     PAGE_SIZE(%edi), %esp
 204
 205         /* jump to identity mapped page */
 206         movl    %edi, %eax
 207         addl    $(identity_mapped - relocate_kernel), %eax
 208         pushl   %eax
 209         ret
 210
 211 identity_mapped:
 212         /* store the start address on the stack */
 213         pushl   %edx
 214
 215         /* Set cr0 to a known state:
 216          *  - Paging disabled
 217          *  - Alignment check disabled
 218          *  - Write protect disabled
 219          *  - No task switch
 220          *  - Don't do FP software emulation.
 221          *  - Proctected mode enabled
 222          */
 223         movl    %cr0, %eax
 224         andl    $~(X86_CR0_PG | X86_CR0_AM | X86_CR0_WP | X86_CR0_TS | X86_CR0_EM), %eax
 225         orl     $(X86_CR0_PE), %eax
 226         movl    %eax, %cr0
 227
 228         /* clear cr4 if applicable */
 229         testl   %ecx, %ecx
 230         jz      1f
 231         /* Set cr4 to a known state:
 232          * Setting everything to zero seems safe.
 233          */
 234         xorl    %eax, %eax
 235         movl    %eax, %cr4
 236
 237         jmp 1f
 238 1:
 239
 240         /* Flush the TLB (needed?) */
 241         xorl    %eax, %eax
 242         movl    %eax, %cr3
 243
 244         movl    CP_PA_SWAP_PAGE(%edi), %eax
 245         pushl   %eax
 246         pushl   %ebx
 247         call    swap_pages
 248         addl    $8, %esp
 249
 250         /* To be certain of avoiding problems with self-modifying code
 251          * I need to execute a serializing instruction here.
 252          * So I flush the TLB, it's handy, and not processor dependent.
 253          */
 254         xorl    %eax, %eax
 255         movl    %eax, %cr3
 256
 257         /* set all of the registers to known values */
 258         /* leave %esp alone */
 259
 260         testl   %esi, %esi
 261         jnz 1f
 262         xorl    %edi, %edi
 263         xorl    %eax, %eax
 264         xorl    %ebx, %ebx
 265         xorl    %ecx, %ecx
 266         xorl    %edx, %edx
 267         xorl    %esi, %esi
 268         xorl    %ebp, %ebp
 269         ret
 270 1:
 271         popl    %edx
 272         movl    CP_PA_SWAP_PAGE(%edi), %esp
 273         addl    $PAGE_SIZE, %esp
 274 2:
 275         call    *%edx
 276
 277         /* get the re-entry point of the peer system */
 278         movl    0(%esp), %ebp
 279         call    1f
 280 1:
 281         popl    %ebx
 282         subl    $(1b - relocate_kernel), %ebx
 283         movl    CP_VA_CONTROL_PAGE(%ebx), %edi
 284         lea     PAGE_SIZE(%ebx), %esp
 285         movl    CP_PA_SWAP_PAGE(%ebx), %eax
 286         movl    CP_PA_BACKUP_PAGES_MAP(%ebx), %edx
 287         pushl   %eax
 288         pushl   %edx
 289         call    swap_pages
 290         addl    $8, %esp
 291         movl    CP_PA_PGD(%ebx), %eax
 292         movl    %eax, %cr3
 293         movl    %cr0, %eax
 294         orl     $(1<<31), %eax
 295         movl    %eax, %cr0
 296         lea     PAGE_SIZE(%edi), %esp
 297         movl    %edi, %eax
 298         addl    $(virtual_mapped - relocate_kernel), %eax
 299         pushl   %eax
 300         ret
 301
 302 virtual_mapped:
 303         movl    CR4(%edi), %eax
 304         movl    %eax, %cr4
 305         movl    CR3(%edi), %eax
 306         movl    %eax, %cr3
 307         movl    CR0(%edi), %eax
 308         movl    %eax, %cr0
 309         movl    ESP(%edi), %esp
 310         movl    %ebp, %eax
 311
 312         popf
 313         popl    %ebp
 314         popl    %edi
 315         popl    %esi
 316         popl    %ebx
 317         ret
 318
 319         /* Do the copies */
 320 swap_pages:
 321         movl    8(%esp), %edx
 322         movl    4(%esp), %ecx
 323         pushl   %ebp
 324         pushl   %ebx
 325         pushl   %edi
 326         pushl   %esi
 327         movl    %ecx, %ebx
 328         jmp     1f
 329
 330 0:      /* top, read another word from the indirection page */
 331         movl    (%ebx), %ecx
 332         addl    $4, %ebx
 333 1:
 334         testl   $0x1,   %ecx  /* is it a destination page */
 335         jz      2f
 336         movl    %ecx,   %edi
 337         andl    $0xfffff000, %edi
 338         jmp     0b
 339 2:
 340         testl   $0x2,   %ecx  /* is it an indirection page */
 341         jz      2f
 342         movl    %ecx,   %ebx
 343         andl    $0xfffff000, %ebx
 344         jmp     0b
 345 2:
 346         testl   $0x4,   %ecx /* is it the done indicator */
 347         jz      2f
 348         jmp     3f
 349 2:
 350         testl   $0x8,   %ecx /* is it the source indicator */
 351         jz      0b           /* Ignore it otherwise */
 352         movl    %ecx,   %esi /* For every source page do a copy */
 353         andl    $0xfffff000, %esi
 354
 355         movl    %edi, %eax
 356         movl    %esi, %ebp
 357
 358         movl    %edx, %edi
 359         movl    $1024, %ecx
 360         rep ; movsl
 361
 362         movl    %ebp, %edi
 363         movl    %eax, %esi
 364         movl    $1024, %ecx
 365         rep ; movsl
 366
 367         movl    %eax, %edi
 368         movl    %edx, %esi
 369         movl    $1024, %ecx
 370         rep ; movsl
 371
 372         lea     PAGE_SIZE(%ebp), %esi
 373         jmp     0b
 374 3:
 375         popl    %esi
 376         popl    %edi
 377         popl    %ebx
 378         popl    %ebp
 379         ret
 380
 381         .globl kexec_control_code_size
 382 .set kexec_control_code_size, . - relocate_kernel