arch/x86/ia32/ia32entry.S

   1 /*
   2  * Compatibility mode system call entry point for x86-64.
   3  *
   4  * Copyright 2000-2002 Andi Kleen, SuSE Labs.
   5  */
   6
   7 #include <asm/dwarf2.h>
   8 #include <asm/calling.h>
   9 #include <asm/asm-offsets.h>
  10 #include <asm/current.h>
  11 #include <asm/errno.h>
  12 #include <asm/ia32_unistd.h>
  13 #include <asm/thread_info.h>
  14 #include <asm/segment.h>
  15 #include <asm/irqflags.h>
  16 #include <asm/asm.h>
  17 #include <linux/linkage.h>
  18 #include <linux/err.h>
  19
  20 /* Avoid __ASSEMBLER__'ifying <linux/audit.h> just for this.  */
  21 #include <linux/elf-em.h>
  22 #define AUDIT_ARCH_I386         (EM_386|__AUDIT_ARCH_LE)
  23 #define __AUDIT_ARCH_LE    0x40000000
  24
  25 #ifndef CONFIG_AUDITSYSCALL
  26 #define sysexit_audit ia32_ret_from_sys_call
  27 #define sysretl_audit ia32_ret_from_sys_call
  28 #endif
  29
  30         .section .entry.text, "ax"
  31
  32         .macro IA32_ARG_FIXUP noebp=0
  33         movl    %edi,%r8d
  34         .if \noebp
  35         .else
  36         movl    %ebp,%r9d
  37         .endif
  38         xchg    %ecx,%esi
  39         movl    %ebx,%edi
  40         movl    %edx,%edx       /* zero extension */
  41         .endm
  42
  43         /* clobbers %eax */
  44         .macro  CLEAR_RREGS offset=0, _r9=rax
  45         xorl    %eax,%eax
  46         movq    %rax,\offset+R11(%rsp)
  47         movq    %rax,\offset+R10(%rsp)
  48         movq    %\_r9,\offset+R9(%rsp)
  49         movq    %rax,\offset+R8(%rsp)
  50         .endm
  51
  52         /*
  53          * Reload arg registers from stack in case ptrace changed them.
  54          * We don't reload %eax because syscall_trace_enter() returned
  55          * the %rax value we should see.  Instead, we just truncate that
  56          * value to 32 bits again as we did on entry from user mode.
  57          * If it's a new value set by user_regset during entry tracing,
  58          * this matches the normal truncation of the user-mode value.
  59          * If it's -1 to make us punt the syscall, then (u32)-1 is still
  60          * an appropriately invalid value.
  61          */
  62         .macro LOAD_ARGS32 offset, _r9=0
  63         .if \_r9
  64         movl \offset+16(%rsp),%r9d
  65         .endif
  66         movl \offset+40(%rsp),%ecx
  67         movl \offset+48(%rsp),%edx
  68         movl \offset+56(%rsp),%esi
  69         movl \offset+64(%rsp),%edi
  70         movl %eax,%eax                  /* zero extension */
  71         .endm
  72
  73         .macro CFI_STARTPROC32 simple
  74         CFI_STARTPROC   \simple
  75         CFI_UNDEFINED   r8
  76         CFI_UNDEFINED   r9
  77         CFI_UNDEFINED   r10
  78         CFI_UNDEFINED   r11
  79         CFI_UNDEFINED   r12
  80         CFI_UNDEFINED   r13
  81         CFI_UNDEFINED   r14
  82         CFI_UNDEFINED   r15
  83         .endm
  84
  85 #ifdef CONFIG_PARAVIRT
  86 ENTRY(native_usergs_sysret32)
  87         swapgs
  88         sysretl
  89 ENDPROC(native_usergs_sysret32)
  90
  91 ENTRY(native_irq_enable_sysexit)
  92         swapgs
  93         sti
  94         sysexit
  95 ENDPROC(native_irq_enable_sysexit)
  96 #endif
  97
  98 /*
  99  * 32bit SYSENTER instruction entry.
 100  *
 101  * Arguments:
 102  * %eax System call number.
 103  * %ebx Arg1
 104  * %ecx Arg2
 105  * %edx Arg3
 106  * %esi Arg4
 107  * %edi Arg5
 108  * %ebp user stack
 109  * 0(%ebp) Arg6
 110  *
 111  * Interrupts off.
 112  *
 113  * This is purely a fast path. For anything complicated we use the int 0x80
 114  * path below.  Set up a complete hardware stack frame to share code
 115  * with the int 0x80 path.
 116  */
 117 ENTRY(ia32_sysenter_target)
 118         CFI_STARTPROC32 simple
 119         CFI_SIGNAL_FRAME
 120         CFI_DEF_CFA     rsp,0
 121         CFI_REGISTER    rsp,rbp
 122         SWAPGS_UNSAFE_STACK
 123         movq    PER_CPU_VAR(kernel_stack), %rsp
 124         addq    $(KERNEL_STACK_OFFSET),%rsp
 125         /*
 126          * No need to follow this irqs on/off section: the syscall
 127          * disabled irqs, here we enable it straight after entry:
 128          */
 129         ENABLE_INTERRUPTS(CLBR_NONE)
 130         movl    %ebp,%ebp               /* zero extension */
 131         pushq_cfi $__USER32_DS
 132         /*CFI_REL_OFFSET ss,0*/
 133         pushq_cfi %rbp
 134         CFI_REL_OFFSET rsp,0
 135         pushfq_cfi
 136         /*CFI_REL_OFFSET rflags,0*/
 137         movl    TI_sysenter_return+THREAD_INFO(%rsp,3*8-KERNEL_STACK_OFFSET),%r10d
 138         CFI_REGISTER rip,r10
 139         pushq_cfi $__USER32_CS
 140         /*CFI_REL_OFFSET cs,0*/
 141         movl    %eax, %eax
 142         pushq_cfi %r10
 143         CFI_REL_OFFSET rip,0
 144         pushq_cfi %rax
 145         cld
 146         SAVE_ARGS 0,1,0
 147         /* no need to do an access_ok check here because rbp has been
 148            32bit zero extended */
 149 1:      movl    (%rbp),%ebp
 150         _ASM_EXTABLE(1b,ia32_badarg)
 151         orl     $TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 152         testl   $_TIF_WORK_SYSCALL_ENTRY,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 153         CFI_REMEMBER_STATE
 154         jnz  sysenter_tracesys
 155         cmpq    $(IA32_NR_syscalls-1),%rax
 156         ja      ia32_badsys
 157 sysenter_do_call:
 158         IA32_ARG_FIXUP
 159 sysenter_dispatch:
 160         call    *ia32_sys_call_table(,%rax,8)
 161         movq    %rax,RAX-ARGOFFSET(%rsp)
 162         DISABLE_INTERRUPTS(CLBR_NONE)
 163         TRACE_IRQS_OFF
 164         testl   $_TIF_ALLWORK_MASK,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 165         jnz     sysexit_audit
 166 sysexit_from_sys_call:
 167         andl    $~TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 168         /* clear IF, that popfq doesn't enable interrupts early */
 169         andl  $~0x200,EFLAGS-R11(%rsp)
 170         movl    RIP-R11(%rsp),%edx              /* User %eip */
 171         CFI_REGISTER rip,rdx
 172         RESTORE_ARGS 0,24,0,0,0,0
 173         xorq    %r8,%r8
 174         xorq    %r9,%r9
 175         xorq    %r10,%r10
 176         xorq    %r11,%r11
 177         popfq_cfi
 178         /*CFI_RESTORE rflags*/
 179         popq_cfi %rcx                           /* User %esp */
 180         CFI_REGISTER rsp,rcx
 181         TRACE_IRQS_ON
 182         ENABLE_INTERRUPTS_SYSEXIT32
 183
 184 #ifdef CONFIG_AUDITSYSCALL
 185         .macro auditsys_entry_common
 186         movl %esi,%r9d                  /* 6th arg: 4th syscall arg */
 187         movl %edx,%r8d                  /* 5th arg: 3rd syscall arg */
 188         /* (already in %ecx)               4th arg: 2nd syscall arg */
 189         movl %ebx,%edx                  /* 3rd arg: 1st syscall arg */
 190         movl %eax,%esi                  /* 2nd arg: syscall number */
 191         movl $AUDIT_ARCH_I386,%edi      /* 1st arg: audit arch */
 192         call __audit_syscall_entry
 193         movl RAX-ARGOFFSET(%rsp),%eax   /* reload syscall number */
 194         cmpq $(IA32_NR_syscalls-1),%rax
 195         ja ia32_badsys
 196         movl %ebx,%edi                  /* reload 1st syscall arg */
 197         movl RCX-ARGOFFSET(%rsp),%esi   /* reload 2nd syscall arg */
 198         movl RDX-ARGOFFSET(%rsp),%edx   /* reload 3rd syscall arg */
 199         movl RSI-ARGOFFSET(%rsp),%ecx   /* reload 4th syscall arg */
 200         movl RDI-ARGOFFSET(%rsp),%r8d   /* reload 5th syscall arg */
 201         .endm
 202
 203         .macro auditsys_exit exit
 204         testl $(_TIF_ALLWORK_MASK & ~_TIF_SYSCALL_AUDIT),TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 205         jnz ia32_ret_from_sys_call
 206         TRACE_IRQS_ON
 207         sti
 208         movl %eax,%esi          /* second arg, syscall return value */
 209         cmpl $-MAX_ERRNO,%eax   /* is it an error ? */
 210         jbe 1f
 211         movslq %eax, %rsi       /* if error sign extend to 64 bits */
 212 1:      setbe %al               /* 1 if error, 0 if not */
 213         movzbl %al,%edi         /* zero-extend that into %edi */
 214         call __audit_syscall_exit
 215         movq RAX-ARGOFFSET(%rsp),%rax   /* reload syscall return value */
 216         movl $(_TIF_ALLWORK_MASK & ~_TIF_SYSCALL_AUDIT),%edi
 217         cli
 218         TRACE_IRQS_OFF
 219         testl %edi,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 220         jz \exit
 221         CLEAR_RREGS -ARGOFFSET
 222         jmp int_with_check
 223         .endm
 224
 225 sysenter_auditsys:
 226         CFI_RESTORE_STATE
 227         auditsys_entry_common
 228         movl %ebp,%r9d                  /* reload 6th syscall arg */
 229         jmp sysenter_dispatch
 230
 231 sysexit_audit:
 232         auditsys_exit sysexit_from_sys_call
 233 #endif
 234
 235 sysenter_tracesys:
 236 #ifdef CONFIG_AUDITSYSCALL
 237         testl   $(_TIF_WORK_SYSCALL_ENTRY & ~_TIF_SYSCALL_AUDIT),TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 238         jz      sysenter_auditsys
 239 #endif
 240         SAVE_REST
 241         CLEAR_RREGS
 242         movq    $-ENOSYS,RAX(%rsp)/* ptrace can change this for a bad syscall */
 243         movq    %rsp,%rdi        /* &pt_regs -> arg1 */
 244         call    syscall_trace_enter
 245         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
 246         RESTORE_REST
 247         cmpq    $(IA32_NR_syscalls-1),%rax
 248         ja      int_ret_from_sys_call /* sysenter_tracesys has set RAX(%rsp) */
 249         jmp     sysenter_do_call
 250         CFI_ENDPROC
 251 ENDPROC(ia32_sysenter_target)
 252
 253 /*
 254  * 32bit SYSCALL instruction entry.
 255  *
 256  * Arguments:
 257  * %eax System call number.
 258  * %ebx Arg1
 259  * %ecx return EIP
 260  * %edx Arg3
 261  * %esi Arg4
 262  * %edi Arg5
 263  * %ebp Arg2    [note: not saved in the stack frame, should not be touched]
 264  * %esp user stack
 265  * 0(%esp) Arg6
 266  *
 267  * Interrupts off.
 268  *
 269  * This is purely a fast path. For anything complicated we use the int 0x80
 270  * path below.  Set up a complete hardware stack frame to share code
 271  * with the int 0x80 path.
 272  */
 273 ENTRY(ia32_cstar_target)
 274         CFI_STARTPROC32 simple
 275         CFI_SIGNAL_FRAME
 276         CFI_DEF_CFA     rsp,KERNEL_STACK_OFFSET
 277         CFI_REGISTER    rip,rcx
 278         /*CFI_REGISTER  rflags,r11*/
 279         SWAPGS_UNSAFE_STACK
 280         movl    %esp,%r8d
 281         CFI_REGISTER    rsp,r8
 282         movq    PER_CPU_VAR(kernel_stack),%rsp
 283         /*
 284          * No need to follow this irqs on/off section: the syscall
 285          * disabled irqs and here we enable it straight after entry:
 286          */
 287         ENABLE_INTERRUPTS(CLBR_NONE)
 288         SAVE_ARGS 8,0,0
 289         movl    %eax,%eax       /* zero extension */
 290         movq    %rax,ORIG_RAX-ARGOFFSET(%rsp)
 291         movq    %rcx,RIP-ARGOFFSET(%rsp)
 292         CFI_REL_OFFSET rip,RIP-ARGOFFSET
 293         movq    %rbp,RCX-ARGOFFSET(%rsp) /* this lies slightly to ptrace */
 294         movl    %ebp,%ecx
 295         movq    $__USER32_CS,CS-ARGOFFSET(%rsp)
 296         movq    $__USER32_DS,SS-ARGOFFSET(%rsp)
 297         movq    %r11,EFLAGS-ARGOFFSET(%rsp)
 298         /*CFI_REL_OFFSET rflags,EFLAGS-ARGOFFSET*/
 299         movq    %r8,RSP-ARGOFFSET(%rsp)
 300         CFI_REL_OFFSET rsp,RSP-ARGOFFSET
 301         /* no need to do an access_ok check here because r8 has been
 302            32bit zero extended */
 303         /* hardware stack frame is complete now */
 304 1:      movl    (%r8),%r9d
 305         _ASM_EXTABLE(1b,ia32_badarg)
 306         orl     $TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 307         testl   $_TIF_WORK_SYSCALL_ENTRY,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 308         CFI_REMEMBER_STATE
 309         jnz   cstar_tracesys
 310         cmpq $IA32_NR_syscalls-1,%rax
 311         ja  ia32_badsys
 312 cstar_do_call:
 313         IA32_ARG_FIXUP 1
 314 cstar_dispatch:
 315         call *ia32_sys_call_table(,%rax,8)
 316         movq %rax,RAX-ARGOFFSET(%rsp)
 317         DISABLE_INTERRUPTS(CLBR_NONE)
 318         TRACE_IRQS_OFF
 319         testl $_TIF_ALLWORK_MASK,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 320         jnz sysretl_audit
 321 sysretl_from_sys_call:
 322         andl $~TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 323         RESTORE_ARGS 0,-ARG_SKIP,0,0,0
 324         movl RIP-ARGOFFSET(%rsp),%ecx
 325         CFI_REGISTER rip,rcx
 326         movl EFLAGS-ARGOFFSET(%rsp),%r11d
 327         /*CFI_REGISTER rflags,r11*/
 328         xorq    %r10,%r10
 329         xorq    %r9,%r9
 330         xorq    %r8,%r8
 331         TRACE_IRQS_ON
 332         movl RSP-ARGOFFSET(%rsp),%esp
 333         CFI_RESTORE rsp
 334         USERGS_SYSRET32
 335
 336 #ifdef CONFIG_AUDITSYSCALL
 337 cstar_auditsys:
 338         CFI_RESTORE_STATE
 339         movl %r9d,R9-ARGOFFSET(%rsp)    /* register to be clobbered by call */
 340         auditsys_entry_common
 341         movl R9-ARGOFFSET(%rsp),%r9d    /* reload 6th syscall arg */
 342         jmp cstar_dispatch
 343
 344 sysretl_audit:
 345         auditsys_exit sysretl_from_sys_call
 346 #endif
 347
 348 cstar_tracesys:
 349 #ifdef CONFIG_AUDITSYSCALL
 350         testl $(_TIF_WORK_SYSCALL_ENTRY & ~_TIF_SYSCALL_AUDIT),TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 351         jz cstar_auditsys
 352 #endif
 353         xchgl %r9d,%ebp
 354         SAVE_REST
 355         CLEAR_RREGS 0, r9
 356         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
 357         movq %rsp,%rdi        /* &pt_regs -> arg1 */
 358         call syscall_trace_enter
 359         LOAD_ARGS32 ARGOFFSET, 1  /* reload args from stack in case ptrace changed it */
 360         RESTORE_REST
 361         xchgl %ebp,%r9d
 362         cmpq $(IA32_NR_syscalls-1),%rax
 363         ja int_ret_from_sys_call /* cstar_tracesys has set RAX(%rsp) */
 364         jmp cstar_do_call
 365 END(ia32_cstar_target)
 366
 367 ia32_badarg:
 368         movq $-EFAULT,%rax
 369         jmp ia32_sysret
 370         CFI_ENDPROC
 371
 372 /*
 373  * Emulated IA32 system calls via int 0x80.
 374  *
 375  * Arguments:
 376  * %eax System call number.
 377  * %ebx Arg1
 378  * %ecx Arg2
 379  * %edx Arg3
 380  * %esi Arg4
 381  * %edi Arg5
 382  * %ebp Arg6    [note: not saved in the stack frame, should not be touched]
 383  *
 384  * Notes:
 385  * Uses the same stack frame as the x86-64 version.
 386  * All registers except %eax must be saved (but ptrace may violate that)
 387  * Arguments are zero extended. For system calls that want sign extension and
 388  * take long arguments a wrapper is needed. Most calls can just be called
 389  * directly.
 390  * Assumes it is only called from user space and entered with interrupts off.
 391  */
 392
 393 ENTRY(ia32_syscall)
 394         CFI_STARTPROC32 simple
 395         CFI_SIGNAL_FRAME
 396         CFI_DEF_CFA     rsp,SS+8-RIP
 397         /*CFI_REL_OFFSET        ss,SS-RIP*/
 398         CFI_REL_OFFSET  rsp,RSP-RIP
 399         /*CFI_REL_OFFSET        rflags,EFLAGS-RIP*/
 400         /*CFI_REL_OFFSET        cs,CS-RIP*/
 401         CFI_REL_OFFSET  rip,RIP-RIP
 402         PARAVIRT_ADJUST_EXCEPTION_FRAME
 403         SWAPGS
 404         /*
 405          * No need to follow this irqs on/off section: the syscall
 406          * disabled irqs and here we enable it straight after entry:
 407          */
 408         ENABLE_INTERRUPTS(CLBR_NONE)
 409         movl %eax,%eax
 410         pushq_cfi %rax
 411         cld
 412         /* note the registers are not zero extended to the sf.
 413            this could be a problem. */
 414         SAVE_ARGS 0,1,0
 415         orl $TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 416         testl $_TIF_WORK_SYSCALL_ENTRY,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
 417         jnz ia32_tracesys
 418         cmpq $(IA32_NR_syscalls-1),%rax
 419         ja ia32_badsys
 420 ia32_do_call:
 421         IA32_ARG_FIXUP
 422         call *ia32_sys_call_table(,%rax,8) # xxx: rip relative
 423 ia32_sysret:
 424         movq %rax,RAX-ARGOFFSET(%rsp)
 425 ia32_ret_from_sys_call:
 426         CLEAR_RREGS -ARGOFFSET
 427         jmp int_ret_from_sys_call
 428
 429 ia32_tracesys:
 430         SAVE_REST
 431         CLEAR_RREGS
 432         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
 433         movq %rsp,%rdi        /* &pt_regs -> arg1 */
 434         call syscall_trace_enter
 435         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
 436         RESTORE_REST
 437         cmpq $(IA32_NR_syscalls-1),%rax
 438         ja  int_ret_from_sys_call       /* ia32_tracesys has set RAX(%rsp) */
 439         jmp ia32_do_call
 440 END(ia32_syscall)
 441
 442 ia32_badsys:
 443         movq $0,ORIG_RAX-ARGOFFSET(%rsp)
 444         movq $-ENOSYS,%rax
 445         jmp ia32_sysret
 446
 447         CFI_ENDPROC
 448
 449         .macro PTREGSCALL label, func, arg
 450         ALIGN
 451 GLOBAL(\label)
 452         leaq \func(%rip),%rax
 453         leaq -ARGOFFSET+8(%rsp),\arg    /* 8 for return address */
 454         jmp  ia32_ptregs_common
 455         .endm
 456
 457         CFI_STARTPROC32
 458
 459         PTREGSCALL stub32_rt_sigreturn, sys32_rt_sigreturn, %rdi
 460         PTREGSCALL stub32_sigreturn, sys32_sigreturn, %rdi
 461         PTREGSCALL stub32_sigaltstack, sys32_sigaltstack, %rdx
 462         PTREGSCALL stub32_execve, sys32_execve, %rcx
 463         PTREGSCALL stub32_fork, sys_fork, %rdi
 464         PTREGSCALL stub32_clone, sys32_clone, %rdx
 465         PTREGSCALL stub32_vfork, sys_vfork, %rdi
 466         PTREGSCALL stub32_iopl, sys_iopl, %rsi
 467
 468         ALIGN
 469 ia32_ptregs_common:
 470         popq %r11
 471         CFI_ENDPROC
 472         CFI_STARTPROC32 simple
 473         CFI_SIGNAL_FRAME
 474         CFI_DEF_CFA     rsp,SS+8-ARGOFFSET
 475         CFI_REL_OFFSET  rax,RAX-ARGOFFSET
 476         CFI_REL_OFFSET  rcx,RCX-ARGOFFSET
 477         CFI_REL_OFFSET  rdx,RDX-ARGOFFSET
 478         CFI_REL_OFFSET  rsi,RSI-ARGOFFSET
 479         CFI_REL_OFFSET  rdi,RDI-ARGOFFSET
 480         CFI_REL_OFFSET  rip,RIP-ARGOFFSET
 481 /*      CFI_REL_OFFSET  cs,CS-ARGOFFSET*/
 482 /*      CFI_REL_OFFSET  rflags,EFLAGS-ARGOFFSET*/
 483         CFI_REL_OFFSET  rsp,RSP-ARGOFFSET
 484 /*      CFI_REL_OFFSET  ss,SS-ARGOFFSET*/
 485         SAVE_REST
 486         call *%rax
 487         RESTORE_REST
 488         jmp  ia32_sysret        /* misbalances the return cache */
 489         CFI_ENDPROC
 490 END(ia32_ptregs_common)