lib/Target/X86/X86InstrControl.td

   1 //===-- X86InstrControl.td - Control Flow Instructions -----*- tablegen -*-===//
   2 //
   3 // Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
   4 // See https://llvm.org/LICENSE.txt for license information.
   5 // SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
   6 //
   7 //===----------------------------------------------------------------------===//
   8 //
   9 // This file describes the X86 jump, return, call, and related instructions.
  10 //
  11 //===----------------------------------------------------------------------===//
  12
  13 //===----------------------------------------------------------------------===//
  14 //  Control Flow Instructions.
  15 //
  16
  17 // Return instructions.
  18 //
  19 // The X86retflag return instructions are variadic because we may add ST0 and
  20 // ST1 arguments when returning values on the x87 stack.
  21 let isTerminator = 1, isReturn = 1, isBarrier = 1,
  22     hasCtrlDep = 1, FPForm = SpecialFP, SchedRW = [WriteJumpLd] in {
  23   def RETL   : I   <0xC3, RawFrm, (outs), (ins variable_ops),
  24                     "ret{l}", []>, OpSize32, Requires<[Not64BitMode]>;
  25   def RETQ   : I   <0xC3, RawFrm, (outs), (ins variable_ops),
  26                     "ret{q}", []>, OpSize32, Requires<[In64BitMode]>;
  27   def RETW   : I   <0xC3, RawFrm, (outs), (ins),
  28                     "ret{w}", []>, OpSize16;
  29   def RETIL  : Ii16<0xC2, RawFrm, (outs), (ins i16imm:$amt, variable_ops),
  30                     "ret{l}\t$amt", []>, OpSize32, Requires<[Not64BitMode]>;
  31   def RETIQ  : Ii16<0xC2, RawFrm, (outs), (ins i16imm:$amt, variable_ops),
  32                     "ret{q}\t$amt", []>, OpSize32, Requires<[In64BitMode]>;
  33   def RETIW  : Ii16<0xC2, RawFrm, (outs), (ins i16imm:$amt),
  34                     "ret{w}\t$amt", []>, OpSize16;
  35   def LRETL  : I   <0xCB, RawFrm, (outs), (ins),
  36                     "{l}ret{l|f}", []>, OpSize32;
  37   def LRETQ  : RI  <0xCB, RawFrm, (outs), (ins),
  38                     "{l}ret{|f}q", []>, Requires<[In64BitMode]>;
  39   def LRETW  : I   <0xCB, RawFrm, (outs), (ins),
  40                     "{l}ret{w|f}", []>, OpSize16;
  41   def LRETIL : Ii16<0xCA, RawFrm, (outs), (ins i16imm:$amt),
  42                     "{l}ret{l|f}\t$amt", []>, OpSize32;
  43   def LRETIQ : RIi16<0xCA, RawFrm, (outs), (ins i16imm:$amt),
  44                     "{l}ret{|f}q\t$amt", []>, Requires<[In64BitMode]>;
  45   def LRETIW : Ii16<0xCA, RawFrm, (outs), (ins i16imm:$amt),
  46                     "{l}ret{w|f}\t$amt", []>, OpSize16;
  47
  48   // The machine return from interrupt instruction, but sometimes we need to
  49   // perform a post-epilogue stack adjustment. Codegen emits the pseudo form
  50   // which expands to include an SP adjustment if necessary.
  51   def IRET16 : I   <0xcf, RawFrm, (outs), (ins), "iret{w}", []>,
  52                OpSize16;
  53   def IRET32 : I   <0xcf, RawFrm, (outs), (ins), "iret{l|d}", []>, OpSize32;
  54   def IRET64 : RI  <0xcf, RawFrm, (outs), (ins), "iretq", []>, Requires<[In64BitMode]>;
  55   let isCodeGenOnly = 1 in
  56   def IRET : PseudoI<(outs), (ins i32imm:$adj), [(X86iret timm:$adj)]>;
  57   def RET  : PseudoI<(outs), (ins i32imm:$adj, variable_ops), [(X86retflag timm:$adj)]>;
  58 }
  59
  60 // Unconditional branches.
  61 let isBarrier = 1, isBranch = 1, isTerminator = 1, SchedRW = [WriteJump] in {
  62   def JMP_1 : Ii8PCRel<0xEB, RawFrm, (outs), (ins brtarget8:$dst),
  63                        "jmp\t$dst", [(br bb:$dst)]>;
  64   let hasSideEffects = 0, isCodeGenOnly = 1, ForceDisassemble = 1 in {
  65     def JMP_2 : Ii16PCRel<0xE9, RawFrm, (outs), (ins brtarget16:$dst),
  66                           "jmp\t$dst", []>, OpSize16;
  67     def JMP_4 : Ii32PCRel<0xE9, RawFrm, (outs), (ins brtarget32:$dst),
  68                           "jmp\t$dst", []>, OpSize32;
  69   }
  70 }
  71
  72 // Conditional Branches.
  73 let isBranch = 1, isTerminator = 1, Uses = [EFLAGS], SchedRW = [WriteJump] in {
  74   multiclass ICBr<bits<8> opc1, bits<8> opc4, string asm, PatFrag Cond> {
  75     def _1 : Ii8PCRel <opc1, RawFrm, (outs), (ins brtarget8:$dst), asm,
  76                        [(X86brcond bb:$dst, Cond, EFLAGS)]>;
  77     let hasSideEffects = 0, isCodeGenOnly = 1, ForceDisassemble = 1 in {
  78       def _2 : Ii16PCRel<opc4, RawFrm, (outs), (ins brtarget16:$dst), asm,
  79                          []>, OpSize16, TB;
  80       def _4 : Ii32PCRel<opc4, RawFrm, (outs), (ins brtarget32:$dst), asm,
  81                          []>, TB, OpSize32;
  82     }
  83   }
  84 }
  85
  86 defm JO  : ICBr<0x70, 0x80, "jo\t$dst" , X86_COND_O>;
  87 defm JNO : ICBr<0x71, 0x81, "jno\t$dst", X86_COND_NO>;
  88 defm JB  : ICBr<0x72, 0x82, "jb\t$dst" , X86_COND_B>;
  89 defm JAE : ICBr<0x73, 0x83, "jae\t$dst", X86_COND_AE>;
  90 defm JE  : ICBr<0x74, 0x84, "je\t$dst" , X86_COND_E>;
  91 defm JNE : ICBr<0x75, 0x85, "jne\t$dst", X86_COND_NE>;
  92 defm JBE : ICBr<0x76, 0x86, "jbe\t$dst", X86_COND_BE>;
  93 defm JA  : ICBr<0x77, 0x87, "ja\t$dst" , X86_COND_A>;
  94 defm JS  : ICBr<0x78, 0x88, "js\t$dst" , X86_COND_S>;
  95 defm JNS : ICBr<0x79, 0x89, "jns\t$dst", X86_COND_NS>;
  96 defm JP  : ICBr<0x7A, 0x8A, "jp\t$dst" , X86_COND_P>;
  97 defm JNP : ICBr<0x7B, 0x8B, "jnp\t$dst", X86_COND_NP>;
  98 defm JL  : ICBr<0x7C, 0x8C, "jl\t$dst" , X86_COND_L>;
  99 defm JGE : ICBr<0x7D, 0x8D, "jge\t$dst", X86_COND_GE>;
 100 defm JLE : ICBr<0x7E, 0x8E, "jle\t$dst", X86_COND_LE>;
 101 defm JG  : ICBr<0x7F, 0x8F, "jg\t$dst" , X86_COND_G>;
 102
 103 // jcx/jecx/jrcx instructions.
 104 let isBranch = 1, isTerminator = 1, hasSideEffects = 0, SchedRW = [WriteJump] in {
 105   // These are the 32-bit versions of this instruction for the asmparser.  In
 106   // 32-bit mode, the address size prefix is jcxz and the unprefixed version is
 107   // jecxz.
 108   let Uses = [CX] in
 109     def JCXZ : Ii8PCRel<0xE3, RawFrm, (outs), (ins brtarget8:$dst),
 110                         "jcxz\t$dst", []>, AdSize16, Requires<[Not64BitMode]>;
 111   let Uses = [ECX] in
 112     def JECXZ : Ii8PCRel<0xE3, RawFrm, (outs), (ins brtarget8:$dst),
 113                         "jecxz\t$dst", []>, AdSize32;
 114
 115   let Uses = [RCX] in
 116     def JRCXZ : Ii8PCRel<0xE3, RawFrm, (outs), (ins brtarget8:$dst),
 117                          "jrcxz\t$dst", []>, AdSize64, Requires<[In64BitMode]>;
 118 }
 119
 120 // Indirect branches
 121 let isBranch = 1, isTerminator = 1, isBarrier = 1, isIndirectBranch = 1 in {
 122   def JMP16r     : I<0xFF, MRM4r, (outs), (ins GR16:$dst), "jmp{w}\t{*}$dst",
 123                      [(brind GR16:$dst)]>, Requires<[Not64BitMode]>,
 124                      OpSize16, Sched<[WriteJump]>;
 125   def JMP16m     : I<0xFF, MRM4m, (outs), (ins i16mem:$dst), "jmp{w}\t{*}$dst",
 126                      [(brind (loadi16 addr:$dst))]>, Requires<[Not64BitMode]>,
 127                      OpSize16, Sched<[WriteJumpLd]>;
 128
 129   def JMP32r     : I<0xFF, MRM4r, (outs), (ins GR32:$dst), "jmp{l}\t{*}$dst",
 130                      [(brind GR32:$dst)]>, Requires<[Not64BitMode]>,
 131                      OpSize32, Sched<[WriteJump]>;
 132   def JMP32m     : I<0xFF, MRM4m, (outs), (ins i32mem:$dst), "jmp{l}\t{*}$dst",
 133                      [(brind (loadi32 addr:$dst))]>, Requires<[Not64BitMode]>,
 134                      OpSize32, Sched<[WriteJumpLd]>;
 135
 136   def JMP64r     : I<0xFF, MRM4r, (outs), (ins GR64:$dst), "jmp{q}\t{*}$dst",
 137                      [(brind GR64:$dst)]>, Requires<[In64BitMode]>,
 138                      Sched<[WriteJump]>;
 139   def JMP64m     : I<0xFF, MRM4m, (outs), (ins i64mem:$dst), "jmp{q}\t{*}$dst",
 140                      [(brind (loadi64 addr:$dst))]>, Requires<[In64BitMode]>,
 141                      Sched<[WriteJumpLd]>;
 142
 143   // Non-tracking jumps for IBT, use with caution.
 144   let isCodeGenOnly = 1 in {
 145     def JMP16r_NT : I<0xFF, MRM4r, (outs), (ins GR16 : $dst), "jmp{w}\t{*}$dst",
 146                       [(X86NoTrackBrind GR16 : $dst)]>, Requires<[Not64BitMode]>,
 147                       OpSize16, Sched<[WriteJump]>, NOTRACK;
 148
 149     def JMP16m_NT : I<0xFF, MRM4m, (outs), (ins i16mem : $dst), "jmp{w}\t{*}$dst",
 150                       [(X86NoTrackBrind (loadi16 addr : $dst))]>,
 151                       Requires<[Not64BitMode]>, OpSize16, Sched<[WriteJumpLd]>,
 152                       NOTRACK;
 153
 154     def JMP32r_NT : I<0xFF, MRM4r, (outs), (ins GR32 : $dst), "jmp{l}\t{*}$dst",
 155                       [(X86NoTrackBrind GR32 : $dst)]>, Requires<[Not64BitMode]>,
 156                       OpSize32, Sched<[WriteJump]>, NOTRACK;
 157     def JMP32m_NT : I<0xFF, MRM4m, (outs), (ins i32mem : $dst), "jmp{l}\t{*}$dst",
 158                       [(X86NoTrackBrind (loadi32 addr : $dst))]>,
 159                       Requires<[Not64BitMode]>, OpSize32, Sched<[WriteJumpLd]>,
 160                       NOTRACK;
 161
 162     def JMP64r_NT : I<0xFF, MRM4r, (outs), (ins GR64 : $dst), "jmp{q}\t{*}$dst",
 163                       [(X86NoTrackBrind GR64 : $dst)]>, Requires<[In64BitMode]>,
 164                       Sched<[WriteJump]>, NOTRACK;
 165     def JMP64m_NT : I<0xFF, MRM4m, (outs), (ins i64mem : $dst), "jmp{q}\t{*}$dst",
 166                       [(X86NoTrackBrind(loadi64 addr : $dst))]>,
 167                       Requires<[In64BitMode]>, Sched<[WriteJumpLd]>, NOTRACK;
 168   }
 169
 170   let Predicates = [Not64BitMode], AsmVariantName = "att" in {
 171     def FARJMP16i  : Iseg16<0xEA, RawFrmImm16, (outs),
 172                             (ins i16imm:$off, i16imm:$seg),
 173                             "ljmp{w}\t$seg, $off", []>,
 174                             OpSize16, Sched<[WriteJump]>;
 175     def FARJMP32i  : Iseg32<0xEA, RawFrmImm16, (outs),
 176                             (ins i32imm:$off, i16imm:$seg),
 177                             "ljmp{l}\t$seg, $off", []>,
 178                             OpSize32, Sched<[WriteJump]>;
 179   }
 180   def FARJMP64   : RI<0xFF, MRM5m, (outs), (ins opaquemem:$dst),
 181                       "ljmp{q}\t{*}$dst", []>, Sched<[WriteJump]>, Requires<[In64BitMode]>;
 182
 183   let AsmVariantName = "att" in
 184   def FARJMP16m  : I<0xFF, MRM5m, (outs), (ins opaquemem:$dst),
 185                      "ljmp{w}\t{*}$dst", []>, OpSize16, Sched<[WriteJumpLd]>;
 186   def FARJMP32m  : I<0xFF, MRM5m, (outs), (ins opaquemem:$dst),
 187                      "{l}jmp{l}\t{*}$dst", []>, OpSize32, Sched<[WriteJumpLd]>;
 188 }
 189
 190 // Loop instructions
 191 let SchedRW = [WriteJump] in {
 192 def LOOP   : Ii8PCRel<0xE2, RawFrm, (outs), (ins brtarget8:$dst), "loop\t$dst", []>;
 193 def LOOPE  : Ii8PCRel<0xE1, RawFrm, (outs), (ins brtarget8:$dst), "loope\t$dst", []>;
 194 def LOOPNE : Ii8PCRel<0xE0, RawFrm, (outs), (ins brtarget8:$dst), "loopne\t$dst", []>;
 195 }
 196
 197 //===----------------------------------------------------------------------===//
 198 //  Call Instructions...
 199 //
 200 let isCall = 1 in
 201   // All calls clobber the non-callee saved registers. ESP is marked as
 202   // a use to prevent stack-pointer assignments that appear immediately
 203   // before calls from potentially appearing dead. Uses for argument
 204   // registers are added manually.
 205   let Uses = [ESP, SSP] in {
 206     def CALLpcrel32 : Ii32PCRel<0xE8, RawFrm,
 207                            (outs), (ins i32imm_pcrel:$dst),
 208                            "call{l}\t$dst", []>, OpSize32,
 209                       Requires<[Not64BitMode]>, Sched<[WriteJump]>;
 210     let hasSideEffects = 0 in
 211       def CALLpcrel16 : Ii16PCRel<0xE8, RawFrm,
 212                              (outs), (ins i16imm_pcrel:$dst),
 213                              "call{w}\t$dst", []>, OpSize16,
 214                         Sched<[WriteJump]>;
 215     def CALL16r     : I<0xFF, MRM2r, (outs), (ins GR16:$dst),
 216                         "call{w}\t{*}$dst", [(X86call GR16:$dst)]>,
 217                       OpSize16, Requires<[Not64BitMode]>, Sched<[WriteJump]>;
 218     def CALL16m     : I<0xFF, MRM2m, (outs), (ins i16mem:$dst),
 219                         "call{w}\t{*}$dst", [(X86call (loadi16 addr:$dst))]>,
 220                         OpSize16, Requires<[Not64BitMode,FavorMemIndirectCall]>,
 221                         Sched<[WriteJumpLd]>;
 222     def CALL32r     : I<0xFF, MRM2r, (outs), (ins GR32:$dst),
 223                         "call{l}\t{*}$dst", [(X86call GR32:$dst)]>, OpSize32,
 224                         Requires<[Not64BitMode,NotUseRetpolineIndirectCalls]>,
 225                         Sched<[WriteJump]>;
 226     def CALL32m     : I<0xFF, MRM2m, (outs), (ins i32mem:$dst),
 227                         "call{l}\t{*}$dst", [(X86call (loadi32 addr:$dst))]>,
 228                         OpSize32,
 229                         Requires<[Not64BitMode,FavorMemIndirectCall,
 230                                   NotUseRetpolineIndirectCalls]>,
 231                         Sched<[WriteJumpLd]>;
 232
 233     // Non-tracking calls for IBT, use with caution.
 234     let isCodeGenOnly = 1 in {
 235       def CALL16r_NT : I<0xFF, MRM2r, (outs), (ins GR16 : $dst),
 236                         "call{w}\t{*}$dst",[(X86NoTrackCall GR16 : $dst)]>,
 237                         OpSize16, Requires<[Not64BitMode]>, Sched<[WriteJump]>, NOTRACK;
 238       def CALL16m_NT : I<0xFF, MRM2m, (outs), (ins i16mem : $dst),
 239                         "call{w}\t{*}$dst",[(X86NoTrackCall(loadi16 addr : $dst))]>,
 240                         OpSize16, Requires<[Not64BitMode,FavorMemIndirectCall]>,
 241                         Sched<[WriteJumpLd]>, NOTRACK;
 242       def CALL32r_NT : I<0xFF, MRM2r, (outs), (ins GR32 : $dst),
 243                         "call{l}\t{*}$dst",[(X86NoTrackCall GR32 : $dst)]>,
 244                         OpSize32, Requires<[Not64BitMode]>, Sched<[WriteJump]>, NOTRACK;
 245       def CALL32m_NT : I<0xFF, MRM2m, (outs), (ins i32mem : $dst),
 246                         "call{l}\t{*}$dst",[(X86NoTrackCall(loadi32 addr : $dst))]>,
 247                         OpSize32, Requires<[Not64BitMode,FavorMemIndirectCall]>,
 248                         Sched<[WriteJumpLd]>, NOTRACK;
 249     }
 250
 251     let Predicates = [Not64BitMode], AsmVariantName = "att" in {
 252       def FARCALL16i  : Iseg16<0x9A, RawFrmImm16, (outs),
 253                                (ins i16imm:$off, i16imm:$seg),
 254                                "lcall{w}\t$seg, $off", []>,
 255                                OpSize16, Sched<[WriteJump]>;
 256       def FARCALL32i  : Iseg32<0x9A, RawFrmImm16, (outs),
 257                                (ins i32imm:$off, i16imm:$seg),
 258                                "lcall{l}\t$seg, $off", []>,
 259                                OpSize32, Sched<[WriteJump]>;
 260     }
 261
 262     def FARCALL16m  : I<0xFF, MRM3m, (outs), (ins opaquemem:$dst),
 263                         "lcall{w}\t{*}$dst", []>, OpSize16, Sched<[WriteJumpLd]>;
 264     def FARCALL32m  : I<0xFF, MRM3m, (outs), (ins opaquemem:$dst),
 265                         "{l}call{l}\t{*}$dst", []>, OpSize32, Sched<[WriteJumpLd]>;
 266   }
 267
 268
 269 // Tail call stuff.
 270 let isCall = 1, isTerminator = 1, isReturn = 1, isBarrier = 1,
 271     isCodeGenOnly = 1, SchedRW = [WriteJumpLd] in
 272   let Uses = [ESP, SSP] in {
 273   def TCRETURNdi : PseudoI<(outs),
 274                      (ins i32imm_pcrel:$dst, i32imm:$offset), []>, NotMemoryFoldable;
 275   def TCRETURNri : PseudoI<(outs),
 276                      (ins ptr_rc_tailcall:$dst, i32imm:$offset), []>, NotMemoryFoldable;
 277   let mayLoad = 1 in
 278   def TCRETURNmi : PseudoI<(outs),
 279                      (ins i32mem_TC:$dst, i32imm:$offset), []>;
 280
 281   // FIXME: The should be pseudo instructions that are lowered when going to
 282   // mcinst.
 283   def TAILJMPd : Ii32PCRel<0xE9, RawFrm, (outs),
 284                            (ins i32imm_pcrel:$dst), "jmp\t$dst", []>;
 285
 286   def TAILJMPr : I<0xFF, MRM4r, (outs), (ins ptr_rc_tailcall:$dst),
 287                    "", []>;  // FIXME: Remove encoding when JIT is dead.
 288   let mayLoad = 1 in
 289   def TAILJMPm : I<0xFF, MRM4m, (outs), (ins i32mem_TC:$dst),
 290                    "jmp{l}\t{*}$dst", []>;
 291 }
 292
 293 // Conditional tail calls are similar to the above, but they are branches
 294 // rather than barriers, and they use EFLAGS.
 295 let isCall = 1, isTerminator = 1, isReturn = 1, isBranch = 1,
 296     isCodeGenOnly = 1, SchedRW = [WriteJumpLd] in
 297   let Uses = [ESP, EFLAGS, SSP] in {
 298   def TCRETURNdicc : PseudoI<(outs),
 299                      (ins i32imm_pcrel:$dst, i32imm:$offset, i32imm:$cond), []>;
 300
 301   // This gets substituted to a conditional jump instruction in MC lowering.
 302   def TAILJMPd_CC : Ii32PCRel<0x80, RawFrm, (outs),
 303                            (ins i32imm_pcrel:$dst, i32imm:$cond), "", []>;
 304 }
 305
 306
 307 //===----------------------------------------------------------------------===//
 308 //  Call Instructions...
 309 //
 310
 311 // RSP is marked as a use to prevent stack-pointer assignments that appear
 312 // immediately before calls from potentially appearing dead. Uses for argument
 313 // registers are added manually.
 314 let isCall = 1, Uses = [RSP, SSP], SchedRW = [WriteJump] in {
 315   // NOTE: this pattern doesn't match "X86call imm", because we do not know
 316   // that the offset between an arbitrary immediate and the call will fit in
 317   // the 32-bit pcrel field that we have.
 318   def CALL64pcrel32 : Ii32PCRel<0xE8, RawFrm,
 319                         (outs), (ins i64i32imm_pcrel:$dst),
 320                         "call{q}\t$dst", []>, OpSize32,
 321                       Requires<[In64BitMode]>;
 322   def CALL64r       : I<0xFF, MRM2r, (outs), (ins GR64:$dst),
 323                         "call{q}\t{*}$dst", [(X86call GR64:$dst)]>,
 324                       Requires<[In64BitMode,NotUseRetpolineIndirectCalls]>;
 325   def CALL64m       : I<0xFF, MRM2m, (outs), (ins i64mem:$dst),
 326                         "call{q}\t{*}$dst", [(X86call (loadi64 addr:$dst))]>,
 327                       Requires<[In64BitMode,FavorMemIndirectCall,
 328                                 NotUseRetpolineIndirectCalls]>;
 329
 330   // Non-tracking calls for IBT, use with caution.
 331   let isCodeGenOnly = 1 in {
 332     def CALL64r_NT : I<0xFF, MRM2r, (outs), (ins GR64 : $dst),
 333                       "call{q}\t{*}$dst",[(X86NoTrackCall GR64 : $dst)]>,
 334                       Requires<[In64BitMode]>, NOTRACK;
 335     def CALL64m_NT : I<0xFF, MRM2m, (outs), (ins i64mem : $dst),
 336                        "call{q}\t{*}$dst",
 337                        [(X86NoTrackCall(loadi64 addr : $dst))]>,
 338                        Requires<[In64BitMode,FavorMemIndirectCall]>, NOTRACK;
 339   }
 340
 341   def FARCALL64   : RI<0xFF, MRM3m, (outs), (ins opaquemem:$dst),
 342                        "lcall{q}\t{*}$dst", []>;
 343 }
 344
 345 let isCall = 1, isTerminator = 1, isReturn = 1, isBarrier = 1,
 346     isCodeGenOnly = 1, Uses = [RSP, SSP], SchedRW = [WriteJump] in {
 347   def TCRETURNdi64   : PseudoI<(outs),
 348                         (ins i64i32imm_pcrel:$dst, i32imm:$offset),
 349                         []>;
 350   def TCRETURNri64   : PseudoI<(outs),
 351                         (ins ptr_rc_tailcall:$dst, i32imm:$offset), []>, NotMemoryFoldable;
 352   let mayLoad = 1 in
 353   def TCRETURNmi64   : PseudoI<(outs),
 354                         (ins i64mem_TC:$dst, i32imm:$offset), []>, NotMemoryFoldable;
 355
 356   def TAILJMPd64 : Ii32PCRel<0xE9, RawFrm, (outs), (ins i64i32imm_pcrel:$dst),
 357                    "jmp\t$dst", []>;
 358
 359   def TAILJMPr64 : I<0xFF, MRM4r, (outs), (ins ptr_rc_tailcall:$dst),
 360                      "jmp{q}\t{*}$dst", []>;
 361
 362   let mayLoad = 1 in
 363   def TAILJMPm64 : I<0xFF, MRM4m, (outs), (ins i64mem_TC:$dst),
 364                      "jmp{q}\t{*}$dst", []>;
 365
 366   // Win64 wants indirect jumps leaving the function to have a REX_W prefix.
 367   let hasREX_WPrefix = 1 in {
 368     def TAILJMPr64_REX : I<0xFF, MRM4r, (outs), (ins ptr_rc_tailcall:$dst),
 369                            "rex64 jmp{q}\t{*}$dst", []>;
 370
 371     let mayLoad = 1 in
 372     def TAILJMPm64_REX : I<0xFF, MRM4m, (outs), (ins i64mem_TC:$dst),
 373                            "rex64 jmp{q}\t{*}$dst", []>;
 374   }
 375 }
 376
 377 let isPseudo = 1, isCall = 1, isCodeGenOnly = 1,
 378     Uses = [RSP, SSP],
 379     usesCustomInserter = 1,
 380     SchedRW = [WriteJump] in {
 381   def RETPOLINE_CALL32 :
 382     PseudoI<(outs), (ins GR32:$dst), [(X86call GR32:$dst)]>,
 383             Requires<[Not64BitMode,UseRetpolineIndirectCalls]>;
 384
 385   def RETPOLINE_CALL64 :
 386     PseudoI<(outs), (ins GR64:$dst), [(X86call GR64:$dst)]>,
 387             Requires<[In64BitMode,UseRetpolineIndirectCalls]>;
 388
 389   // Retpoline variant of indirect tail calls.
 390   let isTerminator = 1, isReturn = 1, isBarrier = 1 in {
 391     def RETPOLINE_TCRETURN64 :
 392       PseudoI<(outs), (ins GR64:$dst, i32imm:$offset), []>;
 393     def RETPOLINE_TCRETURN32 :
 394       PseudoI<(outs), (ins GR32:$dst, i32imm:$offset), []>;
 395   }
 396 }
 397
 398 // Conditional tail calls are similar to the above, but they are branches
 399 // rather than barriers, and they use EFLAGS.
 400 let isCall = 1, isTerminator = 1, isReturn = 1, isBranch = 1,
 401     isCodeGenOnly = 1, SchedRW = [WriteJumpLd] in
 402   let Uses = [RSP, EFLAGS, SSP] in {
 403   def TCRETURNdi64cc : PseudoI<(outs),
 404                            (ins i64i32imm_pcrel:$dst, i32imm:$offset,
 405                             i32imm:$cond), []>;
 406
 407   // This gets substituted to a conditional jump instruction in MC lowering.
 408   def TAILJMPd64_CC : Ii32PCRel<0x80, RawFrm, (outs),
 409                            (ins i64i32imm_pcrel:$dst, i32imm:$cond), "", []>;
 410 }