llvm/test/CodeGen/X86/AMX/amx-lower-tile-copy.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+amx-int8 -mattr=+avx512f -verify-machineinstrs | FileCheck %s
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+amx-int8 -mattr=+avx512f,+egpr --show-mc-encoding -verify-machineinstrs | FileCheck %s --check-prefix=EGPR
   4
   5 define dso_local void @test1(ptr%buf) nounwind {
   6 ; CHECK-LABEL: test1:
   7 ; CHECK:       # %bb.0: # %entry
   8 ; CHECK-NEXT:    pushq %rbp
   9 ; CHECK-NEXT:    pushq %r15
  10 ; CHECK-NEXT:    pushq %r14
  11 ; CHECK-NEXT:    pushq %rbx
  12 ; CHECK-NEXT:    subq $4056, %rsp # imm = 0xFD8
  13 ; CHECK-NEXT:    vxorps %xmm0, %xmm0, %xmm0
  14 ; CHECK-NEXT:    vmovups %zmm0, {{[0-9]+}}(%rsp)
  15 ; CHECK-NEXT:    movb $1, {{[0-9]+}}(%rsp)
  16 ; CHECK-NEXT:    movb $8, {{[0-9]+}}(%rsp)
  17 ; CHECK-NEXT:    movw $8, {{[0-9]+}}(%rsp)
  18 ; CHECK-NEXT:    movb $8, {{[0-9]+}}(%rsp)
  19 ; CHECK-NEXT:    movw $8, {{[0-9]+}}(%rsp)
  20 ; CHECK-NEXT:    movb $8, {{[0-9]+}}(%rsp)
  21 ; CHECK-NEXT:    movw $8, {{[0-9]+}}(%rsp)
  22 ; CHECK-NEXT:    movb $8, {{[0-9]+}}(%rsp)
  23 ; CHECK-NEXT:    movw $8, {{[0-9]+}}(%rsp)
  24 ; CHECK-NEXT:    ldtilecfg {{[0-9]+}}(%rsp)
  25 ; CHECK-NEXT:    movl $64, %eax
  26 ; CHECK-NEXT:    movw $8, %bp
  27 ; CHECK-NEXT:    tileloadd (%rdi,%rax), %tmm3
  28 ; CHECK-NEXT:    xorl %eax, %eax
  29 ; CHECK-NEXT:    testb %al, %al
  30 ; CHECK-NEXT:    jne .LBB0_3
  31 ; CHECK-NEXT:  # %bb.1: # %loop.header.preheader
  32 ; CHECK-NEXT:    movq %rdi, %rbx
  33 ; CHECK-NEXT:    xorl %r14d, %r14d
  34 ; CHECK-NEXT:    movl $32, %r15d
  35 ; CHECK-NEXT:    .p2align 4
  36 ; CHECK-NEXT:  .LBB0_2: # %loop.header
  37 ; CHECK-NEXT:    # =>This Inner Loop Header: Depth=1
  38 ; CHECK-NEXT:    movabsq $64, %rax
  39 ; CHECK-NEXT:    tilestored %tmm3, 3024(%rsp,%rax) # 1024-byte Folded Spill
  40 ; CHECK-NEXT:    vzeroupper
  41 ; CHECK-NEXT:    callq foo
  42 ; CHECK-NEXT:    ldtilecfg {{[0-9]+}}(%rsp)
  43 ; CHECK-NEXT:    movabsq $64, %rax
  44 ; CHECK-NEXT:    tileloadd 3024(%rsp,%rax), %tmm3 # 1024-byte Folded Reload
  45 ; CHECK-NEXT:    tileloadd (%rbx,%r15), %tmm0
  46 ; CHECK-NEXT:    tileloadd (%rbx,%r15), %tmm1
  47 ; CHECK-NEXT:    tilestored %tmm3, 1024(%rsp,%rax) # 1024-byte Folded Spill
  48 ; CHECK-NEXT:    tileloadd 1024(%rsp,%rax), %tmm2 # 1024-byte Folded Reload
  49 ; CHECK-NEXT:    tdpbssd %tmm1, %tmm0, %tmm2
  50 ; CHECK-NEXT:    tilestored %tmm2, (%rbx,%r15)
  51 ; CHECK-NEXT:    incl %r14d
  52 ; CHECK-NEXT:    cmpw $100, %r14w
  53 ; CHECK-NEXT:    jl .LBB0_2
  54 ; CHECK-NEXT:  .LBB0_3: # %exit
  55 ; CHECK-NEXT:    addq $4056, %rsp # imm = 0xFD8
  56 ; CHECK-NEXT:    popq %rbx
  57 ; CHECK-NEXT:    popq %r14
  58 ; CHECK-NEXT:    popq %r15
  59 ; CHECK-NEXT:    popq %rbp
  60 ; CHECK-NEXT:    tilerelease
  61 ; CHECK-NEXT:    vzeroupper
  62 ; CHECK-NEXT:    retq
  63 ;
  64 ; EGPR-LABEL: test1:
  65 ; EGPR:       # %bb.0: # %entry
  66 ; EGPR-NEXT:    pushq %rbp # encoding: [0x55]
  67 ; EGPR-NEXT:    pushq %r15 # encoding: [0x41,0x57]
  68 ; EGPR-NEXT:    pushq %r14 # encoding: [0x41,0x56]
  69 ; EGPR-NEXT:    pushq %rbx # encoding: [0x53]
  70 ; EGPR-NEXT:    subq $4056, %rsp # encoding: [0x48,0x81,0xec,0xd8,0x0f,0x00,0x00]
  71 ; EGPR-NEXT:    # imm = 0xFD8
  72 ; EGPR-NEXT:    vxorps %xmm0, %xmm0, %xmm0 # encoding: [0xc5,0xf8,0x57,0xc0]
  73 ; EGPR-NEXT:    vmovups %zmm0, {{[0-9]+}}(%rsp) # encoding: [0x62,0xf1,0x7c,0x48,0x11,0x44,0x24,0x0f]
  74 ; EGPR-NEXT:    movb $1, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x84,0x24,0xc0,0x03,0x00,0x00,0x01]
  75 ; EGPR-NEXT:    movb $8, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x84,0x24,0xf0,0x03,0x00,0x00,0x08]
  76 ; EGPR-NEXT:    movw $8, {{[0-9]+}}(%rsp) # encoding: [0x66,0xc7,0x84,0x24,0xd0,0x03,0x00,0x00,0x08,0x00]
  77 ; EGPR-NEXT:    movb $8, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x84,0x24,0xf1,0x03,0x00,0x00,0x08]
  78 ; EGPR-NEXT:    movw $8, {{[0-9]+}}(%rsp) # encoding: [0x66,0xc7,0x84,0x24,0xd2,0x03,0x00,0x00,0x08,0x00]
  79 ; EGPR-NEXT:    movb $8, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x84,0x24,0xf2,0x03,0x00,0x00,0x08]
  80 ; EGPR-NEXT:    movw $8, {{[0-9]+}}(%rsp) # encoding: [0x66,0xc7,0x84,0x24,0xd4,0x03,0x00,0x00,0x08,0x00]
  81 ; EGPR-NEXT:    movb $8, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x84,0x24,0xf3,0x03,0x00,0x00,0x08]
  82 ; EGPR-NEXT:    movw $8, {{[0-9]+}}(%rsp) # encoding: [0x66,0xc7,0x84,0x24,0xd6,0x03,0x00,0x00,0x08,0x00]
  83 ; EGPR-NEXT:    ldtilecfg {{[0-9]+}}(%rsp) # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x78,0x49,0x84,0x24,0xc0,0x03,0x00,0x00]
  84 ; EGPR-NEXT:    movl $64, %eax # encoding: [0xb8,0x40,0x00,0x00,0x00]
  85 ; EGPR-NEXT:    movw $8, %bp # encoding: [0x66,0xbd,0x08,0x00]
  86 ; EGPR-NEXT:    tileloadd (%rdi,%rax), %tmm3 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7b,0x4b,0x1c,0x07]
  87 ; EGPR-NEXT:    xorl %eax, %eax # encoding: [0x31,0xc0]
  88 ; EGPR-NEXT:    testb %al, %al # encoding: [0x84,0xc0]
  89 ; EGPR-NEXT:    jne .LBB0_3 # encoding: [0x75,A]
  90 ; EGPR-NEXT:    # fixup A - offset: 1, value: .LBB0_3-1, kind: FK_PCRel_1
  91 ; EGPR-NEXT:  # %bb.1: # %loop.header.preheader
  92 ; EGPR-NEXT:    movq %rdi, %rbx # encoding: [0x48,0x89,0xfb]
  93 ; EGPR-NEXT:    xorl %r14d, %r14d # encoding: [0x45,0x31,0xf6]
  94 ; EGPR-NEXT:    movl $32, %r15d # encoding: [0x41,0xbf,0x20,0x00,0x00,0x00]
  95 ; EGPR-NEXT:    .p2align 4
  96 ; EGPR-NEXT:  .LBB0_2: # %loop.header
  97 ; EGPR-NEXT:    # =>This Inner Loop Header: Depth=1
  98 ; EGPR-NEXT:    movabsq $64, %rax # encoding: [0x48,0xb8,0x40,0x00,0x00,0x00,0x00,0x00,0x00,0x00]
  99 ; EGPR-NEXT:    tilestored %tmm3, 3024(%rsp,%rax) # 1024-byte Folded Spill
 100 ; EGPR-NEXT:    # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7a,0x4b,0x9c,0x04,0xd0,0x0b,0x00,0x00]
 101 ; EGPR-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 102 ; EGPR-NEXT:    callq foo # encoding: [0xe8,A,A,A,A]
 103 ; EGPR-NEXT:    # fixup A - offset: 1, value: foo-4, kind: reloc_branch_4byte_pcrel
 104 ; EGPR-NEXT:    ldtilecfg {{[0-9]+}}(%rsp) # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x78,0x49,0x84,0x24,0xc0,0x03,0x00,0x00]
 105 ; EGPR-NEXT:    movabsq $64, %rax # encoding: [0x48,0xb8,0x40,0x00,0x00,0x00,0x00,0x00,0x00,0x00]
 106 ; EGPR-NEXT:    tileloadd 3024(%rsp,%rax), %tmm3 # 1024-byte Folded Reload
 107 ; EGPR-NEXT:    # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7b,0x4b,0x9c,0x04,0xd0,0x0b,0x00,0x00]
 108 ; EGPR-NEXT:    tileloadd (%rbx,%r15), %tmm0 # EVEX TO VEX Compression encoding: [0xc4,0xa2,0x7b,0x4b,0x04,0x3b]
 109 ; EGPR-NEXT:    tileloadd (%rbx,%r15), %tmm1 # EVEX TO VEX Compression encoding: [0xc4,0xa2,0x7b,0x4b,0x0c,0x3b]
 110 ; EGPR-NEXT:    tilestored %tmm3, 1024(%rsp,%rax) # 1024-byte Folded Spill
 111 ; EGPR-NEXT:    # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7a,0x4b,0x9c,0x04,0x00,0x04,0x00,0x00]
 112 ; EGPR-NEXT:    tileloadd 1024(%rsp,%rax), %tmm2 # 1024-byte Folded Reload
 113 ; EGPR-NEXT:    # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7b,0x4b,0x94,0x04,0x00,0x04,0x00,0x00]
 114 ; EGPR-NEXT:    tdpbssd %tmm1, %tmm0, %tmm2 # encoding: [0xc4,0xe2,0x73,0x5e,0xd0]
 115 ; EGPR-NEXT:    tilestored %tmm2, (%rbx,%r15) # EVEX TO VEX Compression encoding: [0xc4,0xa2,0x7a,0x4b,0x14,0x3b]
 116 ; EGPR-NEXT:    incl %r14d # encoding: [0x41,0xff,0xc6]
 117 ; EGPR-NEXT:    cmpw $100, %r14w # encoding: [0x66,0x41,0x83,0xfe,0x64]
 118 ; EGPR-NEXT:    jl .LBB0_2 # encoding: [0x7c,A]
 119 ; EGPR-NEXT:    # fixup A - offset: 1, value: .LBB0_2-1, kind: FK_PCRel_1
 120 ; EGPR-NEXT:  .LBB0_3: # %exit
 121 ; EGPR-NEXT:    addq $4056, %rsp # encoding: [0x48,0x81,0xc4,0xd8,0x0f,0x00,0x00]
 122 ; EGPR-NEXT:    # imm = 0xFD8
 123 ; EGPR-NEXT:    popq %rbx # encoding: [0x5b]
 124 ; EGPR-NEXT:    popq %r14 # encoding: [0x41,0x5e]
 125 ; EGPR-NEXT:    popq %r15 # encoding: [0x41,0x5f]
 126 ; EGPR-NEXT:    popq %rbp # encoding: [0x5d]
 127 ; EGPR-NEXT:    tilerelease # encoding: [0xc4,0xe2,0x78,0x49,0xc0]
 128 ; EGPR-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 129 ; EGPR-NEXT:    retq # encoding: [0xc3]
 130 entry:
 131   %t1 = tail call x86_amx @llvm.x86.tileloadd64.internal(i16 8, i16 8, ptr %buf, i64 64)
 132   br i1 undef, label %loop.header, label %exit
 133
 134 loop.header:
 135   %ivphi = phi i16 [0, %entry], [%iv, %loop.latch]
 136   call void @foo()
 137   br label %loop.body
 138
 139 loop.body:
 140   %t2 = tail call x86_amx @llvm.x86.tileloadd64.internal(i16 8, i16 8, ptr %buf, i64 32)
 141   %t3 = tail call x86_amx @llvm.x86.tileloadd64.internal(i16 8, i16 8, ptr %buf, i64 32)
 142   %t4 = tail call x86_amx @llvm.x86.tdpbssd.internal(i16 8, i16 8, i16 8, x86_amx %t1, x86_amx %t2, x86_amx %t3)
 143   tail call void @llvm.x86.tilestored64.internal(i16 8, i16 8, ptr %buf, i64 32, x86_amx %t4)
 144   br label %loop.latch
 145
 146 loop.latch:
 147   %iv = add i16 %ivphi, 1
 148   %c = icmp slt i16 %iv, 100
 149   br i1 %c, label %loop.header, label %exit
 150
 151 exit:
 152   ret void
 153 }
 154
 155 define dso_local void @test2(ptr%buf) nounwind {
 156 ; CHECK-LABEL: test2:
 157 ; CHECK:       # %bb.0: # %entry
 158 ; CHECK-NEXT:    pushq %rbp
 159 ; CHECK-NEXT:    pushq %r15
 160 ; CHECK-NEXT:    pushq %r14
 161 ; CHECK-NEXT:    pushq %rbx
 162 ; CHECK-NEXT:    subq $72, %rsp
 163 ; CHECK-NEXT:    vxorps %xmm0, %xmm0, %xmm0
 164 ; CHECK-NEXT:    vmovups %zmm0, {{[0-9]+}}(%rsp)
 165 ; CHECK-NEXT:    movb $1, {{[0-9]+}}(%rsp)
 166 ; CHECK-NEXT:    movb $8, {{[0-9]+}}(%rsp)
 167 ; CHECK-NEXT:    movw $8, {{[0-9]+}}(%rsp)
 168 ; CHECK-NEXT:    movb $8, {{[0-9]+}}(%rsp)
 169 ; CHECK-NEXT:    movw $8, {{[0-9]+}}(%rsp)
 170 ; CHECK-NEXT:    movb $8, {{[0-9]+}}(%rsp)
 171 ; CHECK-NEXT:    movw $8, {{[0-9]+}}(%rsp)
 172 ; CHECK-NEXT:    ldtilecfg {{[0-9]+}}(%rsp)
 173 ; CHECK-NEXT:    movw $8, %bp
 174 ; CHECK-NEXT:    tilezero %tmm0
 175 ; CHECK-NEXT:    xorl %eax, %eax
 176 ; CHECK-NEXT:    testb %al, %al
 177 ; CHECK-NEXT:    jne .LBB1_3
 178 ; CHECK-NEXT:  # %bb.1: # %loop.header.preheader
 179 ; CHECK-NEXT:    movq %rdi, %rbx
 180 ; CHECK-NEXT:    xorl %r14d, %r14d
 181 ; CHECK-NEXT:    movl $32, %r15d
 182 ; CHECK-NEXT:    .p2align 4
 183 ; CHECK-NEXT:  .LBB1_2: # %loop.header
 184 ; CHECK-NEXT:    # =>This Inner Loop Header: Depth=1
 185 ; CHECK-NEXT:    tilezero %tmm0
 186 ; CHECK-NEXT:    vzeroupper
 187 ; CHECK-NEXT:    callq foo
 188 ; CHECK-NEXT:    ldtilecfg {{[0-9]+}}(%rsp)
 189 ; CHECK-NEXT:    tilezero %tmm2
 190 ; CHECK-NEXT:    tileloadd (%rbx,%r15), %tmm0
 191 ; CHECK-NEXT:    tileloadd (%rbx,%r15), %tmm1
 192 ; CHECK-NEXT:    tdpbssd %tmm1, %tmm0, %tmm2
 193 ; CHECK-NEXT:    tilestored %tmm2, (%rbx,%r15)
 194 ; CHECK-NEXT:    incl %r14d
 195 ; CHECK-NEXT:    cmpw $100, %r14w
 196 ; CHECK-NEXT:    jl .LBB1_2
 197 ; CHECK-NEXT:  .LBB1_3: # %exit
 198 ; CHECK-NEXT:    addq $72, %rsp
 199 ; CHECK-NEXT:    popq %rbx
 200 ; CHECK-NEXT:    popq %r14
 201 ; CHECK-NEXT:    popq %r15
 202 ; CHECK-NEXT:    popq %rbp
 203 ; CHECK-NEXT:    tilerelease
 204 ; CHECK-NEXT:    vzeroupper
 205 ; CHECK-NEXT:    retq
 206 ;
 207 ; EGPR-LABEL: test2:
 208 ; EGPR:       # %bb.0: # %entry
 209 ; EGPR-NEXT:    pushq %rbp # encoding: [0x55]
 210 ; EGPR-NEXT:    pushq %r15 # encoding: [0x41,0x57]
 211 ; EGPR-NEXT:    pushq %r14 # encoding: [0x41,0x56]
 212 ; EGPR-NEXT:    pushq %rbx # encoding: [0x53]
 213 ; EGPR-NEXT:    subq $72, %rsp # encoding: [0x48,0x83,0xec,0x48]
 214 ; EGPR-NEXT:    vxorps %xmm0, %xmm0, %xmm0 # encoding: [0xc5,0xf8,0x57,0xc0]
 215 ; EGPR-NEXT:    vmovups %zmm0, {{[0-9]+}}(%rsp) # encoding: [0x62,0xf1,0x7c,0x48,0x11,0x84,0x24,0x08,0x00,0x00,0x00]
 216 ; EGPR-NEXT:    movb $1, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x44,0x24,0x08,0x01]
 217 ; EGPR-NEXT:    movb $8, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x44,0x24,0x38,0x08]
 218 ; EGPR-NEXT:    movw $8, {{[0-9]+}}(%rsp) # encoding: [0x66,0xc7,0x44,0x24,0x18,0x08,0x00]
 219 ; EGPR-NEXT:    movb $8, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x44,0x24,0x39,0x08]
 220 ; EGPR-NEXT:    movw $8, {{[0-9]+}}(%rsp) # encoding: [0x66,0xc7,0x44,0x24,0x1a,0x08,0x00]
 221 ; EGPR-NEXT:    movb $8, {{[0-9]+}}(%rsp) # encoding: [0xc6,0x44,0x24,0x3a,0x08]
 222 ; EGPR-NEXT:    movw $8, {{[0-9]+}}(%rsp) # encoding: [0x66,0xc7,0x44,0x24,0x1c,0x08,0x00]
 223 ; EGPR-NEXT:    ldtilecfg {{[0-9]+}}(%rsp) # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x78,0x49,0x44,0x24,0x08]
 224 ; EGPR-NEXT:    movw $8, %bp # encoding: [0x66,0xbd,0x08,0x00]
 225 ; EGPR-NEXT:    tilezero %tmm0 # encoding: [0xc4,0xe2,0x7b,0x49,0xc0]
 226 ; EGPR-NEXT:    xorl %eax, %eax # encoding: [0x31,0xc0]
 227 ; EGPR-NEXT:    testb %al, %al # encoding: [0x84,0xc0]
 228 ; EGPR-NEXT:    jne .LBB1_3 # encoding: [0x75,A]
 229 ; EGPR-NEXT:    # fixup A - offset: 1, value: .LBB1_3-1, kind: FK_PCRel_1
 230 ; EGPR-NEXT:  # %bb.1: # %loop.header.preheader
 231 ; EGPR-NEXT:    movq %rdi, %rbx # encoding: [0x48,0x89,0xfb]
 232 ; EGPR-NEXT:    xorl %r14d, %r14d # encoding: [0x45,0x31,0xf6]
 233 ; EGPR-NEXT:    movl $32, %r15d # encoding: [0x41,0xbf,0x20,0x00,0x00,0x00]
 234 ; EGPR-NEXT:    .p2align 4
 235 ; EGPR-NEXT:  .LBB1_2: # %loop.header
 236 ; EGPR-NEXT:    # =>This Inner Loop Header: Depth=1
 237 ; EGPR-NEXT:    tilezero %tmm0 # encoding: [0xc4,0xe2,0x7b,0x49,0xc0]
 238 ; EGPR-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 239 ; EGPR-NEXT:    callq foo # encoding: [0xe8,A,A,A,A]
 240 ; EGPR-NEXT:    # fixup A - offset: 1, value: foo-4, kind: reloc_branch_4byte_pcrel
 241 ; EGPR-NEXT:    ldtilecfg {{[0-9]+}}(%rsp) # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x78,0x49,0x44,0x24,0x08]
 242 ; EGPR-NEXT:    tilezero %tmm2 # encoding: [0xc4,0xe2,0x7b,0x49,0xd0]
 243 ; EGPR-NEXT:    tileloadd (%rbx,%r15), %tmm0 # EVEX TO VEX Compression encoding: [0xc4,0xa2,0x7b,0x4b,0x04,0x3b]
 244 ; EGPR-NEXT:    tileloadd (%rbx,%r15), %tmm1 # EVEX TO VEX Compression encoding: [0xc4,0xa2,0x7b,0x4b,0x0c,0x3b]
 245 ; EGPR-NEXT:    tdpbssd %tmm1, %tmm0, %tmm2 # encoding: [0xc4,0xe2,0x73,0x5e,0xd0]
 246 ; EGPR-NEXT:    tilestored %tmm2, (%rbx,%r15) # EVEX TO VEX Compression encoding: [0xc4,0xa2,0x7a,0x4b,0x14,0x3b]
 247 ; EGPR-NEXT:    incl %r14d # encoding: [0x41,0xff,0xc6]
 248 ; EGPR-NEXT:    cmpw $100, %r14w # encoding: [0x66,0x41,0x83,0xfe,0x64]
 249 ; EGPR-NEXT:    jl .LBB1_2 # encoding: [0x7c,A]
 250 ; EGPR-NEXT:    # fixup A - offset: 1, value: .LBB1_2-1, kind: FK_PCRel_1
 251 ; EGPR-NEXT:  .LBB1_3: # %exit
 252 ; EGPR-NEXT:    addq $72, %rsp # encoding: [0x48,0x83,0xc4,0x48]
 253 ; EGPR-NEXT:    popq %rbx # encoding: [0x5b]
 254 ; EGPR-NEXT:    popq %r14 # encoding: [0x41,0x5e]
 255 ; EGPR-NEXT:    popq %r15 # encoding: [0x41,0x5f]
 256 ; EGPR-NEXT:    popq %rbp # encoding: [0x5d]
 257 ; EGPR-NEXT:    tilerelease # encoding: [0xc4,0xe2,0x78,0x49,0xc0]
 258 ; EGPR-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 259 ; EGPR-NEXT:    retq # encoding: [0xc3]
 260 entry:
 261   %t1 = tail call x86_amx @llvm.x86.tilezero.internal(i16 8, i16 8)
 262   br i1 undef, label %loop.header, label %exit
 263
 264 loop.header:
 265   %ivphi = phi i16 [0, %entry], [%iv, %loop.latch]
 266   call void @foo()
 267   br label %loop.body
 268
 269 loop.body:
 270   %t2 = tail call x86_amx @llvm.x86.tileloadd64.internal(i16 8, i16 8, ptr %buf, i64 32)
 271   %t3 = tail call x86_amx @llvm.x86.tileloadd64.internal(i16 8, i16 8, ptr %buf, i64 32)
 272   %t4 = tail call x86_amx @llvm.x86.tdpbssd.internal(i16 8, i16 8, i16 8, x86_amx %t1, x86_amx %t2, x86_amx %t3)
 273   tail call void @llvm.x86.tilestored64.internal(i16 8, i16 8, ptr %buf, i64 32, x86_amx %t4)
 274   br label %loop.latch
 275
 276 loop.latch:
 277   %iv = add i16 %ivphi, 1
 278   %c = icmp slt i16 %iv, 100
 279   br i1 %c, label %loop.header, label %exit
 280
 281 exit:
 282   ret void
 283 }
 284
 285 declare dso_local void @foo()
 286 declare x86_amx @llvm.x86.tilezero.internal(i16, i16)
 287 declare x86_amx @llvm.x86.tileloadd64.internal(i16, i16, ptr, i64)
 288 declare x86_amx @llvm.x86.tdpbssd.internal(i16, i16, i16, x86_amx, x86_amx, x86_amx)
 289 declare void @llvm.x86.tilestored64.internal(i16, i16, ptr, i64, x86_amx)