llvm/test/CodeGen/X86/avx512-masked-memop-64-32.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=x86_64-apple-darwin -mattr=avx512f < %s | FileCheck %s --check-prefix=AVX512 --check-prefix=AVX512F
   3 ; RUN: llc -mtriple=x86_64-apple-darwin -mattr=avx512f,avx512bw,avx512vl < %s | FileCheck %s --check-prefix=AVX512 --check-prefix=SKX
   4
   5 define <16 x i32> @test1(<16 x i32> %trigger, <16 x i32>* %addr) {
   6 ; AVX512-LABEL: test1:
   7 ; AVX512:       ## %bb.0:
   8 ; AVX512-NEXT:    vptestnmd %zmm0, %zmm0, %k1
   9 ; AVX512-NEXT:    vmovdqu32 (%rdi), %zmm0 {%k1} {z}
  10 ; AVX512-NEXT:    retq
  11   %mask = icmp eq <16 x i32> %trigger, zeroinitializer
  12   %res = call <16 x i32> @llvm.masked.load.v16i32.p0v16i32(<16 x i32>* %addr, i32 4, <16 x i1>%mask, <16 x i32>undef)
  13   ret <16 x i32> %res
  14 }
  15
  16 define <16 x i32> @test2(<16 x i32> %trigger, <16 x i32>* %addr) {
  17 ; AVX512-LABEL: test2:
  18 ; AVX512:       ## %bb.0:
  19 ; AVX512-NEXT:    vptestnmd %zmm0, %zmm0, %k1
  20 ; AVX512-NEXT:    vmovdqu32 (%rdi), %zmm0 {%k1} {z}
  21 ; AVX512-NEXT:    retq
  22   %mask = icmp eq <16 x i32> %trigger, zeroinitializer
  23   %res = call <16 x i32> @llvm.masked.load.v16i32.p0v16i32(<16 x i32>* %addr, i32 4, <16 x i1>%mask, <16 x i32>zeroinitializer)
  24   ret <16 x i32> %res
  25 }
  26
  27 define void @test3(<16 x i32> %trigger, <16 x i32>* %addr, <16 x i32> %val) {
  28 ; AVX512-LABEL: test3:
  29 ; AVX512:       ## %bb.0:
  30 ; AVX512-NEXT:    vptestnmd %zmm0, %zmm0, %k1
  31 ; AVX512-NEXT:    vmovdqu32 %zmm1, (%rdi) {%k1}
  32 ; AVX512-NEXT:    vzeroupper
  33 ; AVX512-NEXT:    retq
  34   %mask = icmp eq <16 x i32> %trigger, zeroinitializer
  35   call void @llvm.masked.store.v16i32.p0v16i32(<16 x i32>%val, <16 x i32>* %addr, i32 4, <16 x i1>%mask)
  36   ret void
  37 }
  38
  39 define <16 x float> @test4(<16 x i32> %trigger, <16 x float>* %addr, <16 x float> %dst) {
  40 ; AVX512-LABEL: test4:
  41 ; AVX512:       ## %bb.0:
  42 ; AVX512-NEXT:    vptestnmd %zmm0, %zmm0, %k1
  43 ; AVX512-NEXT:    vblendmps (%rdi), %zmm1, %zmm0 {%k1}
  44 ; AVX512-NEXT:    retq
  45   %mask = icmp eq <16 x i32> %trigger, zeroinitializer
  46   %res = call <16 x float> @llvm.masked.load.v16f32.p0v16f32(<16 x float>* %addr, i32 4, <16 x i1>%mask, <16 x float> %dst)
  47   ret <16 x float> %res
  48 }
  49
  50 define void @test13(<16 x i32> %trigger, <16 x float>* %addr, <16 x float> %val) {
  51 ; AVX512-LABEL: test13:
  52 ; AVX512:       ## %bb.0:
  53 ; AVX512-NEXT:    vptestnmd %zmm0, %zmm0, %k1
  54 ; AVX512-NEXT:    vmovups %zmm1, (%rdi) {%k1}
  55 ; AVX512-NEXT:    vzeroupper
  56 ; AVX512-NEXT:    retq
  57   %mask = icmp eq <16 x i32> %trigger, zeroinitializer
  58   call void @llvm.masked.store.v16f32.p0v16f32(<16 x float>%val, <16 x float>* %addr, i32 4, <16 x i1>%mask)
  59   ret void
  60 }
  61
  62 define void @one_mask_bit_set5(<8 x double>* %addr, <8 x double> %val) {
  63 ; AVX512-LABEL: one_mask_bit_set5:
  64 ; AVX512:       ## %bb.0:
  65 ; AVX512-NEXT:    vextractf32x4 $3, %zmm0, %xmm0
  66 ; AVX512-NEXT:    vmovlps %xmm0, 48(%rdi)
  67 ; AVX512-NEXT:    vzeroupper
  68 ; AVX512-NEXT:    retq
  69   call void @llvm.masked.store.v8f64.p0v8f64(<8 x double> %val, <8 x double>* %addr, i32 4, <8 x i1><i1 false, i1 false, i1 false, i1 false, i1 false, i1 false, i1 true, i1 false>)
  70   ret void
  71 }
  72
  73 define <8 x double> @load_one_mask_bit_set5(<8 x double>* %addr, <8 x double> %val) {
  74 ;
  75 ; AVX512F-LABEL: load_one_mask_bit_set5:
  76 ; AVX512F:       ## %bb.0:
  77 ; AVX512F-NEXT:    movb $-128, %al
  78 ; AVX512F-NEXT:    kmovw %eax, %k1
  79 ; AVX512F-NEXT:    vbroadcastsd 56(%rdi), %zmm0 {%k1}
  80 ; AVX512F-NEXT:    retq
  81 ;
  82 ; SKX-LABEL: load_one_mask_bit_set5:
  83 ; SKX:       ## %bb.0:
  84 ; SKX-NEXT:    movb $-128, %al
  85 ; SKX-NEXT:    kmovd %eax, %k1
  86 ; SKX-NEXT:    vbroadcastsd 56(%rdi), %zmm0 {%k1}
  87 ; SKX-NEXT:    retq
  88   %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1><i1 false, i1 false, i1 false, i1 false, i1 false, i1 false, i1 false, i1 true>, <8 x double> %val)
  89   ret <8 x double> %res
  90 }
  91
  92 declare <16 x i32> @llvm.masked.load.v16i32.p0v16i32(<16 x i32>*, i32, <16 x i1>, <16 x i32>)
  93 declare void @llvm.masked.store.v16i32.p0v16i32(<16 x i32>, <16 x i32>*, i32, <16 x i1>)
  94 declare void @llvm.masked.store.v16f32.p0v16f32(<16 x float>, <16 x float>*, i32, <16 x i1>)
  95 declare <16 x float> @llvm.masked.load.v16f32.p0v16f32(<16 x float>*, i32, <16 x i1>, <16 x float>)
  96 declare <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>*, i32, <8 x i1>, <8 x double>)
  97 declare void @llvm.masked.store.v8f64.p0v8f64(<8 x double>, <8 x double>*, i32, <8 x i1>)
  98
  99 declare <16 x i32*> @llvm.masked.load.v16p0i32.p0v16p0i32(<16 x i32*>*, i32, <16 x i1>, <16 x i32*>)
 100
 101 define <16 x i32*> @test23(<16 x i32*> %trigger, <16 x i32*>* %addr) {
 102 ; AVX512-LABEL: test23:
 103 ; AVX512:       ## %bb.0:
 104 ; AVX512-NEXT:    vptestnmq %zmm1, %zmm1, %k1
 105 ; AVX512-NEXT:    vptestnmq %zmm0, %zmm0, %k2
 106 ; AVX512-NEXT:    vmovdqu64 (%rdi), %zmm0 {%k2} {z}
 107 ; AVX512-NEXT:    vmovdqu64 64(%rdi), %zmm1 {%k1} {z}
 108 ; AVX512-NEXT:    retq
 109   %mask = icmp eq <16 x i32*> %trigger, zeroinitializer
 110   %res = call <16 x i32*> @llvm.masked.load.v16p0i32.p0v16p0i32(<16 x i32*>* %addr, i32 4, <16 x i1>%mask, <16 x i32*>zeroinitializer)
 111   ret <16 x i32*> %res
 112 }
 113
 114 %mystruct = type { i16, i16, [1 x i8*] }
 115
 116 declare <16 x %mystruct*> @llvm.masked.load.v16p0mystruct.p0v16p0mystruct(<16 x %mystruct*>*, i32, <16 x i1>, <16 x %mystruct*>)
 117
 118 define <16 x %mystruct*> @test24(<16 x i1> %mask, <16 x %mystruct*>* %addr) {
 119 ; AVX512F-LABEL: test24:
 120 ; AVX512F:       ## %bb.0:
 121 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 122 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 123 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k1
 124 ; AVX512F-NEXT:    vmovdqu64 (%rdi), %zmm0 {%k1} {z}
 125 ; AVX512F-NEXT:    kshiftrw $8, %k1, %k1
 126 ; AVX512F-NEXT:    vmovdqu64 64(%rdi), %zmm1 {%k1} {z}
 127 ; AVX512F-NEXT:    retq
 128 ;
 129 ; SKX-LABEL: test24:
 130 ; SKX:       ## %bb.0:
 131 ; SKX-NEXT:    vpsllw $7, %xmm0, %xmm0
 132 ; SKX-NEXT:    vpmovb2m %xmm0, %k1
 133 ; SKX-NEXT:    vmovdqu64 (%rdi), %zmm0 {%k1} {z}
 134 ; SKX-NEXT:    kshiftrw $8, %k1, %k1
 135 ; SKX-NEXT:    vmovdqu64 64(%rdi), %zmm1 {%k1} {z}
 136 ; SKX-NEXT:    retq
 137   %res = call <16 x %mystruct*> @llvm.masked.load.v16p0mystruct.p0v16p0mystruct(<16 x %mystruct*>* %addr, i32 4, <16 x i1>%mask, <16 x %mystruct*>zeroinitializer)
 138   ret <16 x %mystruct*> %res
 139 }
 140
 141 define void @test_store_16i64(<16 x i64>* %ptrs, <16 x i1> %mask, <16 x i64> %src0)  {
 142 ; AVX512F-LABEL: test_store_16i64:
 143 ; AVX512F:       ## %bb.0:
 144 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 145 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 146 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k1
 147 ; AVX512F-NEXT:    vmovdqu64 %zmm1, (%rdi) {%k1}
 148 ; AVX512F-NEXT:    kshiftrw $8, %k1, %k1
 149 ; AVX512F-NEXT:    vmovdqu64 %zmm2, 64(%rdi) {%k1}
 150 ; AVX512F-NEXT:    vzeroupper
 151 ; AVX512F-NEXT:    retq
 152 ;
 153 ; SKX-LABEL: test_store_16i64:
 154 ; SKX:       ## %bb.0:
 155 ; SKX-NEXT:    vpsllw $7, %xmm0, %xmm0
 156 ; SKX-NEXT:    vpmovb2m %xmm0, %k1
 157 ; SKX-NEXT:    vmovdqu64 %zmm1, (%rdi) {%k1}
 158 ; SKX-NEXT:    kshiftrw $8, %k1, %k1
 159 ; SKX-NEXT:    vmovdqu64 %zmm2, 64(%rdi) {%k1}
 160 ; SKX-NEXT:    vzeroupper
 161 ; SKX-NEXT:    retq
 162   call void @llvm.masked.store.v16i64.p0v16i64(<16 x i64> %src0, <16 x i64>* %ptrs, i32 4, <16 x i1> %mask)
 163   ret void
 164 }
 165 declare void @llvm.masked.store.v16i64.p0v16i64(<16 x i64> %src0, <16 x i64>* %ptrs, i32, <16 x i1> %mask)
 166
 167 define void @test_store_16f64(<16 x double>* %ptrs, <16 x i1> %mask, <16 x double> %src0)  {
 168 ; AVX512F-LABEL: test_store_16f64:
 169 ; AVX512F:       ## %bb.0:
 170 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 171 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 172 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k1
 173 ; AVX512F-NEXT:    vmovupd %zmm1, (%rdi) {%k1}
 174 ; AVX512F-NEXT:    kshiftrw $8, %k1, %k1
 175 ; AVX512F-NEXT:    vmovupd %zmm2, 64(%rdi) {%k1}
 176 ; AVX512F-NEXT:    vzeroupper
 177 ; AVX512F-NEXT:    retq
 178 ;
 179 ; SKX-LABEL: test_store_16f64:
 180 ; SKX:       ## %bb.0:
 181 ; SKX-NEXT:    vpsllw $7, %xmm0, %xmm0
 182 ; SKX-NEXT:    vpmovb2m %xmm0, %k1
 183 ; SKX-NEXT:    vmovupd %zmm1, (%rdi) {%k1}
 184 ; SKX-NEXT:    kshiftrw $8, %k1, %k1
 185 ; SKX-NEXT:    vmovupd %zmm2, 64(%rdi) {%k1}
 186 ; SKX-NEXT:    vzeroupper
 187 ; SKX-NEXT:    retq
 188   call void @llvm.masked.store.v16f64.p0v16f64(<16 x double> %src0, <16 x double>* %ptrs, i32 4, <16 x i1> %mask)
 189   ret void
 190 }
 191 declare void @llvm.masked.store.v16f64.p0v16f64(<16 x double> %src0, <16 x double>* %ptrs, i32, <16 x i1> %mask)
 192
 193 define <16 x i64> @test_load_16i64(<16 x i64>* %ptrs, <16 x i1> %mask, <16 x i64> %src0)  {
 194 ; AVX512F-LABEL: test_load_16i64:
 195 ; AVX512F:       ## %bb.0:
 196 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 197 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 198 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k1
 199 ; AVX512F-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
 200 ; AVX512F-NEXT:    kshiftrw $8, %k1, %k1
 201 ; AVX512F-NEXT:    vpblendmq 64(%rdi), %zmm2, %zmm1 {%k1}
 202 ; AVX512F-NEXT:    retq
 203 ;
 204 ; SKX-LABEL: test_load_16i64:
 205 ; SKX:       ## %bb.0:
 206 ; SKX-NEXT:    vpsllw $7, %xmm0, %xmm0
 207 ; SKX-NEXT:    vpmovb2m %xmm0, %k1
 208 ; SKX-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
 209 ; SKX-NEXT:    kshiftrw $8, %k1, %k1
 210 ; SKX-NEXT:    vpblendmq 64(%rdi), %zmm2, %zmm1 {%k1}
 211 ; SKX-NEXT:    retq
 212   %res = call <16 x i64> @llvm.masked.load.v16i64.p0v16i64(<16 x i64>* %ptrs, i32 4, <16 x i1> %mask, <16 x i64> %src0)
 213   ret <16 x i64> %res
 214 }
 215 declare <16 x i64> @llvm.masked.load.v16i64.p0v16i64(<16 x i64>* %ptrs, i32, <16 x i1> %mask, <16 x i64> %src0)
 216
 217 define <16 x double> @test_load_16f64(<16 x double>* %ptrs, <16 x i1> %mask, <16 x double> %src0)  {
 218 ; AVX512F-LABEL: test_load_16f64:
 219 ; AVX512F:       ## %bb.0:
 220 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 221 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 222 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k1
 223 ; AVX512F-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 224 ; AVX512F-NEXT:    kshiftrw $8, %k1, %k1
 225 ; AVX512F-NEXT:    vblendmpd 64(%rdi), %zmm2, %zmm1 {%k1}
 226 ; AVX512F-NEXT:    retq
 227 ;
 228 ; SKX-LABEL: test_load_16f64:
 229 ; SKX:       ## %bb.0:
 230 ; SKX-NEXT:    vpsllw $7, %xmm0, %xmm0
 231 ; SKX-NEXT:    vpmovb2m %xmm0, %k1
 232 ; SKX-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 233 ; SKX-NEXT:    kshiftrw $8, %k1, %k1
 234 ; SKX-NEXT:    vblendmpd 64(%rdi), %zmm2, %zmm1 {%k1}
 235 ; SKX-NEXT:    retq
 236   %res = call <16 x double> @llvm.masked.load.v16f64.p0v16f64(<16 x double>* %ptrs, i32 4, <16 x i1> %mask, <16 x double> %src0)
 237   ret <16 x double> %res
 238 }
 239 declare <16 x double> @llvm.masked.load.v16f64.p0v16f64(<16 x double>* %ptrs, i32, <16 x i1> %mask, <16 x double> %src0)
 240
 241 define <32 x double> @test_load_32f64(<32 x double>* %ptrs, <32 x i1> %mask, <32 x double> %src0)  {
 242 ; AVX512F-LABEL: test_load_32f64:
 243 ; AVX512F:       ## %bb.0:
 244 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm5
 245 ; AVX512F-NEXT:    vpmovsxbd %xmm5, %zmm5
 246 ; AVX512F-NEXT:    vpslld $31, %zmm5, %zmm5
 247 ; AVX512F-NEXT:    vptestmd %zmm5, %zmm5, %k1
 248 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 249 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 250 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k2
 251 ; AVX512F-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k2}
 252 ; AVX512F-NEXT:    vblendmpd 128(%rdi), %zmm3, %zmm5 {%k1}
 253 ; AVX512F-NEXT:    kshiftrw $8, %k2, %k2
 254 ; AVX512F-NEXT:    vblendmpd 64(%rdi), %zmm2, %zmm1 {%k2}
 255 ; AVX512F-NEXT:    kshiftrw $8, %k1, %k1
 256 ; AVX512F-NEXT:    vblendmpd 192(%rdi), %zmm4, %zmm3 {%k1}
 257 ; AVX512F-NEXT:    vmovapd %zmm5, %zmm2
 258 ; AVX512F-NEXT:    retq
 259 ;
 260 ; SKX-LABEL: test_load_32f64:
 261 ; SKX:       ## %bb.0:
 262 ; SKX-NEXT:    vpsllw $7, %ymm0, %ymm0
 263 ; SKX-NEXT:    vpmovb2m %ymm0, %k1
 264 ; SKX-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 265 ; SKX-NEXT:    kshiftrw $8, %k1, %k2
 266 ; SKX-NEXT:    vblendmpd 64(%rdi), %zmm2, %zmm1 {%k2}
 267 ; SKX-NEXT:    kshiftrd $16, %k1, %k1
 268 ; SKX-NEXT:    vblendmpd 128(%rdi), %zmm3, %zmm2 {%k1}
 269 ; SKX-NEXT:    kshiftrw $8, %k1, %k1
 270 ; SKX-NEXT:    vblendmpd 192(%rdi), %zmm4, %zmm3 {%k1}
 271 ; SKX-NEXT:    retq
 272   %res = call <32 x double> @llvm.masked.load.v32f64.p0v32f64(<32 x double>* %ptrs, i32 4, <32 x i1> %mask, <32 x double> %src0)
 273   ret <32 x double> %res
 274 }
 275
 276 declare <32 x double> @llvm.masked.load.v32f64.p0v32f64(<32 x double>* %ptrs, i32, <32 x i1> %mask, <32 x double> %src0)