test/CodeGen/X86/bitcast-setcc-256.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+SSE2 | FileCheck %s --check-prefixes=SSE2-SSSE3,SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+SSSE3 | FileCheck %s --check-prefixes=SSE2-SSSE3,SSSE3
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=AVX12,AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=AVX12,AVX2
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl | FileCheck %s --check-prefixes=AVX512 --check-prefixes=AVX512F
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl,+avx512bw | FileCheck %s --check-prefixes=AVX512 --check-prefixes=AVX512BW
   8
   9 define i16 @v16i16(<16 x i16> %a, <16 x i16> %b) {
  10 ; SSE2-SSSE3-LABEL: v16i16:
  11 ; SSE2-SSSE3:       # %bb.0:
  12 ; SSE2-SSSE3-NEXT:    pcmpgtw %xmm3, %xmm1
  13 ; SSE2-SSSE3-NEXT:    pcmpgtw %xmm2, %xmm0
  14 ; SSE2-SSSE3-NEXT:    packsswb %xmm1, %xmm0
  15 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm0, %eax
  16 ; SSE2-SSSE3-NEXT:    # kill: def $ax killed $ax killed $eax
  17 ; SSE2-SSSE3-NEXT:    retq
  18 ;
  19 ; AVX1-LABEL: v16i16:
  20 ; AVX1:       # %bb.0:
  21 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
  22 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
  23 ; AVX1-NEXT:    vpcmpgtw %xmm2, %xmm3, %xmm2
  24 ; AVX1-NEXT:    vpcmpgtw %xmm1, %xmm0, %xmm0
  25 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm0, %xmm0
  26 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
  27 ; AVX1-NEXT:    # kill: def $ax killed $ax killed $eax
  28 ; AVX1-NEXT:    vzeroupper
  29 ; AVX1-NEXT:    retq
  30 ;
  31 ; AVX2-LABEL: v16i16:
  32 ; AVX2:       # %bb.0:
  33 ; AVX2-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
  34 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
  35 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
  36 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
  37 ; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
  38 ; AVX2-NEXT:    vzeroupper
  39 ; AVX2-NEXT:    retq
  40 ;
  41 ; AVX512F-LABEL: v16i16:
  42 ; AVX512F:       # %bb.0:
  43 ; AVX512F-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
  44 ; AVX512F-NEXT:    vpmovsxwd %ymm0, %zmm0
  45 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
  46 ; AVX512F-NEXT:    kmovw %k0, %eax
  47 ; AVX512F-NEXT:    # kill: def $ax killed $ax killed $eax
  48 ; AVX512F-NEXT:    vzeroupper
  49 ; AVX512F-NEXT:    retq
  50 ;
  51 ; AVX512BW-LABEL: v16i16:
  52 ; AVX512BW:       # %bb.0:
  53 ; AVX512BW-NEXT:    vpcmpgtw %ymm1, %ymm0, %k0
  54 ; AVX512BW-NEXT:    kmovd %k0, %eax
  55 ; AVX512BW-NEXT:    # kill: def $ax killed $ax killed $eax
  56 ; AVX512BW-NEXT:    vzeroupper
  57 ; AVX512BW-NEXT:    retq
  58   %x = icmp sgt <16 x i16> %a, %b
  59   %res = bitcast <16 x i1> %x to i16
  60   ret i16 %res
  61 }
  62
  63 define i8 @v8i32(<8 x i32> %a, <8 x i32> %b) {
  64 ; SSE2-SSSE3-LABEL: v8i32:
  65 ; SSE2-SSSE3:       # %bb.0:
  66 ; SSE2-SSSE3-NEXT:    pcmpgtd %xmm3, %xmm1
  67 ; SSE2-SSSE3-NEXT:    pcmpgtd %xmm2, %xmm0
  68 ; SSE2-SSSE3-NEXT:    packssdw %xmm1, %xmm0
  69 ; SSE2-SSSE3-NEXT:    packsswb %xmm0, %xmm0
  70 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm0, %eax
  71 ; SSE2-SSSE3-NEXT:    # kill: def $al killed $al killed $eax
  72 ; SSE2-SSSE3-NEXT:    retq
  73 ;
  74 ; AVX1-LABEL: v8i32:
  75 ; AVX1:       # %bb.0:
  76 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
  77 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
  78 ; AVX1-NEXT:    vpcmpgtd %xmm2, %xmm3, %xmm2
  79 ; AVX1-NEXT:    vpcmpgtd %xmm1, %xmm0, %xmm0
  80 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
  81 ; AVX1-NEXT:    vmovmskps %ymm0, %eax
  82 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
  83 ; AVX1-NEXT:    vzeroupper
  84 ; AVX1-NEXT:    retq
  85 ;
  86 ; AVX2-LABEL: v8i32:
  87 ; AVX2:       # %bb.0:
  88 ; AVX2-NEXT:    vpcmpgtd %ymm1, %ymm0, %ymm0
  89 ; AVX2-NEXT:    vmovmskps %ymm0, %eax
  90 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
  91 ; AVX2-NEXT:    vzeroupper
  92 ; AVX2-NEXT:    retq
  93 ;
  94 ; AVX512F-LABEL: v8i32:
  95 ; AVX512F:       # %bb.0:
  96 ; AVX512F-NEXT:    vpcmpgtd %ymm1, %ymm0, %k0
  97 ; AVX512F-NEXT:    kmovw %k0, %eax
  98 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
  99 ; AVX512F-NEXT:    vzeroupper
 100 ; AVX512F-NEXT:    retq
 101 ;
 102 ; AVX512BW-LABEL: v8i32:
 103 ; AVX512BW:       # %bb.0:
 104 ; AVX512BW-NEXT:    vpcmpgtd %ymm1, %ymm0, %k0
 105 ; AVX512BW-NEXT:    kmovd %k0, %eax
 106 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
 107 ; AVX512BW-NEXT:    vzeroupper
 108 ; AVX512BW-NEXT:    retq
 109   %x = icmp sgt <8 x i32> %a, %b
 110   %res = bitcast <8 x i1> %x to i8
 111   ret i8 %res
 112 }
 113
 114 define i8 @v8f32(<8 x float> %a, <8 x float> %b) {
 115 ; SSE2-SSSE3-LABEL: v8f32:
 116 ; SSE2-SSSE3:       # %bb.0:
 117 ; SSE2-SSSE3-NEXT:    cmpltps %xmm1, %xmm3
 118 ; SSE2-SSSE3-NEXT:    cmpltps %xmm0, %xmm2
 119 ; SSE2-SSSE3-NEXT:    packssdw %xmm3, %xmm2
 120 ; SSE2-SSSE3-NEXT:    packsswb %xmm0, %xmm2
 121 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm2, %eax
 122 ; SSE2-SSSE3-NEXT:    # kill: def $al killed $al killed $eax
 123 ; SSE2-SSSE3-NEXT:    retq
 124 ;
 125 ; AVX12-LABEL: v8f32:
 126 ; AVX12:       # %bb.0:
 127 ; AVX12-NEXT:    vcmpltps %ymm0, %ymm1, %ymm0
 128 ; AVX12-NEXT:    vmovmskps %ymm0, %eax
 129 ; AVX12-NEXT:    # kill: def $al killed $al killed $eax
 130 ; AVX12-NEXT:    vzeroupper
 131 ; AVX12-NEXT:    retq
 132 ;
 133 ; AVX512F-LABEL: v8f32:
 134 ; AVX512F:       # %bb.0:
 135 ; AVX512F-NEXT:    vcmpltps %ymm0, %ymm1, %k0
 136 ; AVX512F-NEXT:    kmovw %k0, %eax
 137 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
 138 ; AVX512F-NEXT:    vzeroupper
 139 ; AVX512F-NEXT:    retq
 140 ;
 141 ; AVX512BW-LABEL: v8f32:
 142 ; AVX512BW:       # %bb.0:
 143 ; AVX512BW-NEXT:    vcmpltps %ymm0, %ymm1, %k0
 144 ; AVX512BW-NEXT:    kmovd %k0, %eax
 145 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
 146 ; AVX512BW-NEXT:    vzeroupper
 147 ; AVX512BW-NEXT:    retq
 148   %x = fcmp ogt <8 x float> %a, %b
 149   %res = bitcast <8 x i1> %x to i8
 150   ret i8 %res
 151 }
 152
 153 define i32 @v32i8(<32 x i8> %a, <32 x i8> %b) {
 154 ; SSE2-SSSE3-LABEL: v32i8:
 155 ; SSE2-SSSE3:       # %bb.0:
 156 ; SSE2-SSSE3-NEXT:    pcmpgtb %xmm2, %xmm0
 157 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm0, %ecx
 158 ; SSE2-SSSE3-NEXT:    pcmpgtb %xmm3, %xmm1
 159 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm1, %eax
 160 ; SSE2-SSSE3-NEXT:    shll $16, %eax
 161 ; SSE2-SSSE3-NEXT:    orl %ecx, %eax
 162 ; SSE2-SSSE3-NEXT:    retq
 163 ;
 164 ; AVX1-LABEL: v32i8:
 165 ; AVX1:       # %bb.0:
 166 ; AVX1-NEXT:    vpcmpgtb %xmm1, %xmm0, %xmm2
 167 ; AVX1-NEXT:    vpmovmskb %xmm2, %ecx
 168 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm1
 169 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 170 ; AVX1-NEXT:    vpcmpgtb %xmm1, %xmm0, %xmm0
 171 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 172 ; AVX1-NEXT:    shll $16, %eax
 173 ; AVX1-NEXT:    orl %ecx, %eax
 174 ; AVX1-NEXT:    vzeroupper
 175 ; AVX1-NEXT:    retq
 176 ;
 177 ; AVX2-LABEL: v32i8:
 178 ; AVX2:       # %bb.0:
 179 ; AVX2-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm0
 180 ; AVX2-NEXT:    vpmovmskb %ymm0, %eax
 181 ; AVX2-NEXT:    vzeroupper
 182 ; AVX2-NEXT:    retq
 183 ;
 184 ; AVX512F-LABEL: v32i8:
 185 ; AVX512F:       # %bb.0:
 186 ; AVX512F-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm0
 187 ; AVX512F-NEXT:    vpmovmskb %ymm0, %eax
 188 ; AVX512F-NEXT:    vzeroupper
 189 ; AVX512F-NEXT:    retq
 190 ;
 191 ; AVX512BW-LABEL: v32i8:
 192 ; AVX512BW:       # %bb.0:
 193 ; AVX512BW-NEXT:    vpcmpgtb %ymm1, %ymm0, %k0
 194 ; AVX512BW-NEXT:    kmovd %k0, %eax
 195 ; AVX512BW-NEXT:    vzeroupper
 196 ; AVX512BW-NEXT:    retq
 197   %x = icmp sgt <32 x i8> %a, %b
 198   %res = bitcast <32 x i1> %x to i32
 199   ret i32 %res
 200 }
 201
 202 define i4 @v4i64(<4 x i64> %a, <4 x i64> %b) {
 203 ; SSE2-SSSE3-LABEL: v4i64:
 204 ; SSE2-SSSE3:       # %bb.0:
 205 ; SSE2-SSSE3-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648]
 206 ; SSE2-SSSE3-NEXT:    pxor %xmm4, %xmm3
 207 ; SSE2-SSSE3-NEXT:    pxor %xmm4, %xmm1
 208 ; SSE2-SSSE3-NEXT:    movdqa %xmm1, %xmm5
 209 ; SSE2-SSSE3-NEXT:    pcmpeqd %xmm3, %xmm5
 210 ; SSE2-SSSE3-NEXT:    pcmpgtd %xmm3, %xmm1
 211 ; SSE2-SSSE3-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[0,0,2,2]
 212 ; SSE2-SSSE3-NEXT:    pand %xmm5, %xmm3
 213 ; SSE2-SSSE3-NEXT:    por %xmm1, %xmm3
 214 ; SSE2-SSSE3-NEXT:    pxor %xmm4, %xmm2
 215 ; SSE2-SSSE3-NEXT:    pxor %xmm4, %xmm0
 216 ; SSE2-SSSE3-NEXT:    movdqa %xmm0, %xmm1
 217 ; SSE2-SSSE3-NEXT:    pcmpeqd %xmm2, %xmm1
 218 ; SSE2-SSSE3-NEXT:    pcmpgtd %xmm2, %xmm0
 219 ; SSE2-SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[0,0,2,2]
 220 ; SSE2-SSSE3-NEXT:    pand %xmm1, %xmm2
 221 ; SSE2-SSSE3-NEXT:    por %xmm0, %xmm2
 222 ; SSE2-SSSE3-NEXT:    packssdw %xmm3, %xmm2
 223 ; SSE2-SSSE3-NEXT:    movmskps %xmm2, %eax
 224 ; SSE2-SSSE3-NEXT:    # kill: def $al killed $al killed $eax
 225 ; SSE2-SSSE3-NEXT:    retq
 226 ;
 227 ; AVX1-LABEL: v4i64:
 228 ; AVX1:       # %bb.0:
 229 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 230 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 231 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 232 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm0
 233 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 234 ; AVX1-NEXT:    vmovmskpd %ymm0, %eax
 235 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
 236 ; AVX1-NEXT:    vzeroupper
 237 ; AVX1-NEXT:    retq
 238 ;
 239 ; AVX2-LABEL: v4i64:
 240 ; AVX2:       # %bb.0:
 241 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm0
 242 ; AVX2-NEXT:    vmovmskpd %ymm0, %eax
 243 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
 244 ; AVX2-NEXT:    vzeroupper
 245 ; AVX2-NEXT:    retq
 246 ;
 247 ; AVX512F-LABEL: v4i64:
 248 ; AVX512F:       # %bb.0:
 249 ; AVX512F-NEXT:    vpcmpgtq %ymm1, %ymm0, %k0
 250 ; AVX512F-NEXT:    kmovw %k0, %eax
 251 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
 252 ; AVX512F-NEXT:    vzeroupper
 253 ; AVX512F-NEXT:    retq
 254 ;
 255 ; AVX512BW-LABEL: v4i64:
 256 ; AVX512BW:       # %bb.0:
 257 ; AVX512BW-NEXT:    vpcmpgtq %ymm1, %ymm0, %k0
 258 ; AVX512BW-NEXT:    kmovd %k0, %eax
 259 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
 260 ; AVX512BW-NEXT:    vzeroupper
 261 ; AVX512BW-NEXT:    retq
 262   %x = icmp sgt <4 x i64> %a, %b
 263   %res = bitcast <4 x i1> %x to i4
 264   ret i4 %res
 265 }
 266
 267 define i4 @v4f64(<4 x double> %a, <4 x double> %b) {
 268 ; SSE2-SSSE3-LABEL: v4f64:
 269 ; SSE2-SSSE3:       # %bb.0:
 270 ; SSE2-SSSE3-NEXT:    cmpltpd %xmm1, %xmm3
 271 ; SSE2-SSSE3-NEXT:    cmpltpd %xmm0, %xmm2
 272 ; SSE2-SSSE3-NEXT:    packssdw %xmm3, %xmm2
 273 ; SSE2-SSSE3-NEXT:    movmskps %xmm2, %eax
 274 ; SSE2-SSSE3-NEXT:    # kill: def $al killed $al killed $eax
 275 ; SSE2-SSSE3-NEXT:    retq
 276 ;
 277 ; AVX12-LABEL: v4f64:
 278 ; AVX12:       # %bb.0:
 279 ; AVX12-NEXT:    vcmpltpd %ymm0, %ymm1, %ymm0
 280 ; AVX12-NEXT:    vmovmskpd %ymm0, %eax
 281 ; AVX12-NEXT:    # kill: def $al killed $al killed $eax
 282 ; AVX12-NEXT:    vzeroupper
 283 ; AVX12-NEXT:    retq
 284 ;
 285 ; AVX512F-LABEL: v4f64:
 286 ; AVX512F:       # %bb.0:
 287 ; AVX512F-NEXT:    vcmpltpd %ymm0, %ymm1, %k0
 288 ; AVX512F-NEXT:    kmovw %k0, %eax
 289 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
 290 ; AVX512F-NEXT:    vzeroupper
 291 ; AVX512F-NEXT:    retq
 292 ;
 293 ; AVX512BW-LABEL: v4f64:
 294 ; AVX512BW:       # %bb.0:
 295 ; AVX512BW-NEXT:    vcmpltpd %ymm0, %ymm1, %k0
 296 ; AVX512BW-NEXT:    kmovd %k0, %eax
 297 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
 298 ; AVX512BW-NEXT:    vzeroupper
 299 ; AVX512BW-NEXT:    retq
 300   %x = fcmp ogt <4 x double> %a, %b
 301   %res = bitcast <4 x i1> %x to i4
 302   ret i4 %res
 303 }
 304
 305 define void @bitcast_32i8_store(i32* %p, <32 x i8> %a0) {
 306 ; SSE2-SSSE3-LABEL: bitcast_32i8_store:
 307 ; SSE2-SSSE3:       # %bb.0:
 308 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm0, %eax
 309 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm1, %ecx
 310 ; SSE2-SSSE3-NEXT:    shll $16, %ecx
 311 ; SSE2-SSSE3-NEXT:    orl %eax, %ecx
 312 ; SSE2-SSSE3-NEXT:    movl %ecx, (%rdi)
 313 ; SSE2-SSSE3-NEXT:    retq
 314 ;
 315 ; AVX1-LABEL: bitcast_32i8_store:
 316 ; AVX1:       # %bb.0:
 317 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 318 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 319 ; AVX1-NEXT:    vpmovmskb %xmm0, %ecx
 320 ; AVX1-NEXT:    shll $16, %ecx
 321 ; AVX1-NEXT:    orl %eax, %ecx
 322 ; AVX1-NEXT:    movl %ecx, (%rdi)
 323 ; AVX1-NEXT:    vzeroupper
 324 ; AVX1-NEXT:    retq
 325 ;
 326 ; AVX2-LABEL: bitcast_32i8_store:
 327 ; AVX2:       # %bb.0:
 328 ; AVX2-NEXT:    vpmovmskb %ymm0, %eax
 329 ; AVX2-NEXT:    movl %eax, (%rdi)
 330 ; AVX2-NEXT:    vzeroupper
 331 ; AVX2-NEXT:    retq
 332 ;
 333 ; AVX512F-LABEL: bitcast_32i8_store:
 334 ; AVX512F:       # %bb.0:
 335 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 336 ; AVX512F-NEXT:    vpcmpgtb %ymm0, %ymm1, %ymm0
 337 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm1
 338 ; AVX512F-NEXT:    vptestmd %zmm1, %zmm1, %k0
 339 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm0
 340 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 341 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k1
 342 ; AVX512F-NEXT:    kmovw %k1, 2(%rdi)
 343 ; AVX512F-NEXT:    kmovw %k0, (%rdi)
 344 ; AVX512F-NEXT:    vzeroupper
 345 ; AVX512F-NEXT:    retq
 346 ;
 347 ; AVX512BW-LABEL: bitcast_32i8_store:
 348 ; AVX512BW:       # %bb.0:
 349 ; AVX512BW-NEXT:    vpmovb2m %ymm0, %k0
 350 ; AVX512BW-NEXT:    kmovd %k0, (%rdi)
 351 ; AVX512BW-NEXT:    vzeroupper
 352 ; AVX512BW-NEXT:    retq
 353   %a1 = icmp slt <32 x i8> %a0, zeroinitializer
 354   %a2 = bitcast <32 x i1> %a1 to i32
 355   store i32 %a2, i32* %p
 356   ret void
 357 }
 358
 359 define void @bitcast_16i16_store(i16* %p, <16 x i16> %a0) {
 360 ; SSE2-SSSE3-LABEL: bitcast_16i16_store:
 361 ; SSE2-SSSE3:       # %bb.0:
 362 ; SSE2-SSSE3-NEXT:    packsswb %xmm1, %xmm0
 363 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm0, %eax
 364 ; SSE2-SSSE3-NEXT:    movw %ax, (%rdi)
 365 ; SSE2-SSSE3-NEXT:    retq
 366 ;
 367 ; AVX1-LABEL: bitcast_16i16_store:
 368 ; AVX1:       # %bb.0:
 369 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 370 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 371 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 372 ; AVX1-NEXT:    movw %ax, (%rdi)
 373 ; AVX1-NEXT:    vzeroupper
 374 ; AVX1-NEXT:    retq
 375 ;
 376 ; AVX2-LABEL: bitcast_16i16_store:
 377 ; AVX2:       # %bb.0:
 378 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 379 ; AVX2-NEXT:    vpcmpgtw %ymm0, %ymm1, %ymm0
 380 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 381 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 382 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
 383 ; AVX2-NEXT:    movw %ax, (%rdi)
 384 ; AVX2-NEXT:    vzeroupper
 385 ; AVX2-NEXT:    retq
 386 ;
 387 ; AVX512F-LABEL: bitcast_16i16_store:
 388 ; AVX512F:       # %bb.0:
 389 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 390 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm1, %ymm0
 391 ; AVX512F-NEXT:    vpmovsxwd %ymm0, %zmm0
 392 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
 393 ; AVX512F-NEXT:    kmovw %k0, (%rdi)
 394 ; AVX512F-NEXT:    vzeroupper
 395 ; AVX512F-NEXT:    retq
 396 ;
 397 ; AVX512BW-LABEL: bitcast_16i16_store:
 398 ; AVX512BW:       # %bb.0:
 399 ; AVX512BW-NEXT:    vpmovw2m %ymm0, %k0
 400 ; AVX512BW-NEXT:    kmovw %k0, (%rdi)
 401 ; AVX512BW-NEXT:    vzeroupper
 402 ; AVX512BW-NEXT:    retq
 403   %a1 = icmp slt <16 x i16> %a0, zeroinitializer
 404   %a2 = bitcast <16 x i1> %a1 to i16
 405   store i16 %a2, i16* %p
 406   ret void
 407 }
 408
 409 define void @bitcast_8i32_store(i8* %p, <8 x i32> %a0) {
 410 ; SSE2-SSSE3-LABEL: bitcast_8i32_store:
 411 ; SSE2-SSSE3:       # %bb.0:
 412 ; SSE2-SSSE3-NEXT:    packssdw %xmm1, %xmm0
 413 ; SSE2-SSSE3-NEXT:    packsswb %xmm0, %xmm0
 414 ; SSE2-SSSE3-NEXT:    pmovmskb %xmm0, %eax
 415 ; SSE2-SSSE3-NEXT:    movb %al, (%rdi)
 416 ; SSE2-SSSE3-NEXT:    retq
 417 ;
 418 ; AVX12-LABEL: bitcast_8i32_store:
 419 ; AVX12:       # %bb.0:
 420 ; AVX12-NEXT:    vmovmskps %ymm0, %eax
 421 ; AVX12-NEXT:    movb %al, (%rdi)
 422 ; AVX12-NEXT:    vzeroupper
 423 ; AVX12-NEXT:    retq
 424 ;
 425 ; AVX512F-LABEL: bitcast_8i32_store:
 426 ; AVX512F:       # %bb.0:
 427 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 428 ; AVX512F-NEXT:    vpcmpgtd %ymm0, %ymm1, %k0
 429 ; AVX512F-NEXT:    kmovw %k0, %eax
 430 ; AVX512F-NEXT:    movb %al, (%rdi)
 431 ; AVX512F-NEXT:    vzeroupper
 432 ; AVX512F-NEXT:    retq
 433 ;
 434 ; AVX512BW-LABEL: bitcast_8i32_store:
 435 ; AVX512BW:       # %bb.0:
 436 ; AVX512BW-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 437 ; AVX512BW-NEXT:    vpcmpgtd %ymm0, %ymm1, %k0
 438 ; AVX512BW-NEXT:    kmovd %k0, %eax
 439 ; AVX512BW-NEXT:    movb %al, (%rdi)
 440 ; AVX512BW-NEXT:    vzeroupper
 441 ; AVX512BW-NEXT:    retq
 442   %a1 = icmp slt <8 x i32> %a0, zeroinitializer
 443   %a2 = bitcast <8 x i1> %a1 to i8
 444   store i8 %a2, i8* %p
 445   ret void
 446 }
 447
 448 define void @bitcast_4i64_store(i4* %p, <4 x i64> %a0) {
 449 ; SSE2-SSSE3-LABEL: bitcast_4i64_store:
 450 ; SSE2-SSSE3:       # %bb.0:
 451 ; SSE2-SSSE3-NEXT:    packssdw %xmm1, %xmm0
 452 ; SSE2-SSSE3-NEXT:    movmskps %xmm0, %eax
 453 ; SSE2-SSSE3-NEXT:    movb %al, (%rdi)
 454 ; SSE2-SSSE3-NEXT:    retq
 455 ;
 456 ; AVX12-LABEL: bitcast_4i64_store:
 457 ; AVX12:       # %bb.0:
 458 ; AVX12-NEXT:    vmovmskpd %ymm0, %eax
 459 ; AVX12-NEXT:    movb %al, (%rdi)
 460 ; AVX12-NEXT:    vzeroupper
 461 ; AVX12-NEXT:    retq
 462 ;
 463 ; AVX512F-LABEL: bitcast_4i64_store:
 464 ; AVX512F:       # %bb.0:
 465 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 466 ; AVX512F-NEXT:    vpcmpgtq %ymm0, %ymm1, %k0
 467 ; AVX512F-NEXT:    kmovw %k0, %eax
 468 ; AVX512F-NEXT:    movb %al, (%rdi)
 469 ; AVX512F-NEXT:    vzeroupper
 470 ; AVX512F-NEXT:    retq
 471 ;
 472 ; AVX512BW-LABEL: bitcast_4i64_store:
 473 ; AVX512BW:       # %bb.0:
 474 ; AVX512BW-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 475 ; AVX512BW-NEXT:    vpcmpgtq %ymm0, %ymm1, %k0
 476 ; AVX512BW-NEXT:    kmovd %k0, %eax
 477 ; AVX512BW-NEXT:    movb %al, (%rdi)
 478 ; AVX512BW-NEXT:    vzeroupper
 479 ; AVX512BW-NEXT:    retq
 480   %a1 = icmp slt <4 x i64> %a0, zeroinitializer
 481   %a2 = bitcast <4 x i1> %a1 to i4
 482   store i4 %a2, i4* %p
 483   ret void
 484 }