test/CodeGen/X86/vector-reduce-and-bool.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefixes=SSE,SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=SSE,SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=AVX,AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=AVX,AVX2
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f | FileCheck %s --check-prefixes=AVX512,AVX512F
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw | FileCheck %s --check-prefixes=AVX512,AVX512BW
   8 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl | FileCheck %s --check-prefixes=AVX512,AVX512VL
   9
  10 ;
  11 ; Truncate
  12 ;
  13
  14 define i1 @trunc_v2i64_v2i1(<2 x i64>) {
  15 ; SSE-LABEL: trunc_v2i64_v2i1:
  16 ; SSE:       # %bb.0:
  17 ; SSE-NEXT:    psllq $63, %xmm0
  18 ; SSE-NEXT:    movmskpd %xmm0, %eax
  19 ; SSE-NEXT:    cmpb $3, %al
  20 ; SSE-NEXT:    sete %al
  21 ; SSE-NEXT:    retq
  22 ;
  23 ; AVX-LABEL: trunc_v2i64_v2i1:
  24 ; AVX:       # %bb.0:
  25 ; AVX-NEXT:    vpsllq $63, %xmm0, %xmm0
  26 ; AVX-NEXT:    vmovmskpd %xmm0, %eax
  27 ; AVX-NEXT:    cmpb $3, %al
  28 ; AVX-NEXT:    sete %al
  29 ; AVX-NEXT:    retq
  30 ;
  31 ; AVX512F-LABEL: trunc_v2i64_v2i1:
  32 ; AVX512F:       # %bb.0:
  33 ; AVX512F-NEXT:    vpsllq $63, %xmm0, %xmm0
  34 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k0
  35 ; AVX512F-NEXT:    kmovw %k0, %eax
  36 ; AVX512F-NEXT:    andb $3, %al
  37 ; AVX512F-NEXT:    cmpb $3, %al
  38 ; AVX512F-NEXT:    sete %al
  39 ; AVX512F-NEXT:    vzeroupper
  40 ; AVX512F-NEXT:    retq
  41 ;
  42 ; AVX512BW-LABEL: trunc_v2i64_v2i1:
  43 ; AVX512BW:       # %bb.0:
  44 ; AVX512BW-NEXT:    vpsllq $63, %xmm0, %xmm0
  45 ; AVX512BW-NEXT:    vptestmq %zmm0, %zmm0, %k0
  46 ; AVX512BW-NEXT:    kmovd %k0, %eax
  47 ; AVX512BW-NEXT:    andb $3, %al
  48 ; AVX512BW-NEXT:    cmpb $3, %al
  49 ; AVX512BW-NEXT:    sete %al
  50 ; AVX512BW-NEXT:    vzeroupper
  51 ; AVX512BW-NEXT:    retq
  52 ;
  53 ; AVX512VL-LABEL: trunc_v2i64_v2i1:
  54 ; AVX512VL:       # %bb.0:
  55 ; AVX512VL-NEXT:    vpsllq $63, %xmm0, %xmm0
  56 ; AVX512VL-NEXT:    vptestmq %xmm0, %xmm0, %k0
  57 ; AVX512VL-NEXT:    kmovd %k0, %eax
  58 ; AVX512VL-NEXT:    andb $3, %al
  59 ; AVX512VL-NEXT:    cmpb $3, %al
  60 ; AVX512VL-NEXT:    sete %al
  61 ; AVX512VL-NEXT:    retq
  62   %a = trunc <2 x i64> %0 to <2 x i1>
  63   %b = call i1 @llvm.experimental.vector.reduce.and.v2i1(<2 x i1> %a)
  64   ret i1 %b
  65 }
  66
  67 define i1 @trunc_v4i32_v4i1(<4 x i32>) {
  68 ; SSE-LABEL: trunc_v4i32_v4i1:
  69 ; SSE:       # %bb.0:
  70 ; SSE-NEXT:    pslld $31, %xmm0
  71 ; SSE-NEXT:    movmskps %xmm0, %eax
  72 ; SSE-NEXT:    cmpb $15, %al
  73 ; SSE-NEXT:    sete %al
  74 ; SSE-NEXT:    retq
  75 ;
  76 ; AVX-LABEL: trunc_v4i32_v4i1:
  77 ; AVX:       # %bb.0:
  78 ; AVX-NEXT:    vpslld $31, %xmm0, %xmm0
  79 ; AVX-NEXT:    vmovmskps %xmm0, %eax
  80 ; AVX-NEXT:    cmpb $15, %al
  81 ; AVX-NEXT:    sete %al
  82 ; AVX-NEXT:    retq
  83 ;
  84 ; AVX512F-LABEL: trunc_v4i32_v4i1:
  85 ; AVX512F:       # %bb.0:
  86 ; AVX512F-NEXT:    vpslld $31, %xmm0, %xmm0
  87 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
  88 ; AVX512F-NEXT:    kmovw %k0, %eax
  89 ; AVX512F-NEXT:    andb $15, %al
  90 ; AVX512F-NEXT:    cmpb $15, %al
  91 ; AVX512F-NEXT:    sete %al
  92 ; AVX512F-NEXT:    vzeroupper
  93 ; AVX512F-NEXT:    retq
  94 ;
  95 ; AVX512BW-LABEL: trunc_v4i32_v4i1:
  96 ; AVX512BW:       # %bb.0:
  97 ; AVX512BW-NEXT:    vpslld $31, %xmm0, %xmm0
  98 ; AVX512BW-NEXT:    vptestmd %zmm0, %zmm0, %k0
  99 ; AVX512BW-NEXT:    kmovd %k0, %eax
 100 ; AVX512BW-NEXT:    andb $15, %al
 101 ; AVX512BW-NEXT:    cmpb $15, %al
 102 ; AVX512BW-NEXT:    sete %al
 103 ; AVX512BW-NEXT:    vzeroupper
 104 ; AVX512BW-NEXT:    retq
 105 ;
 106 ; AVX512VL-LABEL: trunc_v4i32_v4i1:
 107 ; AVX512VL:       # %bb.0:
 108 ; AVX512VL-NEXT:    vpslld $31, %xmm0, %xmm0
 109 ; AVX512VL-NEXT:    vptestmd %xmm0, %xmm0, %k0
 110 ; AVX512VL-NEXT:    kmovd %k0, %eax
 111 ; AVX512VL-NEXT:    andb $15, %al
 112 ; AVX512VL-NEXT:    cmpb $15, %al
 113 ; AVX512VL-NEXT:    sete %al
 114 ; AVX512VL-NEXT:    retq
 115   %a = trunc <4 x i32> %0 to <4 x i1>
 116   %b = call i1 @llvm.experimental.vector.reduce.and.v4i1(<4 x i1> %a)
 117   ret i1 %b
 118 }
 119
 120 define i1 @trunc_v8i16_v8i1(<8 x i8>) {
 121 ; SSE-LABEL: trunc_v8i16_v8i1:
 122 ; SSE:       # %bb.0:
 123 ; SSE-NEXT:    psllw $15, %xmm0
 124 ; SSE-NEXT:    packsswb %xmm0, %xmm0
 125 ; SSE-NEXT:    pmovmskb %xmm0, %eax
 126 ; SSE-NEXT:    cmpb $-1, %al
 127 ; SSE-NEXT:    sete %al
 128 ; SSE-NEXT:    retq
 129 ;
 130 ; AVX-LABEL: trunc_v8i16_v8i1:
 131 ; AVX:       # %bb.0:
 132 ; AVX-NEXT:    vpsllw $15, %xmm0, %xmm0
 133 ; AVX-NEXT:    vpacksswb %xmm0, %xmm0, %xmm0
 134 ; AVX-NEXT:    vpmovmskb %xmm0, %eax
 135 ; AVX-NEXT:    cmpb $-1, %al
 136 ; AVX-NEXT:    sete %al
 137 ; AVX-NEXT:    retq
 138 ;
 139 ; AVX512F-LABEL: trunc_v8i16_v8i1:
 140 ; AVX512F:       # %bb.0:
 141 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
 142 ; AVX512F-NEXT:    vpsllq $63, %zmm0, %zmm0
 143 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k0
 144 ; AVX512F-NEXT:    kmovw %k0, %eax
 145 ; AVX512F-NEXT:    cmpb $-1, %al
 146 ; AVX512F-NEXT:    sete %al
 147 ; AVX512F-NEXT:    vzeroupper
 148 ; AVX512F-NEXT:    retq
 149 ;
 150 ; AVX512BW-LABEL: trunc_v8i16_v8i1:
 151 ; AVX512BW:       # %bb.0:
 152 ; AVX512BW-NEXT:    vpsllw $15, %xmm0, %xmm0
 153 ; AVX512BW-NEXT:    vpmovw2m %zmm0, %k0
 154 ; AVX512BW-NEXT:    kmovd %k0, %eax
 155 ; AVX512BW-NEXT:    cmpb $-1, %al
 156 ; AVX512BW-NEXT:    sete %al
 157 ; AVX512BW-NEXT:    vzeroupper
 158 ; AVX512BW-NEXT:    retq
 159 ;
 160 ; AVX512VL-LABEL: trunc_v8i16_v8i1:
 161 ; AVX512VL:       # %bb.0:
 162 ; AVX512VL-NEXT:    vpsllw $15, %xmm0, %xmm0
 163 ; AVX512VL-NEXT:    vpmovw2m %xmm0, %k0
 164 ; AVX512VL-NEXT:    kmovd %k0, %eax
 165 ; AVX512VL-NEXT:    cmpb $-1, %al
 166 ; AVX512VL-NEXT:    sete %al
 167 ; AVX512VL-NEXT:    retq
 168   %a = trunc <8 x i8> %0 to <8 x i1>
 169   %b = call i1 @llvm.experimental.vector.reduce.and.v8i1(<8 x i1> %a)
 170   ret i1 %b
 171 }
 172
 173 define i1 @trunc_v16i8_v16i1(<16 x i8>) {
 174 ; SSE-LABEL: trunc_v16i8_v16i1:
 175 ; SSE:       # %bb.0:
 176 ; SSE-NEXT:    psllw $7, %xmm0
 177 ; SSE-NEXT:    pmovmskb %xmm0, %eax
 178 ; SSE-NEXT:    cmpw $-1, %ax
 179 ; SSE-NEXT:    sete %al
 180 ; SSE-NEXT:    retq
 181 ;
 182 ; AVX-LABEL: trunc_v16i8_v16i1:
 183 ; AVX:       # %bb.0:
 184 ; AVX-NEXT:    vpsllw $7, %xmm0, %xmm0
 185 ; AVX-NEXT:    vpmovmskb %xmm0, %eax
 186 ; AVX-NEXT:    cmpw $-1, %ax
 187 ; AVX-NEXT:    sete %al
 188 ; AVX-NEXT:    retq
 189 ;
 190 ; AVX512-LABEL: trunc_v16i8_v16i1:
 191 ; AVX512:       # %bb.0:
 192 ; AVX512-NEXT:    vpsllw $7, %xmm0, %xmm0
 193 ; AVX512-NEXT:    vpmovmskb %xmm0, %eax
 194 ; AVX512-NEXT:    cmpw $-1, %ax
 195 ; AVX512-NEXT:    sete %al
 196 ; AVX512-NEXT:    retq
 197   %a = trunc <16 x i8> %0 to <16 x i1>
 198   %b = call i1 @llvm.experimental.vector.reduce.and.v16i1(<16 x i1> %a)
 199   ret i1 %b
 200 }
 201
 202 define i1 @trunc_v4i64_v4i1(<4 x i64>) {
 203 ; SSE-LABEL: trunc_v4i64_v4i1:
 204 ; SSE:       # %bb.0:
 205 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[0,2]
 206 ; SSE-NEXT:    pslld $31, %xmm0
 207 ; SSE-NEXT:    movmskps %xmm0, %eax
 208 ; SSE-NEXT:    cmpb $15, %al
 209 ; SSE-NEXT:    sete %al
 210 ; SSE-NEXT:    retq
 211 ;
 212 ; AVX-LABEL: trunc_v4i64_v4i1:
 213 ; AVX:       # %bb.0:
 214 ; AVX-NEXT:    vextractf128 $1, %ymm0, %xmm1
 215 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[0,2]
 216 ; AVX-NEXT:    vpslld $31, %xmm0, %xmm0
 217 ; AVX-NEXT:    vmovmskps %xmm0, %eax
 218 ; AVX-NEXT:    cmpb $15, %al
 219 ; AVX-NEXT:    sete %al
 220 ; AVX-NEXT:    vzeroupper
 221 ; AVX-NEXT:    retq
 222 ;
 223 ; AVX512F-LABEL: trunc_v4i64_v4i1:
 224 ; AVX512F:       # %bb.0:
 225 ; AVX512F-NEXT:    vpsllq $63, %ymm0, %ymm0
 226 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k0
 227 ; AVX512F-NEXT:    kmovw %k0, %eax
 228 ; AVX512F-NEXT:    andb $15, %al
 229 ; AVX512F-NEXT:    cmpb $15, %al
 230 ; AVX512F-NEXT:    sete %al
 231 ; AVX512F-NEXT:    vzeroupper
 232 ; AVX512F-NEXT:    retq
 233 ;
 234 ; AVX512BW-LABEL: trunc_v4i64_v4i1:
 235 ; AVX512BW:       # %bb.0:
 236 ; AVX512BW-NEXT:    vpsllq $63, %ymm0, %ymm0
 237 ; AVX512BW-NEXT:    vptestmq %zmm0, %zmm0, %k0
 238 ; AVX512BW-NEXT:    kmovd %k0, %eax
 239 ; AVX512BW-NEXT:    andb $15, %al
 240 ; AVX512BW-NEXT:    cmpb $15, %al
 241 ; AVX512BW-NEXT:    sete %al
 242 ; AVX512BW-NEXT:    vzeroupper
 243 ; AVX512BW-NEXT:    retq
 244 ;
 245 ; AVX512VL-LABEL: trunc_v4i64_v4i1:
 246 ; AVX512VL:       # %bb.0:
 247 ; AVX512VL-NEXT:    vpsllq $63, %ymm0, %ymm0
 248 ; AVX512VL-NEXT:    vptestmq %ymm0, %ymm0, %k0
 249 ; AVX512VL-NEXT:    kmovd %k0, %eax
 250 ; AVX512VL-NEXT:    andb $15, %al
 251 ; AVX512VL-NEXT:    cmpb $15, %al
 252 ; AVX512VL-NEXT:    sete %al
 253 ; AVX512VL-NEXT:    vzeroupper
 254 ; AVX512VL-NEXT:    retq
 255   %a = trunc <4 x i64> %0 to <4 x i1>
 256   %b = call i1 @llvm.experimental.vector.reduce.and.v4i1(<4 x i1> %a)
 257   ret i1 %b
 258 }
 259
 260 define i1 @trunc_v8i32_v8i1(<8 x i32>) {
 261 ; SSE2-LABEL: trunc_v8i32_v8i1:
 262 ; SSE2:       # %bb.0:
 263 ; SSE2-NEXT:    pslld $16, %xmm1
 264 ; SSE2-NEXT:    psrad $16, %xmm1
 265 ; SSE2-NEXT:    pslld $16, %xmm0
 266 ; SSE2-NEXT:    psrad $16, %xmm0
 267 ; SSE2-NEXT:    packssdw %xmm1, %xmm0
 268 ; SSE2-NEXT:    psllw $15, %xmm0
 269 ; SSE2-NEXT:    packsswb %xmm0, %xmm0
 270 ; SSE2-NEXT:    pmovmskb %xmm0, %eax
 271 ; SSE2-NEXT:    cmpb $-1, %al
 272 ; SSE2-NEXT:    sete %al
 273 ; SSE2-NEXT:    retq
 274 ;
 275 ; SSE41-LABEL: trunc_v8i32_v8i1:
 276 ; SSE41:       # %bb.0:
 277 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15]
 278 ; SSE41-NEXT:    pshufb %xmm2, %xmm1
 279 ; SSE41-NEXT:    pshufb %xmm2, %xmm0
 280 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 281 ; SSE41-NEXT:    psllw $15, %xmm0
 282 ; SSE41-NEXT:    packsswb %xmm0, %xmm0
 283 ; SSE41-NEXT:    pmovmskb %xmm0, %eax
 284 ; SSE41-NEXT:    cmpb $-1, %al
 285 ; SSE41-NEXT:    sete %al
 286 ; SSE41-NEXT:    retq
 287 ;
 288 ; AVX1-LABEL: trunc_v8i32_v8i1:
 289 ; AVX1:       # %bb.0:
 290 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 291 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15]
 292 ; AVX1-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
 293 ; AVX1-NEXT:    vpshufb %xmm2, %xmm0, %xmm0
 294 ; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 295 ; AVX1-NEXT:    vpsllw $15, %xmm0, %xmm0
 296 ; AVX1-NEXT:    vpacksswb %xmm0, %xmm0, %xmm0
 297 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 298 ; AVX1-NEXT:    cmpb $-1, %al
 299 ; AVX1-NEXT:    sete %al
 300 ; AVX1-NEXT:    vzeroupper
 301 ; AVX1-NEXT:    retq
 302 ;
 303 ; AVX2-LABEL: trunc_v8i32_v8i1:
 304 ; AVX2:       # %bb.0:
 305 ; AVX2-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
 306 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
 307 ; AVX2-NEXT:    vpsllw $15, %xmm0, %xmm0
 308 ; AVX2-NEXT:    vpacksswb %xmm0, %xmm0, %xmm0
 309 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
 310 ; AVX2-NEXT:    cmpb $-1, %al
 311 ; AVX2-NEXT:    sete %al
 312 ; AVX2-NEXT:    vzeroupper
 313 ; AVX2-NEXT:    retq
 314 ;
 315 ; AVX512F-LABEL: trunc_v8i32_v8i1:
 316 ; AVX512F:       # %bb.0:
 317 ; AVX512F-NEXT:    vpslld $31, %ymm0, %ymm0
 318 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
 319 ; AVX512F-NEXT:    kmovw %k0, %eax
 320 ; AVX512F-NEXT:    cmpb $-1, %al
 321 ; AVX512F-NEXT:    sete %al
 322 ; AVX512F-NEXT:    vzeroupper
 323 ; AVX512F-NEXT:    retq
 324 ;
 325 ; AVX512BW-LABEL: trunc_v8i32_v8i1:
 326 ; AVX512BW:       # %bb.0:
 327 ; AVX512BW-NEXT:    vpslld $31, %ymm0, %ymm0
 328 ; AVX512BW-NEXT:    vptestmd %zmm0, %zmm0, %k0
 329 ; AVX512BW-NEXT:    kmovd %k0, %eax
 330 ; AVX512BW-NEXT:    cmpb $-1, %al
 331 ; AVX512BW-NEXT:    sete %al
 332 ; AVX512BW-NEXT:    vzeroupper
 333 ; AVX512BW-NEXT:    retq
 334 ;
 335 ; AVX512VL-LABEL: trunc_v8i32_v8i1:
 336 ; AVX512VL:       # %bb.0:
 337 ; AVX512VL-NEXT:    vpslld $31, %ymm0, %ymm0
 338 ; AVX512VL-NEXT:    vptestmd %ymm0, %ymm0, %k0
 339 ; AVX512VL-NEXT:    kmovd %k0, %eax
 340 ; AVX512VL-NEXT:    cmpb $-1, %al
 341 ; AVX512VL-NEXT:    sete %al
 342 ; AVX512VL-NEXT:    vzeroupper
 343 ; AVX512VL-NEXT:    retq
 344   %a = trunc <8 x i32> %0 to <8 x i1>
 345   %b = call i1 @llvm.experimental.vector.reduce.and.v8i1(<8 x i1> %a)
 346   ret i1 %b
 347 }
 348
 349 define i1 @trunc_v16i16_v16i1(<16 x i16>) {
 350 ; SSE2-LABEL: trunc_v16i16_v16i1:
 351 ; SSE2:       # %bb.0:
 352 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
 353 ; SSE2-NEXT:    pand %xmm2, %xmm1
 354 ; SSE2-NEXT:    pand %xmm2, %xmm0
 355 ; SSE2-NEXT:    packuswb %xmm1, %xmm0
 356 ; SSE2-NEXT:    psllw $7, %xmm0
 357 ; SSE2-NEXT:    pmovmskb %xmm0, %eax
 358 ; SSE2-NEXT:    cmpw $-1, %ax
 359 ; SSE2-NEXT:    sete %al
 360 ; SSE2-NEXT:    retq
 361 ;
 362 ; SSE41-LABEL: trunc_v16i16_v16i1:
 363 ; SSE41:       # %bb.0:
 364 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
 365 ; SSE41-NEXT:    pshufb %xmm2, %xmm1
 366 ; SSE41-NEXT:    pshufb %xmm2, %xmm0
 367 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 368 ; SSE41-NEXT:    psllw $7, %xmm0
 369 ; SSE41-NEXT:    pmovmskb %xmm0, %eax
 370 ; SSE41-NEXT:    cmpw $-1, %ax
 371 ; SSE41-NEXT:    sete %al
 372 ; SSE41-NEXT:    retq
 373 ;
 374 ; AVX1-LABEL: trunc_v16i16_v16i1:
 375 ; AVX1:       # %bb.0:
 376 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
 377 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 378 ; AVX1-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
 379 ; AVX1-NEXT:    vpsllw $7, %xmm0, %xmm0
 380 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 381 ; AVX1-NEXT:    cmpw $-1, %ax
 382 ; AVX1-NEXT:    sete %al
 383 ; AVX1-NEXT:    vzeroupper
 384 ; AVX1-NEXT:    retq
 385 ;
 386 ; AVX2-LABEL: trunc_v16i16_v16i1:
 387 ; AVX2:       # %bb.0:
 388 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
 389 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 390 ; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
 391 ; AVX2-NEXT:    vpsllw $7, %xmm0, %xmm0
 392 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
 393 ; AVX2-NEXT:    cmpw $-1, %ax
 394 ; AVX2-NEXT:    sete %al
 395 ; AVX2-NEXT:    vzeroupper
 396 ; AVX2-NEXT:    retq
 397 ;
 398 ; AVX512F-LABEL: trunc_v16i16_v16i1:
 399 ; AVX512F:       # %bb.0:
 400 ; AVX512F-NEXT:    vpmovsxwd %ymm0, %zmm0
 401 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 402 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
 403 ; AVX512F-NEXT:    kortestw %k0, %k0
 404 ; AVX512F-NEXT:    setb %al
 405 ; AVX512F-NEXT:    vzeroupper
 406 ; AVX512F-NEXT:    retq
 407 ;
 408 ; AVX512BW-LABEL: trunc_v16i16_v16i1:
 409 ; AVX512BW:       # %bb.0:
 410 ; AVX512BW-NEXT:    vpsllw $15, %ymm0, %ymm0
 411 ; AVX512BW-NEXT:    vpmovw2m %zmm0, %k0
 412 ; AVX512BW-NEXT:    kortestw %k0, %k0
 413 ; AVX512BW-NEXT:    setb %al
 414 ; AVX512BW-NEXT:    vzeroupper
 415 ; AVX512BW-NEXT:    retq
 416 ;
 417 ; AVX512VL-LABEL: trunc_v16i16_v16i1:
 418 ; AVX512VL:       # %bb.0:
 419 ; AVX512VL-NEXT:    vpsllw $15, %ymm0, %ymm0
 420 ; AVX512VL-NEXT:    vpmovw2m %ymm0, %k0
 421 ; AVX512VL-NEXT:    kortestw %k0, %k0
 422 ; AVX512VL-NEXT:    setb %al
 423 ; AVX512VL-NEXT:    vzeroupper
 424 ; AVX512VL-NEXT:    retq
 425   %a = trunc <16 x i16> %0 to <16 x i1>
 426   %b = call i1 @llvm.experimental.vector.reduce.and.v16i1(<16 x i1> %a)
 427   ret i1 %b
 428 }
 429
 430 define i1 @trunc_v32i8_v32i1(<32 x i8>) {
 431 ; SSE-LABEL: trunc_v32i8_v32i1:
 432 ; SSE:       # %bb.0:
 433 ; SSE-NEXT:    pand %xmm1, %xmm0
 434 ; SSE-NEXT:    psllw $7, %xmm0
 435 ; SSE-NEXT:    pmovmskb %xmm0, %eax
 436 ; SSE-NEXT:    cmpw $-1, %ax
 437 ; SSE-NEXT:    sete %al
 438 ; SSE-NEXT:    retq
 439 ;
 440 ; AVX1-LABEL: trunc_v32i8_v32i1:
 441 ; AVX1:       # %bb.0:
 442 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 443 ; AVX1-NEXT:    vpand %xmm1, %xmm0, %xmm0
 444 ; AVX1-NEXT:    vpsllw $7, %xmm0, %xmm0
 445 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 446 ; AVX1-NEXT:    cmpw $-1, %ax
 447 ; AVX1-NEXT:    sete %al
 448 ; AVX1-NEXT:    vzeroupper
 449 ; AVX1-NEXT:    retq
 450 ;
 451 ; AVX2-LABEL: trunc_v32i8_v32i1:
 452 ; AVX2:       # %bb.0:
 453 ; AVX2-NEXT:    vpsllw $7, %ymm0, %ymm0
 454 ; AVX2-NEXT:    vpmovmskb %ymm0, %eax
 455 ; AVX2-NEXT:    cmpl $-1, %eax
 456 ; AVX2-NEXT:    sete %al
 457 ; AVX2-NEXT:    vzeroupper
 458 ; AVX2-NEXT:    retq
 459 ;
 460 ; AVX512F-LABEL: trunc_v32i8_v32i1:
 461 ; AVX512F:       # %bb.0:
 462 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm1
 463 ; AVX512F-NEXT:    vpand %xmm1, %xmm0, %xmm0
 464 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 465 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 466 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
 467 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
 468 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 469 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
 470 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 471 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
 472 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 473 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k1
 474 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 475 ; AVX512F-NEXT:    kmovw %k0, %eax
 476 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
 477 ; AVX512F-NEXT:    vzeroupper
 478 ; AVX512F-NEXT:    retq
 479 ;
 480 ; AVX512BW-LABEL: trunc_v32i8_v32i1:
 481 ; AVX512BW:       # %bb.0:
 482 ; AVX512BW-NEXT:    vpsllw $7, %ymm0, %ymm0
 483 ; AVX512BW-NEXT:    vpmovmskb %ymm0, %eax
 484 ; AVX512BW-NEXT:    cmpl $-1, %eax
 485 ; AVX512BW-NEXT:    sete %al
 486 ; AVX512BW-NEXT:    vzeroupper
 487 ; AVX512BW-NEXT:    retq
 488 ;
 489 ; AVX512VL-LABEL: trunc_v32i8_v32i1:
 490 ; AVX512VL:       # %bb.0:
 491 ; AVX512VL-NEXT:    vpsllw $7, %ymm0, %ymm0
 492 ; AVX512VL-NEXT:    vpmovmskb %ymm0, %eax
 493 ; AVX512VL-NEXT:    cmpl $-1, %eax
 494 ; AVX512VL-NEXT:    sete %al
 495 ; AVX512VL-NEXT:    vzeroupper
 496 ; AVX512VL-NEXT:    retq
 497   %a = trunc <32 x i8> %0 to <32 x i1>
 498   %b = call i1 @llvm.experimental.vector.reduce.and.v32i1(<32 x i1> %a)
 499   ret i1 %b
 500 }
 501
 502 define i1 @trunc_v8i64_v8i1(<8 x i64>) {
 503 ; SSE2-LABEL: trunc_v8i64_v8i1:
 504 ; SSE2:       # %bb.0:
 505 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 506 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
 507 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 508 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
 509 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 510 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,2,2,3]
 511 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,1,0,2,4,5,6,7]
 512 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
 513 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[0,1,0,2,4,5,6,7]
 514 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
 515 ; SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
 516 ; SSE2-NEXT:    psllw $15, %xmm2
 517 ; SSE2-NEXT:    packsswb %xmm0, %xmm2
 518 ; SSE2-NEXT:    pmovmskb %xmm2, %eax
 519 ; SSE2-NEXT:    cmpb $-1, %al
 520 ; SSE2-NEXT:    sete %al
 521 ; SSE2-NEXT:    retq
 522 ;
 523 ; SSE41-LABEL: trunc_v8i64_v8i1:
 524 ; SSE41:       # %bb.0:
 525 ; SSE41-NEXT:    pxor %xmm4, %xmm4
 526 ; SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0],xmm4[1,2,3],xmm3[4],xmm4[5,6,7]
 527 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0],xmm4[1,2,3],xmm2[4],xmm4[5,6,7]
 528 ; SSE41-NEXT:    packusdw %xmm3, %xmm2
 529 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0],xmm4[1,2,3],xmm1[4],xmm4[5,6,7]
 530 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm4[1,2,3],xmm0[4],xmm4[5,6,7]
 531 ; SSE41-NEXT:    packusdw %xmm1, %xmm0
 532 ; SSE41-NEXT:    packusdw %xmm2, %xmm0
 533 ; SSE41-NEXT:    psllw $15, %xmm0
 534 ; SSE41-NEXT:    packsswb %xmm0, %xmm0
 535 ; SSE41-NEXT:    pmovmskb %xmm0, %eax
 536 ; SSE41-NEXT:    cmpb $-1, %al
 537 ; SSE41-NEXT:    sete %al
 538 ; SSE41-NEXT:    retq
 539 ;
 540 ; AVX1-LABEL: trunc_v8i64_v8i1:
 541 ; AVX1:       # %bb.0:
 542 ; AVX1-NEXT:    vmovaps {{.*#+}} ymm2 = [65535,65535,65535,65535]
 543 ; AVX1-NEXT:    vandps %ymm2, %ymm1, %ymm1
 544 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
 545 ; AVX1-NEXT:    vpackusdw %xmm3, %xmm1, %xmm1
 546 ; AVX1-NEXT:    vandps %ymm2, %ymm0, %ymm0
 547 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 548 ; AVX1-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 549 ; AVX1-NEXT:    vpackusdw %xmm1, %xmm0, %xmm0
 550 ; AVX1-NEXT:    vpsllw $15, %xmm0, %xmm0
 551 ; AVX1-NEXT:    vpacksswb %xmm0, %xmm0, %xmm0
 552 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 553 ; AVX1-NEXT:    cmpb $-1, %al
 554 ; AVX1-NEXT:    sete %al
 555 ; AVX1-NEXT:    vzeroupper
 556 ; AVX1-NEXT:    retq
 557 ;
 558 ; AVX2-LABEL: trunc_v8i64_v8i1:
 559 ; AVX2:       # %bb.0:
 560 ; AVX2-NEXT:    vextractf128 $1, %ymm1, %xmm2
 561 ; AVX2-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,2],xmm2[0,2]
 562 ; AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm2
 563 ; AVX2-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,2],xmm2[0,2]
 564 ; AVX2-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 565 ; AVX2-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
 566 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
 567 ; AVX2-NEXT:    vpsllw $15, %xmm0, %xmm0
 568 ; AVX2-NEXT:    vpacksswb %xmm0, %xmm0, %xmm0
 569 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
 570 ; AVX2-NEXT:    cmpb $-1, %al
 571 ; AVX2-NEXT:    sete %al
 572 ; AVX2-NEXT:    vzeroupper
 573 ; AVX2-NEXT:    retq
 574 ;
 575 ; AVX512F-LABEL: trunc_v8i64_v8i1:
 576 ; AVX512F:       # %bb.0:
 577 ; AVX512F-NEXT:    vpsllq $63, %zmm0, %zmm0
 578 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k0
 579 ; AVX512F-NEXT:    kmovw %k0, %eax
 580 ; AVX512F-NEXT:    cmpb $-1, %al
 581 ; AVX512F-NEXT:    sete %al
 582 ; AVX512F-NEXT:    vzeroupper
 583 ; AVX512F-NEXT:    retq
 584 ;
 585 ; AVX512BW-LABEL: trunc_v8i64_v8i1:
 586 ; AVX512BW:       # %bb.0:
 587 ; AVX512BW-NEXT:    vpsllq $63, %zmm0, %zmm0
 588 ; AVX512BW-NEXT:    vptestmq %zmm0, %zmm0, %k0
 589 ; AVX512BW-NEXT:    kmovd %k0, %eax
 590 ; AVX512BW-NEXT:    cmpb $-1, %al
 591 ; AVX512BW-NEXT:    sete %al
 592 ; AVX512BW-NEXT:    vzeroupper
 593 ; AVX512BW-NEXT:    retq
 594 ;
 595 ; AVX512VL-LABEL: trunc_v8i64_v8i1:
 596 ; AVX512VL:       # %bb.0:
 597 ; AVX512VL-NEXT:    vpsllq $63, %zmm0, %zmm0
 598 ; AVX512VL-NEXT:    vptestmq %zmm0, %zmm0, %k0
 599 ; AVX512VL-NEXT:    kmovd %k0, %eax
 600 ; AVX512VL-NEXT:    cmpb $-1, %al
 601 ; AVX512VL-NEXT:    sete %al
 602 ; AVX512VL-NEXT:    vzeroupper
 603 ; AVX512VL-NEXT:    retq
 604   %a = trunc <8 x i64> %0 to <8 x i1>
 605   %b = call i1 @llvm.experimental.vector.reduce.and.v8i1(<8 x i1> %a)
 606   ret i1 %b
 607 }
 608
 609 define i1 @trunc_v16i32_v16i1(<16 x i32>) {
 610 ; SSE2-LABEL: trunc_v16i32_v16i1:
 611 ; SSE2:       # %bb.0:
 612 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 613 ; SSE2-NEXT:    pand %xmm4, %xmm3
 614 ; SSE2-NEXT:    pand %xmm4, %xmm2
 615 ; SSE2-NEXT:    packuswb %xmm3, %xmm2
 616 ; SSE2-NEXT:    pand %xmm4, %xmm1
 617 ; SSE2-NEXT:    pand %xmm4, %xmm0
 618 ; SSE2-NEXT:    packuswb %xmm1, %xmm0
 619 ; SSE2-NEXT:    packuswb %xmm2, %xmm0
 620 ; SSE2-NEXT:    psllw $7, %xmm0
 621 ; SSE2-NEXT:    pmovmskb %xmm0, %eax
 622 ; SSE2-NEXT:    cmpw $-1, %ax
 623 ; SSE2-NEXT:    sete %al
 624 ; SSE2-NEXT:    retq
 625 ;
 626 ; SSE41-LABEL: trunc_v16i32_v16i1:
 627 ; SSE41:       # %bb.0:
 628 ; SSE41-NEXT:    movdqa {{.*#+}} xmm4 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 629 ; SSE41-NEXT:    pand %xmm4, %xmm3
 630 ; SSE41-NEXT:    pand %xmm4, %xmm2
 631 ; SSE41-NEXT:    packusdw %xmm3, %xmm2
 632 ; SSE41-NEXT:    pand %xmm4, %xmm1
 633 ; SSE41-NEXT:    pand %xmm4, %xmm0
 634 ; SSE41-NEXT:    packusdw %xmm1, %xmm0
 635 ; SSE41-NEXT:    packuswb %xmm2, %xmm0
 636 ; SSE41-NEXT:    psllw $7, %xmm0
 637 ; SSE41-NEXT:    pmovmskb %xmm0, %eax
 638 ; SSE41-NEXT:    cmpw $-1, %ax
 639 ; SSE41-NEXT:    sete %al
 640 ; SSE41-NEXT:    retq
 641 ;
 642 ; AVX1-LABEL: trunc_v16i32_v16i1:
 643 ; AVX1:       # %bb.0:
 644 ; AVX1-NEXT:    vmovaps {{.*#+}} ymm2 = [255,255,255,255,255,255,255,255]
 645 ; AVX1-NEXT:    vandps %ymm2, %ymm1, %ymm1
 646 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
 647 ; AVX1-NEXT:    vpackusdw %xmm3, %xmm1, %xmm1
 648 ; AVX1-NEXT:    vandps %ymm2, %ymm0, %ymm0
 649 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 650 ; AVX1-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 651 ; AVX1-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
 652 ; AVX1-NEXT:    vpsllw $7, %xmm0, %xmm0
 653 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 654 ; AVX1-NEXT:    cmpw $-1, %ax
 655 ; AVX1-NEXT:    sete %al
 656 ; AVX1-NEXT:    vzeroupper
 657 ; AVX1-NEXT:    retq
 658 ;
 659 ; AVX2-LABEL: trunc_v16i32_v16i1:
 660 ; AVX2:       # %bb.0:
 661 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
 662 ; AVX2-NEXT:    vpshufb %ymm2, %ymm1, %ymm1
 663 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,2,2,3]
 664 ; AVX2-NEXT:    vmovdqa {{.*#+}} xmm3 = [255,255,255,255,255,255,255,255]
 665 ; AVX2-NEXT:    vpand %xmm3, %xmm1, %xmm1
 666 ; AVX2-NEXT:    vpshufb %ymm2, %ymm0, %ymm0
 667 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
 668 ; AVX2-NEXT:    vpand %xmm3, %xmm0, %xmm0
 669 ; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
 670 ; AVX2-NEXT:    vpsllw $7, %xmm0, %xmm0
 671 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
 672 ; AVX2-NEXT:    cmpw $-1, %ax
 673 ; AVX2-NEXT:    sete %al
 674 ; AVX2-NEXT:    vzeroupper
 675 ; AVX2-NEXT:    retq
 676 ;
 677 ; AVX512-LABEL: trunc_v16i32_v16i1:
 678 ; AVX512:       # %bb.0:
 679 ; AVX512-NEXT:    vpslld $31, %zmm0, %zmm0
 680 ; AVX512-NEXT:    vptestmd %zmm0, %zmm0, %k0
 681 ; AVX512-NEXT:    kortestw %k0, %k0
 682 ; AVX512-NEXT:    setb %al
 683 ; AVX512-NEXT:    vzeroupper
 684 ; AVX512-NEXT:    retq
 685   %a = trunc <16 x i32> %0 to <16 x i1>
 686   %b = call i1 @llvm.experimental.vector.reduce.and.v16i1(<16 x i1> %a)
 687   ret i1 %b
 688 }
 689
 690 define i1 @trunc_v32i16_v32i1(<32 x i16>) {
 691 ; SSE2-LABEL: trunc_v32i16_v32i1:
 692 ; SSE2:       # %bb.0:
 693 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255]
 694 ; SSE2-NEXT:    pand %xmm4, %xmm3
 695 ; SSE2-NEXT:    pand %xmm4, %xmm2
 696 ; SSE2-NEXT:    packuswb %xmm3, %xmm2
 697 ; SSE2-NEXT:    pand %xmm4, %xmm1
 698 ; SSE2-NEXT:    pand %xmm4, %xmm0
 699 ; SSE2-NEXT:    packuswb %xmm1, %xmm0
 700 ; SSE2-NEXT:    pand %xmm2, %xmm0
 701 ; SSE2-NEXT:    psllw $7, %xmm0
 702 ; SSE2-NEXT:    pmovmskb %xmm0, %eax
 703 ; SSE2-NEXT:    cmpw $-1, %ax
 704 ; SSE2-NEXT:    sete %al
 705 ; SSE2-NEXT:    retq
 706 ;
 707 ; SSE41-LABEL: trunc_v32i16_v32i1:
 708 ; SSE41:       # %bb.0:
 709 ; SSE41-NEXT:    movdqa {{.*#+}} xmm4 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
 710 ; SSE41-NEXT:    pshufb %xmm4, %xmm3
 711 ; SSE41-NEXT:    pshufb %xmm4, %xmm2
 712 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
 713 ; SSE41-NEXT:    pshufb %xmm4, %xmm1
 714 ; SSE41-NEXT:    pshufb %xmm4, %xmm0
 715 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 716 ; SSE41-NEXT:    pand %xmm2, %xmm0
 717 ; SSE41-NEXT:    psllw $7, %xmm0
 718 ; SSE41-NEXT:    pmovmskb %xmm0, %eax
 719 ; SSE41-NEXT:    cmpw $-1, %ax
 720 ; SSE41-NEXT:    sete %al
 721 ; SSE41-NEXT:    retq
 722 ;
 723 ; AVX1-LABEL: trunc_v32i16_v32i1:
 724 ; AVX1:       # %bb.0:
 725 ; AVX1-NEXT:    vandps %ymm1, %ymm0, %ymm0
 726 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
 727 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 728 ; AVX1-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
 729 ; AVX1-NEXT:    vpsllw $7, %xmm0, %xmm0
 730 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
 731 ; AVX1-NEXT:    cmpw $-1, %ax
 732 ; AVX1-NEXT:    sete %al
 733 ; AVX1-NEXT:    vzeroupper
 734 ; AVX1-NEXT:    retq
 735 ;
 736 ; AVX2-LABEL: trunc_v32i16_v32i1:
 737 ; AVX2:       # %bb.0:
 738 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 739 ; AVX2-NEXT:    vpand %ymm2, %ymm0, %ymm0
 740 ; AVX2-NEXT:    vpand %ymm2, %ymm1, %ymm1
 741 ; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm2
 742 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
 743 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
 744 ; AVX2-NEXT:    vpackuswb %ymm0, %ymm2, %ymm0
 745 ; AVX2-NEXT:    vpsllw $7, %ymm0, %ymm0
 746 ; AVX2-NEXT:    vpmovmskb %ymm0, %eax
 747 ; AVX2-NEXT:    cmpl $-1, %eax
 748 ; AVX2-NEXT:    sete %al
 749 ; AVX2-NEXT:    vzeroupper
 750 ; AVX2-NEXT:    retq
 751 ;
 752 ; AVX512F-LABEL: trunc_v32i16_v32i1:
 753 ; AVX512F:       # %bb.0:
 754 ; AVX512F-NEXT:    vpand %ymm1, %ymm0, %ymm0
 755 ; AVX512F-NEXT:    vpmovsxwd %ymm0, %zmm0
 756 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 757 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
 758 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
 759 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 760 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
 761 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 762 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
 763 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 764 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k1
 765 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 766 ; AVX512F-NEXT:    kmovw %k0, %eax
 767 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
 768 ; AVX512F-NEXT:    vzeroupper
 769 ; AVX512F-NEXT:    retq
 770 ;
 771 ; AVX512BW-LABEL: trunc_v32i16_v32i1:
 772 ; AVX512BW:       # %bb.0:
 773 ; AVX512BW-NEXT:    vpsllw $15, %zmm0, %zmm0
 774 ; AVX512BW-NEXT:    vpmovw2m %zmm0, %k0
 775 ; AVX512BW-NEXT:    kortestd %k0, %k0
 776 ; AVX512BW-NEXT:    setb %al
 777 ; AVX512BW-NEXT:    vzeroupper
 778 ; AVX512BW-NEXT:    retq
 779 ;
 780 ; AVX512VL-LABEL: trunc_v32i16_v32i1:
 781 ; AVX512VL:       # %bb.0:
 782 ; AVX512VL-NEXT:    vpsllw $15, %zmm0, %zmm0
 783 ; AVX512VL-NEXT:    vpmovw2m %zmm0, %k0
 784 ; AVX512VL-NEXT:    kortestd %k0, %k0
 785 ; AVX512VL-NEXT:    setb %al
 786 ; AVX512VL-NEXT:    vzeroupper
 787 ; AVX512VL-NEXT:    retq
 788   %a = trunc <32 x i16> %0 to <32 x i1>
 789   %b = call i1 @llvm.experimental.vector.reduce.and.v32i1(<32 x i1> %a)
 790   ret i1 %b
 791 }
 792
 793 define i1 @trunc_v64i8_v64i1(<64 x i8>) {
 794 ; SSE2-LABEL: trunc_v64i8_v64i1:
 795 ; SSE2:       # %bb.0:
 796 ; SSE2-NEXT:    pand %xmm3, %xmm1
 797 ; SSE2-NEXT:    pand %xmm2, %xmm1
 798 ; SSE2-NEXT:    pand %xmm0, %xmm1
 799 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
 800 ; SSE2-NEXT:    pand %xmm1, %xmm0
 801 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 802 ; SSE2-NEXT:    pand %xmm0, %xmm1
 803 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
 804 ; SSE2-NEXT:    psrld $16, %xmm0
 805 ; SSE2-NEXT:    pand %xmm1, %xmm0
 806 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 807 ; SSE2-NEXT:    psrlw $8, %xmm1
 808 ; SSE2-NEXT:    pand %xmm0, %xmm1
 809 ; SSE2-NEXT:    movd %xmm1, %eax
 810 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
 811 ; SSE2-NEXT:    retq
 812 ;
 813 ; SSE41-LABEL: trunc_v64i8_v64i1:
 814 ; SSE41:       # %bb.0:
 815 ; SSE41-NEXT:    pand %xmm3, %xmm1
 816 ; SSE41-NEXT:    pand %xmm2, %xmm1
 817 ; SSE41-NEXT:    pand %xmm0, %xmm1
 818 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
 819 ; SSE41-NEXT:    pand %xmm1, %xmm0
 820 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 821 ; SSE41-NEXT:    pand %xmm0, %xmm1
 822 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 823 ; SSE41-NEXT:    psrld $16, %xmm0
 824 ; SSE41-NEXT:    pand %xmm1, %xmm0
 825 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 826 ; SSE41-NEXT:    psrlw $8, %xmm1
 827 ; SSE41-NEXT:    pand %xmm0, %xmm1
 828 ; SSE41-NEXT:    pextrb $0, %xmm1, %eax
 829 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
 830 ; SSE41-NEXT:    retq
 831 ;
 832 ; AVX1-LABEL: trunc_v64i8_v64i1:
 833 ; AVX1:       # %bb.0:
 834 ; AVX1-NEXT:    vandps %ymm1, %ymm0, %ymm0
 835 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 836 ; AVX1-NEXT:    vandps %xmm1, %xmm0, %xmm0
 837 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 838 ; AVX1-NEXT:    vandps %xmm1, %xmm0, %xmm0
 839 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[1,1,2,3]
 840 ; AVX1-NEXT:    vandps %xmm1, %xmm0, %xmm0
 841 ; AVX1-NEXT:    vpsrld $16, %xmm0, %xmm1
 842 ; AVX1-NEXT:    vpand %xmm1, %xmm0, %xmm0
 843 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm1
 844 ; AVX1-NEXT:    vpand %xmm1, %xmm0, %xmm0
 845 ; AVX1-NEXT:    vpextrb $0, %xmm0, %eax
 846 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
 847 ; AVX1-NEXT:    vzeroupper
 848 ; AVX1-NEXT:    retq
 849 ;
 850 ; AVX2-LABEL: trunc_v64i8_v64i1:
 851 ; AVX2:       # %bb.0:
 852 ; AVX2-NEXT:    vpand %ymm1, %ymm0, %ymm0
 853 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 854 ; AVX2-NEXT:    vpand %xmm1, %xmm0, %xmm0
 855 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 856 ; AVX2-NEXT:    vpand %xmm1, %xmm0, %xmm0
 857 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 858 ; AVX2-NEXT:    vpand %xmm1, %xmm0, %xmm0
 859 ; AVX2-NEXT:    vpsrld $16, %xmm0, %xmm1
 860 ; AVX2-NEXT:    vpand %xmm1, %xmm0, %xmm0
 861 ; AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
 862 ; AVX2-NEXT:    vpand %xmm1, %xmm0, %xmm0
 863 ; AVX2-NEXT:    vpextrb $0, %xmm0, %eax
 864 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
 865 ; AVX2-NEXT:    vzeroupper
 866 ; AVX2-NEXT:    retq
 867 ;
 868 ; AVX512F-LABEL: trunc_v64i8_v64i1:
 869 ; AVX512F:       # %bb.0:
 870 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
 871 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm3
 872 ; AVX512F-NEXT:    vpand %xmm2, %xmm3, %xmm2
 873 ; AVX512F-NEXT:    vpand %xmm2, %xmm1, %xmm1
 874 ; AVX512F-NEXT:    vpand %xmm1, %xmm0, %xmm0
 875 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
 876 ; AVX512F-NEXT:    vpslld $31, %zmm0, %zmm0
 877 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
 878 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
 879 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 880 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
 881 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 882 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
 883 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 884 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k1
 885 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
 886 ; AVX512F-NEXT:    kmovw %k0, %eax
 887 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
 888 ; AVX512F-NEXT:    vzeroupper
 889 ; AVX512F-NEXT:    retq
 890 ;
 891 ; AVX512BW-LABEL: trunc_v64i8_v64i1:
 892 ; AVX512BW:       # %bb.0:
 893 ; AVX512BW-NEXT:    vpsllw $7, %zmm0, %zmm0
 894 ; AVX512BW-NEXT:    vpmovb2m %zmm0, %k0
 895 ; AVX512BW-NEXT:    kshiftrq $32, %k0, %k1
 896 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
 897 ; AVX512BW-NEXT:    kshiftrq $16, %k0, %k1
 898 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
 899 ; AVX512BW-NEXT:    kshiftrq $8, %k0, %k1
 900 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
 901 ; AVX512BW-NEXT:    kshiftrq $4, %k0, %k1
 902 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
 903 ; AVX512BW-NEXT:    kshiftrq $2, %k0, %k1
 904 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
 905 ; AVX512BW-NEXT:    kshiftrq $1, %k0, %k1
 906 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
 907 ; AVX512BW-NEXT:    kmovd %k0, %eax
 908 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
 909 ; AVX512BW-NEXT:    vzeroupper
 910 ; AVX512BW-NEXT:    retq
 911 ;
 912 ; AVX512VL-LABEL: trunc_v64i8_v64i1:
 913 ; AVX512VL:       # %bb.0:
 914 ; AVX512VL-NEXT:    vpsllw $7, %zmm0, %zmm0
 915 ; AVX512VL-NEXT:    vpmovb2m %zmm0, %k0
 916 ; AVX512VL-NEXT:    kshiftrq $32, %k0, %k1
 917 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
 918 ; AVX512VL-NEXT:    kshiftrq $16, %k0, %k1
 919 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
 920 ; AVX512VL-NEXT:    kshiftrq $8, %k0, %k1
 921 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
 922 ; AVX512VL-NEXT:    kshiftrq $4, %k0, %k1
 923 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
 924 ; AVX512VL-NEXT:    kshiftrq $2, %k0, %k1
 925 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
 926 ; AVX512VL-NEXT:    kshiftrq $1, %k0, %k1
 927 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
 928 ; AVX512VL-NEXT:    kmovd %k0, %eax
 929 ; AVX512VL-NEXT:    # kill: def $al killed $al killed $eax
 930 ; AVX512VL-NEXT:    vzeroupper
 931 ; AVX512VL-NEXT:    retq
 932   %a = trunc <64 x i8> %0 to <64 x i1>
 933   %b = call i1 @llvm.experimental.vector.reduce.and.v64i1(<64 x i1> %a)
 934   ret i1 %b
 935 }
 936
 937 ;
 938 ; Comparison
 939 ;
 940
 941 define i1 @icmp_v2i64_v2i1(<2 x i64>) {
 942 ; SSE2-LABEL: icmp_v2i64_v2i1:
 943 ; SSE2:       # %bb.0:
 944 ; SSE2-NEXT:    pxor %xmm1, %xmm1
 945 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
 946 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
 947 ; SSE2-NEXT:    pand %xmm1, %xmm0
 948 ; SSE2-NEXT:    movmskpd %xmm0, %eax
 949 ; SSE2-NEXT:    cmpb $3, %al
 950 ; SSE2-NEXT:    sete %al
 951 ; SSE2-NEXT:    retq
 952 ;
 953 ; SSE41-LABEL: icmp_v2i64_v2i1:
 954 ; SSE41:       # %bb.0:
 955 ; SSE41-NEXT:    pxor %xmm1, %xmm1
 956 ; SSE41-NEXT:    pcmpeqq %xmm0, %xmm1
 957 ; SSE41-NEXT:    movmskpd %xmm1, %eax
 958 ; SSE41-NEXT:    cmpb $3, %al
 959 ; SSE41-NEXT:    sete %al
 960 ; SSE41-NEXT:    retq
 961 ;
 962 ; AVX-LABEL: icmp_v2i64_v2i1:
 963 ; AVX:       # %bb.0:
 964 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 965 ; AVX-NEXT:    vpcmpeqq %xmm1, %xmm0, %xmm0
 966 ; AVX-NEXT:    vmovmskpd %xmm0, %eax
 967 ; AVX-NEXT:    cmpb $3, %al
 968 ; AVX-NEXT:    sete %al
 969 ; AVX-NEXT:    retq
 970 ;
 971 ; AVX512F-LABEL: icmp_v2i64_v2i1:
 972 ; AVX512F:       # %bb.0:
 973 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 974 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
 975 ; AVX512F-NEXT:    kmovw %k0, %eax
 976 ; AVX512F-NEXT:    andb $3, %al
 977 ; AVX512F-NEXT:    cmpb $3, %al
 978 ; AVX512F-NEXT:    sete %al
 979 ; AVX512F-NEXT:    vzeroupper
 980 ; AVX512F-NEXT:    retq
 981 ;
 982 ; AVX512BW-LABEL: icmp_v2i64_v2i1:
 983 ; AVX512BW:       # %bb.0:
 984 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 985 ; AVX512BW-NEXT:    vptestnmq %zmm0, %zmm0, %k0
 986 ; AVX512BW-NEXT:    kmovd %k0, %eax
 987 ; AVX512BW-NEXT:    andb $3, %al
 988 ; AVX512BW-NEXT:    cmpb $3, %al
 989 ; AVX512BW-NEXT:    sete %al
 990 ; AVX512BW-NEXT:    vzeroupper
 991 ; AVX512BW-NEXT:    retq
 992 ;
 993 ; AVX512VL-LABEL: icmp_v2i64_v2i1:
 994 ; AVX512VL:       # %bb.0:
 995 ; AVX512VL-NEXT:    vptestnmq %xmm0, %xmm0, %k0
 996 ; AVX512VL-NEXT:    kmovd %k0, %eax
 997 ; AVX512VL-NEXT:    andb $3, %al
 998 ; AVX512VL-NEXT:    cmpb $3, %al
 999 ; AVX512VL-NEXT:    sete %al
1000 ; AVX512VL-NEXT:    retq
1001   %a = icmp eq <2 x i64> %0, zeroinitializer
1002   %b = call i1 @llvm.experimental.vector.reduce.and.v2i1(<2 x i1> %a)
1003   ret i1 %b
1004 }
1005
1006 define i1 @icmp_v4i32_v4i1(<4 x i32>) {
1007 ; SSE-LABEL: icmp_v4i32_v4i1:
1008 ; SSE:       # %bb.0:
1009 ; SSE-NEXT:    pxor %xmm1, %xmm1
1010 ; SSE-NEXT:    pcmpeqd %xmm0, %xmm1
1011 ; SSE-NEXT:    movmskps %xmm1, %eax
1012 ; SSE-NEXT:    cmpb $15, %al
1013 ; SSE-NEXT:    sete %al
1014 ; SSE-NEXT:    retq
1015 ;
1016 ; AVX-LABEL: icmp_v4i32_v4i1:
1017 ; AVX:       # %bb.0:
1018 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1019 ; AVX-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1020 ; AVX-NEXT:    vmovmskps %xmm0, %eax
1021 ; AVX-NEXT:    cmpb $15, %al
1022 ; AVX-NEXT:    sete %al
1023 ; AVX-NEXT:    retq
1024 ;
1025 ; AVX512F-LABEL: icmp_v4i32_v4i1:
1026 ; AVX512F:       # %bb.0:
1027 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1028 ; AVX512F-NEXT:    vptestnmd %zmm0, %zmm0, %k0
1029 ; AVX512F-NEXT:    kmovw %k0, %eax
1030 ; AVX512F-NEXT:    andb $15, %al
1031 ; AVX512F-NEXT:    cmpb $15, %al
1032 ; AVX512F-NEXT:    sete %al
1033 ; AVX512F-NEXT:    vzeroupper
1034 ; AVX512F-NEXT:    retq
1035 ;
1036 ; AVX512BW-LABEL: icmp_v4i32_v4i1:
1037 ; AVX512BW:       # %bb.0:
1038 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1039 ; AVX512BW-NEXT:    vptestnmd %zmm0, %zmm0, %k0
1040 ; AVX512BW-NEXT:    kmovd %k0, %eax
1041 ; AVX512BW-NEXT:    andb $15, %al
1042 ; AVX512BW-NEXT:    cmpb $15, %al
1043 ; AVX512BW-NEXT:    sete %al
1044 ; AVX512BW-NEXT:    vzeroupper
1045 ; AVX512BW-NEXT:    retq
1046 ;
1047 ; AVX512VL-LABEL: icmp_v4i32_v4i1:
1048 ; AVX512VL:       # %bb.0:
1049 ; AVX512VL-NEXT:    vptestnmd %xmm0, %xmm0, %k0
1050 ; AVX512VL-NEXT:    kmovd %k0, %eax
1051 ; AVX512VL-NEXT:    andb $15, %al
1052 ; AVX512VL-NEXT:    cmpb $15, %al
1053 ; AVX512VL-NEXT:    sete %al
1054 ; AVX512VL-NEXT:    retq
1055   %a = icmp eq <4 x i32> %0, zeroinitializer
1056   %b = call i1 @llvm.experimental.vector.reduce.and.v4i1(<4 x i1> %a)
1057   ret i1 %b
1058 }
1059
1060 define i1 @icmp_v8i16_v8i1(<8 x i8>) {
1061 ; SSE-LABEL: icmp_v8i16_v8i1:
1062 ; SSE:       # %bb.0:
1063 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
1064 ; SSE-NEXT:    pxor %xmm1, %xmm1
1065 ; SSE-NEXT:    pcmpeqw %xmm0, %xmm1
1066 ; SSE-NEXT:    packsswb %xmm0, %xmm1
1067 ; SSE-NEXT:    pmovmskb %xmm1, %eax
1068 ; SSE-NEXT:    cmpb $-1, %al
1069 ; SSE-NEXT:    sete %al
1070 ; SSE-NEXT:    retq
1071 ;
1072 ; AVX-LABEL: icmp_v8i16_v8i1:
1073 ; AVX:       # %bb.0:
1074 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1075 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1076 ; AVX-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
1077 ; AVX-NEXT:    vpacksswb %xmm0, %xmm0, %xmm0
1078 ; AVX-NEXT:    vpmovmskb %xmm0, %eax
1079 ; AVX-NEXT:    cmpb $-1, %al
1080 ; AVX-NEXT:    sete %al
1081 ; AVX-NEXT:    retq
1082 ;
1083 ; AVX512F-LABEL: icmp_v8i16_v8i1:
1084 ; AVX512F:       # %bb.0:
1085 ; AVX512F-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1086 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1087 ; AVX512F-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
1088 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
1089 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k0
1090 ; AVX512F-NEXT:    kmovw %k0, %eax
1091 ; AVX512F-NEXT:    cmpb $-1, %al
1092 ; AVX512F-NEXT:    sete %al
1093 ; AVX512F-NEXT:    vzeroupper
1094 ; AVX512F-NEXT:    retq
1095 ;
1096 ; AVX512BW-LABEL: icmp_v8i16_v8i1:
1097 ; AVX512BW:       # %bb.0:
1098 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1099 ; AVX512BW-NEXT:    vmovdqa {{.*#+}} xmm1 = [255,0,255,0,255,0,255,0,255,0,255,0,255,0,255,0]
1100 ; AVX512BW-NEXT:    vptestnmw %zmm1, %zmm0, %k0
1101 ; AVX512BW-NEXT:    kmovd %k0, %eax
1102 ; AVX512BW-NEXT:    cmpb $-1, %al
1103 ; AVX512BW-NEXT:    sete %al
1104 ; AVX512BW-NEXT:    vzeroupper
1105 ; AVX512BW-NEXT:    retq
1106 ;
1107 ; AVX512VL-LABEL: icmp_v8i16_v8i1:
1108 ; AVX512VL:       # %bb.0:
1109 ; AVX512VL-NEXT:    vptestnmw {{.*}}(%rip), %xmm0, %k0
1110 ; AVX512VL-NEXT:    kmovd %k0, %eax
1111 ; AVX512VL-NEXT:    cmpb $-1, %al
1112 ; AVX512VL-NEXT:    sete %al
1113 ; AVX512VL-NEXT:    retq
1114   %a = icmp eq <8 x i8> %0, zeroinitializer
1115   %b = call i1 @llvm.experimental.vector.reduce.and.v8i1(<8 x i1> %a)
1116   ret i1 %b
1117 }
1118
1119 define i1 @icmp_v16i8_v16i1(<16 x i8>) {
1120 ; SSE-LABEL: icmp_v16i8_v16i1:
1121 ; SSE:       # %bb.0:
1122 ; SSE-NEXT:    pxor %xmm1, %xmm1
1123 ; SSE-NEXT:    pcmpeqb %xmm0, %xmm1
1124 ; SSE-NEXT:    pmovmskb %xmm1, %eax
1125 ; SSE-NEXT:    cmpw $-1, %ax
1126 ; SSE-NEXT:    sete %al
1127 ; SSE-NEXT:    retq
1128 ;
1129 ; AVX-LABEL: icmp_v16i8_v16i1:
1130 ; AVX:       # %bb.0:
1131 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1132 ; AVX-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
1133 ; AVX-NEXT:    vpmovmskb %xmm0, %eax
1134 ; AVX-NEXT:    cmpw $-1, %ax
1135 ; AVX-NEXT:    sete %al
1136 ; AVX-NEXT:    retq
1137 ;
1138 ; AVX512F-LABEL: icmp_v16i8_v16i1:
1139 ; AVX512F:       # %bb.0:
1140 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1141 ; AVX512F-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
1142 ; AVX512F-NEXT:    vpmovmskb %xmm0, %eax
1143 ; AVX512F-NEXT:    cmpw $-1, %ax
1144 ; AVX512F-NEXT:    sete %al
1145 ; AVX512F-NEXT:    retq
1146 ;
1147 ; AVX512BW-LABEL: icmp_v16i8_v16i1:
1148 ; AVX512BW:       # %bb.0:
1149 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1150 ; AVX512BW-NEXT:    vptestnmb %zmm0, %zmm0, %k0
1151 ; AVX512BW-NEXT:    kortestw %k0, %k0
1152 ; AVX512BW-NEXT:    setb %al
1153 ; AVX512BW-NEXT:    vzeroupper
1154 ; AVX512BW-NEXT:    retq
1155 ;
1156 ; AVX512VL-LABEL: icmp_v16i8_v16i1:
1157 ; AVX512VL:       # %bb.0:
1158 ; AVX512VL-NEXT:    vptestnmb %xmm0, %xmm0, %k0
1159 ; AVX512VL-NEXT:    kortestw %k0, %k0
1160 ; AVX512VL-NEXT:    setb %al
1161 ; AVX512VL-NEXT:    retq
1162   %a = icmp eq <16 x i8> %0, zeroinitializer
1163   %b = call i1 @llvm.experimental.vector.reduce.and.v16i1(<16 x i1> %a)
1164   ret i1 %b
1165 }
1166
1167 define i1 @icmp_v4i64_v4i1(<4 x i64>) {
1168 ; SSE2-LABEL: icmp_v4i64_v4i1:
1169 ; SSE2:       # %bb.0:
1170 ; SSE2-NEXT:    pxor %xmm2, %xmm2
1171 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm1
1172 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,0,3,2]
1173 ; SSE2-NEXT:    pand %xmm1, %xmm3
1174 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm0
1175 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
1176 ; SSE2-NEXT:    pand %xmm0, %xmm1
1177 ; SSE2-NEXT:    packssdw %xmm3, %xmm1
1178 ; SSE2-NEXT:    movmskps %xmm1, %eax
1179 ; SSE2-NEXT:    cmpb $15, %al
1180 ; SSE2-NEXT:    sete %al
1181 ; SSE2-NEXT:    retq
1182 ;
1183 ; SSE41-LABEL: icmp_v4i64_v4i1:
1184 ; SSE41:       # %bb.0:
1185 ; SSE41-NEXT:    pxor %xmm2, %xmm2
1186 ; SSE41-NEXT:    pcmpeqq %xmm2, %xmm1
1187 ; SSE41-NEXT:    pcmpeqq %xmm2, %xmm0
1188 ; SSE41-NEXT:    packssdw %xmm1, %xmm0
1189 ; SSE41-NEXT:    movmskps %xmm0, %eax
1190 ; SSE41-NEXT:    cmpb $15, %al
1191 ; SSE41-NEXT:    sete %al
1192 ; SSE41-NEXT:    retq
1193 ;
1194 ; AVX1-LABEL: icmp_v4i64_v4i1:
1195 ; AVX1:       # %bb.0:
1196 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1197 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1198 ; AVX1-NEXT:    vpcmpeqq %xmm2, %xmm1, %xmm1
1199 ; AVX1-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
1200 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1201 ; AVX1-NEXT:    vmovmskpd %ymm0, %eax
1202 ; AVX1-NEXT:    cmpb $15, %al
1203 ; AVX1-NEXT:    sete %al
1204 ; AVX1-NEXT:    vzeroupper
1205 ; AVX1-NEXT:    retq
1206 ;
1207 ; AVX2-LABEL: icmp_v4i64_v4i1:
1208 ; AVX2:       # %bb.0:
1209 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1210 ; AVX2-NEXT:    vpcmpeqq %ymm1, %ymm0, %ymm0
1211 ; AVX2-NEXT:    vmovmskpd %ymm0, %eax
1212 ; AVX2-NEXT:    cmpb $15, %al
1213 ; AVX2-NEXT:    sete %al
1214 ; AVX2-NEXT:    vzeroupper
1215 ; AVX2-NEXT:    retq
1216 ;
1217 ; AVX512F-LABEL: icmp_v4i64_v4i1:
1218 ; AVX512F:       # %bb.0:
1219 ; AVX512F-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
1220 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
1221 ; AVX512F-NEXT:    kmovw %k0, %eax
1222 ; AVX512F-NEXT:    andb $15, %al
1223 ; AVX512F-NEXT:    cmpb $15, %al
1224 ; AVX512F-NEXT:    sete %al
1225 ; AVX512F-NEXT:    vzeroupper
1226 ; AVX512F-NEXT:    retq
1227 ;
1228 ; AVX512BW-LABEL: icmp_v4i64_v4i1:
1229 ; AVX512BW:       # %bb.0:
1230 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
1231 ; AVX512BW-NEXT:    vptestnmq %zmm0, %zmm0, %k0
1232 ; AVX512BW-NEXT:    kmovd %k0, %eax
1233 ; AVX512BW-NEXT:    andb $15, %al
1234 ; AVX512BW-NEXT:    cmpb $15, %al
1235 ; AVX512BW-NEXT:    sete %al
1236 ; AVX512BW-NEXT:    vzeroupper
1237 ; AVX512BW-NEXT:    retq
1238 ;
1239 ; AVX512VL-LABEL: icmp_v4i64_v4i1:
1240 ; AVX512VL:       # %bb.0:
1241 ; AVX512VL-NEXT:    vptestnmq %ymm0, %ymm0, %k0
1242 ; AVX512VL-NEXT:    kmovd %k0, %eax
1243 ; AVX512VL-NEXT:    andb $15, %al
1244 ; AVX512VL-NEXT:    cmpb $15, %al
1245 ; AVX512VL-NEXT:    sete %al
1246 ; AVX512VL-NEXT:    vzeroupper
1247 ; AVX512VL-NEXT:    retq
1248   %a = icmp eq <4 x i64> %0, zeroinitializer
1249   %b = call i1 @llvm.experimental.vector.reduce.and.v4i1(<4 x i1> %a)
1250   ret i1 %b
1251 }
1252
1253 define i1 @icmp_v8i32_v8i1(<8 x i32>) {
1254 ; SSE-LABEL: icmp_v8i32_v8i1:
1255 ; SSE:       # %bb.0:
1256 ; SSE-NEXT:    pxor %xmm2, %xmm2
1257 ; SSE-NEXT:    pcmpeqd %xmm2, %xmm1
1258 ; SSE-NEXT:    pcmpeqd %xmm2, %xmm0
1259 ; SSE-NEXT:    packssdw %xmm1, %xmm0
1260 ; SSE-NEXT:    packsswb %xmm0, %xmm0
1261 ; SSE-NEXT:    pmovmskb %xmm0, %eax
1262 ; SSE-NEXT:    cmpb $-1, %al
1263 ; SSE-NEXT:    sete %al
1264 ; SSE-NEXT:    retq
1265 ;
1266 ; AVX1-LABEL: icmp_v8i32_v8i1:
1267 ; AVX1:       # %bb.0:
1268 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1269 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1270 ; AVX1-NEXT:    vpcmpeqd %xmm2, %xmm1, %xmm1
1271 ; AVX1-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
1272 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1273 ; AVX1-NEXT:    vmovmskps %ymm0, %eax
1274 ; AVX1-NEXT:    cmpb $-1, %al
1275 ; AVX1-NEXT:    sete %al
1276 ; AVX1-NEXT:    vzeroupper
1277 ; AVX1-NEXT:    retq
1278 ;
1279 ; AVX2-LABEL: icmp_v8i32_v8i1:
1280 ; AVX2:       # %bb.0:
1281 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1282 ; AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
1283 ; AVX2-NEXT:    vmovmskps %ymm0, %eax
1284 ; AVX2-NEXT:    cmpb $-1, %al
1285 ; AVX2-NEXT:    sete %al
1286 ; AVX2-NEXT:    vzeroupper
1287 ; AVX2-NEXT:    retq
1288 ;
1289 ; AVX512F-LABEL: icmp_v8i32_v8i1:
1290 ; AVX512F:       # %bb.0:
1291 ; AVX512F-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
1292 ; AVX512F-NEXT:    vptestnmd %zmm0, %zmm0, %k0
1293 ; AVX512F-NEXT:    kmovw %k0, %eax
1294 ; AVX512F-NEXT:    cmpb $-1, %al
1295 ; AVX512F-NEXT:    sete %al
1296 ; AVX512F-NEXT:    vzeroupper
1297 ; AVX512F-NEXT:    retq
1298 ;
1299 ; AVX512BW-LABEL: icmp_v8i32_v8i1:
1300 ; AVX512BW:       # %bb.0:
1301 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
1302 ; AVX512BW-NEXT:    vptestnmd %zmm0, %zmm0, %k0
1303 ; AVX512BW-NEXT:    kmovd %k0, %eax
1304 ; AVX512BW-NEXT:    cmpb $-1, %al
1305 ; AVX512BW-NEXT:    sete %al
1306 ; AVX512BW-NEXT:    vzeroupper
1307 ; AVX512BW-NEXT:    retq
1308 ;
1309 ; AVX512VL-LABEL: icmp_v8i32_v8i1:
1310 ; AVX512VL:       # %bb.0:
1311 ; AVX512VL-NEXT:    vptestnmd %ymm0, %ymm0, %k0
1312 ; AVX512VL-NEXT:    kmovd %k0, %eax
1313 ; AVX512VL-NEXT:    cmpb $-1, %al
1314 ; AVX512VL-NEXT:    sete %al
1315 ; AVX512VL-NEXT:    vzeroupper
1316 ; AVX512VL-NEXT:    retq
1317   %a = icmp eq <8 x i32> %0, zeroinitializer
1318   %b = call i1 @llvm.experimental.vector.reduce.and.v8i1(<8 x i1> %a)
1319   ret i1 %b
1320 }
1321
1322 define i1 @icmp_v16i16_v16i1(<16 x i16>) {
1323 ; SSE-LABEL: icmp_v16i16_v16i1:
1324 ; SSE:       # %bb.0:
1325 ; SSE-NEXT:    pxor %xmm2, %xmm2
1326 ; SSE-NEXT:    pcmpeqw %xmm2, %xmm1
1327 ; SSE-NEXT:    pcmpeqw %xmm2, %xmm0
1328 ; SSE-NEXT:    packsswb %xmm1, %xmm0
1329 ; SSE-NEXT:    pmovmskb %xmm0, %eax
1330 ; SSE-NEXT:    cmpw $-1, %ax
1331 ; SSE-NEXT:    sete %al
1332 ; SSE-NEXT:    retq
1333 ;
1334 ; AVX1-LABEL: icmp_v16i16_v16i1:
1335 ; AVX1:       # %bb.0:
1336 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1337 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1338 ; AVX1-NEXT:    vpcmpeqw %xmm2, %xmm1, %xmm1
1339 ; AVX1-NEXT:    vpcmpeqw %xmm2, %xmm0, %xmm0
1340 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1341 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
1342 ; AVX1-NEXT:    cmpw $-1, %ax
1343 ; AVX1-NEXT:    sete %al
1344 ; AVX1-NEXT:    vzeroupper
1345 ; AVX1-NEXT:    retq
1346 ;
1347 ; AVX2-LABEL: icmp_v16i16_v16i1:
1348 ; AVX2:       # %bb.0:
1349 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1350 ; AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
1351 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1352 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1353 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
1354 ; AVX2-NEXT:    cmpw $-1, %ax
1355 ; AVX2-NEXT:    sete %al
1356 ; AVX2-NEXT:    vzeroupper
1357 ; AVX2-NEXT:    retq
1358 ;
1359 ; AVX512F-LABEL: icmp_v16i16_v16i1:
1360 ; AVX512F:       # %bb.0:
1361 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1362 ; AVX512F-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
1363 ; AVX512F-NEXT:    vpmovsxwd %ymm0, %zmm0
1364 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
1365 ; AVX512F-NEXT:    kortestw %k0, %k0
1366 ; AVX512F-NEXT:    setb %al
1367 ; AVX512F-NEXT:    vzeroupper
1368 ; AVX512F-NEXT:    retq
1369 ;
1370 ; AVX512BW-LABEL: icmp_v16i16_v16i1:
1371 ; AVX512BW:       # %bb.0:
1372 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
1373 ; AVX512BW-NEXT:    vptestnmw %zmm0, %zmm0, %k0
1374 ; AVX512BW-NEXT:    kortestw %k0, %k0
1375 ; AVX512BW-NEXT:    setb %al
1376 ; AVX512BW-NEXT:    vzeroupper
1377 ; AVX512BW-NEXT:    retq
1378 ;
1379 ; AVX512VL-LABEL: icmp_v16i16_v16i1:
1380 ; AVX512VL:       # %bb.0:
1381 ; AVX512VL-NEXT:    vptestnmw %ymm0, %ymm0, %k0
1382 ; AVX512VL-NEXT:    kortestw %k0, %k0
1383 ; AVX512VL-NEXT:    setb %al
1384 ; AVX512VL-NEXT:    vzeroupper
1385 ; AVX512VL-NEXT:    retq
1386   %a = icmp eq <16 x i16> %0, zeroinitializer
1387   %b = call i1 @llvm.experimental.vector.reduce.and.v16i1(<16 x i1> %a)
1388   ret i1 %b
1389 }
1390
1391 define i1 @icmp_v32i8_v32i1(<32 x i8>) {
1392 ; SSE-LABEL: icmp_v32i8_v32i1:
1393 ; SSE:       # %bb.0:
1394 ; SSE-NEXT:    por %xmm1, %xmm0
1395 ; SSE-NEXT:    pxor %xmm1, %xmm1
1396 ; SSE-NEXT:    pcmpeqb %xmm0, %xmm1
1397 ; SSE-NEXT:    pmovmskb %xmm1, %eax
1398 ; SSE-NEXT:    cmpw $-1, %ax
1399 ; SSE-NEXT:    sete %al
1400 ; SSE-NEXT:    retq
1401 ;
1402 ; AVX1-LABEL: icmp_v32i8_v32i1:
1403 ; AVX1:       # %bb.0:
1404 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1405 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1406 ; AVX1-NEXT:    vpcmpeqb %xmm2, %xmm1, %xmm1
1407 ; AVX1-NEXT:    vpcmpeqb %xmm2, %xmm0, %xmm0
1408 ; AVX1-NEXT:    vpand %xmm1, %xmm0, %xmm0
1409 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
1410 ; AVX1-NEXT:    cmpw $-1, %ax
1411 ; AVX1-NEXT:    sete %al
1412 ; AVX1-NEXT:    vzeroupper
1413 ; AVX1-NEXT:    retq
1414 ;
1415 ; AVX2-LABEL: icmp_v32i8_v32i1:
1416 ; AVX2:       # %bb.0:
1417 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1418 ; AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
1419 ; AVX2-NEXT:    vpmovmskb %ymm0, %eax
1420 ; AVX2-NEXT:    cmpl $-1, %eax
1421 ; AVX2-NEXT:    sete %al
1422 ; AVX2-NEXT:    vzeroupper
1423 ; AVX2-NEXT:    retq
1424 ;
1425 ; AVX512F-LABEL: icmp_v32i8_v32i1:
1426 ; AVX512F:       # %bb.0:
1427 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1428 ; AVX512F-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
1429 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm1
1430 ; AVX512F-NEXT:    vpand %xmm1, %xmm0, %xmm0
1431 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
1432 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
1433 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
1434 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1435 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
1436 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1437 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
1438 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1439 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k1
1440 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1441 ; AVX512F-NEXT:    kmovw %k0, %eax
1442 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
1443 ; AVX512F-NEXT:    vzeroupper
1444 ; AVX512F-NEXT:    retq
1445 ;
1446 ; AVX512BW-LABEL: icmp_v32i8_v32i1:
1447 ; AVX512BW:       # %bb.0:
1448 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
1449 ; AVX512BW-NEXT:    vptestnmb %zmm0, %zmm0, %k0
1450 ; AVX512BW-NEXT:    kortestd %k0, %k0
1451 ; AVX512BW-NEXT:    setb %al
1452 ; AVX512BW-NEXT:    vzeroupper
1453 ; AVX512BW-NEXT:    retq
1454 ;
1455 ; AVX512VL-LABEL: icmp_v32i8_v32i1:
1456 ; AVX512VL:       # %bb.0:
1457 ; AVX512VL-NEXT:    vptestnmb %ymm0, %ymm0, %k0
1458 ; AVX512VL-NEXT:    kortestd %k0, %k0
1459 ; AVX512VL-NEXT:    setb %al
1460 ; AVX512VL-NEXT:    vzeroupper
1461 ; AVX512VL-NEXT:    retq
1462   %a = icmp eq <32 x i8> %0, zeroinitializer
1463   %b = call i1 @llvm.experimental.vector.reduce.and.v32i1(<32 x i1> %a)
1464   ret i1 %b
1465 }
1466
1467 define i1 @icmp_v8i64_v8i1(<8 x i64>) {
1468 ; SSE2-LABEL: icmp_v8i64_v8i1:
1469 ; SSE2:       # %bb.0:
1470 ; SSE2-NEXT:    pxor %xmm4, %xmm4
1471 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm3
1472 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm3[1,0,3,2]
1473 ; SSE2-NEXT:    pand %xmm3, %xmm5
1474 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm2
1475 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
1476 ; SSE2-NEXT:    pand %xmm2, %xmm3
1477 ; SSE2-NEXT:    packssdw %xmm5, %xmm3
1478 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm1
1479 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,0,3,2]
1480 ; SSE2-NEXT:    pand %xmm1, %xmm2
1481 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm0
1482 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
1483 ; SSE2-NEXT:    pand %xmm0, %xmm1
1484 ; SSE2-NEXT:    packssdw %xmm2, %xmm1
1485 ; SSE2-NEXT:    packssdw %xmm3, %xmm1
1486 ; SSE2-NEXT:    packsswb %xmm0, %xmm1
1487 ; SSE2-NEXT:    pmovmskb %xmm1, %eax
1488 ; SSE2-NEXT:    cmpb $-1, %al
1489 ; SSE2-NEXT:    sete %al
1490 ; SSE2-NEXT:    retq
1491 ;
1492 ; SSE41-LABEL: icmp_v8i64_v8i1:
1493 ; SSE41:       # %bb.0:
1494 ; SSE41-NEXT:    pxor %xmm4, %xmm4
1495 ; SSE41-NEXT:    pcmpeqq %xmm4, %xmm3
1496 ; SSE41-NEXT:    pcmpeqq %xmm4, %xmm2
1497 ; SSE41-NEXT:    packssdw %xmm3, %xmm2
1498 ; SSE41-NEXT:    pcmpeqq %xmm4, %xmm1
1499 ; SSE41-NEXT:    pcmpeqq %xmm4, %xmm0
1500 ; SSE41-NEXT:    packssdw %xmm1, %xmm0
1501 ; SSE41-NEXT:    packssdw %xmm2, %xmm0
1502 ; SSE41-NEXT:    packsswb %xmm0, %xmm0
1503 ; SSE41-NEXT:    pmovmskb %xmm0, %eax
1504 ; SSE41-NEXT:    cmpb $-1, %al
1505 ; SSE41-NEXT:    sete %al
1506 ; SSE41-NEXT:    retq
1507 ;
1508 ; AVX1-LABEL: icmp_v8i64_v8i1:
1509 ; AVX1:       # %bb.0:
1510 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
1511 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
1512 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm2, %xmm2
1513 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm1, %xmm1
1514 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm1, %xmm1
1515 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1516 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm2, %xmm2
1517 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm0, %xmm0
1518 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm0, %xmm0
1519 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1520 ; AVX1-NEXT:    vmovmskps %ymm0, %eax
1521 ; AVX1-NEXT:    cmpb $-1, %al
1522 ; AVX1-NEXT:    sete %al
1523 ; AVX1-NEXT:    vzeroupper
1524 ; AVX1-NEXT:    retq
1525 ;
1526 ; AVX2-LABEL: icmp_v8i64_v8i1:
1527 ; AVX2:       # %bb.0:
1528 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1529 ; AVX2-NEXT:    vpcmpeqq %ymm2, %ymm1, %ymm1
1530 ; AVX2-NEXT:    vpcmpeqq %ymm2, %ymm0, %ymm0
1531 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
1532 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1533 ; AVX2-NEXT:    vmovmskps %ymm0, %eax
1534 ; AVX2-NEXT:    cmpb $-1, %al
1535 ; AVX2-NEXT:    sete %al
1536 ; AVX2-NEXT:    vzeroupper
1537 ; AVX2-NEXT:    retq
1538 ;
1539 ; AVX512F-LABEL: icmp_v8i64_v8i1:
1540 ; AVX512F:       # %bb.0:
1541 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
1542 ; AVX512F-NEXT:    kmovw %k0, %eax
1543 ; AVX512F-NEXT:    cmpb $-1, %al
1544 ; AVX512F-NEXT:    sete %al
1545 ; AVX512F-NEXT:    vzeroupper
1546 ; AVX512F-NEXT:    retq
1547 ;
1548 ; AVX512BW-LABEL: icmp_v8i64_v8i1:
1549 ; AVX512BW:       # %bb.0:
1550 ; AVX512BW-NEXT:    vptestnmq %zmm0, %zmm0, %k0
1551 ; AVX512BW-NEXT:    kmovd %k0, %eax
1552 ; AVX512BW-NEXT:    cmpb $-1, %al
1553 ; AVX512BW-NEXT:    sete %al
1554 ; AVX512BW-NEXT:    vzeroupper
1555 ; AVX512BW-NEXT:    retq
1556 ;
1557 ; AVX512VL-LABEL: icmp_v8i64_v8i1:
1558 ; AVX512VL:       # %bb.0:
1559 ; AVX512VL-NEXT:    vptestnmq %zmm0, %zmm0, %k0
1560 ; AVX512VL-NEXT:    kmovd %k0, %eax
1561 ; AVX512VL-NEXT:    cmpb $-1, %al
1562 ; AVX512VL-NEXT:    sete %al
1563 ; AVX512VL-NEXT:    vzeroupper
1564 ; AVX512VL-NEXT:    retq
1565   %a = icmp eq <8 x i64> %0, zeroinitializer
1566   %b = call i1 @llvm.experimental.vector.reduce.and.v8i1(<8 x i1> %a)
1567   ret i1 %b
1568 }
1569
1570 define i1 @icmp_v16i32_v16i1(<16 x i32>) {
1571 ; SSE-LABEL: icmp_v16i32_v16i1:
1572 ; SSE:       # %bb.0:
1573 ; SSE-NEXT:    pxor %xmm4, %xmm4
1574 ; SSE-NEXT:    pcmpeqd %xmm4, %xmm3
1575 ; SSE-NEXT:    pcmpeqd %xmm4, %xmm2
1576 ; SSE-NEXT:    packssdw %xmm3, %xmm2
1577 ; SSE-NEXT:    pcmpeqd %xmm4, %xmm1
1578 ; SSE-NEXT:    pcmpeqd %xmm4, %xmm0
1579 ; SSE-NEXT:    packssdw %xmm1, %xmm0
1580 ; SSE-NEXT:    packsswb %xmm2, %xmm0
1581 ; SSE-NEXT:    pmovmskb %xmm0, %eax
1582 ; SSE-NEXT:    cmpw $-1, %ax
1583 ; SSE-NEXT:    sete %al
1584 ; SSE-NEXT:    retq
1585 ;
1586 ; AVX1-LABEL: icmp_v16i32_v16i1:
1587 ; AVX1:       # %bb.0:
1588 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
1589 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
1590 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1591 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm1, %xmm1
1592 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm1, %xmm1
1593 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1594 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1595 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm0, %xmm0
1596 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm0, %xmm0
1597 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1598 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
1599 ; AVX1-NEXT:    cmpw $-1, %ax
1600 ; AVX1-NEXT:    sete %al
1601 ; AVX1-NEXT:    vzeroupper
1602 ; AVX1-NEXT:    retq
1603 ;
1604 ; AVX2-LABEL: icmp_v16i32_v16i1:
1605 ; AVX2:       # %bb.0:
1606 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1607 ; AVX2-NEXT:    vpcmpeqd %ymm2, %ymm1, %ymm1
1608 ; AVX2-NEXT:    vpcmpeqd %ymm2, %ymm0, %ymm0
1609 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
1610 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1611 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1612 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1613 ; AVX2-NEXT:    vpmovmskb %xmm0, %eax
1614 ; AVX2-NEXT:    cmpw $-1, %ax
1615 ; AVX2-NEXT:    sete %al
1616 ; AVX2-NEXT:    vzeroupper
1617 ; AVX2-NEXT:    retq
1618 ;
1619 ; AVX512-LABEL: icmp_v16i32_v16i1:
1620 ; AVX512:       # %bb.0:
1621 ; AVX512-NEXT:    vptestnmd %zmm0, %zmm0, %k0
1622 ; AVX512-NEXT:    kortestw %k0, %k0
1623 ; AVX512-NEXT:    setb %al
1624 ; AVX512-NEXT:    vzeroupper
1625 ; AVX512-NEXT:    retq
1626   %a = icmp eq <16 x i32> %0, zeroinitializer
1627   %b = call i1 @llvm.experimental.vector.reduce.and.v16i1(<16 x i1> %a)
1628   ret i1 %b
1629 }
1630
1631 define i1 @icmp_v32i16_v32i1(<32 x i16>) {
1632 ; SSE-LABEL: icmp_v32i16_v32i1:
1633 ; SSE:       # %bb.0:
1634 ; SSE-NEXT:    pxor %xmm4, %xmm4
1635 ; SSE-NEXT:    pcmpeqw %xmm4, %xmm1
1636 ; SSE-NEXT:    pcmpeqw %xmm4, %xmm0
1637 ; SSE-NEXT:    packsswb %xmm1, %xmm0
1638 ; SSE-NEXT:    pcmpeqw %xmm4, %xmm3
1639 ; SSE-NEXT:    pcmpeqw %xmm4, %xmm2
1640 ; SSE-NEXT:    packsswb %xmm3, %xmm2
1641 ; SSE-NEXT:    pand %xmm0, %xmm2
1642 ; SSE-NEXT:    pmovmskb %xmm2, %eax
1643 ; SSE-NEXT:    cmpw $-1, %ax
1644 ; SSE-NEXT:    sete %al
1645 ; SSE-NEXT:    retq
1646 ;
1647 ; AVX1-LABEL: icmp_v32i16_v32i1:
1648 ; AVX1:       # %bb.0:
1649 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
1650 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
1651 ; AVX1-NEXT:    vpcmpeqw %xmm3, %xmm2, %xmm2
1652 ; AVX1-NEXT:    vpcmpeqw %xmm3, %xmm1, %xmm1
1653 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm1, %xmm1
1654 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1655 ; AVX1-NEXT:    vpcmpeqw %xmm3, %xmm2, %xmm2
1656 ; AVX1-NEXT:    vpcmpeqw %xmm3, %xmm0, %xmm0
1657 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm0, %xmm0
1658 ; AVX1-NEXT:    vpand %xmm1, %xmm0, %xmm0
1659 ; AVX1-NEXT:    vpsllw $7, %xmm0, %xmm0
1660 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
1661 ; AVX1-NEXT:    cmpw $-1, %ax
1662 ; AVX1-NEXT:    sete %al
1663 ; AVX1-NEXT:    vzeroupper
1664 ; AVX1-NEXT:    retq
1665 ;
1666 ; AVX2-LABEL: icmp_v32i16_v32i1:
1667 ; AVX2:       # %bb.0:
1668 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1669 ; AVX2-NEXT:    vpcmpeqw %ymm2, %ymm1, %ymm1
1670 ; AVX2-NEXT:    vpcmpeqw %ymm2, %ymm0, %ymm0
1671 ; AVX2-NEXT:    vpacksswb %ymm1, %ymm0, %ymm0
1672 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1673 ; AVX2-NEXT:    vpmovmskb %ymm0, %eax
1674 ; AVX2-NEXT:    cmpl $-1, %eax
1675 ; AVX2-NEXT:    sete %al
1676 ; AVX2-NEXT:    vzeroupper
1677 ; AVX2-NEXT:    retq
1678 ;
1679 ; AVX512F-LABEL: icmp_v32i16_v32i1:
1680 ; AVX512F:       # %bb.0:
1681 ; AVX512F-NEXT:    vpor %ymm1, %ymm0, %ymm0
1682 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1683 ; AVX512F-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
1684 ; AVX512F-NEXT:    vpmovsxwd %ymm0, %zmm0
1685 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
1686 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
1687 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1688 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
1689 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1690 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
1691 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1692 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k1
1693 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1694 ; AVX512F-NEXT:    kmovw %k0, %eax
1695 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
1696 ; AVX512F-NEXT:    vzeroupper
1697 ; AVX512F-NEXT:    retq
1698 ;
1699 ; AVX512BW-LABEL: icmp_v32i16_v32i1:
1700 ; AVX512BW:       # %bb.0:
1701 ; AVX512BW-NEXT:    vptestnmw %zmm0, %zmm0, %k0
1702 ; AVX512BW-NEXT:    kortestd %k0, %k0
1703 ; AVX512BW-NEXT:    setb %al
1704 ; AVX512BW-NEXT:    vzeroupper
1705 ; AVX512BW-NEXT:    retq
1706 ;
1707 ; AVX512VL-LABEL: icmp_v32i16_v32i1:
1708 ; AVX512VL:       # %bb.0:
1709 ; AVX512VL-NEXT:    vptestnmw %zmm0, %zmm0, %k0
1710 ; AVX512VL-NEXT:    kortestd %k0, %k0
1711 ; AVX512VL-NEXT:    setb %al
1712 ; AVX512VL-NEXT:    vzeroupper
1713 ; AVX512VL-NEXT:    retq
1714   %a = icmp eq <32 x i16> %0, zeroinitializer
1715   %b = call i1 @llvm.experimental.vector.reduce.and.v32i1(<32 x i1> %a)
1716   ret i1 %b
1717 }
1718
1719 define i1 @icmp_v64i8_v64i1(<64 x i8>) {
1720 ; SSE-LABEL: icmp_v64i8_v64i1:
1721 ; SSE:       # %bb.0:
1722 ; SSE-NEXT:    por %xmm3, %xmm1
1723 ; SSE-NEXT:    pxor %xmm3, %xmm3
1724 ; SSE-NEXT:    por %xmm2, %xmm1
1725 ; SSE-NEXT:    por %xmm0, %xmm1
1726 ; SSE-NEXT:    pcmpeqb %xmm3, %xmm1
1727 ; SSE-NEXT:    pmovmskb %xmm1, %eax
1728 ; SSE-NEXT:    cmpl $65535, %eax # imm = 0xFFFF
1729 ; SSE-NEXT:    sete %al
1730 ; SSE-NEXT:    negb %al
1731 ; SSE-NEXT:    retq
1732 ;
1733 ; AVX1-LABEL: icmp_v64i8_v64i1:
1734 ; AVX1:       # %bb.0:
1735 ; AVX1-NEXT:    vorps %ymm1, %ymm0, %ymm0
1736 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1737 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1738 ; AVX1-NEXT:    vpcmpeqb %xmm2, %xmm1, %xmm1
1739 ; AVX1-NEXT:    vpcmpeqb %xmm2, %xmm0, %xmm0
1740 ; AVX1-NEXT:    vpand %xmm1, %xmm0, %xmm0
1741 ; AVX1-NEXT:    vpmovmskb %xmm0, %eax
1742 ; AVX1-NEXT:    cmpl $65535, %eax # imm = 0xFFFF
1743 ; AVX1-NEXT:    sete %al
1744 ; AVX1-NEXT:    negb %al
1745 ; AVX1-NEXT:    vzeroupper
1746 ; AVX1-NEXT:    retq
1747 ;
1748 ; AVX2-LABEL: icmp_v64i8_v64i1:
1749 ; AVX2:       # %bb.0:
1750 ; AVX2-NEXT:    vpor %ymm1, %ymm0, %ymm0
1751 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1752 ; AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
1753 ; AVX2-NEXT:    vpmovmskb %ymm0, %eax
1754 ; AVX2-NEXT:    cmpl $-1, %eax
1755 ; AVX2-NEXT:    sete %al
1756 ; AVX2-NEXT:    negb %al
1757 ; AVX2-NEXT:    vzeroupper
1758 ; AVX2-NEXT:    retq
1759 ;
1760 ; AVX512F-LABEL: icmp_v64i8_v64i1:
1761 ; AVX512F:       # %bb.0:
1762 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1763 ; AVX512F-NEXT:    vpcmpeqb %ymm2, %ymm1, %ymm1
1764 ; AVX512F-NEXT:    vpcmpeqb %ymm2, %ymm0, %ymm0
1765 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
1766 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm3
1767 ; AVX512F-NEXT:    vpand %xmm2, %xmm3, %xmm2
1768 ; AVX512F-NEXT:    vpand %xmm2, %xmm1, %xmm1
1769 ; AVX512F-NEXT:    vpand %xmm1, %xmm0, %xmm0
1770 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
1771 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
1772 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
1773 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1774 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
1775 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1776 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
1777 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1778 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k1
1779 ; AVX512F-NEXT:    kandw %k1, %k0, %k0
1780 ; AVX512F-NEXT:    kmovw %k0, %eax
1781 ; AVX512F-NEXT:    # kill: def $al killed $al killed $eax
1782 ; AVX512F-NEXT:    vzeroupper
1783 ; AVX512F-NEXT:    retq
1784 ;
1785 ; AVX512BW-LABEL: icmp_v64i8_v64i1:
1786 ; AVX512BW:       # %bb.0:
1787 ; AVX512BW-NEXT:    vptestnmb %zmm0, %zmm0, %k0
1788 ; AVX512BW-NEXT:    kshiftrq $32, %k0, %k1
1789 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
1790 ; AVX512BW-NEXT:    kshiftrq $16, %k0, %k1
1791 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
1792 ; AVX512BW-NEXT:    kshiftrq $8, %k0, %k1
1793 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
1794 ; AVX512BW-NEXT:    kshiftrq $4, %k0, %k1
1795 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
1796 ; AVX512BW-NEXT:    kshiftrq $2, %k0, %k1
1797 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
1798 ; AVX512BW-NEXT:    kshiftrq $1, %k0, %k1
1799 ; AVX512BW-NEXT:    kandq %k1, %k0, %k0
1800 ; AVX512BW-NEXT:    kmovd %k0, %eax
1801 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
1802 ; AVX512BW-NEXT:    vzeroupper
1803 ; AVX512BW-NEXT:    retq
1804 ;
1805 ; AVX512VL-LABEL: icmp_v64i8_v64i1:
1806 ; AVX512VL:       # %bb.0:
1807 ; AVX512VL-NEXT:    vptestnmb %zmm0, %zmm0, %k0
1808 ; AVX512VL-NEXT:    kshiftrq $32, %k0, %k1
1809 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
1810 ; AVX512VL-NEXT:    kshiftrq $16, %k0, %k1
1811 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
1812 ; AVX512VL-NEXT:    kshiftrq $8, %k0, %k1
1813 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
1814 ; AVX512VL-NEXT:    kshiftrq $4, %k0, %k1
1815 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
1816 ; AVX512VL-NEXT:    kshiftrq $2, %k0, %k1
1817 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
1818 ; AVX512VL-NEXT:    kshiftrq $1, %k0, %k1
1819 ; AVX512VL-NEXT:    kandq %k1, %k0, %k0
1820 ; AVX512VL-NEXT:    kmovd %k0, %eax
1821 ; AVX512VL-NEXT:    # kill: def $al killed $al killed $eax
1822 ; AVX512VL-NEXT:    vzeroupper
1823 ; AVX512VL-NEXT:    retq
1824   %a = icmp eq <64 x i8> %0, zeroinitializer
1825   %b = call i1 @llvm.experimental.vector.reduce.and.v64i1(<64 x i1> %a)
1826   ret i1 %b
1827 }
1828
1829 declare i1 @llvm.experimental.vector.reduce.and.v2i1(<2 x i1>)
1830 declare i1 @llvm.experimental.vector.reduce.and.v4i1(<4 x i1>)
1831 declare i1 @llvm.experimental.vector.reduce.and.v8i1(<8 x i1>)
1832 declare i1 @llvm.experimental.vector.reduce.and.v16i1(<16 x i1>)
1833 declare i1 @llvm.experimental.vector.reduce.and.v32i1(<32 x i1>)
1834 declare i1 @llvm.experimental.vector.reduce.and.v64i1(<64 x i1>)