test/CodeGen/X86/vector-compare-results.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=SSE --check-prefix=SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.2 | FileCheck %s --check-prefix=SSE --check-prefix=SSE42
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=AVX --check-prefix=AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=AVX --check-prefix=AVX2
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f | FileCheck %s --check-prefix=AVX --check-prefix=AVX512 --check-prefix=AVX512F
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512dq | FileCheck %s --check-prefix=AVX --check-prefix=AVX512 --check-prefix=AVX512DQ
   8 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw | FileCheck %s --check-prefix=AVX --check-prefix=AVX512 --check-prefix=AVX512BW
   9
  10 ;
  11 ; 128-bit vector comparisons
  12 ;
  13
  14 define <2 x i1> @test_cmp_v2f64(<2 x double> %a0, <2 x double> %a1) nounwind {
  15 ; SSE-LABEL: test_cmp_v2f64:
  16 ; SSE:       # %bb.0:
  17 ; SSE-NEXT:    cmpltpd %xmm0, %xmm1
  18 ; SSE-NEXT:    movapd %xmm1, %xmm0
  19 ; SSE-NEXT:    retq
  20 ;
  21 ; AVX-LABEL: test_cmp_v2f64:
  22 ; AVX:       # %bb.0:
  23 ; AVX-NEXT:    vcmpltpd %xmm0, %xmm1, %xmm0
  24 ; AVX-NEXT:    retq
  25   %1 = fcmp ogt <2 x double> %a0, %a1
  26   ret <2 x i1> %1
  27 }
  28
  29 define <4 x i1> @test_cmp_v4f32(<4 x float> %a0, <4 x float> %a1) nounwind {
  30 ; SSE-LABEL: test_cmp_v4f32:
  31 ; SSE:       # %bb.0:
  32 ; SSE-NEXT:    cmpltps %xmm0, %xmm1
  33 ; SSE-NEXT:    movaps %xmm1, %xmm0
  34 ; SSE-NEXT:    retq
  35 ;
  36 ; AVX-LABEL: test_cmp_v4f32:
  37 ; AVX:       # %bb.0:
  38 ; AVX-NEXT:    vcmpltps %xmm0, %xmm1, %xmm0
  39 ; AVX-NEXT:    retq
  40   %1 = fcmp ogt <4 x float> %a0, %a1
  41   ret <4 x i1> %1
  42 }
  43
  44 define <2 x i1> @test_cmp_v2i64(<2 x i64> %a0, <2 x i64> %a1) nounwind {
  45 ; SSE2-LABEL: test_cmp_v2i64:
  46 ; SSE2:       # %bb.0:
  47 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648]
  48 ; SSE2-NEXT:    pxor %xmm2, %xmm1
  49 ; SSE2-NEXT:    pxor %xmm2, %xmm0
  50 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
  51 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm2
  52 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[0,0,2,2]
  53 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
  54 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
  55 ; SSE2-NEXT:    pand %xmm3, %xmm1
  56 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,3,3]
  57 ; SSE2-NEXT:    por %xmm1, %xmm0
  58 ; SSE2-NEXT:    retq
  59 ;
  60 ; SSE42-LABEL: test_cmp_v2i64:
  61 ; SSE42:       # %bb.0:
  62 ; SSE42-NEXT:    pcmpgtq %xmm1, %xmm0
  63 ; SSE42-NEXT:    retq
  64 ;
  65 ; AVX-LABEL: test_cmp_v2i64:
  66 ; AVX:       # %bb.0:
  67 ; AVX-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm0
  68 ; AVX-NEXT:    retq
  69   %1 = icmp sgt <2 x i64> %a0, %a1
  70   ret <2 x i1> %1
  71 }
  72
  73 define <4 x i1> @test_cmp_v4i32(<4 x i32> %a0, <4 x i32> %a1) nounwind {
  74 ; SSE-LABEL: test_cmp_v4i32:
  75 ; SSE:       # %bb.0:
  76 ; SSE-NEXT:    pcmpgtd %xmm1, %xmm0
  77 ; SSE-NEXT:    retq
  78 ;
  79 ; AVX-LABEL: test_cmp_v4i32:
  80 ; AVX:       # %bb.0:
  81 ; AVX-NEXT:    vpcmpgtd %xmm1, %xmm0, %xmm0
  82 ; AVX-NEXT:    retq
  83   %1 = icmp sgt <4 x i32> %a0, %a1
  84   ret <4 x i1> %1
  85 }
  86
  87 define <8 x i1> @test_cmp_v8i16(<8 x i16> %a0, <8 x i16> %a1) nounwind {
  88 ; SSE-LABEL: test_cmp_v8i16:
  89 ; SSE:       # %bb.0:
  90 ; SSE-NEXT:    pcmpgtw %xmm1, %xmm0
  91 ; SSE-NEXT:    retq
  92 ;
  93 ; AVX-LABEL: test_cmp_v8i16:
  94 ; AVX:       # %bb.0:
  95 ; AVX-NEXT:    vpcmpgtw %xmm1, %xmm0, %xmm0
  96 ; AVX-NEXT:    retq
  97   %1 = icmp sgt <8 x i16> %a0, %a1
  98   ret <8 x i1> %1
  99 }
 100
 101 define <16 x i1> @test_cmp_v16i8(<16 x i8> %a0, <16 x i8> %a1) nounwind {
 102 ; SSE-LABEL: test_cmp_v16i8:
 103 ; SSE:       # %bb.0:
 104 ; SSE-NEXT:    pcmpgtb %xmm1, %xmm0
 105 ; SSE-NEXT:    retq
 106 ;
 107 ; AVX-LABEL: test_cmp_v16i8:
 108 ; AVX:       # %bb.0:
 109 ; AVX-NEXT:    vpcmpgtb %xmm1, %xmm0, %xmm0
 110 ; AVX-NEXT:    retq
 111   %1 = icmp sgt <16 x i8> %a0, %a1
 112   ret <16 x i1> %1
 113 }
 114
 115 ;
 116 ; 256-bit vector comparisons
 117 ;
 118
 119 define <4 x i1> @test_cmp_v4f64(<4 x double> %a0, <4 x double> %a1) nounwind {
 120 ; SSE-LABEL: test_cmp_v4f64:
 121 ; SSE:       # %bb.0:
 122 ; SSE-NEXT:    cmpltpd %xmm1, %xmm3
 123 ; SSE-NEXT:    cmpltpd %xmm0, %xmm2
 124 ; SSE-NEXT:    packssdw %xmm3, %xmm2
 125 ; SSE-NEXT:    movdqa %xmm2, %xmm0
 126 ; SSE-NEXT:    retq
 127 ;
 128 ; AVX1-LABEL: test_cmp_v4f64:
 129 ; AVX1:       # %bb.0:
 130 ; AVX1-NEXT:    vcmpltpd %ymm0, %ymm1, %ymm0
 131 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 132 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 133 ; AVX1-NEXT:    vzeroupper
 134 ; AVX1-NEXT:    retq
 135 ;
 136 ; AVX2-LABEL: test_cmp_v4f64:
 137 ; AVX2:       # %bb.0:
 138 ; AVX2-NEXT:    vcmpltpd %ymm0, %ymm1, %ymm0
 139 ; AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
 140 ; AVX2-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 141 ; AVX2-NEXT:    vzeroupper
 142 ; AVX2-NEXT:    retq
 143 ;
 144 ; AVX512-LABEL: test_cmp_v4f64:
 145 ; AVX512:       # %bb.0:
 146 ; AVX512-NEXT:    vcmpltpd %ymm0, %ymm1, %ymm0
 147 ; AVX512-NEXT:    vpmovqd %zmm0, %ymm0
 148 ; AVX512-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 149 ; AVX512-NEXT:    vzeroupper
 150 ; AVX512-NEXT:    retq
 151   %1 = fcmp ogt <4 x double> %a0, %a1
 152   ret <4 x i1> %1
 153 }
 154
 155 define <8 x i1> @test_cmp_v8f32(<8 x float> %a0, <8 x float> %a1) nounwind {
 156 ; SSE-LABEL: test_cmp_v8f32:
 157 ; SSE:       # %bb.0:
 158 ; SSE-NEXT:    cmpltps %xmm1, %xmm3
 159 ; SSE-NEXT:    cmpltps %xmm0, %xmm2
 160 ; SSE-NEXT:    packssdw %xmm3, %xmm2
 161 ; SSE-NEXT:    movdqa %xmm2, %xmm0
 162 ; SSE-NEXT:    retq
 163 ;
 164 ; AVX1-LABEL: test_cmp_v8f32:
 165 ; AVX1:       # %bb.0:
 166 ; AVX1-NEXT:    vcmpltps %ymm0, %ymm1, %ymm0
 167 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 168 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 169 ; AVX1-NEXT:    vzeroupper
 170 ; AVX1-NEXT:    retq
 171 ;
 172 ; AVX2-LABEL: test_cmp_v8f32:
 173 ; AVX2:       # %bb.0:
 174 ; AVX2-NEXT:    vcmpltps %ymm0, %ymm1, %ymm0
 175 ; AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
 176 ; AVX2-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 177 ; AVX2-NEXT:    vzeroupper
 178 ; AVX2-NEXT:    retq
 179 ;
 180 ; AVX512-LABEL: test_cmp_v8f32:
 181 ; AVX512:       # %bb.0:
 182 ; AVX512-NEXT:    vcmpltps %ymm0, %ymm1, %ymm0
 183 ; AVX512-NEXT:    vpmovdw %zmm0, %ymm0
 184 ; AVX512-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 185 ; AVX512-NEXT:    vzeroupper
 186 ; AVX512-NEXT:    retq
 187   %1 = fcmp ogt <8 x float> %a0, %a1
 188   ret <8 x i1> %1
 189 }
 190
 191 define <4 x i1> @test_cmp_v4i64(<4 x i64> %a0, <4 x i64> %a1) nounwind {
 192 ; SSE2-LABEL: test_cmp_v4i64:
 193 ; SSE2:       # %bb.0:
 194 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648]
 195 ; SSE2-NEXT:    pxor %xmm4, %xmm3
 196 ; SSE2-NEXT:    pxor %xmm4, %xmm1
 197 ; SSE2-NEXT:    movdqa %xmm1, %xmm5
 198 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm5
 199 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
 200 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm1
 201 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 202 ; SSE2-NEXT:    pand %xmm6, %xmm1
 203 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[1,1,3,3]
 204 ; SSE2-NEXT:    por %xmm1, %xmm3
 205 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 206 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 207 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 208 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm1
 209 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[0,0,2,2]
 210 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm0
 211 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 212 ; SSE2-NEXT:    pand %xmm4, %xmm2
 213 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 214 ; SSE2-NEXT:    por %xmm2, %xmm0
 215 ; SSE2-NEXT:    packssdw %xmm3, %xmm0
 216 ; SSE2-NEXT:    retq
 217 ;
 218 ; SSE42-LABEL: test_cmp_v4i64:
 219 ; SSE42:       # %bb.0:
 220 ; SSE42-NEXT:    pcmpgtq %xmm3, %xmm1
 221 ; SSE42-NEXT:    pcmpgtq %xmm2, %xmm0
 222 ; SSE42-NEXT:    packssdw %xmm1, %xmm0
 223 ; SSE42-NEXT:    retq
 224 ;
 225 ; AVX1-LABEL: test_cmp_v4i64:
 226 ; AVX1:       # %bb.0:
 227 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 228 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 229 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 230 ; AVX1-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm0
 231 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm0, %xmm0
 232 ; AVX1-NEXT:    vzeroupper
 233 ; AVX1-NEXT:    retq
 234 ;
 235 ; AVX2-LABEL: test_cmp_v4i64:
 236 ; AVX2:       # %bb.0:
 237 ; AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm0
 238 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 239 ; AVX2-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 240 ; AVX2-NEXT:    vzeroupper
 241 ; AVX2-NEXT:    retq
 242 ;
 243 ; AVX512-LABEL: test_cmp_v4i64:
 244 ; AVX512:       # %bb.0:
 245 ; AVX512-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm0
 246 ; AVX512-NEXT:    vpmovqd %zmm0, %ymm0
 247 ; AVX512-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 248 ; AVX512-NEXT:    vzeroupper
 249 ; AVX512-NEXT:    retq
 250   %1 = icmp sgt <4 x i64> %a0, %a1
 251   ret <4 x i1> %1
 252 }
 253
 254 define <8 x i1> @test_cmp_v8i32(<8 x i32> %a0, <8 x i32> %a1) nounwind {
 255 ; SSE-LABEL: test_cmp_v8i32:
 256 ; SSE:       # %bb.0:
 257 ; SSE-NEXT:    pcmpgtd %xmm3, %xmm1
 258 ; SSE-NEXT:    pcmpgtd %xmm2, %xmm0
 259 ; SSE-NEXT:    packssdw %xmm1, %xmm0
 260 ; SSE-NEXT:    retq
 261 ;
 262 ; AVX1-LABEL: test_cmp_v8i32:
 263 ; AVX1:       # %bb.0:
 264 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 265 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 266 ; AVX1-NEXT:    vpcmpgtd %xmm2, %xmm3, %xmm2
 267 ; AVX1-NEXT:    vpcmpgtd %xmm1, %xmm0, %xmm0
 268 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm0, %xmm0
 269 ; AVX1-NEXT:    vzeroupper
 270 ; AVX1-NEXT:    retq
 271 ;
 272 ; AVX2-LABEL: test_cmp_v8i32:
 273 ; AVX2:       # %bb.0:
 274 ; AVX2-NEXT:    vpcmpgtd %ymm1, %ymm0, %ymm0
 275 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 276 ; AVX2-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 277 ; AVX2-NEXT:    vzeroupper
 278 ; AVX2-NEXT:    retq
 279 ;
 280 ; AVX512-LABEL: test_cmp_v8i32:
 281 ; AVX512:       # %bb.0:
 282 ; AVX512-NEXT:    vpcmpgtd %ymm1, %ymm0, %ymm0
 283 ; AVX512-NEXT:    vpmovdw %zmm0, %ymm0
 284 ; AVX512-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 285 ; AVX512-NEXT:    vzeroupper
 286 ; AVX512-NEXT:    retq
 287   %1 = icmp sgt <8 x i32> %a0, %a1
 288   ret <8 x i1> %1
 289 }
 290
 291 define <16 x i1> @test_cmp_v16i16(<16 x i16> %a0, <16 x i16> %a1) nounwind {
 292 ; SSE-LABEL: test_cmp_v16i16:
 293 ; SSE:       # %bb.0:
 294 ; SSE-NEXT:    pcmpgtw %xmm3, %xmm1
 295 ; SSE-NEXT:    pcmpgtw %xmm2, %xmm0
 296 ; SSE-NEXT:    packsswb %xmm1, %xmm0
 297 ; SSE-NEXT:    retq
 298 ;
 299 ; AVX1-LABEL: test_cmp_v16i16:
 300 ; AVX1:       # %bb.0:
 301 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 302 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 303 ; AVX1-NEXT:    vpcmpgtw %xmm2, %xmm3, %xmm2
 304 ; AVX1-NEXT:    vpcmpgtw %xmm1, %xmm0, %xmm0
 305 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm0, %xmm0
 306 ; AVX1-NEXT:    vzeroupper
 307 ; AVX1-NEXT:    retq
 308 ;
 309 ; AVX2-LABEL: test_cmp_v16i16:
 310 ; AVX2:       # %bb.0:
 311 ; AVX2-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
 312 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 313 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 314 ; AVX2-NEXT:    vzeroupper
 315 ; AVX2-NEXT:    retq
 316 ;
 317 ; AVX512F-LABEL: test_cmp_v16i16:
 318 ; AVX512F:       # %bb.0:
 319 ; AVX512F-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
 320 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
 321 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
 322 ; AVX512F-NEXT:    vzeroupper
 323 ; AVX512F-NEXT:    retq
 324 ;
 325 ; AVX512DQ-LABEL: test_cmp_v16i16:
 326 ; AVX512DQ:       # %bb.0:
 327 ; AVX512DQ-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
 328 ; AVX512DQ-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
 329 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
 330 ; AVX512DQ-NEXT:    vzeroupper
 331 ; AVX512DQ-NEXT:    retq
 332 ;
 333 ; AVX512BW-LABEL: test_cmp_v16i16:
 334 ; AVX512BW:       # %bb.0:
 335 ; AVX512BW-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
 336 ; AVX512BW-NEXT:    vpmovwb %zmm0, %ymm0
 337 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 338 ; AVX512BW-NEXT:    vzeroupper
 339 ; AVX512BW-NEXT:    retq
 340   %1 = icmp sgt <16 x i16> %a0, %a1
 341   ret <16 x i1> %1
 342 }
 343
 344 define <32 x i1> @test_cmp_v32i8(<32 x i8> %a0, <32 x i8> %a1) nounwind {
 345 ; SSE-LABEL: test_cmp_v32i8:
 346 ; SSE:       # %bb.0:
 347 ; SSE-NEXT:    movq %rdi, %rax
 348 ; SSE-NEXT:    pcmpgtb %xmm2, %xmm0
 349 ; SSE-NEXT:    pmovmskb %xmm0, %ecx
 350 ; SSE-NEXT:    pcmpgtb %xmm3, %xmm1
 351 ; SSE-NEXT:    pmovmskb %xmm1, %edx
 352 ; SSE-NEXT:    shll $16, %edx
 353 ; SSE-NEXT:    orl %ecx, %edx
 354 ; SSE-NEXT:    movl %edx, (%rdi)
 355 ; SSE-NEXT:    retq
 356 ;
 357 ; AVX1-LABEL: test_cmp_v32i8:
 358 ; AVX1:       # %bb.0:
 359 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 360 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 361 ; AVX1-NEXT:    vpcmpgtb %xmm2, %xmm3, %xmm2
 362 ; AVX1-NEXT:    vpcmpgtb %xmm1, %xmm0, %xmm0
 363 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 364 ; AVX1-NEXT:    retq
 365 ;
 366 ; AVX2-LABEL: test_cmp_v32i8:
 367 ; AVX2:       # %bb.0:
 368 ; AVX2-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm0
 369 ; AVX2-NEXT:    retq
 370 ;
 371 ; AVX512-LABEL: test_cmp_v32i8:
 372 ; AVX512:       # %bb.0:
 373 ; AVX512-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm0
 374 ; AVX512-NEXT:    retq
 375   %1 = icmp sgt <32 x i8> %a0, %a1
 376   ret <32 x i1> %1
 377 }
 378
 379 ;
 380 ; 512-bit vector comparisons
 381 ;
 382
 383 define <8 x i1> @test_cmp_v8f64(<8 x double> %a0, <8 x double> %a1) nounwind {
 384 ; SSE-LABEL: test_cmp_v8f64:
 385 ; SSE:       # %bb.0:
 386 ; SSE-NEXT:    cmpltpd %xmm3, %xmm7
 387 ; SSE-NEXT:    cmpltpd %xmm2, %xmm6
 388 ; SSE-NEXT:    packssdw %xmm7, %xmm6
 389 ; SSE-NEXT:    cmpltpd %xmm1, %xmm5
 390 ; SSE-NEXT:    cmpltpd %xmm0, %xmm4
 391 ; SSE-NEXT:    packssdw %xmm5, %xmm4
 392 ; SSE-NEXT:    packssdw %xmm6, %xmm4
 393 ; SSE-NEXT:    movdqa %xmm4, %xmm0
 394 ; SSE-NEXT:    retq
 395 ;
 396 ; AVX1-LABEL: test_cmp_v8f64:
 397 ; AVX1:       # %bb.0:
 398 ; AVX1-NEXT:    vcmpltpd %ymm1, %ymm3, %ymm1
 399 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
 400 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
 401 ; AVX1-NEXT:    vcmpltpd %ymm0, %ymm2, %ymm0
 402 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 403 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm0, %xmm0
 404 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 405 ; AVX1-NEXT:    vzeroupper
 406 ; AVX1-NEXT:    retq
 407 ;
 408 ; AVX2-LABEL: test_cmp_v8f64:
 409 ; AVX2:       # %bb.0:
 410 ; AVX2-NEXT:    vcmpltpd %ymm1, %ymm3, %ymm1
 411 ; AVX2-NEXT:    vcmpltpd %ymm0, %ymm2, %ymm0
 412 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
 413 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
 414 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 415 ; AVX2-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 416 ; AVX2-NEXT:    vzeroupper
 417 ; AVX2-NEXT:    retq
 418 ;
 419 ; AVX512F-LABEL: test_cmp_v8f64:
 420 ; AVX512F:       # %bb.0:
 421 ; AVX512F-NEXT:    vcmpltpd %zmm0, %zmm1, %k1
 422 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
 423 ; AVX512F-NEXT:    vpmovdw %zmm0, %ymm0
 424 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 425 ; AVX512F-NEXT:    vzeroupper
 426 ; AVX512F-NEXT:    retq
 427 ;
 428 ; AVX512DQ-LABEL: test_cmp_v8f64:
 429 ; AVX512DQ:       # %bb.0:
 430 ; AVX512DQ-NEXT:    vcmpltpd %zmm0, %zmm1, %k0
 431 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm0
 432 ; AVX512DQ-NEXT:    vpmovdw %zmm0, %ymm0
 433 ; AVX512DQ-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 434 ; AVX512DQ-NEXT:    vzeroupper
 435 ; AVX512DQ-NEXT:    retq
 436 ;
 437 ; AVX512BW-LABEL: test_cmp_v8f64:
 438 ; AVX512BW:       # %bb.0:
 439 ; AVX512BW-NEXT:    vcmpltpd %zmm0, %zmm1, %k0
 440 ; AVX512BW-NEXT:    vpmovm2w %k0, %zmm0
 441 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 442 ; AVX512BW-NEXT:    vzeroupper
 443 ; AVX512BW-NEXT:    retq
 444   %1 = fcmp ogt <8 x double> %a0, %a1
 445   ret <8 x i1> %1
 446 }
 447
 448 define <16 x i1> @test_cmp_v16f32(<16 x float> %a0, <16 x float> %a1) nounwind {
 449 ; SSE-LABEL: test_cmp_v16f32:
 450 ; SSE:       # %bb.0:
 451 ; SSE-NEXT:    cmpltps %xmm3, %xmm7
 452 ; SSE-NEXT:    cmpltps %xmm2, %xmm6
 453 ; SSE-NEXT:    packssdw %xmm7, %xmm6
 454 ; SSE-NEXT:    cmpltps %xmm1, %xmm5
 455 ; SSE-NEXT:    cmpltps %xmm0, %xmm4
 456 ; SSE-NEXT:    packssdw %xmm5, %xmm4
 457 ; SSE-NEXT:    packsswb %xmm6, %xmm4
 458 ; SSE-NEXT:    movdqa %xmm4, %xmm0
 459 ; SSE-NEXT:    retq
 460 ;
 461 ; AVX1-LABEL: test_cmp_v16f32:
 462 ; AVX1:       # %bb.0:
 463 ; AVX1-NEXT:    vcmpltps %ymm1, %ymm3, %ymm1
 464 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
 465 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
 466 ; AVX1-NEXT:    vcmpltps %ymm0, %ymm2, %ymm0
 467 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 468 ; AVX1-NEXT:    vpackssdw %xmm2, %xmm0, %xmm0
 469 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 470 ; AVX1-NEXT:    vzeroupper
 471 ; AVX1-NEXT:    retq
 472 ;
 473 ; AVX2-LABEL: test_cmp_v16f32:
 474 ; AVX2:       # %bb.0:
 475 ; AVX2-NEXT:    vcmpltps %ymm1, %ymm3, %ymm1
 476 ; AVX2-NEXT:    vcmpltps %ymm0, %ymm2, %ymm0
 477 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
 478 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
 479 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 480 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 481 ; AVX2-NEXT:    vzeroupper
 482 ; AVX2-NEXT:    retq
 483 ;
 484 ; AVX512F-LABEL: test_cmp_v16f32:
 485 ; AVX512F:       # %bb.0:
 486 ; AVX512F-NEXT:    vcmpltps %zmm0, %zmm1, %k1
 487 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
 488 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
 489 ; AVX512F-NEXT:    vzeroupper
 490 ; AVX512F-NEXT:    retq
 491 ;
 492 ; AVX512DQ-LABEL: test_cmp_v16f32:
 493 ; AVX512DQ:       # %bb.0:
 494 ; AVX512DQ-NEXT:    vcmpltps %zmm0, %zmm1, %k0
 495 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm0
 496 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
 497 ; AVX512DQ-NEXT:    vzeroupper
 498 ; AVX512DQ-NEXT:    retq
 499 ;
 500 ; AVX512BW-LABEL: test_cmp_v16f32:
 501 ; AVX512BW:       # %bb.0:
 502 ; AVX512BW-NEXT:    vcmpltps %zmm0, %zmm1, %k0
 503 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
 504 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 505 ; AVX512BW-NEXT:    vzeroupper
 506 ; AVX512BW-NEXT:    retq
 507   %1 = fcmp ogt <16 x float> %a0, %a1
 508   ret <16 x i1> %1
 509 }
 510
 511 define <8 x i1> @test_cmp_v8i64(<8 x i64> %a0, <8 x i64> %a1) nounwind {
 512 ; SSE2-LABEL: test_cmp_v8i64:
 513 ; SSE2:       # %bb.0:
 514 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2147483648,2147483648]
 515 ; SSE2-NEXT:    pxor %xmm8, %xmm7
 516 ; SSE2-NEXT:    pxor %xmm8, %xmm3
 517 ; SSE2-NEXT:    movdqa %xmm3, %xmm9
 518 ; SSE2-NEXT:    pcmpgtd %xmm7, %xmm9
 519 ; SSE2-NEXT:    pshufd {{.*#+}} xmm10 = xmm9[0,0,2,2]
 520 ; SSE2-NEXT:    pcmpeqd %xmm7, %xmm3
 521 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
 522 ; SSE2-NEXT:    pand %xmm10, %xmm3
 523 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm9[1,1,3,3]
 524 ; SSE2-NEXT:    por %xmm3, %xmm7
 525 ; SSE2-NEXT:    pxor %xmm8, %xmm6
 526 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 527 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 528 ; SSE2-NEXT:    pcmpgtd %xmm6, %xmm3
 529 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm3[0,0,2,2]
 530 ; SSE2-NEXT:    pcmpeqd %xmm6, %xmm2
 531 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm2[1,1,3,3]
 532 ; SSE2-NEXT:    pand %xmm9, %xmm6
 533 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
 534 ; SSE2-NEXT:    por %xmm6, %xmm2
 535 ; SSE2-NEXT:    packssdw %xmm7, %xmm2
 536 ; SSE2-NEXT:    pxor %xmm8, %xmm5
 537 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 538 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 539 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm3
 540 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm3[0,0,2,2]
 541 ; SSE2-NEXT:    pcmpeqd %xmm5, %xmm1
 542 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 543 ; SSE2-NEXT:    pand %xmm6, %xmm1
 544 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
 545 ; SSE2-NEXT:    por %xmm1, %xmm3
 546 ; SSE2-NEXT:    pxor %xmm8, %xmm4
 547 ; SSE2-NEXT:    pxor %xmm8, %xmm0
 548 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 549 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm1
 550 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm1[0,0,2,2]
 551 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm0
 552 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
 553 ; SSE2-NEXT:    pand %xmm5, %xmm4
 554 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 555 ; SSE2-NEXT:    por %xmm4, %xmm0
 556 ; SSE2-NEXT:    packssdw %xmm3, %xmm0
 557 ; SSE2-NEXT:    packssdw %xmm2, %xmm0
 558 ; SSE2-NEXT:    retq
 559 ;
 560 ; SSE42-LABEL: test_cmp_v8i64:
 561 ; SSE42:       # %bb.0:
 562 ; SSE42-NEXT:    pcmpgtq %xmm7, %xmm3
 563 ; SSE42-NEXT:    pcmpgtq %xmm6, %xmm2
 564 ; SSE42-NEXT:    packssdw %xmm3, %xmm2
 565 ; SSE42-NEXT:    pcmpgtq %xmm5, %xmm1
 566 ; SSE42-NEXT:    pcmpgtq %xmm4, %xmm0
 567 ; SSE42-NEXT:    packssdw %xmm1, %xmm0
 568 ; SSE42-NEXT:    packssdw %xmm2, %xmm0
 569 ; SSE42-NEXT:    retq
 570 ;
 571 ; AVX1-LABEL: test_cmp_v8i64:
 572 ; AVX1:       # %bb.0:
 573 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
 574 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
 575 ; AVX1-NEXT:    vpcmpgtq %xmm4, %xmm5, %xmm4
 576 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm1, %xmm1
 577 ; AVX1-NEXT:    vpackssdw %xmm4, %xmm1, %xmm1
 578 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm3
 579 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 580 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm4, %xmm3
 581 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm0, %xmm0
 582 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
 583 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 584 ; AVX1-NEXT:    vzeroupper
 585 ; AVX1-NEXT:    retq
 586 ;
 587 ; AVX2-LABEL: test_cmp_v8i64:
 588 ; AVX2:       # %bb.0:
 589 ; AVX2-NEXT:    vpcmpgtq %ymm3, %ymm1, %ymm1
 590 ; AVX2-NEXT:    vpcmpgtq %ymm2, %ymm0, %ymm0
 591 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
 592 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
 593 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 594 ; AVX2-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 595 ; AVX2-NEXT:    vzeroupper
 596 ; AVX2-NEXT:    retq
 597 ;
 598 ; AVX512F-LABEL: test_cmp_v8i64:
 599 ; AVX512F:       # %bb.0:
 600 ; AVX512F-NEXT:    vpcmpgtq %zmm1, %zmm0, %k1
 601 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
 602 ; AVX512F-NEXT:    vpmovdw %zmm0, %ymm0
 603 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 604 ; AVX512F-NEXT:    vzeroupper
 605 ; AVX512F-NEXT:    retq
 606 ;
 607 ; AVX512DQ-LABEL: test_cmp_v8i64:
 608 ; AVX512DQ:       # %bb.0:
 609 ; AVX512DQ-NEXT:    vpcmpgtq %zmm1, %zmm0, %k0
 610 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm0
 611 ; AVX512DQ-NEXT:    vpmovdw %zmm0, %ymm0
 612 ; AVX512DQ-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 613 ; AVX512DQ-NEXT:    vzeroupper
 614 ; AVX512DQ-NEXT:    retq
 615 ;
 616 ; AVX512BW-LABEL: test_cmp_v8i64:
 617 ; AVX512BW:       # %bb.0:
 618 ; AVX512BW-NEXT:    vpcmpgtq %zmm1, %zmm0, %k0
 619 ; AVX512BW-NEXT:    vpmovm2w %k0, %zmm0
 620 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 621 ; AVX512BW-NEXT:    vzeroupper
 622 ; AVX512BW-NEXT:    retq
 623   %1 = icmp sgt <8 x i64> %a0, %a1
 624   ret <8 x i1> %1
 625 }
 626
 627 define <16 x i1> @test_cmp_v16i32(<16 x i32> %a0, <16 x i32> %a1) nounwind {
 628 ; SSE-LABEL: test_cmp_v16i32:
 629 ; SSE:       # %bb.0:
 630 ; SSE-NEXT:    pcmpgtd %xmm7, %xmm3
 631 ; SSE-NEXT:    pcmpgtd %xmm6, %xmm2
 632 ; SSE-NEXT:    packssdw %xmm3, %xmm2
 633 ; SSE-NEXT:    pcmpgtd %xmm5, %xmm1
 634 ; SSE-NEXT:    pcmpgtd %xmm4, %xmm0
 635 ; SSE-NEXT:    packssdw %xmm1, %xmm0
 636 ; SSE-NEXT:    packsswb %xmm2, %xmm0
 637 ; SSE-NEXT:    retq
 638 ;
 639 ; AVX1-LABEL: test_cmp_v16i32:
 640 ; AVX1:       # %bb.0:
 641 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
 642 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
 643 ; AVX1-NEXT:    vpcmpgtd %xmm4, %xmm5, %xmm4
 644 ; AVX1-NEXT:    vpcmpgtd %xmm3, %xmm1, %xmm1
 645 ; AVX1-NEXT:    vpackssdw %xmm4, %xmm1, %xmm1
 646 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm3
 647 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 648 ; AVX1-NEXT:    vpcmpgtd %xmm3, %xmm4, %xmm3
 649 ; AVX1-NEXT:    vpcmpgtd %xmm2, %xmm0, %xmm0
 650 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
 651 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 652 ; AVX1-NEXT:    vzeroupper
 653 ; AVX1-NEXT:    retq
 654 ;
 655 ; AVX2-LABEL: test_cmp_v16i32:
 656 ; AVX2:       # %bb.0:
 657 ; AVX2-NEXT:    vpcmpgtd %ymm3, %ymm1, %ymm1
 658 ; AVX2-NEXT:    vpcmpgtd %ymm2, %ymm0, %ymm0
 659 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
 660 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
 661 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 662 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 663 ; AVX2-NEXT:    vzeroupper
 664 ; AVX2-NEXT:    retq
 665 ;
 666 ; AVX512F-LABEL: test_cmp_v16i32:
 667 ; AVX512F:       # %bb.0:
 668 ; AVX512F-NEXT:    vpcmpgtd %zmm1, %zmm0, %k1
 669 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
 670 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
 671 ; AVX512F-NEXT:    vzeroupper
 672 ; AVX512F-NEXT:    retq
 673 ;
 674 ; AVX512DQ-LABEL: test_cmp_v16i32:
 675 ; AVX512DQ:       # %bb.0:
 676 ; AVX512DQ-NEXT:    vpcmpgtd %zmm1, %zmm0, %k0
 677 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm0
 678 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
 679 ; AVX512DQ-NEXT:    vzeroupper
 680 ; AVX512DQ-NEXT:    retq
 681 ;
 682 ; AVX512BW-LABEL: test_cmp_v16i32:
 683 ; AVX512BW:       # %bb.0:
 684 ; AVX512BW-NEXT:    vpcmpgtd %zmm1, %zmm0, %k0
 685 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
 686 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 687 ; AVX512BW-NEXT:    vzeroupper
 688 ; AVX512BW-NEXT:    retq
 689   %1 = icmp sgt <16 x i32> %a0, %a1
 690   ret <16 x i1> %1
 691 }
 692
 693 define <32 x i1> @test_cmp_v32i16(<32 x i16> %a0, <32 x i16> %a1) nounwind {
 694 ; SSE-LABEL: test_cmp_v32i16:
 695 ; SSE:       # %bb.0:
 696 ; SSE-NEXT:    movq %rdi, %rax
 697 ; SSE-NEXT:    pcmpgtw %xmm5, %xmm1
 698 ; SSE-NEXT:    pcmpgtw %xmm4, %xmm0
 699 ; SSE-NEXT:    packsswb %xmm1, %xmm0
 700 ; SSE-NEXT:    pmovmskb %xmm0, %ecx
 701 ; SSE-NEXT:    pcmpgtw %xmm7, %xmm3
 702 ; SSE-NEXT:    pcmpgtw %xmm6, %xmm2
 703 ; SSE-NEXT:    packsswb %xmm3, %xmm2
 704 ; SSE-NEXT:    pmovmskb %xmm2, %edx
 705 ; SSE-NEXT:    shll $16, %edx
 706 ; SSE-NEXT:    orl %ecx, %edx
 707 ; SSE-NEXT:    movl %edx, (%rdi)
 708 ; SSE-NEXT:    retq
 709 ;
 710 ; AVX1-LABEL: test_cmp_v32i16:
 711 ; AVX1:       # %bb.0:
 712 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
 713 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
 714 ; AVX1-NEXT:    vpcmpgtw %xmm4, %xmm5, %xmm4
 715 ; AVX1-NEXT:    vpcmpgtw %xmm3, %xmm1, %xmm1
 716 ; AVX1-NEXT:    vpacksswb %xmm4, %xmm1, %xmm1
 717 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm3
 718 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 719 ; AVX1-NEXT:    vpcmpgtw %xmm3, %xmm4, %xmm3
 720 ; AVX1-NEXT:    vpcmpgtw %xmm2, %xmm0, %xmm0
 721 ; AVX1-NEXT:    vpacksswb %xmm3, %xmm0, %xmm0
 722 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 723 ; AVX1-NEXT:    retq
 724 ;
 725 ; AVX2-LABEL: test_cmp_v32i16:
 726 ; AVX2:       # %bb.0:
 727 ; AVX2-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm1
 728 ; AVX2-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm0
 729 ; AVX2-NEXT:    vpacksswb %ymm1, %ymm0, %ymm0
 730 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
 731 ; AVX2-NEXT:    retq
 732 ;
 733 ; AVX512F-LABEL: test_cmp_v32i16:
 734 ; AVX512F:       # %bb.0:
 735 ; AVX512F-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm0
 736 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
 737 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
 738 ; AVX512F-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm1
 739 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero
 740 ; AVX512F-NEXT:    vpmovdb %zmm1, %xmm1
 741 ; AVX512F-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
 742 ; AVX512F-NEXT:    retq
 743 ;
 744 ; AVX512DQ-LABEL: test_cmp_v32i16:
 745 ; AVX512DQ:       # %bb.0:
 746 ; AVX512DQ-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm0
 747 ; AVX512DQ-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
 748 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
 749 ; AVX512DQ-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm1
 750 ; AVX512DQ-NEXT:    vpmovzxwd {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero
 751 ; AVX512DQ-NEXT:    vpmovdb %zmm1, %xmm1
 752 ; AVX512DQ-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
 753 ; AVX512DQ-NEXT:    retq
 754 ;
 755 ; AVX512BW-LABEL: test_cmp_v32i16:
 756 ; AVX512BW:       # %bb.0:
 757 ; AVX512BW-NEXT:    vpcmpgtw %zmm1, %zmm0, %k0
 758 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
 759 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
 760 ; AVX512BW-NEXT:    retq
 761   %1 = icmp sgt <32 x i16> %a0, %a1
 762   ret <32 x i1> %1
 763 }
 764
 765 define <64 x i1> @test_cmp_v64i8(<64 x i8> %a0, <64 x i8> %a1) nounwind {
 766 ; SSE-LABEL: test_cmp_v64i8:
 767 ; SSE:       # %bb.0:
 768 ; SSE-NEXT:    movq %rdi, %rax
 769 ; SSE-NEXT:    pcmpgtb %xmm4, %xmm0
 770 ; SSE-NEXT:    pmovmskb %xmm0, %ecx
 771 ; SSE-NEXT:    pcmpgtb %xmm5, %xmm1
 772 ; SSE-NEXT:    pmovmskb %xmm1, %edx
 773 ; SSE-NEXT:    shll $16, %edx
 774 ; SSE-NEXT:    orl %ecx, %edx
 775 ; SSE-NEXT:    pcmpgtb %xmm6, %xmm2
 776 ; SSE-NEXT:    pmovmskb %xmm2, %ecx
 777 ; SSE-NEXT:    pcmpgtb %xmm7, %xmm3
 778 ; SSE-NEXT:    pmovmskb %xmm3, %esi
 779 ; SSE-NEXT:    shll $16, %esi
 780 ; SSE-NEXT:    orl %ecx, %esi
 781 ; SSE-NEXT:    shlq $32, %rsi
 782 ; SSE-NEXT:    orq %rdx, %rsi
 783 ; SSE-NEXT:    movq %rsi, (%rdi)
 784 ; SSE-NEXT:    retq
 785 ;
 786 ; AVX1-LABEL: test_cmp_v64i8:
 787 ; AVX1:       # %bb.0:
 788 ; AVX1-NEXT:    movq %rdi, %rax
 789 ; AVX1-NEXT:    vpcmpgtb %xmm2, %xmm0, %xmm4
 790 ; AVX1-NEXT:    vpmovmskb %xmm4, %ecx
 791 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm2
 792 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 793 ; AVX1-NEXT:    vpcmpgtb %xmm2, %xmm0, %xmm0
 794 ; AVX1-NEXT:    vpmovmskb %xmm0, %edx
 795 ; AVX1-NEXT:    shll $16, %edx
 796 ; AVX1-NEXT:    orl %ecx, %edx
 797 ; AVX1-NEXT:    vpcmpgtb %xmm3, %xmm1, %xmm0
 798 ; AVX1-NEXT:    vpmovmskb %xmm0, %ecx
 799 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm0
 800 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm1
 801 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
 802 ; AVX1-NEXT:    vpmovmskb %xmm0, %esi
 803 ; AVX1-NEXT:    shll $16, %esi
 804 ; AVX1-NEXT:    orl %ecx, %esi
 805 ; AVX1-NEXT:    shlq $32, %rsi
 806 ; AVX1-NEXT:    orq %rdx, %rsi
 807 ; AVX1-NEXT:    movq %rsi, (%rdi)
 808 ; AVX1-NEXT:    vzeroupper
 809 ; AVX1-NEXT:    retq
 810 ;
 811 ; AVX2-LABEL: test_cmp_v64i8:
 812 ; AVX2:       # %bb.0:
 813 ; AVX2-NEXT:    movq %rdi, %rax
 814 ; AVX2-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm0
 815 ; AVX2-NEXT:    vpmovmskb %ymm0, %ecx
 816 ; AVX2-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm0
 817 ; AVX2-NEXT:    vpmovmskb %ymm0, %edx
 818 ; AVX2-NEXT:    shlq $32, %rdx
 819 ; AVX2-NEXT:    orq %rcx, %rdx
 820 ; AVX2-NEXT:    movq %rdx, (%rdi)
 821 ; AVX2-NEXT:    vzeroupper
 822 ; AVX2-NEXT:    retq
 823 ;
 824 ; AVX512F-LABEL: test_cmp_v64i8:
 825 ; AVX512F:       # %bb.0:
 826 ; AVX512F-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm0
 827 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm4
 828 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm2
 829 ; AVX512F-NEXT:    vextracti128 $1, %ymm2, %xmm3
 830 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 831 ; AVX512F-NEXT:    vmovdqa %xmm4, %xmm1
 832 ; AVX512F-NEXT:    # kill: def $xmm2 killed $xmm2 killed $ymm2
 833 ; AVX512F-NEXT:    vzeroupper
 834 ; AVX512F-NEXT:    retq
 835 ;
 836 ; AVX512DQ-LABEL: test_cmp_v64i8:
 837 ; AVX512DQ:       # %bb.0:
 838 ; AVX512DQ-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm0
 839 ; AVX512DQ-NEXT:    vextracti128 $1, %ymm0, %xmm4
 840 ; AVX512DQ-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm2
 841 ; AVX512DQ-NEXT:    vextracti128 $1, %ymm2, %xmm3
 842 ; AVX512DQ-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
 843 ; AVX512DQ-NEXT:    vmovdqa %xmm4, %xmm1
 844 ; AVX512DQ-NEXT:    # kill: def $xmm2 killed $xmm2 killed $ymm2
 845 ; AVX512DQ-NEXT:    vzeroupper
 846 ; AVX512DQ-NEXT:    retq
 847 ;
 848 ; AVX512BW-LABEL: test_cmp_v64i8:
 849 ; AVX512BW:       # %bb.0:
 850 ; AVX512BW-NEXT:    vpcmpgtb %zmm1, %zmm0, %k0
 851 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
 852 ; AVX512BW-NEXT:    retq
 853   %1 = icmp sgt <64 x i8> %a0, %a1
 854   ret <64 x i1> %1
 855 }
 856
 857 ;
 858 ; 1024-bit vector comparisons
 859 ;
 860
 861 define <16 x i1> @test_cmp_v16f64(<16 x double> %a0, <16 x double> %a1) nounwind {
 862 ; SSE-LABEL: test_cmp_v16f64:
 863 ; SSE:       # %bb.0:
 864 ; SSE-NEXT:    movapd %xmm0, %xmm8
 865 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm0
 866 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm11
 867 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm10
 868 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm12
 869 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm9
 870 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm13
 871 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm14
 872 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm15
 873 ; SSE-NEXT:    cmpltpd %xmm7, %xmm15
 874 ; SSE-NEXT:    cmpltpd %xmm6, %xmm14
 875 ; SSE-NEXT:    packssdw %xmm15, %xmm14
 876 ; SSE-NEXT:    cmpltpd %xmm5, %xmm13
 877 ; SSE-NEXT:    cmpltpd %xmm4, %xmm9
 878 ; SSE-NEXT:    packssdw %xmm13, %xmm9
 879 ; SSE-NEXT:    packssdw %xmm14, %xmm9
 880 ; SSE-NEXT:    cmpltpd %xmm3, %xmm12
 881 ; SSE-NEXT:    cmpltpd %xmm2, %xmm10
 882 ; SSE-NEXT:    packssdw %xmm12, %xmm10
 883 ; SSE-NEXT:    cmpltpd %xmm1, %xmm11
 884 ; SSE-NEXT:    cmpltpd %xmm8, %xmm0
 885 ; SSE-NEXT:    packssdw %xmm11, %xmm0
 886 ; SSE-NEXT:    packssdw %xmm10, %xmm0
 887 ; SSE-NEXT:    packsswb %xmm9, %xmm0
 888 ; SSE-NEXT:    retq
 889 ;
 890 ; AVX1-LABEL: test_cmp_v16f64:
 891 ; AVX1:       # %bb.0:
 892 ; AVX1-NEXT:    vcmpltpd %ymm3, %ymm7, %ymm3
 893 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm7
 894 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm3, %xmm3
 895 ; AVX1-NEXT:    vcmpltpd %ymm2, %ymm6, %ymm2
 896 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm6
 897 ; AVX1-NEXT:    vpackssdw %xmm6, %xmm2, %xmm2
 898 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm2, %xmm2
 899 ; AVX1-NEXT:    vcmpltpd %ymm1, %ymm5, %ymm1
 900 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
 901 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
 902 ; AVX1-NEXT:    vcmpltpd %ymm0, %ymm4, %ymm0
 903 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 904 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
 905 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
 906 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm0, %xmm0
 907 ; AVX1-NEXT:    vzeroupper
 908 ; AVX1-NEXT:    retq
 909 ;
 910 ; AVX2-LABEL: test_cmp_v16f64:
 911 ; AVX2:       # %bb.0:
 912 ; AVX2-NEXT:    vcmpltpd %ymm3, %ymm7, %ymm3
 913 ; AVX2-NEXT:    vcmpltpd %ymm2, %ymm6, %ymm2
 914 ; AVX2-NEXT:    vpackssdw %ymm3, %ymm2, %ymm2
 915 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
 916 ; AVX2-NEXT:    vcmpltpd %ymm1, %ymm5, %ymm1
 917 ; AVX2-NEXT:    vcmpltpd %ymm0, %ymm4, %ymm0
 918 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
 919 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
 920 ; AVX2-NEXT:    vpackssdw %ymm2, %ymm0, %ymm0
 921 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
 922 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 923 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 924 ; AVX2-NEXT:    vzeroupper
 925 ; AVX2-NEXT:    retq
 926 ;
 927 ; AVX512F-LABEL: test_cmp_v16f64:
 928 ; AVX512F:       # %bb.0:
 929 ; AVX512F-NEXT:    vcmpltpd %zmm0, %zmm2, %k0
 930 ; AVX512F-NEXT:    vcmpltpd %zmm1, %zmm3, %k1
 931 ; AVX512F-NEXT:    kunpckbw %k0, %k1, %k1
 932 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
 933 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
 934 ; AVX512F-NEXT:    vzeroupper
 935 ; AVX512F-NEXT:    retq
 936 ;
 937 ; AVX512DQ-LABEL: test_cmp_v16f64:
 938 ; AVX512DQ:       # %bb.0:
 939 ; AVX512DQ-NEXT:    vcmpltpd %zmm0, %zmm2, %k0
 940 ; AVX512DQ-NEXT:    vcmpltpd %zmm1, %zmm3, %k1
 941 ; AVX512DQ-NEXT:    kunpckbw %k0, %k1, %k0
 942 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm0
 943 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
 944 ; AVX512DQ-NEXT:    vzeroupper
 945 ; AVX512DQ-NEXT:    retq
 946 ;
 947 ; AVX512BW-LABEL: test_cmp_v16f64:
 948 ; AVX512BW:       # %bb.0:
 949 ; AVX512BW-NEXT:    vcmpltpd %zmm0, %zmm2, %k0
 950 ; AVX512BW-NEXT:    vcmpltpd %zmm1, %zmm3, %k1
 951 ; AVX512BW-NEXT:    kunpckbw %k0, %k1, %k0
 952 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
 953 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 954 ; AVX512BW-NEXT:    vzeroupper
 955 ; AVX512BW-NEXT:    retq
 956   %1 = fcmp ogt <16 x double> %a0, %a1
 957   ret <16 x i1> %1
 958 }
 959
 960 define <32 x i1> @test_cmp_v32f32(<32 x float> %a0, <32 x float> %a1) nounwind {
 961 ; SSE-LABEL: test_cmp_v32f32:
 962 ; SSE:       # %bb.0:
 963 ; SSE-NEXT:    movq %rdi, %rax
 964 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm8
 965 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm10
 966 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm9
 967 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm11
 968 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm12
 969 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm13
 970 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm14
 971 ; SSE-NEXT:    movaps {{[0-9]+}}(%rsp), %xmm15
 972 ; SSE-NEXT:    cmpltps %xmm3, %xmm15
 973 ; SSE-NEXT:    cmpltps %xmm2, %xmm14
 974 ; SSE-NEXT:    packssdw %xmm15, %xmm14
 975 ; SSE-NEXT:    cmpltps %xmm1, %xmm13
 976 ; SSE-NEXT:    cmpltps %xmm0, %xmm12
 977 ; SSE-NEXT:    packssdw %xmm13, %xmm12
 978 ; SSE-NEXT:    packsswb %xmm14, %xmm12
 979 ; SSE-NEXT:    pmovmskb %xmm12, %ecx
 980 ; SSE-NEXT:    cmpltps %xmm7, %xmm11
 981 ; SSE-NEXT:    cmpltps %xmm6, %xmm9
 982 ; SSE-NEXT:    packssdw %xmm11, %xmm9
 983 ; SSE-NEXT:    cmpltps %xmm5, %xmm10
 984 ; SSE-NEXT:    cmpltps %xmm4, %xmm8
 985 ; SSE-NEXT:    packssdw %xmm10, %xmm8
 986 ; SSE-NEXT:    packsswb %xmm9, %xmm8
 987 ; SSE-NEXT:    pmovmskb %xmm8, %edx
 988 ; SSE-NEXT:    shll $16, %edx
 989 ; SSE-NEXT:    orl %ecx, %edx
 990 ; SSE-NEXT:    movl %edx, (%rdi)
 991 ; SSE-NEXT:    retq
 992 ;
 993 ; AVX1-LABEL: test_cmp_v32f32:
 994 ; AVX1:       # %bb.0:
 995 ; AVX1-NEXT:    vcmpltps %ymm3, %ymm7, %ymm3
 996 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm7
 997 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm3, %xmm3
 998 ; AVX1-NEXT:    vcmpltps %ymm2, %ymm6, %ymm2
 999 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm6
1000 ; AVX1-NEXT:    vpackssdw %xmm6, %xmm2, %xmm2
1001 ; AVX1-NEXT:    vpacksswb %xmm3, %xmm2, %xmm2
1002 ; AVX1-NEXT:    vcmpltps %ymm1, %ymm5, %ymm1
1003 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
1004 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
1005 ; AVX1-NEXT:    vcmpltps %ymm0, %ymm4, %ymm0
1006 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
1007 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
1008 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1009 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1010 ; AVX1-NEXT:    retq
1011 ;
1012 ; AVX2-LABEL: test_cmp_v32f32:
1013 ; AVX2:       # %bb.0:
1014 ; AVX2-NEXT:    vcmpltps %ymm3, %ymm7, %ymm3
1015 ; AVX2-NEXT:    vcmpltps %ymm2, %ymm6, %ymm2
1016 ; AVX2-NEXT:    vpackssdw %ymm3, %ymm2, %ymm2
1017 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1018 ; AVX2-NEXT:    vcmpltps %ymm1, %ymm5, %ymm1
1019 ; AVX2-NEXT:    vcmpltps %ymm0, %ymm4, %ymm0
1020 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
1021 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1022 ; AVX2-NEXT:    vpacksswb %ymm2, %ymm0, %ymm0
1023 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1024 ; AVX2-NEXT:    retq
1025 ;
1026 ; AVX512F-LABEL: test_cmp_v32f32:
1027 ; AVX512F:       # %bb.0:
1028 ; AVX512F-NEXT:    vcmpltps %zmm1, %zmm3, %k1
1029 ; AVX512F-NEXT:    vcmpltps %zmm0, %zmm2, %k2
1030 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k2} {z}
1031 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
1032 ; AVX512F-NEXT:    vpternlogd $255, %zmm1, %zmm1, %zmm1 {%k1} {z}
1033 ; AVX512F-NEXT:    vpmovdb %zmm1, %xmm1
1034 ; AVX512F-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1035 ; AVX512F-NEXT:    retq
1036 ;
1037 ; AVX512DQ-LABEL: test_cmp_v32f32:
1038 ; AVX512DQ:       # %bb.0:
1039 ; AVX512DQ-NEXT:    vcmpltps %zmm1, %zmm3, %k0
1040 ; AVX512DQ-NEXT:    vcmpltps %zmm0, %zmm2, %k1
1041 ; AVX512DQ-NEXT:    vpmovm2d %k1, %zmm0
1042 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
1043 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm1
1044 ; AVX512DQ-NEXT:    vpmovdb %zmm1, %xmm1
1045 ; AVX512DQ-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1046 ; AVX512DQ-NEXT:    retq
1047 ;
1048 ; AVX512BW-LABEL: test_cmp_v32f32:
1049 ; AVX512BW:       # %bb.0:
1050 ; AVX512BW-NEXT:    vcmpltps %zmm0, %zmm2, %k0
1051 ; AVX512BW-NEXT:    vcmpltps %zmm1, %zmm3, %k1
1052 ; AVX512BW-NEXT:    kunpckwd %k0, %k1, %k0
1053 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
1054 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
1055 ; AVX512BW-NEXT:    retq
1056   %1 = fcmp ogt <32 x float> %a0, %a1
1057   ret <32 x i1> %1
1058 }
1059
1060 define <16 x i1> @test_cmp_v16i64(<16 x i64> %a0, <16 x i64> %a1) nounwind {
1061 ; SSE2-LABEL: test_cmp_v16i64:
1062 ; SSE2:       # %bb.0:
1063 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2147483648,2147483648]
1064 ; SSE2-NEXT:    pxor %xmm8, %xmm7
1065 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm9
1066 ; SSE2-NEXT:    pxor %xmm8, %xmm9
1067 ; SSE2-NEXT:    movdqa %xmm7, %xmm10
1068 ; SSE2-NEXT:    pcmpgtd %xmm9, %xmm10
1069 ; SSE2-NEXT:    pshufd {{.*#+}} xmm11 = xmm10[0,0,2,2]
1070 ; SSE2-NEXT:    pcmpeqd %xmm7, %xmm9
1071 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm9[1,1,3,3]
1072 ; SSE2-NEXT:    pand %xmm11, %xmm7
1073 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm10[1,1,3,3]
1074 ; SSE2-NEXT:    por %xmm7, %xmm9
1075 ; SSE2-NEXT:    pxor %xmm8, %xmm6
1076 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm7
1077 ; SSE2-NEXT:    pxor %xmm8, %xmm7
1078 ; SSE2-NEXT:    movdqa %xmm6, %xmm10
1079 ; SSE2-NEXT:    pcmpgtd %xmm7, %xmm10
1080 ; SSE2-NEXT:    pshufd {{.*#+}} xmm11 = xmm10[0,0,2,2]
1081 ; SSE2-NEXT:    pcmpeqd %xmm6, %xmm7
1082 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[1,1,3,3]
1083 ; SSE2-NEXT:    pand %xmm11, %xmm7
1084 ; SSE2-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
1085 ; SSE2-NEXT:    por %xmm7, %xmm10
1086 ; SSE2-NEXT:    packssdw %xmm9, %xmm10
1087 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1088 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm7
1089 ; SSE2-NEXT:    pxor %xmm8, %xmm7
1090 ; SSE2-NEXT:    movdqa %xmm5, %xmm6
1091 ; SSE2-NEXT:    pcmpgtd %xmm7, %xmm6
1092 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm6[0,0,2,2]
1093 ; SSE2-NEXT:    pcmpeqd %xmm5, %xmm7
1094 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
1095 ; SSE2-NEXT:    pand %xmm9, %xmm5
1096 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
1097 ; SSE2-NEXT:    por %xmm5, %xmm6
1098 ; SSE2-NEXT:    pxor %xmm8, %xmm4
1099 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm5
1100 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1101 ; SSE2-NEXT:    movdqa %xmm4, %xmm7
1102 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm7
1103 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm7[0,0,2,2]
1104 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm5
1105 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
1106 ; SSE2-NEXT:    pand %xmm9, %xmm5
1107 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm7[1,1,3,3]
1108 ; SSE2-NEXT:    por %xmm5, %xmm4
1109 ; SSE2-NEXT:    packssdw %xmm6, %xmm4
1110 ; SSE2-NEXT:    packssdw %xmm10, %xmm4
1111 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1112 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm5
1113 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1114 ; SSE2-NEXT:    movdqa %xmm3, %xmm6
1115 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm6
1116 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm6[0,0,2,2]
1117 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm5
1118 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[1,1,3,3]
1119 ; SSE2-NEXT:    pand %xmm7, %xmm3
1120 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm6[1,1,3,3]
1121 ; SSE2-NEXT:    por %xmm3, %xmm5
1122 ; SSE2-NEXT:    pxor %xmm8, %xmm2
1123 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3
1124 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1125 ; SSE2-NEXT:    movdqa %xmm2, %xmm6
1126 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm6
1127 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm6[0,0,2,2]
1128 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm3
1129 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
1130 ; SSE2-NEXT:    pand %xmm7, %xmm3
1131 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm6[1,1,3,3]
1132 ; SSE2-NEXT:    por %xmm3, %xmm2
1133 ; SSE2-NEXT:    packssdw %xmm5, %xmm2
1134 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1135 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3
1136 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1137 ; SSE2-NEXT:    movdqa %xmm1, %xmm5
1138 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm5
1139 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
1140 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm3
1141 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
1142 ; SSE2-NEXT:    pand %xmm6, %xmm1
1143 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[1,1,3,3]
1144 ; SSE2-NEXT:    por %xmm1, %xmm3
1145 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1146 ; SSE2-NEXT:    pxor {{[0-9]+}}(%rsp), %xmm8
1147 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1148 ; SSE2-NEXT:    pcmpgtd %xmm8, %xmm1
1149 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm1[0,0,2,2]
1150 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm8
1151 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm8[1,1,3,3]
1152 ; SSE2-NEXT:    pand %xmm5, %xmm6
1153 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
1154 ; SSE2-NEXT:    por %xmm6, %xmm0
1155 ; SSE2-NEXT:    packssdw %xmm3, %xmm0
1156 ; SSE2-NEXT:    packssdw %xmm2, %xmm0
1157 ; SSE2-NEXT:    packsswb %xmm4, %xmm0
1158 ; SSE2-NEXT:    retq
1159 ;
1160 ; SSE42-LABEL: test_cmp_v16i64:
1161 ; SSE42:       # %bb.0:
1162 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm7
1163 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm6
1164 ; SSE42-NEXT:    packssdw %xmm7, %xmm6
1165 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm5
1166 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm4
1167 ; SSE42-NEXT:    packssdw %xmm5, %xmm4
1168 ; SSE42-NEXT:    packssdw %xmm6, %xmm4
1169 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm3
1170 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm2
1171 ; SSE42-NEXT:    packssdw %xmm3, %xmm2
1172 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm1
1173 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm0
1174 ; SSE42-NEXT:    packssdw %xmm1, %xmm0
1175 ; SSE42-NEXT:    packssdw %xmm2, %xmm0
1176 ; SSE42-NEXT:    packsswb %xmm4, %xmm0
1177 ; SSE42-NEXT:    retq
1178 ;
1179 ; AVX1-LABEL: test_cmp_v16i64:
1180 ; AVX1:       # %bb.0:
1181 ; AVX1-NEXT:    vextractf128 $1, %ymm7, %xmm8
1182 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm9
1183 ; AVX1-NEXT:    vpcmpgtq %xmm8, %xmm9, %xmm8
1184 ; AVX1-NEXT:    vpcmpgtq %xmm7, %xmm3, %xmm3
1185 ; AVX1-NEXT:    vpackssdw %xmm8, %xmm3, %xmm8
1186 ; AVX1-NEXT:    vextractf128 $1, %ymm6, %xmm7
1187 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm3
1188 ; AVX1-NEXT:    vpcmpgtq %xmm7, %xmm3, %xmm3
1189 ; AVX1-NEXT:    vpcmpgtq %xmm6, %xmm2, %xmm2
1190 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm2, %xmm2
1191 ; AVX1-NEXT:    vpackssdw %xmm8, %xmm2, %xmm2
1192 ; AVX1-NEXT:    vextractf128 $1, %ymm5, %xmm3
1193 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm6
1194 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm6, %xmm3
1195 ; AVX1-NEXT:    vpcmpgtq %xmm5, %xmm1, %xmm1
1196 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
1197 ; AVX1-NEXT:    vextractf128 $1, %ymm4, %xmm3
1198 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
1199 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm5, %xmm3
1200 ; AVX1-NEXT:    vpcmpgtq %xmm4, %xmm0, %xmm0
1201 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
1202 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
1203 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm0, %xmm0
1204 ; AVX1-NEXT:    vzeroupper
1205 ; AVX1-NEXT:    retq
1206 ;
1207 ; AVX2-LABEL: test_cmp_v16i64:
1208 ; AVX2:       # %bb.0:
1209 ; AVX2-NEXT:    vpcmpgtq %ymm7, %ymm3, %ymm3
1210 ; AVX2-NEXT:    vpcmpgtq %ymm6, %ymm2, %ymm2
1211 ; AVX2-NEXT:    vpackssdw %ymm3, %ymm2, %ymm2
1212 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1213 ; AVX2-NEXT:    vpcmpgtq %ymm5, %ymm1, %ymm1
1214 ; AVX2-NEXT:    vpcmpgtq %ymm4, %ymm0, %ymm0
1215 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
1216 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1217 ; AVX2-NEXT:    vpackssdw %ymm2, %ymm0, %ymm0
1218 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1219 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1220 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1221 ; AVX2-NEXT:    vzeroupper
1222 ; AVX2-NEXT:    retq
1223 ;
1224 ; AVX512F-LABEL: test_cmp_v16i64:
1225 ; AVX512F:       # %bb.0:
1226 ; AVX512F-NEXT:    vpcmpgtq %zmm2, %zmm0, %k0
1227 ; AVX512F-NEXT:    vpcmpgtq %zmm3, %zmm1, %k1
1228 ; AVX512F-NEXT:    kunpckbw %k0, %k1, %k1
1229 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
1230 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
1231 ; AVX512F-NEXT:    vzeroupper
1232 ; AVX512F-NEXT:    retq
1233 ;
1234 ; AVX512DQ-LABEL: test_cmp_v16i64:
1235 ; AVX512DQ:       # %bb.0:
1236 ; AVX512DQ-NEXT:    vpcmpgtq %zmm2, %zmm0, %k0
1237 ; AVX512DQ-NEXT:    vpcmpgtq %zmm3, %zmm1, %k1
1238 ; AVX512DQ-NEXT:    kunpckbw %k0, %k1, %k0
1239 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm0
1240 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
1241 ; AVX512DQ-NEXT:    vzeroupper
1242 ; AVX512DQ-NEXT:    retq
1243 ;
1244 ; AVX512BW-LABEL: test_cmp_v16i64:
1245 ; AVX512BW:       # %bb.0:
1246 ; AVX512BW-NEXT:    vpcmpgtq %zmm2, %zmm0, %k0
1247 ; AVX512BW-NEXT:    vpcmpgtq %zmm3, %zmm1, %k1
1248 ; AVX512BW-NEXT:    kunpckbw %k0, %k1, %k0
1249 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
1250 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1251 ; AVX512BW-NEXT:    vzeroupper
1252 ; AVX512BW-NEXT:    retq
1253   %1 = icmp sgt <16 x i64> %a0, %a1
1254   ret <16 x i1> %1
1255 }
1256
1257 define <32 x i1> @test_cmp_v32i32(<32 x i32> %a0, <32 x i32> %a1) nounwind {
1258 ; SSE-LABEL: test_cmp_v32i32:
1259 ; SSE:       # %bb.0:
1260 ; SSE-NEXT:    movq %rdi, %rax
1261 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm3
1262 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm2
1263 ; SSE-NEXT:    packssdw %xmm3, %xmm2
1264 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm1
1265 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm0
1266 ; SSE-NEXT:    packssdw %xmm1, %xmm0
1267 ; SSE-NEXT:    packsswb %xmm2, %xmm0
1268 ; SSE-NEXT:    pmovmskb %xmm0, %ecx
1269 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm7
1270 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm6
1271 ; SSE-NEXT:    packssdw %xmm7, %xmm6
1272 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm5
1273 ; SSE-NEXT:    pcmpgtd {{[0-9]+}}(%rsp), %xmm4
1274 ; SSE-NEXT:    packssdw %xmm5, %xmm4
1275 ; SSE-NEXT:    packsswb %xmm6, %xmm4
1276 ; SSE-NEXT:    pmovmskb %xmm4, %edx
1277 ; SSE-NEXT:    shll $16, %edx
1278 ; SSE-NEXT:    orl %ecx, %edx
1279 ; SSE-NEXT:    movl %edx, (%rdi)
1280 ; SSE-NEXT:    retq
1281 ;
1282 ; AVX1-LABEL: test_cmp_v32i32:
1283 ; AVX1:       # %bb.0:
1284 ; AVX1-NEXT:    vextractf128 $1, %ymm7, %xmm8
1285 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm9
1286 ; AVX1-NEXT:    vpcmpgtd %xmm8, %xmm9, %xmm8
1287 ; AVX1-NEXT:    vpcmpgtd %xmm7, %xmm3, %xmm3
1288 ; AVX1-NEXT:    vpackssdw %xmm8, %xmm3, %xmm8
1289 ; AVX1-NEXT:    vextractf128 $1, %ymm6, %xmm7
1290 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm3
1291 ; AVX1-NEXT:    vpcmpgtd %xmm7, %xmm3, %xmm3
1292 ; AVX1-NEXT:    vpcmpgtd %xmm6, %xmm2, %xmm2
1293 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm2, %xmm2
1294 ; AVX1-NEXT:    vpacksswb %xmm8, %xmm2, %xmm2
1295 ; AVX1-NEXT:    vextractf128 $1, %ymm5, %xmm3
1296 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm6
1297 ; AVX1-NEXT:    vpcmpgtd %xmm3, %xmm6, %xmm3
1298 ; AVX1-NEXT:    vpcmpgtd %xmm5, %xmm1, %xmm1
1299 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
1300 ; AVX1-NEXT:    vextractf128 $1, %ymm4, %xmm3
1301 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
1302 ; AVX1-NEXT:    vpcmpgtd %xmm3, %xmm5, %xmm3
1303 ; AVX1-NEXT:    vpcmpgtd %xmm4, %xmm0, %xmm0
1304 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
1305 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1306 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1307 ; AVX1-NEXT:    retq
1308 ;
1309 ; AVX2-LABEL: test_cmp_v32i32:
1310 ; AVX2:       # %bb.0:
1311 ; AVX2-NEXT:    vpcmpgtd %ymm7, %ymm3, %ymm3
1312 ; AVX2-NEXT:    vpcmpgtd %ymm6, %ymm2, %ymm2
1313 ; AVX2-NEXT:    vpackssdw %ymm3, %ymm2, %ymm2
1314 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1315 ; AVX2-NEXT:    vpcmpgtd %ymm5, %ymm1, %ymm1
1316 ; AVX2-NEXT:    vpcmpgtd %ymm4, %ymm0, %ymm0
1317 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
1318 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1319 ; AVX2-NEXT:    vpacksswb %ymm2, %ymm0, %ymm0
1320 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1321 ; AVX2-NEXT:    retq
1322 ;
1323 ; AVX512F-LABEL: test_cmp_v32i32:
1324 ; AVX512F:       # %bb.0:
1325 ; AVX512F-NEXT:    vpcmpgtd %zmm3, %zmm1, %k1
1326 ; AVX512F-NEXT:    vpcmpgtd %zmm2, %zmm0, %k2
1327 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k2} {z}
1328 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
1329 ; AVX512F-NEXT:    vpternlogd $255, %zmm1, %zmm1, %zmm1 {%k1} {z}
1330 ; AVX512F-NEXT:    vpmovdb %zmm1, %xmm1
1331 ; AVX512F-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1332 ; AVX512F-NEXT:    retq
1333 ;
1334 ; AVX512DQ-LABEL: test_cmp_v32i32:
1335 ; AVX512DQ:       # %bb.0:
1336 ; AVX512DQ-NEXT:    vpcmpgtd %zmm3, %zmm1, %k0
1337 ; AVX512DQ-NEXT:    vpcmpgtd %zmm2, %zmm0, %k1
1338 ; AVX512DQ-NEXT:    vpmovm2d %k1, %zmm0
1339 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
1340 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm1
1341 ; AVX512DQ-NEXT:    vpmovdb %zmm1, %xmm1
1342 ; AVX512DQ-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1343 ; AVX512DQ-NEXT:    retq
1344 ;
1345 ; AVX512BW-LABEL: test_cmp_v32i32:
1346 ; AVX512BW:       # %bb.0:
1347 ; AVX512BW-NEXT:    vpcmpgtd %zmm2, %zmm0, %k0
1348 ; AVX512BW-NEXT:    vpcmpgtd %zmm3, %zmm1, %k1
1349 ; AVX512BW-NEXT:    kunpckwd %k0, %k1, %k0
1350 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
1351 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
1352 ; AVX512BW-NEXT:    retq
1353   %1 = icmp sgt <32 x i32> %a0, %a1
1354   ret <32 x i1> %1
1355 }
1356
1357 define <64 x i1> @test_cmp_v64i16(<64 x i16> %a0, <64 x i16> %a1) nounwind {
1358 ; SSE-LABEL: test_cmp_v64i16:
1359 ; SSE:       # %bb.0:
1360 ; SSE-NEXT:    movq %rdi, %rax
1361 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm1
1362 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm0
1363 ; SSE-NEXT:    packsswb %xmm1, %xmm0
1364 ; SSE-NEXT:    pmovmskb %xmm0, %ecx
1365 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm3
1366 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm2
1367 ; SSE-NEXT:    packsswb %xmm3, %xmm2
1368 ; SSE-NEXT:    pmovmskb %xmm2, %edx
1369 ; SSE-NEXT:    shll $16, %edx
1370 ; SSE-NEXT:    orl %ecx, %edx
1371 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm5
1372 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm4
1373 ; SSE-NEXT:    packsswb %xmm5, %xmm4
1374 ; SSE-NEXT:    pmovmskb %xmm4, %ecx
1375 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm7
1376 ; SSE-NEXT:    pcmpgtw {{[0-9]+}}(%rsp), %xmm6
1377 ; SSE-NEXT:    packsswb %xmm7, %xmm6
1378 ; SSE-NEXT:    pmovmskb %xmm6, %esi
1379 ; SSE-NEXT:    shll $16, %esi
1380 ; SSE-NEXT:    orl %ecx, %esi
1381 ; SSE-NEXT:    shlq $32, %rsi
1382 ; SSE-NEXT:    orq %rdx, %rsi
1383 ; SSE-NEXT:    movq %rsi, (%rdi)
1384 ; SSE-NEXT:    retq
1385 ;
1386 ; AVX1-LABEL: test_cmp_v64i16:
1387 ; AVX1:       # %bb.0:
1388 ; AVX1-NEXT:    movq %rdi, %rax
1389 ; AVX1-NEXT:    vextractf128 $1, %ymm4, %xmm8
1390 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm9
1391 ; AVX1-NEXT:    vpcmpgtw %xmm8, %xmm9, %xmm8
1392 ; AVX1-NEXT:    vpcmpgtw %xmm4, %xmm0, %xmm0
1393 ; AVX1-NEXT:    vpacksswb %xmm8, %xmm0, %xmm0
1394 ; AVX1-NEXT:    vpmovmskb %xmm0, %ecx
1395 ; AVX1-NEXT:    vextractf128 $1, %ymm5, %xmm0
1396 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
1397 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm4, %xmm0
1398 ; AVX1-NEXT:    vpcmpgtw %xmm5, %xmm1, %xmm1
1399 ; AVX1-NEXT:    vpacksswb %xmm0, %xmm1, %xmm0
1400 ; AVX1-NEXT:    vpmovmskb %xmm0, %edx
1401 ; AVX1-NEXT:    shll $16, %edx
1402 ; AVX1-NEXT:    orl %ecx, %edx
1403 ; AVX1-NEXT:    vextractf128 $1, %ymm6, %xmm0
1404 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm1
1405 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm1, %xmm0
1406 ; AVX1-NEXT:    vpcmpgtw %xmm6, %xmm2, %xmm1
1407 ; AVX1-NEXT:    vpacksswb %xmm0, %xmm1, %xmm0
1408 ; AVX1-NEXT:    vpmovmskb %xmm0, %ecx
1409 ; AVX1-NEXT:    vextractf128 $1, %ymm7, %xmm0
1410 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm1
1411 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm1, %xmm0
1412 ; AVX1-NEXT:    vpcmpgtw %xmm7, %xmm3, %xmm1
1413 ; AVX1-NEXT:    vpacksswb %xmm0, %xmm1, %xmm0
1414 ; AVX1-NEXT:    vpmovmskb %xmm0, %esi
1415 ; AVX1-NEXT:    shll $16, %esi
1416 ; AVX1-NEXT:    orl %ecx, %esi
1417 ; AVX1-NEXT:    shlq $32, %rsi
1418 ; AVX1-NEXT:    orq %rdx, %rsi
1419 ; AVX1-NEXT:    movq %rsi, (%rdi)
1420 ; AVX1-NEXT:    vzeroupper
1421 ; AVX1-NEXT:    retq
1422 ;
1423 ; AVX2-LABEL: test_cmp_v64i16:
1424 ; AVX2:       # %bb.0:
1425 ; AVX2-NEXT:    movq %rdi, %rax
1426 ; AVX2-NEXT:    vpcmpgtw %ymm5, %ymm1, %ymm1
1427 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm5
1428 ; AVX2-NEXT:    vpacksswb %xmm5, %xmm1, %xmm1
1429 ; AVX2-NEXT:    vpcmpgtw %ymm4, %ymm0, %ymm0
1430 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
1431 ; AVX2-NEXT:    vpacksswb %xmm4, %xmm0, %xmm0
1432 ; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1433 ; AVX2-NEXT:    vpmovmskb %ymm0, %ecx
1434 ; AVX2-NEXT:    vpcmpgtw %ymm7, %ymm3, %ymm0
1435 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1436 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
1437 ; AVX2-NEXT:    vpcmpgtw %ymm6, %ymm2, %ymm1
1438 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
1439 ; AVX2-NEXT:    vpacksswb %xmm2, %xmm1, %xmm1
1440 ; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
1441 ; AVX2-NEXT:    vpmovmskb %ymm0, %edx
1442 ; AVX2-NEXT:    shlq $32, %rdx
1443 ; AVX2-NEXT:    orq %rcx, %rdx
1444 ; AVX2-NEXT:    movq %rdx, (%rdi)
1445 ; AVX2-NEXT:    vzeroupper
1446 ; AVX2-NEXT:    retq
1447 ;
1448 ; AVX512F-LABEL: test_cmp_v64i16:
1449 ; AVX512F:       # %bb.0:
1450 ; AVX512F-NEXT:    vpcmpgtw %ymm7, %ymm3, %ymm3
1451 ; AVX512F-NEXT:    vpcmpgtw %ymm6, %ymm2, %ymm2
1452 ; AVX512F-NEXT:    vpcmpgtw %ymm5, %ymm1, %ymm1
1453 ; AVX512F-NEXT:    vpcmpgtw %ymm4, %ymm0, %ymm0
1454 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
1455 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
1456 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero
1457 ; AVX512F-NEXT:    vpmovdb %zmm1, %xmm1
1458 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} zmm2 = ymm2[0],zero,ymm2[1],zero,ymm2[2],zero,ymm2[3],zero,ymm2[4],zero,ymm2[5],zero,ymm2[6],zero,ymm2[7],zero,ymm2[8],zero,ymm2[9],zero,ymm2[10],zero,ymm2[11],zero,ymm2[12],zero,ymm2[13],zero,ymm2[14],zero,ymm2[15],zero
1459 ; AVX512F-NEXT:    vpmovdb %zmm2, %xmm2
1460 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} zmm3 = ymm3[0],zero,ymm3[1],zero,ymm3[2],zero,ymm3[3],zero,ymm3[4],zero,ymm3[5],zero,ymm3[6],zero,ymm3[7],zero,ymm3[8],zero,ymm3[9],zero,ymm3[10],zero,ymm3[11],zero,ymm3[12],zero,ymm3[13],zero,ymm3[14],zero,ymm3[15],zero
1461 ; AVX512F-NEXT:    vpmovdb %zmm3, %xmm3
1462 ; AVX512F-NEXT:    vzeroupper
1463 ; AVX512F-NEXT:    retq
1464 ;
1465 ; AVX512DQ-LABEL: test_cmp_v64i16:
1466 ; AVX512DQ:       # %bb.0:
1467 ; AVX512DQ-NEXT:    vpcmpgtw %ymm7, %ymm3, %ymm3
1468 ; AVX512DQ-NEXT:    vpcmpgtw %ymm6, %ymm2, %ymm2
1469 ; AVX512DQ-NEXT:    vpcmpgtw %ymm5, %ymm1, %ymm1
1470 ; AVX512DQ-NEXT:    vpcmpgtw %ymm4, %ymm0, %ymm0
1471 ; AVX512DQ-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
1472 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
1473 ; AVX512DQ-NEXT:    vpmovzxwd {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero
1474 ; AVX512DQ-NEXT:    vpmovdb %zmm1, %xmm1
1475 ; AVX512DQ-NEXT:    vpmovzxwd {{.*#+}} zmm2 = ymm2[0],zero,ymm2[1],zero,ymm2[2],zero,ymm2[3],zero,ymm2[4],zero,ymm2[5],zero,ymm2[6],zero,ymm2[7],zero,ymm2[8],zero,ymm2[9],zero,ymm2[10],zero,ymm2[11],zero,ymm2[12],zero,ymm2[13],zero,ymm2[14],zero,ymm2[15],zero
1476 ; AVX512DQ-NEXT:    vpmovdb %zmm2, %xmm2
1477 ; AVX512DQ-NEXT:    vpmovzxwd {{.*#+}} zmm3 = ymm3[0],zero,ymm3[1],zero,ymm3[2],zero,ymm3[3],zero,ymm3[4],zero,ymm3[5],zero,ymm3[6],zero,ymm3[7],zero,ymm3[8],zero,ymm3[9],zero,ymm3[10],zero,ymm3[11],zero,ymm3[12],zero,ymm3[13],zero,ymm3[14],zero,ymm3[15],zero
1478 ; AVX512DQ-NEXT:    vpmovdb %zmm3, %xmm3
1479 ; AVX512DQ-NEXT:    vzeroupper
1480 ; AVX512DQ-NEXT:    retq
1481 ;
1482 ; AVX512BW-LABEL: test_cmp_v64i16:
1483 ; AVX512BW:       # %bb.0:
1484 ; AVX512BW-NEXT:    vpcmpgtw %zmm2, %zmm0, %k0
1485 ; AVX512BW-NEXT:    vpcmpgtw %zmm3, %zmm1, %k1
1486 ; AVX512BW-NEXT:    kunpckdq %k0, %k1, %k0
1487 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
1488 ; AVX512BW-NEXT:    retq
1489   %1 = icmp sgt <64 x i16> %a0, %a1
1490   ret <64 x i1> %1
1491 }
1492
1493 define <128 x i1> @test_cmp_v128i8(<128 x i8> %a0, <128 x i8> %a1) nounwind {
1494 ; SSE-LABEL: test_cmp_v128i8:
1495 ; SSE:       # %bb.0:
1496 ; SSE-NEXT:    movq %rdi, %rax
1497 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm0
1498 ; SSE-NEXT:    pmovmskb %xmm0, %ecx
1499 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm1
1500 ; SSE-NEXT:    pmovmskb %xmm1, %edx
1501 ; SSE-NEXT:    shll $16, %edx
1502 ; SSE-NEXT:    orl %ecx, %edx
1503 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm2
1504 ; SSE-NEXT:    pmovmskb %xmm2, %esi
1505 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm3
1506 ; SSE-NEXT:    pmovmskb %xmm3, %ecx
1507 ; SSE-NEXT:    shll $16, %ecx
1508 ; SSE-NEXT:    orl %esi, %ecx
1509 ; SSE-NEXT:    shlq $32, %rcx
1510 ; SSE-NEXT:    orq %rdx, %rcx
1511 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm4
1512 ; SSE-NEXT:    pmovmskb %xmm4, %edx
1513 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm5
1514 ; SSE-NEXT:    pmovmskb %xmm5, %esi
1515 ; SSE-NEXT:    shll $16, %esi
1516 ; SSE-NEXT:    orl %edx, %esi
1517 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm6
1518 ; SSE-NEXT:    pmovmskb %xmm6, %edx
1519 ; SSE-NEXT:    pcmpgtb {{[0-9]+}}(%rsp), %xmm7
1520 ; SSE-NEXT:    pmovmskb %xmm7, %edi
1521 ; SSE-NEXT:    shll $16, %edi
1522 ; SSE-NEXT:    orl %edx, %edi
1523 ; SSE-NEXT:    shlq $32, %rdi
1524 ; SSE-NEXT:    orq %rsi, %rdi
1525 ; SSE-NEXT:    movq %rdi, 8(%rax)
1526 ; SSE-NEXT:    movq %rcx, (%rax)
1527 ; SSE-NEXT:    retq
1528 ;
1529 ; AVX1-LABEL: test_cmp_v128i8:
1530 ; AVX1:       # %bb.0:
1531 ; AVX1-NEXT:    movq %rdi, %rax
1532 ; AVX1-NEXT:    vpcmpgtb %xmm4, %xmm0, %xmm8
1533 ; AVX1-NEXT:    vpmovmskb %xmm8, %ecx
1534 ; AVX1-NEXT:    vextractf128 $1, %ymm4, %xmm4
1535 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1536 ; AVX1-NEXT:    vpcmpgtb %xmm4, %xmm0, %xmm0
1537 ; AVX1-NEXT:    vpmovmskb %xmm0, %edx
1538 ; AVX1-NEXT:    shll $16, %edx
1539 ; AVX1-NEXT:    orl %ecx, %edx
1540 ; AVX1-NEXT:    vpcmpgtb %xmm5, %xmm1, %xmm0
1541 ; AVX1-NEXT:    vpmovmskb %xmm0, %esi
1542 ; AVX1-NEXT:    vextractf128 $1, %ymm5, %xmm0
1543 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm1
1544 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
1545 ; AVX1-NEXT:    vpmovmskb %xmm0, %ecx
1546 ; AVX1-NEXT:    shll $16, %ecx
1547 ; AVX1-NEXT:    orl %esi, %ecx
1548 ; AVX1-NEXT:    shlq $32, %rcx
1549 ; AVX1-NEXT:    orq %rdx, %rcx
1550 ; AVX1-NEXT:    vpcmpgtb %xmm6, %xmm2, %xmm0
1551 ; AVX1-NEXT:    vpmovmskb %xmm0, %edx
1552 ; AVX1-NEXT:    vextractf128 $1, %ymm6, %xmm0
1553 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm1
1554 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
1555 ; AVX1-NEXT:    vpmovmskb %xmm0, %esi
1556 ; AVX1-NEXT:    shll $16, %esi
1557 ; AVX1-NEXT:    orl %edx, %esi
1558 ; AVX1-NEXT:    vpcmpgtb %xmm7, %xmm3, %xmm0
1559 ; AVX1-NEXT:    vpmovmskb %xmm0, %edx
1560 ; AVX1-NEXT:    vextractf128 $1, %ymm7, %xmm0
1561 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm1
1562 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
1563 ; AVX1-NEXT:    vpmovmskb %xmm0, %edi
1564 ; AVX1-NEXT:    shll $16, %edi
1565 ; AVX1-NEXT:    orl %edx, %edi
1566 ; AVX1-NEXT:    shlq $32, %rdi
1567 ; AVX1-NEXT:    orq %rsi, %rdi
1568 ; AVX1-NEXT:    movq %rdi, 8(%rax)
1569 ; AVX1-NEXT:    movq %rcx, (%rax)
1570 ; AVX1-NEXT:    vzeroupper
1571 ; AVX1-NEXT:    retq
1572 ;
1573 ; AVX2-LABEL: test_cmp_v128i8:
1574 ; AVX2:       # %bb.0:
1575 ; AVX2-NEXT:    movq %rdi, %rax
1576 ; AVX2-NEXT:    vpcmpgtb %ymm4, %ymm0, %ymm0
1577 ; AVX2-NEXT:    vpmovmskb %ymm0, %ecx
1578 ; AVX2-NEXT:    vpcmpgtb %ymm5, %ymm1, %ymm0
1579 ; AVX2-NEXT:    vpmovmskb %ymm0, %edx
1580 ; AVX2-NEXT:    shlq $32, %rdx
1581 ; AVX2-NEXT:    orq %rcx, %rdx
1582 ; AVX2-NEXT:    vpcmpgtb %ymm6, %ymm2, %ymm0
1583 ; AVX2-NEXT:    vpmovmskb %ymm0, %ecx
1584 ; AVX2-NEXT:    vpcmpgtb %ymm7, %ymm3, %ymm0
1585 ; AVX2-NEXT:    vpmovmskb %ymm0, %esi
1586 ; AVX2-NEXT:    shlq $32, %rsi
1587 ; AVX2-NEXT:    orq %rcx, %rsi
1588 ; AVX2-NEXT:    movq %rsi, 8(%rdi)
1589 ; AVX2-NEXT:    movq %rdx, (%rdi)
1590 ; AVX2-NEXT:    vzeroupper
1591 ; AVX2-NEXT:    retq
1592 ;
1593 ; AVX512F-LABEL: test_cmp_v128i8:
1594 ; AVX512F:       # %bb.0:
1595 ; AVX512F-NEXT:    movq %rdi, %rax
1596 ; AVX512F-NEXT:    vpcmpgtb %ymm4, %ymm0, %ymm0
1597 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm4
1598 ; AVX512F-NEXT:    vptestmd %zmm4, %zmm4, %k0
1599 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm0
1600 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
1601 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k1
1602 ; AVX512F-NEXT:    vpcmpgtb %ymm5, %ymm1, %ymm0
1603 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm1
1604 ; AVX512F-NEXT:    vptestmd %zmm1, %zmm1, %k2
1605 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm0
1606 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
1607 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k3
1608 ; AVX512F-NEXT:    vpcmpgtb %ymm6, %ymm2, %ymm0
1609 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm1
1610 ; AVX512F-NEXT:    vptestmd %zmm1, %zmm1, %k4
1611 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm0
1612 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
1613 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k5
1614 ; AVX512F-NEXT:    vpcmpgtb %ymm7, %ymm3, %ymm0
1615 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm1
1616 ; AVX512F-NEXT:    vptestmd %zmm1, %zmm1, %k6
1617 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm0
1618 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
1619 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k7
1620 ; AVX512F-NEXT:    kmovw %k7, 14(%rdi)
1621 ; AVX512F-NEXT:    kmovw %k6, 12(%rdi)
1622 ; AVX512F-NEXT:    kmovw %k5, 10(%rdi)
1623 ; AVX512F-NEXT:    kmovw %k4, 8(%rdi)
1624 ; AVX512F-NEXT:    kmovw %k3, 6(%rdi)
1625 ; AVX512F-NEXT:    kmovw %k2, 4(%rdi)
1626 ; AVX512F-NEXT:    kmovw %k1, 2(%rdi)
1627 ; AVX512F-NEXT:    kmovw %k0, (%rdi)
1628 ; AVX512F-NEXT:    vzeroupper
1629 ; AVX512F-NEXT:    retq
1630 ;
1631 ; AVX512DQ-LABEL: test_cmp_v128i8:
1632 ; AVX512DQ:       # %bb.0:
1633 ; AVX512DQ-NEXT:    movq %rdi, %rax
1634 ; AVX512DQ-NEXT:    vpcmpgtb %ymm4, %ymm0, %ymm0
1635 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm4
1636 ; AVX512DQ-NEXT:    vpmovd2m %zmm4, %k0
1637 ; AVX512DQ-NEXT:    vextracti128 $1, %ymm0, %xmm0
1638 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm0
1639 ; AVX512DQ-NEXT:    vpmovd2m %zmm0, %k1
1640 ; AVX512DQ-NEXT:    vpcmpgtb %ymm5, %ymm1, %ymm0
1641 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm1
1642 ; AVX512DQ-NEXT:    vpmovd2m %zmm1, %k2
1643 ; AVX512DQ-NEXT:    vextracti128 $1, %ymm0, %xmm0
1644 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm0
1645 ; AVX512DQ-NEXT:    vpmovd2m %zmm0, %k3
1646 ; AVX512DQ-NEXT:    vpcmpgtb %ymm6, %ymm2, %ymm0
1647 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm1
1648 ; AVX512DQ-NEXT:    vpmovd2m %zmm1, %k4
1649 ; AVX512DQ-NEXT:    vextracti128 $1, %ymm0, %xmm0
1650 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm0
1651 ; AVX512DQ-NEXT:    vpmovd2m %zmm0, %k5
1652 ; AVX512DQ-NEXT:    vpcmpgtb %ymm7, %ymm3, %ymm0
1653 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm1
1654 ; AVX512DQ-NEXT:    vpmovd2m %zmm1, %k6
1655 ; AVX512DQ-NEXT:    vextracti128 $1, %ymm0, %xmm0
1656 ; AVX512DQ-NEXT:    vpmovsxbd %xmm0, %zmm0
1657 ; AVX512DQ-NEXT:    vpmovd2m %zmm0, %k7
1658 ; AVX512DQ-NEXT:    kmovw %k7, 14(%rdi)
1659 ; AVX512DQ-NEXT:    kmovw %k6, 12(%rdi)
1660 ; AVX512DQ-NEXT:    kmovw %k5, 10(%rdi)
1661 ; AVX512DQ-NEXT:    kmovw %k4, 8(%rdi)
1662 ; AVX512DQ-NEXT:    kmovw %k3, 6(%rdi)
1663 ; AVX512DQ-NEXT:    kmovw %k2, 4(%rdi)
1664 ; AVX512DQ-NEXT:    kmovw %k1, 2(%rdi)
1665 ; AVX512DQ-NEXT:    kmovw %k0, (%rdi)
1666 ; AVX512DQ-NEXT:    vzeroupper
1667 ; AVX512DQ-NEXT:    retq
1668 ;
1669 ; AVX512BW-LABEL: test_cmp_v128i8:
1670 ; AVX512BW:       # %bb.0:
1671 ; AVX512BW-NEXT:    vpcmpgtb %zmm3, %zmm1, %k0
1672 ; AVX512BW-NEXT:    vpcmpgtb %zmm2, %zmm0, %k1
1673 ; AVX512BW-NEXT:    vpmovm2b %k1, %zmm0
1674 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm1
1675 ; AVX512BW-NEXT:    retq
1676   %1 = icmp sgt <128 x i8> %a0, %a1
1677   ret <128 x i1> %1
1678 }
1679
1680 ;
1681 ; 2048-bit vector comparisons
1682 ;
1683
1684 define <32 x i1> @test_cmp_v32f64(<32 x double> %a0, <32 x double> %a1) nounwind {
1685 ; SSE-LABEL: test_cmp_v32f64:
1686 ; SSE:       # %bb.0:
1687 ; SSE-NEXT:    movq %rdi, %rax
1688 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm8
1689 ; SSE-NEXT:    cmpltpd %xmm7, %xmm8
1690 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm7
1691 ; SSE-NEXT:    cmpltpd %xmm6, %xmm7
1692 ; SSE-NEXT:    packssdw %xmm8, %xmm7
1693 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm6
1694 ; SSE-NEXT:    cmpltpd %xmm5, %xmm6
1695 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm5
1696 ; SSE-NEXT:    cmpltpd %xmm4, %xmm5
1697 ; SSE-NEXT:    packssdw %xmm6, %xmm5
1698 ; SSE-NEXT:    packssdw %xmm7, %xmm5
1699 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm4
1700 ; SSE-NEXT:    cmpltpd %xmm3, %xmm4
1701 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm3
1702 ; SSE-NEXT:    cmpltpd %xmm2, %xmm3
1703 ; SSE-NEXT:    packssdw %xmm4, %xmm3
1704 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm2
1705 ; SSE-NEXT:    cmpltpd %xmm1, %xmm2
1706 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm1
1707 ; SSE-NEXT:    cmpltpd %xmm0, %xmm1
1708 ; SSE-NEXT:    packssdw %xmm2, %xmm1
1709 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm0
1710 ; SSE-NEXT:    packssdw %xmm3, %xmm1
1711 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm2
1712 ; SSE-NEXT:    packsswb %xmm5, %xmm1
1713 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm3
1714 ; SSE-NEXT:    pmovmskb %xmm1, %ecx
1715 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm1
1716 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm1
1717 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm3
1718 ; SSE-NEXT:    packssdw %xmm1, %xmm3
1719 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm1
1720 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm1
1721 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm2
1722 ; SSE-NEXT:    packssdw %xmm1, %xmm2
1723 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm1
1724 ; SSE-NEXT:    packssdw %xmm3, %xmm2
1725 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm3
1726 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm3
1727 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm1
1728 ; SSE-NEXT:    packssdw %xmm3, %xmm1
1729 ; SSE-NEXT:    movapd {{[0-9]+}}(%rsp), %xmm3
1730 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm3
1731 ; SSE-NEXT:    cmpltpd {{[0-9]+}}(%rsp), %xmm0
1732 ; SSE-NEXT:    packssdw %xmm3, %xmm0
1733 ; SSE-NEXT:    packssdw %xmm1, %xmm0
1734 ; SSE-NEXT:    packsswb %xmm2, %xmm0
1735 ; SSE-NEXT:    pmovmskb %xmm0, %edx
1736 ; SSE-NEXT:    shll $16, %edx
1737 ; SSE-NEXT:    orl %ecx, %edx
1738 ; SSE-NEXT:    movl %edx, (%rdi)
1739 ; SSE-NEXT:    retq
1740 ;
1741 ; AVX1-LABEL: test_cmp_v32f64:
1742 ; AVX1:       # %bb.0:
1743 ; AVX1-NEXT:    pushq %rbp
1744 ; AVX1-NEXT:    movq %rsp, %rbp
1745 ; AVX1-NEXT:    andq $-32, %rsp
1746 ; AVX1-NEXT:    subq $32, %rsp
1747 ; AVX1-NEXT:    vmovapd 16(%rbp), %ymm8
1748 ; AVX1-NEXT:    vmovapd 48(%rbp), %ymm9
1749 ; AVX1-NEXT:    vmovapd 80(%rbp), %ymm10
1750 ; AVX1-NEXT:    vmovapd 112(%rbp), %ymm11
1751 ; AVX1-NEXT:    vmovapd 144(%rbp), %ymm12
1752 ; AVX1-NEXT:    vmovapd 176(%rbp), %ymm13
1753 ; AVX1-NEXT:    vmovapd 208(%rbp), %ymm14
1754 ; AVX1-NEXT:    vmovapd 240(%rbp), %ymm15
1755 ; AVX1-NEXT:    vcmpltpd %ymm7, %ymm15, %ymm15
1756 ; AVX1-NEXT:    vextractf128 $1, %ymm15, %xmm7
1757 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm15, %xmm15
1758 ; AVX1-NEXT:    vcmpltpd %ymm6, %ymm14, %ymm6
1759 ; AVX1-NEXT:    vextractf128 $1, %ymm6, %xmm7
1760 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm6, %xmm6
1761 ; AVX1-NEXT:    vpackssdw %xmm15, %xmm6, %xmm6
1762 ; AVX1-NEXT:    vcmpltpd %ymm5, %ymm13, %ymm5
1763 ; AVX1-NEXT:    vextractf128 $1, %ymm5, %xmm7
1764 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm5, %xmm5
1765 ; AVX1-NEXT:    vcmpltpd %ymm4, %ymm12, %ymm4
1766 ; AVX1-NEXT:    vextractf128 $1, %ymm4, %xmm7
1767 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm4, %xmm4
1768 ; AVX1-NEXT:    vpackssdw %xmm5, %xmm4, %xmm4
1769 ; AVX1-NEXT:    vpacksswb %xmm6, %xmm4, %xmm4
1770 ; AVX1-NEXT:    vcmpltpd %ymm3, %ymm11, %ymm3
1771 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm5
1772 ; AVX1-NEXT:    vpackssdw %xmm5, %xmm3, %xmm3
1773 ; AVX1-NEXT:    vcmpltpd %ymm2, %ymm10, %ymm2
1774 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm5
1775 ; AVX1-NEXT:    vpackssdw %xmm5, %xmm2, %xmm2
1776 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm2, %xmm2
1777 ; AVX1-NEXT:    vcmpltpd %ymm1, %ymm9, %ymm1
1778 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
1779 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
1780 ; AVX1-NEXT:    vcmpltpd %ymm0, %ymm8, %ymm0
1781 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
1782 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
1783 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
1784 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm0, %xmm0
1785 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm0, %ymm0
1786 ; AVX1-NEXT:    movq %rbp, %rsp
1787 ; AVX1-NEXT:    popq %rbp
1788 ; AVX1-NEXT:    retq
1789 ;
1790 ; AVX2-LABEL: test_cmp_v32f64:
1791 ; AVX2:       # %bb.0:
1792 ; AVX2-NEXT:    pushq %rbp
1793 ; AVX2-NEXT:    movq %rsp, %rbp
1794 ; AVX2-NEXT:    andq $-32, %rsp
1795 ; AVX2-NEXT:    subq $32, %rsp
1796 ; AVX2-NEXT:    vmovapd 16(%rbp), %ymm8
1797 ; AVX2-NEXT:    vmovapd 48(%rbp), %ymm9
1798 ; AVX2-NEXT:    vmovapd 80(%rbp), %ymm10
1799 ; AVX2-NEXT:    vmovapd 112(%rbp), %ymm11
1800 ; AVX2-NEXT:    vmovapd 144(%rbp), %ymm12
1801 ; AVX2-NEXT:    vmovapd 176(%rbp), %ymm13
1802 ; AVX2-NEXT:    vmovapd 208(%rbp), %ymm14
1803 ; AVX2-NEXT:    vmovapd 240(%rbp), %ymm15
1804 ; AVX2-NEXT:    vcmpltpd %ymm7, %ymm15, %ymm7
1805 ; AVX2-NEXT:    vcmpltpd %ymm6, %ymm14, %ymm6
1806 ; AVX2-NEXT:    vpackssdw %ymm7, %ymm6, %ymm6
1807 ; AVX2-NEXT:    vpermq {{.*#+}} ymm6 = ymm6[0,2,1,3]
1808 ; AVX2-NEXT:    vcmpltpd %ymm5, %ymm13, %ymm5
1809 ; AVX2-NEXT:    vcmpltpd %ymm4, %ymm12, %ymm4
1810 ; AVX2-NEXT:    vpackssdw %ymm5, %ymm4, %ymm4
1811 ; AVX2-NEXT:    vpermq {{.*#+}} ymm4 = ymm4[0,2,1,3]
1812 ; AVX2-NEXT:    vpackssdw %ymm6, %ymm4, %ymm4
1813 ; AVX2-NEXT:    vpermq {{.*#+}} ymm4 = ymm4[0,2,1,3]
1814 ; AVX2-NEXT:    vcmpltpd %ymm3, %ymm11, %ymm3
1815 ; AVX2-NEXT:    vcmpltpd %ymm2, %ymm10, %ymm2
1816 ; AVX2-NEXT:    vpackssdw %ymm3, %ymm2, %ymm2
1817 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1818 ; AVX2-NEXT:    vcmpltpd %ymm1, %ymm9, %ymm1
1819 ; AVX2-NEXT:    vcmpltpd %ymm0, %ymm8, %ymm0
1820 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
1821 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1822 ; AVX2-NEXT:    vpackssdw %ymm2, %ymm0, %ymm0
1823 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1824 ; AVX2-NEXT:    vpacksswb %ymm4, %ymm0, %ymm0
1825 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1826 ; AVX2-NEXT:    movq %rbp, %rsp
1827 ; AVX2-NEXT:    popq %rbp
1828 ; AVX2-NEXT:    retq
1829 ;
1830 ; AVX512F-LABEL: test_cmp_v32f64:
1831 ; AVX512F:       # %bb.0:
1832 ; AVX512F-NEXT:    vcmpltpd %zmm2, %zmm6, %k0
1833 ; AVX512F-NEXT:    vcmpltpd %zmm3, %zmm7, %k1
1834 ; AVX512F-NEXT:    kunpckbw %k0, %k1, %k1
1835 ; AVX512F-NEXT:    vcmpltpd %zmm0, %zmm4, %k0
1836 ; AVX512F-NEXT:    vcmpltpd %zmm1, %zmm5, %k2
1837 ; AVX512F-NEXT:    kunpckbw %k0, %k2, %k2
1838 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k2} {z}
1839 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
1840 ; AVX512F-NEXT:    vpternlogd $255, %zmm1, %zmm1, %zmm1 {%k1} {z}
1841 ; AVX512F-NEXT:    vpmovdb %zmm1, %xmm1
1842 ; AVX512F-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1843 ; AVX512F-NEXT:    retq
1844 ;
1845 ; AVX512DQ-LABEL: test_cmp_v32f64:
1846 ; AVX512DQ:       # %bb.0:
1847 ; AVX512DQ-NEXT:    vcmpltpd %zmm2, %zmm6, %k0
1848 ; AVX512DQ-NEXT:    vcmpltpd %zmm3, %zmm7, %k1
1849 ; AVX512DQ-NEXT:    kunpckbw %k0, %k1, %k0
1850 ; AVX512DQ-NEXT:    vcmpltpd %zmm0, %zmm4, %k1
1851 ; AVX512DQ-NEXT:    vcmpltpd %zmm1, %zmm5, %k2
1852 ; AVX512DQ-NEXT:    kunpckbw %k1, %k2, %k1
1853 ; AVX512DQ-NEXT:    vpmovm2d %k1, %zmm0
1854 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
1855 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm1
1856 ; AVX512DQ-NEXT:    vpmovdb %zmm1, %xmm1
1857 ; AVX512DQ-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1858 ; AVX512DQ-NEXT:    retq
1859 ;
1860 ; AVX512BW-LABEL: test_cmp_v32f64:
1861 ; AVX512BW:       # %bb.0:
1862 ; AVX512BW-NEXT:    vcmpltpd %zmm0, %zmm4, %k0
1863 ; AVX512BW-NEXT:    vcmpltpd %zmm1, %zmm5, %k1
1864 ; AVX512BW-NEXT:    kunpckbw %k0, %k1, %k0
1865 ; AVX512BW-NEXT:    vcmpltpd %zmm2, %zmm6, %k1
1866 ; AVX512BW-NEXT:    vcmpltpd %zmm3, %zmm7, %k2
1867 ; AVX512BW-NEXT:    kunpckbw %k1, %k2, %k1
1868 ; AVX512BW-NEXT:    kunpckwd %k0, %k1, %k0
1869 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
1870 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
1871 ; AVX512BW-NEXT:    retq
1872   %1 = fcmp ogt <32 x double> %a0, %a1
1873   ret <32 x i1> %1
1874 }
1875
1876 define <32 x i1> @test_cmp_v32i64(<32 x i64> %a0, <32 x i64> %a1) nounwind {
1877 ; SSE2-LABEL: test_cmp_v32i64:
1878 ; SSE2:       # %bb.0:
1879 ; SSE2-NEXT:    movq %rdi, %rax
1880 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2147483648,2147483648]
1881 ; SSE2-NEXT:    pxor %xmm8, %xmm7
1882 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm9
1883 ; SSE2-NEXT:    pxor %xmm8, %xmm9
1884 ; SSE2-NEXT:    movdqa %xmm7, %xmm10
1885 ; SSE2-NEXT:    pcmpgtd %xmm9, %xmm10
1886 ; SSE2-NEXT:    pshufd {{.*#+}} xmm11 = xmm10[0,0,2,2]
1887 ; SSE2-NEXT:    pcmpeqd %xmm7, %xmm9
1888 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm9[1,1,3,3]
1889 ; SSE2-NEXT:    pand %xmm11, %xmm7
1890 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm10[1,1,3,3]
1891 ; SSE2-NEXT:    por %xmm7, %xmm9
1892 ; SSE2-NEXT:    pxor %xmm8, %xmm6
1893 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm7
1894 ; SSE2-NEXT:    pxor %xmm8, %xmm7
1895 ; SSE2-NEXT:    movdqa %xmm6, %xmm10
1896 ; SSE2-NEXT:    pcmpgtd %xmm7, %xmm10
1897 ; SSE2-NEXT:    pshufd {{.*#+}} xmm11 = xmm10[0,0,2,2]
1898 ; SSE2-NEXT:    pcmpeqd %xmm6, %xmm7
1899 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[1,1,3,3]
1900 ; SSE2-NEXT:    pand %xmm11, %xmm7
1901 ; SSE2-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
1902 ; SSE2-NEXT:    por %xmm7, %xmm10
1903 ; SSE2-NEXT:    packssdw %xmm9, %xmm10
1904 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1905 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm7
1906 ; SSE2-NEXT:    pxor %xmm8, %xmm7
1907 ; SSE2-NEXT:    movdqa %xmm5, %xmm6
1908 ; SSE2-NEXT:    pcmpgtd %xmm7, %xmm6
1909 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm6[0,0,2,2]
1910 ; SSE2-NEXT:    pcmpeqd %xmm5, %xmm7
1911 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
1912 ; SSE2-NEXT:    pand %xmm9, %xmm5
1913 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
1914 ; SSE2-NEXT:    por %xmm5, %xmm6
1915 ; SSE2-NEXT:    pxor %xmm8, %xmm4
1916 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm5
1917 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1918 ; SSE2-NEXT:    movdqa %xmm4, %xmm7
1919 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm7
1920 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm7[0,0,2,2]
1921 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm5
1922 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
1923 ; SSE2-NEXT:    pand %xmm9, %xmm5
1924 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm7[1,1,3,3]
1925 ; SSE2-NEXT:    por %xmm5, %xmm4
1926 ; SSE2-NEXT:    packssdw %xmm6, %xmm4
1927 ; SSE2-NEXT:    packssdw %xmm10, %xmm4
1928 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1929 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm5
1930 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1931 ; SSE2-NEXT:    movdqa %xmm3, %xmm6
1932 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm6
1933 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm6[0,0,2,2]
1934 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm5
1935 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[1,1,3,3]
1936 ; SSE2-NEXT:    pand %xmm7, %xmm3
1937 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm6[1,1,3,3]
1938 ; SSE2-NEXT:    por %xmm3, %xmm5
1939 ; SSE2-NEXT:    pxor %xmm8, %xmm2
1940 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3
1941 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1942 ; SSE2-NEXT:    movdqa %xmm2, %xmm6
1943 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm6
1944 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm6[0,0,2,2]
1945 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm3
1946 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
1947 ; SSE2-NEXT:    pand %xmm7, %xmm3
1948 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm6[1,1,3,3]
1949 ; SSE2-NEXT:    por %xmm3, %xmm2
1950 ; SSE2-NEXT:    packssdw %xmm5, %xmm2
1951 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1952 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3
1953 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1954 ; SSE2-NEXT:    movdqa %xmm1, %xmm5
1955 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm5
1956 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
1957 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm3
1958 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
1959 ; SSE2-NEXT:    pand %xmm6, %xmm1
1960 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[1,1,3,3]
1961 ; SSE2-NEXT:    por %xmm1, %xmm3
1962 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1963 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm1
1964 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1965 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
1966 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm5
1967 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
1968 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
1969 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
1970 ; SSE2-NEXT:    pand %xmm6, %xmm0
1971 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm5[1,1,3,3]
1972 ; SSE2-NEXT:    por %xmm0, %xmm1
1973 ; SSE2-NEXT:    packssdw %xmm3, %xmm1
1974 ; SSE2-NEXT:    packssdw %xmm2, %xmm1
1975 ; SSE2-NEXT:    packsswb %xmm4, %xmm1
1976 ; SSE2-NEXT:    pmovmskb %xmm1, %ecx
1977 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm0
1978 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1979 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm1
1980 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1981 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1982 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm2
1983 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[0,0,2,2]
1984 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
1985 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
1986 ; SSE2-NEXT:    pand %xmm3, %xmm0
1987 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1988 ; SSE2-NEXT:    por %xmm0, %xmm2
1989 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm0
1990 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1991 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm1
1992 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1993 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
1994 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm3
1995 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[0,0,2,2]
1996 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
1997 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
1998 ; SSE2-NEXT:    pand %xmm4, %xmm0
1999 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
2000 ; SSE2-NEXT:    por %xmm0, %xmm1
2001 ; SSE2-NEXT:    packssdw %xmm2, %xmm1
2002 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm0
2003 ; SSE2-NEXT:    pxor %xmm8, %xmm0
2004 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm2
2005 ; SSE2-NEXT:    pxor %xmm8, %xmm2
2006 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
2007 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm3
2008 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[0,0,2,2]
2009 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
2010 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,3,3]
2011 ; SSE2-NEXT:    pand %xmm4, %xmm0
2012 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
2013 ; SSE2-NEXT:    por %xmm0, %xmm2
2014 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm0
2015 ; SSE2-NEXT:    pxor %xmm8, %xmm0
2016 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3
2017 ; SSE2-NEXT:    pxor %xmm8, %xmm3
2018 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
2019 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm4
2020 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
2021 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm3
2022 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
2023 ; SSE2-NEXT:    pand %xmm5, %xmm3
2024 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
2025 ; SSE2-NEXT:    por %xmm3, %xmm0
2026 ; SSE2-NEXT:    packssdw %xmm2, %xmm0
2027 ; SSE2-NEXT:    packssdw %xmm1, %xmm0
2028 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm1
2029 ; SSE2-NEXT:    pxor %xmm8, %xmm1
2030 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm2
2031 ; SSE2-NEXT:    pxor %xmm8, %xmm2
2032 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
2033 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm3
2034 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[0,0,2,2]
2035 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm2
2036 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
2037 ; SSE2-NEXT:    pand %xmm4, %xmm1
2038 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
2039 ; SSE2-NEXT:    por %xmm1, %xmm2
2040 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm1
2041 ; SSE2-NEXT:    pxor %xmm8, %xmm1
2042 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3
2043 ; SSE2-NEXT:    pxor %xmm8, %xmm3
2044 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
2045 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm4
2046 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
2047 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm3
2048 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
2049 ; SSE2-NEXT:    pand %xmm5, %xmm3
2050 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[1,1,3,3]
2051 ; SSE2-NEXT:    por %xmm3, %xmm1
2052 ; SSE2-NEXT:    packssdw %xmm2, %xmm1
2053 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm2
2054 ; SSE2-NEXT:    pxor %xmm8, %xmm2
2055 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm3
2056 ; SSE2-NEXT:    pxor %xmm8, %xmm3
2057 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
2058 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm4
2059 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
2060 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm3
2061 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
2062 ; SSE2-NEXT:    pand %xmm5, %xmm2
2063 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
2064 ; SSE2-NEXT:    por %xmm2, %xmm3
2065 ; SSE2-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm2
2066 ; SSE2-NEXT:    pxor %xmm8, %xmm2
2067 ; SSE2-NEXT:    pxor {{[0-9]+}}(%rsp), %xmm8
2068 ; SSE2-NEXT:    movdqa %xmm8, %xmm4
2069 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm4
2070 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
2071 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm8
2072 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm8[1,1,3,3]
2073 ; SSE2-NEXT:    pand %xmm5, %xmm2
2074 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
2075 ; SSE2-NEXT:    por %xmm2, %xmm4
2076 ; SSE2-NEXT:    packssdw %xmm3, %xmm4
2077 ; SSE2-NEXT:    packssdw %xmm1, %xmm4
2078 ; SSE2-NEXT:    packsswb %xmm0, %xmm4
2079 ; SSE2-NEXT:    pmovmskb %xmm4, %edx
2080 ; SSE2-NEXT:    shll $16, %edx
2081 ; SSE2-NEXT:    orl %ecx, %edx
2082 ; SSE2-NEXT:    movl %edx, (%rdi)
2083 ; SSE2-NEXT:    retq
2084 ;
2085 ; SSE42-LABEL: test_cmp_v32i64:
2086 ; SSE42:       # %bb.0:
2087 ; SSE42-NEXT:    movq %rdi, %rax
2088 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm8
2089 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm11
2090 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm10
2091 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm12
2092 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm9
2093 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm14
2094 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm13
2095 ; SSE42-NEXT:    movdqa {{[0-9]+}}(%rsp), %xmm15
2096 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm7
2097 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm6
2098 ; SSE42-NEXT:    packssdw %xmm7, %xmm6
2099 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm5
2100 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm4
2101 ; SSE42-NEXT:    packssdw %xmm5, %xmm4
2102 ; SSE42-NEXT:    packssdw %xmm6, %xmm4
2103 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm3
2104 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm2
2105 ; SSE42-NEXT:    packssdw %xmm3, %xmm2
2106 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm1
2107 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm0
2108 ; SSE42-NEXT:    packssdw %xmm1, %xmm0
2109 ; SSE42-NEXT:    packssdw %xmm2, %xmm0
2110 ; SSE42-NEXT:    packsswb %xmm4, %xmm0
2111 ; SSE42-NEXT:    pmovmskb %xmm0, %ecx
2112 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm15
2113 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm13
2114 ; SSE42-NEXT:    packssdw %xmm15, %xmm13
2115 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm14
2116 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm9
2117 ; SSE42-NEXT:    packssdw %xmm14, %xmm9
2118 ; SSE42-NEXT:    packssdw %xmm13, %xmm9
2119 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm12
2120 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm10
2121 ; SSE42-NEXT:    packssdw %xmm12, %xmm10
2122 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm11
2123 ; SSE42-NEXT:    pcmpgtq {{[0-9]+}}(%rsp), %xmm8
2124 ; SSE42-NEXT:    packssdw %xmm11, %xmm8
2125 ; SSE42-NEXT:    packssdw %xmm10, %xmm8
2126 ; SSE42-NEXT:    packsswb %xmm9, %xmm8
2127 ; SSE42-NEXT:    pmovmskb %xmm8, %edx
2128 ; SSE42-NEXT:    shll $16, %edx
2129 ; SSE42-NEXT:    orl %ecx, %edx
2130 ; SSE42-NEXT:    movl %edx, (%rdi)
2131 ; SSE42-NEXT:    retq
2132 ;
2133 ; AVX1-LABEL: test_cmp_v32i64:
2134 ; AVX1:       # %bb.0:
2135 ; AVX1-NEXT:    pushq %rbp
2136 ; AVX1-NEXT:    movq %rsp, %rbp
2137 ; AVX1-NEXT:    andq $-32, %rsp
2138 ; AVX1-NEXT:    subq $32, %rsp
2139 ; AVX1-NEXT:    vextractf128 $1, %ymm7, %xmm8
2140 ; AVX1-NEXT:    vpcmpgtq 256(%rbp), %xmm8, %xmm8
2141 ; AVX1-NEXT:    vpcmpgtq 240(%rbp), %xmm7, %xmm7
2142 ; AVX1-NEXT:    vpackssdw %xmm8, %xmm7, %xmm8
2143 ; AVX1-NEXT:    vextractf128 $1, %ymm6, %xmm7
2144 ; AVX1-NEXT:    vpcmpgtq 224(%rbp), %xmm7, %xmm7
2145 ; AVX1-NEXT:    vpcmpgtq 208(%rbp), %xmm6, %xmm6
2146 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm6, %xmm6
2147 ; AVX1-NEXT:    vpackssdw %xmm8, %xmm6, %xmm6
2148 ; AVX1-NEXT:    vextractf128 $1, %ymm5, %xmm7
2149 ; AVX1-NEXT:    vpcmpgtq 192(%rbp), %xmm7, %xmm7
2150 ; AVX1-NEXT:    vpcmpgtq 176(%rbp), %xmm5, %xmm5
2151 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm5, %xmm5
2152 ; AVX1-NEXT:    vextractf128 $1, %ymm4, %xmm7
2153 ; AVX1-NEXT:    vpcmpgtq 160(%rbp), %xmm7, %xmm7
2154 ; AVX1-NEXT:    vpcmpgtq 144(%rbp), %xmm4, %xmm4
2155 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm4, %xmm4
2156 ; AVX1-NEXT:    vpackssdw %xmm5, %xmm4, %xmm4
2157 ; AVX1-NEXT:    vpacksswb %xmm6, %xmm4, %xmm4
2158 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm5
2159 ; AVX1-NEXT:    vpcmpgtq 128(%rbp), %xmm5, %xmm5
2160 ; AVX1-NEXT:    vpcmpgtq 112(%rbp), %xmm3, %xmm3
2161 ; AVX1-NEXT:    vpackssdw %xmm5, %xmm3, %xmm3
2162 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm5
2163 ; AVX1-NEXT:    vpcmpgtq 96(%rbp), %xmm5, %xmm5
2164 ; AVX1-NEXT:    vpcmpgtq 80(%rbp), %xmm2, %xmm2
2165 ; AVX1-NEXT:    vpackssdw %xmm5, %xmm2, %xmm2
2166 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm2, %xmm2
2167 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
2168 ; AVX1-NEXT:    vpcmpgtq 64(%rbp), %xmm3, %xmm3
2169 ; AVX1-NEXT:    vpcmpgtq 48(%rbp), %xmm1, %xmm1
2170 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm1, %xmm1
2171 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
2172 ; AVX1-NEXT:    vpcmpgtq 32(%rbp), %xmm3, %xmm3
2173 ; AVX1-NEXT:    vpcmpgtq 16(%rbp), %xmm0, %xmm0
2174 ; AVX1-NEXT:    vpackssdw %xmm3, %xmm0, %xmm0
2175 ; AVX1-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
2176 ; AVX1-NEXT:    vpacksswb %xmm2, %xmm0, %xmm0
2177 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm0, %ymm0
2178 ; AVX1-NEXT:    movq %rbp, %rsp
2179 ; AVX1-NEXT:    popq %rbp
2180 ; AVX1-NEXT:    retq
2181 ;
2182 ; AVX2-LABEL: test_cmp_v32i64:
2183 ; AVX2:       # %bb.0:
2184 ; AVX2-NEXT:    pushq %rbp
2185 ; AVX2-NEXT:    movq %rsp, %rbp
2186 ; AVX2-NEXT:    andq $-32, %rsp
2187 ; AVX2-NEXT:    subq $32, %rsp
2188 ; AVX2-NEXT:    vpcmpgtq 240(%rbp), %ymm7, %ymm7
2189 ; AVX2-NEXT:    vpcmpgtq 208(%rbp), %ymm6, %ymm6
2190 ; AVX2-NEXT:    vpackssdw %ymm7, %ymm6, %ymm6
2191 ; AVX2-NEXT:    vpermq {{.*#+}} ymm6 = ymm6[0,2,1,3]
2192 ; AVX2-NEXT:    vpcmpgtq 176(%rbp), %ymm5, %ymm5
2193 ; AVX2-NEXT:    vpcmpgtq 144(%rbp), %ymm4, %ymm4
2194 ; AVX2-NEXT:    vpackssdw %ymm5, %ymm4, %ymm4
2195 ; AVX2-NEXT:    vpermq {{.*#+}} ymm4 = ymm4[0,2,1,3]
2196 ; AVX2-NEXT:    vpackssdw %ymm6, %ymm4, %ymm4
2197 ; AVX2-NEXT:    vpermq {{.*#+}} ymm4 = ymm4[0,2,1,3]
2198 ; AVX2-NEXT:    vpcmpgtq 112(%rbp), %ymm3, %ymm3
2199 ; AVX2-NEXT:    vpcmpgtq 80(%rbp), %ymm2, %ymm2
2200 ; AVX2-NEXT:    vpackssdw %ymm3, %ymm2, %ymm2
2201 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
2202 ; AVX2-NEXT:    vpcmpgtq 48(%rbp), %ymm1, %ymm1
2203 ; AVX2-NEXT:    vpcmpgtq 16(%rbp), %ymm0, %ymm0
2204 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0
2205 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
2206 ; AVX2-NEXT:    vpackssdw %ymm2, %ymm0, %ymm0
2207 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
2208 ; AVX2-NEXT:    vpacksswb %ymm4, %ymm0, %ymm0
2209 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
2210 ; AVX2-NEXT:    movq %rbp, %rsp
2211 ; AVX2-NEXT:    popq %rbp
2212 ; AVX2-NEXT:    retq
2213 ;
2214 ; AVX512F-LABEL: test_cmp_v32i64:
2215 ; AVX512F:       # %bb.0:
2216 ; AVX512F-NEXT:    vpcmpgtq %zmm6, %zmm2, %k0
2217 ; AVX512F-NEXT:    vpcmpgtq %zmm7, %zmm3, %k1
2218 ; AVX512F-NEXT:    kunpckbw %k0, %k1, %k1
2219 ; AVX512F-NEXT:    vpcmpgtq %zmm4, %zmm0, %k0
2220 ; AVX512F-NEXT:    vpcmpgtq %zmm5, %zmm1, %k2
2221 ; AVX512F-NEXT:    kunpckbw %k0, %k2, %k2
2222 ; AVX512F-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k2} {z}
2223 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
2224 ; AVX512F-NEXT:    vpternlogd $255, %zmm1, %zmm1, %zmm1 {%k1} {z}
2225 ; AVX512F-NEXT:    vpmovdb %zmm1, %xmm1
2226 ; AVX512F-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
2227 ; AVX512F-NEXT:    retq
2228 ;
2229 ; AVX512DQ-LABEL: test_cmp_v32i64:
2230 ; AVX512DQ:       # %bb.0:
2231 ; AVX512DQ-NEXT:    vpcmpgtq %zmm6, %zmm2, %k0
2232 ; AVX512DQ-NEXT:    vpcmpgtq %zmm7, %zmm3, %k1
2233 ; AVX512DQ-NEXT:    kunpckbw %k0, %k1, %k0
2234 ; AVX512DQ-NEXT:    vpcmpgtq %zmm4, %zmm0, %k1
2235 ; AVX512DQ-NEXT:    vpcmpgtq %zmm5, %zmm1, %k2
2236 ; AVX512DQ-NEXT:    kunpckbw %k1, %k2, %k1
2237 ; AVX512DQ-NEXT:    vpmovm2d %k1, %zmm0
2238 ; AVX512DQ-NEXT:    vpmovdb %zmm0, %xmm0
2239 ; AVX512DQ-NEXT:    vpmovm2d %k0, %zmm1
2240 ; AVX512DQ-NEXT:    vpmovdb %zmm1, %xmm1
2241 ; AVX512DQ-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
2242 ; AVX512DQ-NEXT:    retq
2243 ;
2244 ; AVX512BW-LABEL: test_cmp_v32i64:
2245 ; AVX512BW:       # %bb.0:
2246 ; AVX512BW-NEXT:    vpcmpgtq %zmm4, %zmm0, %k0
2247 ; AVX512BW-NEXT:    vpcmpgtq %zmm5, %zmm1, %k1
2248 ; AVX512BW-NEXT:    kunpckbw %k0, %k1, %k0
2249 ; AVX512BW-NEXT:    vpcmpgtq %zmm6, %zmm2, %k1
2250 ; AVX512BW-NEXT:    vpcmpgtq %zmm7, %zmm3, %k2
2251 ; AVX512BW-NEXT:    kunpckbw %k1, %k2, %k1
2252 ; AVX512BW-NEXT:    kunpckwd %k0, %k1, %k0
2253 ; AVX512BW-NEXT:    vpmovm2b %k0, %zmm0
2254 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
2255 ; AVX512BW-NEXT:    retq
2256   %1 = icmp sgt <32 x i64> %a0, %a1
2257   ret <32 x i1> %1
2258 }