test/CodeGen/X86/vector-reduce-umax.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512BW
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512VL
   8
   9 ;
  10 ; vXi64
  11 ;
  12
  13 define i64 @test_v2i64(<2 x i64> %a0) {
  14 ; SSE2-LABEL: test_v2i64:
  15 ; SSE2:       # %bb.0:
  16 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  17 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [9223372039002259456,9223372039002259456]
  18 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
  19 ; SSE2-NEXT:    pxor %xmm2, %xmm3
  20 ; SSE2-NEXT:    pxor %xmm1, %xmm2
  21 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
  22 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm4
  23 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
  24 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm2
  25 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
  26 ; SSE2-NEXT:    pand %xmm5, %xmm2
  27 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
  28 ; SSE2-NEXT:    por %xmm2, %xmm3
  29 ; SSE2-NEXT:    pand %xmm3, %xmm0
  30 ; SSE2-NEXT:    pandn %xmm1, %xmm3
  31 ; SSE2-NEXT:    por %xmm0, %xmm3
  32 ; SSE2-NEXT:    movq %xmm3, %rax
  33 ; SSE2-NEXT:    retq
  34 ;
  35 ; SSE41-LABEL: test_v2i64:
  36 ; SSE41:       # %bb.0:
  37 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
  38 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
  39 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [9223372039002259456,9223372039002259456]
  40 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
  41 ; SSE41-NEXT:    pxor %xmm3, %xmm4
  42 ; SSE41-NEXT:    pxor %xmm2, %xmm3
  43 ; SSE41-NEXT:    movdqa %xmm4, %xmm0
  44 ; SSE41-NEXT:    pcmpeqd %xmm3, %xmm0
  45 ; SSE41-NEXT:    pcmpgtd %xmm3, %xmm4
  46 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,0,2,2]
  47 ; SSE41-NEXT:    pand %xmm3, %xmm0
  48 ; SSE41-NEXT:    por %xmm4, %xmm0
  49 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm2
  50 ; SSE41-NEXT:    movq %xmm2, %rax
  51 ; SSE41-NEXT:    retq
  52 ;
  53 ; AVX-LABEL: test_v2i64:
  54 ; AVX:       # %bb.0:
  55 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  56 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
  57 ; AVX-NEXT:    vpxor %xmm2, %xmm0, %xmm3
  58 ; AVX-NEXT:    vpxor %xmm2, %xmm1, %xmm2
  59 ; AVX-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
  60 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
  61 ; AVX-NEXT:    vmovq %xmm0, %rax
  62 ; AVX-NEXT:    retq
  63 ;
  64 ; AVX512BW-LABEL: test_v2i64:
  65 ; AVX512BW:       # %bb.0:
  66 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
  67 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  68 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
  69 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
  70 ; AVX512BW-NEXT:    vzeroupper
  71 ; AVX512BW-NEXT:    retq
  72 ;
  73 ; AVX512VL-LABEL: test_v2i64:
  74 ; AVX512VL:       # %bb.0:
  75 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
  76 ; AVX512VL-NEXT:    vpmaxuq %xmm1, %xmm0, %xmm0
  77 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
  78 ; AVX512VL-NEXT:    retq
  79   %1 = call i64 @llvm.experimental.vector.reduce.umax.v2i64(<2 x i64> %a0)
  80   ret i64 %1
  81 }
  82
  83 define i64 @test_v4i64(<4 x i64> %a0) {
  84 ; SSE2-LABEL: test_v4i64:
  85 ; SSE2:       # %bb.0:
  86 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [9223372039002259456,9223372039002259456]
  87 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
  88 ; SSE2-NEXT:    pxor %xmm2, %xmm3
  89 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
  90 ; SSE2-NEXT:    pxor %xmm2, %xmm4
  91 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
  92 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm5
  93 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
  94 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm4
  95 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
  96 ; SSE2-NEXT:    pand %xmm6, %xmm3
  97 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm5[1,1,3,3]
  98 ; SSE2-NEXT:    por %xmm3, %xmm4
  99 ; SSE2-NEXT:    pand %xmm4, %xmm0
 100 ; SSE2-NEXT:    pandn %xmm1, %xmm4
 101 ; SSE2-NEXT:    por %xmm0, %xmm4
 102 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[2,3,0,1]
 103 ; SSE2-NEXT:    movdqa %xmm4, %xmm1
 104 ; SSE2-NEXT:    pxor %xmm2, %xmm1
 105 ; SSE2-NEXT:    pxor %xmm0, %xmm2
 106 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 107 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm3
 108 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm3[0,0,2,2]
 109 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm2
 110 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
 111 ; SSE2-NEXT:    pand %xmm5, %xmm1
 112 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
 113 ; SSE2-NEXT:    por %xmm1, %xmm2
 114 ; SSE2-NEXT:    pand %xmm2, %xmm4
 115 ; SSE2-NEXT:    pandn %xmm0, %xmm2
 116 ; SSE2-NEXT:    por %xmm4, %xmm2
 117 ; SSE2-NEXT:    movq %xmm2, %rax
 118 ; SSE2-NEXT:    retq
 119 ;
 120 ; SSE41-LABEL: test_v4i64:
 121 ; SSE41:       # %bb.0:
 122 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 123 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [9223372039002259456,9223372039002259456]
 124 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 125 ; SSE41-NEXT:    pxor %xmm3, %xmm4
 126 ; SSE41-NEXT:    movdqa %xmm0, %xmm5
 127 ; SSE41-NEXT:    pxor %xmm3, %xmm5
 128 ; SSE41-NEXT:    movdqa %xmm5, %xmm0
 129 ; SSE41-NEXT:    pcmpeqd %xmm4, %xmm0
 130 ; SSE41-NEXT:    pcmpgtd %xmm4, %xmm5
 131 ; SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm5[0,0,2,2]
 132 ; SSE41-NEXT:    pand %xmm4, %xmm0
 133 ; SSE41-NEXT:    por %xmm5, %xmm0
 134 ; SSE41-NEXT:    blendvpd %xmm0, %xmm2, %xmm1
 135 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
 136 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 137 ; SSE41-NEXT:    pxor %xmm3, %xmm4
 138 ; SSE41-NEXT:    pxor %xmm2, %xmm3
 139 ; SSE41-NEXT:    movdqa %xmm4, %xmm5
 140 ; SSE41-NEXT:    pcmpeqd %xmm3, %xmm5
 141 ; SSE41-NEXT:    pcmpgtd %xmm3, %xmm4
 142 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[0,0,2,2]
 143 ; SSE41-NEXT:    pand %xmm5, %xmm0
 144 ; SSE41-NEXT:    por %xmm4, %xmm0
 145 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm2
 146 ; SSE41-NEXT:    movq %xmm2, %rax
 147 ; SSE41-NEXT:    retq
 148 ;
 149 ; AVX1-LABEL: test_v4i64:
 150 ; AVX1:       # %bb.0:
 151 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 152 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
 153 ; AVX1-NEXT:    vpxor %xmm2, %xmm1, %xmm3
 154 ; AVX1-NEXT:    vpxor %xmm2, %xmm0, %xmm4
 155 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm4, %xmm3
 156 ; AVX1-NEXT:    vblendvpd %xmm3, %xmm0, %xmm1, %xmm0
 157 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 158 ; AVX1-NEXT:    vxorpd %xmm2, %xmm0, %xmm3
 159 ; AVX1-NEXT:    vxorpd %xmm2, %xmm1, %xmm2
 160 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 161 ; AVX1-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 162 ; AVX1-NEXT:    vmovq %xmm0, %rax
 163 ; AVX1-NEXT:    vzeroupper
 164 ; AVX1-NEXT:    retq
 165 ;
 166 ; AVX2-LABEL: test_v4i64:
 167 ; AVX2:       # %bb.0:
 168 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 169 ; AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
 170 ; AVX2-NEXT:    vpxor %xmm2, %xmm1, %xmm3
 171 ; AVX2-NEXT:    vpxor %xmm2, %xmm0, %xmm4
 172 ; AVX2-NEXT:    vpcmpgtq %xmm3, %xmm4, %xmm3
 173 ; AVX2-NEXT:    vblendvpd %xmm3, %xmm0, %xmm1, %xmm0
 174 ; AVX2-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 175 ; AVX2-NEXT:    vxorpd %xmm2, %xmm0, %xmm3
 176 ; AVX2-NEXT:    vxorpd %xmm2, %xmm1, %xmm2
 177 ; AVX2-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 178 ; AVX2-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 179 ; AVX2-NEXT:    vmovq %xmm0, %rax
 180 ; AVX2-NEXT:    vzeroupper
 181 ; AVX2-NEXT:    retq
 182 ;
 183 ; AVX512BW-LABEL: test_v4i64:
 184 ; AVX512BW:       # %bb.0:
 185 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
 186 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
 187 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 188 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 189 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 190 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
 191 ; AVX512BW-NEXT:    vzeroupper
 192 ; AVX512BW-NEXT:    retq
 193 ;
 194 ; AVX512VL-LABEL: test_v4i64:
 195 ; AVX512VL:       # %bb.0:
 196 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
 197 ; AVX512VL-NEXT:    vpmaxuq %xmm1, %xmm0, %xmm0
 198 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 199 ; AVX512VL-NEXT:    vpmaxuq %xmm1, %xmm0, %xmm0
 200 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
 201 ; AVX512VL-NEXT:    vzeroupper
 202 ; AVX512VL-NEXT:    retq
 203   %1 = call i64 @llvm.experimental.vector.reduce.umax.v4i64(<4 x i64> %a0)
 204   ret i64 %1
 205 }
 206
 207 define i64 @test_v8i64(<8 x i64> %a0) {
 208 ; SSE2-LABEL: test_v8i64:
 209 ; SSE2:       # %bb.0:
 210 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [9223372039002259456,9223372039002259456]
 211 ; SSE2-NEXT:    movdqa %xmm2, %xmm5
 212 ; SSE2-NEXT:    pxor %xmm4, %xmm5
 213 ; SSE2-NEXT:    movdqa %xmm0, %xmm6
 214 ; SSE2-NEXT:    pxor %xmm4, %xmm6
 215 ; SSE2-NEXT:    movdqa %xmm6, %xmm7
 216 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm7
 217 ; SSE2-NEXT:    pshufd {{.*#+}} xmm8 = xmm7[0,0,2,2]
 218 ; SSE2-NEXT:    pcmpeqd %xmm5, %xmm6
 219 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
 220 ; SSE2-NEXT:    pand %xmm8, %xmm6
 221 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm7[1,1,3,3]
 222 ; SSE2-NEXT:    por %xmm6, %xmm5
 223 ; SSE2-NEXT:    pand %xmm5, %xmm0
 224 ; SSE2-NEXT:    pandn %xmm2, %xmm5
 225 ; SSE2-NEXT:    por %xmm0, %xmm5
 226 ; SSE2-NEXT:    movdqa %xmm3, %xmm0
 227 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 228 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 229 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 230 ; SSE2-NEXT:    movdqa %xmm2, %xmm6
 231 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm6
 232 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm6[0,0,2,2]
 233 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
 234 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,3,3]
 235 ; SSE2-NEXT:    pand %xmm7, %xmm0
 236 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm6[1,1,3,3]
 237 ; SSE2-NEXT:    por %xmm0, %xmm2
 238 ; SSE2-NEXT:    pand %xmm2, %xmm1
 239 ; SSE2-NEXT:    pandn %xmm3, %xmm2
 240 ; SSE2-NEXT:    por %xmm1, %xmm2
 241 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
 242 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 243 ; SSE2-NEXT:    movdqa %xmm5, %xmm1
 244 ; SSE2-NEXT:    pxor %xmm4, %xmm1
 245 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 246 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm3
 247 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm3[0,0,2,2]
 248 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
 249 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
 250 ; SSE2-NEXT:    pand %xmm6, %xmm0
 251 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
 252 ; SSE2-NEXT:    por %xmm0, %xmm1
 253 ; SSE2-NEXT:    pand %xmm1, %xmm5
 254 ; SSE2-NEXT:    pandn %xmm2, %xmm1
 255 ; SSE2-NEXT:    por %xmm5, %xmm1
 256 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
 257 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 258 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 259 ; SSE2-NEXT:    pxor %xmm0, %xmm4
 260 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 261 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm3
 262 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm3[0,0,2,2]
 263 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm4
 264 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,1,3,3]
 265 ; SSE2-NEXT:    pand %xmm5, %xmm2
 266 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
 267 ; SSE2-NEXT:    por %xmm2, %xmm3
 268 ; SSE2-NEXT:    pand %xmm3, %xmm1
 269 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 270 ; SSE2-NEXT:    por %xmm1, %xmm3
 271 ; SSE2-NEXT:    movq %xmm3, %rax
 272 ; SSE2-NEXT:    retq
 273 ;
 274 ; SSE41-LABEL: test_v8i64:
 275 ; SSE41:       # %bb.0:
 276 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 277 ; SSE41-NEXT:    movdqa {{.*#+}} xmm5 = [9223372039002259456,9223372039002259456]
 278 ; SSE41-NEXT:    movdqa %xmm2, %xmm6
 279 ; SSE41-NEXT:    pxor %xmm5, %xmm6
 280 ; SSE41-NEXT:    movdqa %xmm0, %xmm7
 281 ; SSE41-NEXT:    pxor %xmm5, %xmm7
 282 ; SSE41-NEXT:    movdqa %xmm7, %xmm0
 283 ; SSE41-NEXT:    pcmpeqd %xmm6, %xmm0
 284 ; SSE41-NEXT:    pcmpgtd %xmm6, %xmm7
 285 ; SSE41-NEXT:    pshufd {{.*#+}} xmm6 = xmm7[0,0,2,2]
 286 ; SSE41-NEXT:    pand %xmm6, %xmm0
 287 ; SSE41-NEXT:    por %xmm7, %xmm0
 288 ; SSE41-NEXT:    blendvpd %xmm0, %xmm4, %xmm2
 289 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 290 ; SSE41-NEXT:    pxor %xmm5, %xmm0
 291 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 292 ; SSE41-NEXT:    pxor %xmm5, %xmm4
 293 ; SSE41-NEXT:    movdqa %xmm4, %xmm6
 294 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm6
 295 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm4
 296 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[0,0,2,2]
 297 ; SSE41-NEXT:    pand %xmm6, %xmm0
 298 ; SSE41-NEXT:    por %xmm4, %xmm0
 299 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm3
 300 ; SSE41-NEXT:    movapd %xmm3, %xmm0
 301 ; SSE41-NEXT:    xorpd %xmm5, %xmm0
 302 ; SSE41-NEXT:    movapd %xmm2, %xmm1
 303 ; SSE41-NEXT:    xorpd %xmm5, %xmm1
 304 ; SSE41-NEXT:    movapd %xmm1, %xmm4
 305 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm4
 306 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm1
 307 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,0,2,2]
 308 ; SSE41-NEXT:    pand %xmm4, %xmm0
 309 ; SSE41-NEXT:    por %xmm1, %xmm0
 310 ; SSE41-NEXT:    blendvpd %xmm0, %xmm2, %xmm3
 311 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[2,3,0,1]
 312 ; SSE41-NEXT:    movdqa %xmm3, %xmm2
 313 ; SSE41-NEXT:    pxor %xmm5, %xmm2
 314 ; SSE41-NEXT:    pxor %xmm1, %xmm5
 315 ; SSE41-NEXT:    movdqa %xmm2, %xmm4
 316 ; SSE41-NEXT:    pcmpeqd %xmm5, %xmm4
 317 ; SSE41-NEXT:    pcmpgtd %xmm5, %xmm2
 318 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[0,0,2,2]
 319 ; SSE41-NEXT:    pand %xmm4, %xmm0
 320 ; SSE41-NEXT:    por %xmm2, %xmm0
 321 ; SSE41-NEXT:    blendvpd %xmm0, %xmm3, %xmm1
 322 ; SSE41-NEXT:    movq %xmm1, %rax
 323 ; SSE41-NEXT:    retq
 324 ;
 325 ; AVX1-LABEL: test_v8i64:
 326 ; AVX1:       # %bb.0:
 327 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
 328 ; AVX1-NEXT:    vpxor %xmm2, %xmm1, %xmm3
 329 ; AVX1-NEXT:    vpxor %xmm2, %xmm0, %xmm4
 330 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm4, %xmm3
 331 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
 332 ; AVX1-NEXT:    vpxor %xmm2, %xmm4, %xmm5
 333 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm6
 334 ; AVX1-NEXT:    vpxor %xmm2, %xmm6, %xmm7
 335 ; AVX1-NEXT:    vpcmpgtq %xmm5, %xmm7, %xmm5
 336 ; AVX1-NEXT:    vblendvpd %xmm5, %xmm6, %xmm4, %xmm4
 337 ; AVX1-NEXT:    vxorpd %xmm2, %xmm4, %xmm5
 338 ; AVX1-NEXT:    vblendvpd %xmm3, %xmm0, %xmm1, %xmm0
 339 ; AVX1-NEXT:    vxorpd %xmm2, %xmm0, %xmm1
 340 ; AVX1-NEXT:    vpcmpgtq %xmm5, %xmm1, %xmm1
 341 ; AVX1-NEXT:    vblendvpd %xmm1, %xmm0, %xmm4, %xmm0
 342 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 343 ; AVX1-NEXT:    vxorpd %xmm2, %xmm0, %xmm3
 344 ; AVX1-NEXT:    vxorpd %xmm2, %xmm1, %xmm2
 345 ; AVX1-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 346 ; AVX1-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 347 ; AVX1-NEXT:    vmovq %xmm0, %rax
 348 ; AVX1-NEXT:    vzeroupper
 349 ; AVX1-NEXT:    retq
 350 ;
 351 ; AVX2-LABEL: test_v8i64:
 352 ; AVX2:       # %bb.0:
 353 ; AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
 354 ; AVX2-NEXT:    vpxor %ymm2, %ymm1, %ymm3
 355 ; AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm4
 356 ; AVX2-NEXT:    vpcmpgtq %ymm3, %ymm4, %ymm3
 357 ; AVX2-NEXT:    vblendvpd %ymm3, %ymm0, %ymm1, %ymm0
 358 ; AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
 359 ; AVX2-NEXT:    vxorpd %xmm2, %xmm1, %xmm3
 360 ; AVX2-NEXT:    vxorpd %xmm2, %xmm0, %xmm4
 361 ; AVX2-NEXT:    vpcmpgtq %xmm3, %xmm4, %xmm3
 362 ; AVX2-NEXT:    vblendvpd %xmm3, %xmm0, %xmm1, %xmm0
 363 ; AVX2-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 364 ; AVX2-NEXT:    vxorpd %xmm2, %xmm0, %xmm3
 365 ; AVX2-NEXT:    vxorpd %xmm2, %xmm1, %xmm2
 366 ; AVX2-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 367 ; AVX2-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 368 ; AVX2-NEXT:    vmovq %xmm0, %rax
 369 ; AVX2-NEXT:    vzeroupper
 370 ; AVX2-NEXT:    retq
 371 ;
 372 ; AVX512BW-LABEL: test_v8i64:
 373 ; AVX512BW:       # %bb.0:
 374 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 375 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 376 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
 377 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 378 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 379 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 380 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
 381 ; AVX512BW-NEXT:    vzeroupper
 382 ; AVX512BW-NEXT:    retq
 383 ;
 384 ; AVX512VL-LABEL: test_v8i64:
 385 ; AVX512VL:       # %bb.0:
 386 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 387 ; AVX512VL-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 388 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
 389 ; AVX512VL-NEXT:    vpmaxuq %xmm1, %xmm0, %xmm0
 390 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 391 ; AVX512VL-NEXT:    vpmaxuq %xmm1, %xmm0, %xmm0
 392 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
 393 ; AVX512VL-NEXT:    vzeroupper
 394 ; AVX512VL-NEXT:    retq
 395   %1 = call i64 @llvm.experimental.vector.reduce.umax.v8i64(<8 x i64> %a0)
 396   ret i64 %1
 397 }
 398
 399 define i64 @test_v16i64(<16 x i64> %a0) {
 400 ; SSE2-LABEL: test_v16i64:
 401 ; SSE2:       # %bb.0:
 402 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [9223372039002259456,9223372039002259456]
 403 ; SSE2-NEXT:    movdqa %xmm5, %xmm9
 404 ; SSE2-NEXT:    pxor %xmm8, %xmm9
 405 ; SSE2-NEXT:    movdqa %xmm1, %xmm10
 406 ; SSE2-NEXT:    pxor %xmm8, %xmm10
 407 ; SSE2-NEXT:    movdqa %xmm10, %xmm11
 408 ; SSE2-NEXT:    pcmpgtd %xmm9, %xmm11
 409 ; SSE2-NEXT:    pshufd {{.*#+}} xmm12 = xmm11[0,0,2,2]
 410 ; SSE2-NEXT:    pcmpeqd %xmm9, %xmm10
 411 ; SSE2-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
 412 ; SSE2-NEXT:    pand %xmm12, %xmm10
 413 ; SSE2-NEXT:    pshufd {{.*#+}} xmm9 = xmm11[1,1,3,3]
 414 ; SSE2-NEXT:    por %xmm10, %xmm9
 415 ; SSE2-NEXT:    pand %xmm9, %xmm1
 416 ; SSE2-NEXT:    pandn %xmm5, %xmm9
 417 ; SSE2-NEXT:    por %xmm1, %xmm9
 418 ; SSE2-NEXT:    movdqa %xmm7, %xmm1
 419 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 420 ; SSE2-NEXT:    movdqa %xmm3, %xmm5
 421 ; SSE2-NEXT:    pxor %xmm8, %xmm5
 422 ; SSE2-NEXT:    movdqa %xmm5, %xmm10
 423 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm10
 424 ; SSE2-NEXT:    pshufd {{.*#+}} xmm11 = xmm10[0,0,2,2]
 425 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm5
 426 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
 427 ; SSE2-NEXT:    pand %xmm11, %xmm5
 428 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm10[1,1,3,3]
 429 ; SSE2-NEXT:    por %xmm5, %xmm1
 430 ; SSE2-NEXT:    pand %xmm1, %xmm3
 431 ; SSE2-NEXT:    pandn %xmm7, %xmm1
 432 ; SSE2-NEXT:    por %xmm3, %xmm1
 433 ; SSE2-NEXT:    movdqa %xmm4, %xmm3
 434 ; SSE2-NEXT:    pxor %xmm8, %xmm3
 435 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
 436 ; SSE2-NEXT:    pxor %xmm8, %xmm5
 437 ; SSE2-NEXT:    movdqa %xmm5, %xmm7
 438 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm7
 439 ; SSE2-NEXT:    pshufd {{.*#+}} xmm10 = xmm7[0,0,2,2]
 440 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm5
 441 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
 442 ; SSE2-NEXT:    pand %xmm10, %xmm5
 443 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm7[1,1,3,3]
 444 ; SSE2-NEXT:    por %xmm5, %xmm3
 445 ; SSE2-NEXT:    pand %xmm3, %xmm0
 446 ; SSE2-NEXT:    pandn %xmm4, %xmm3
 447 ; SSE2-NEXT:    por %xmm0, %xmm3
 448 ; SSE2-NEXT:    movdqa %xmm6, %xmm0
 449 ; SSE2-NEXT:    pxor %xmm8, %xmm0
 450 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 451 ; SSE2-NEXT:    pxor %xmm8, %xmm4
 452 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
 453 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm5
 454 ; SSE2-NEXT:    pshufd {{.*#+}} xmm7 = xmm5[0,0,2,2]
 455 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm4
 456 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[1,1,3,3]
 457 ; SSE2-NEXT:    pand %xmm7, %xmm0
 458 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm5[1,1,3,3]
 459 ; SSE2-NEXT:    por %xmm0, %xmm4
 460 ; SSE2-NEXT:    pand %xmm4, %xmm2
 461 ; SSE2-NEXT:    pandn %xmm6, %xmm4
 462 ; SSE2-NEXT:    por %xmm2, %xmm4
 463 ; SSE2-NEXT:    movdqa %xmm4, %xmm0
 464 ; SSE2-NEXT:    pxor %xmm8, %xmm0
 465 ; SSE2-NEXT:    movdqa %xmm3, %xmm2
 466 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 467 ; SSE2-NEXT:    movdqa %xmm2, %xmm5
 468 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm5
 469 ; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm5[0,0,2,2]
 470 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
 471 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 472 ; SSE2-NEXT:    pand %xmm6, %xmm2
 473 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm5[1,1,3,3]
 474 ; SSE2-NEXT:    por %xmm2, %xmm0
 475 ; SSE2-NEXT:    pand %xmm0, %xmm3
 476 ; SSE2-NEXT:    pandn %xmm4, %xmm0
 477 ; SSE2-NEXT:    por %xmm3, %xmm0
 478 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 479 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 480 ; SSE2-NEXT:    movdqa %xmm9, %xmm3
 481 ; SSE2-NEXT:    pxor %xmm8, %xmm3
 482 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
 483 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm4
 484 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
 485 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm3
 486 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
 487 ; SSE2-NEXT:    pand %xmm5, %xmm2
 488 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,1,3,3]
 489 ; SSE2-NEXT:    por %xmm2, %xmm3
 490 ; SSE2-NEXT:    pand %xmm3, %xmm9
 491 ; SSE2-NEXT:    pandn %xmm1, %xmm3
 492 ; SSE2-NEXT:    por %xmm9, %xmm3
 493 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
 494 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 495 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 496 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 497 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 498 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm4
 499 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[0,0,2,2]
 500 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm2
 501 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
 502 ; SSE2-NEXT:    pand %xmm5, %xmm1
 503 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,1,3,3]
 504 ; SSE2-NEXT:    por %xmm1, %xmm2
 505 ; SSE2-NEXT:    pand %xmm2, %xmm0
 506 ; SSE2-NEXT:    pandn %xmm3, %xmm2
 507 ; SSE2-NEXT:    por %xmm0, %xmm2
 508 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
 509 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 510 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 511 ; SSE2-NEXT:    pxor %xmm0, %xmm8
 512 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 513 ; SSE2-NEXT:    pcmpgtd %xmm8, %xmm3
 514 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[0,0,2,2]
 515 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm8
 516 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm8[1,1,3,3]
 517 ; SSE2-NEXT:    pand %xmm4, %xmm1
 518 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
 519 ; SSE2-NEXT:    por %xmm1, %xmm3
 520 ; SSE2-NEXT:    pand %xmm3, %xmm2
 521 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 522 ; SSE2-NEXT:    por %xmm2, %xmm3
 523 ; SSE2-NEXT:    movq %xmm3, %rax
 524 ; SSE2-NEXT:    retq
 525 ;
 526 ; SSE41-LABEL: test_v16i64:
 527 ; SSE41:       # %bb.0:
 528 ; SSE41-NEXT:    movdqa %xmm0, %xmm8
 529 ; SSE41-NEXT:    movdqa {{.*#+}} xmm9 = [9223372039002259456,9223372039002259456]
 530 ; SSE41-NEXT:    movdqa %xmm5, %xmm0
 531 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 532 ; SSE41-NEXT:    movdqa %xmm1, %xmm10
 533 ; SSE41-NEXT:    pxor %xmm9, %xmm10
 534 ; SSE41-NEXT:    movdqa %xmm10, %xmm11
 535 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm11
 536 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm10
 537 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm10[0,0,2,2]
 538 ; SSE41-NEXT:    pand %xmm11, %xmm0
 539 ; SSE41-NEXT:    por %xmm10, %xmm0
 540 ; SSE41-NEXT:    blendvpd %xmm0, %xmm1, %xmm5
 541 ; SSE41-NEXT:    movdqa %xmm7, %xmm0
 542 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 543 ; SSE41-NEXT:    movdqa %xmm3, %xmm1
 544 ; SSE41-NEXT:    pxor %xmm9, %xmm1
 545 ; SSE41-NEXT:    movdqa %xmm1, %xmm10
 546 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm10
 547 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm1
 548 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,0,2,2]
 549 ; SSE41-NEXT:    pand %xmm10, %xmm0
 550 ; SSE41-NEXT:    por %xmm1, %xmm0
 551 ; SSE41-NEXT:    blendvpd %xmm0, %xmm3, %xmm7
 552 ; SSE41-NEXT:    movdqa %xmm4, %xmm1
 553 ; SSE41-NEXT:    pxor %xmm9, %xmm1
 554 ; SSE41-NEXT:    movdqa %xmm8, %xmm3
 555 ; SSE41-NEXT:    pxor %xmm9, %xmm3
 556 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 557 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 558 ; SSE41-NEXT:    pcmpgtd %xmm1, %xmm3
 559 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,0,2,2]
 560 ; SSE41-NEXT:    pand %xmm1, %xmm0
 561 ; SSE41-NEXT:    por %xmm3, %xmm0
 562 ; SSE41-NEXT:    blendvpd %xmm0, %xmm8, %xmm4
 563 ; SSE41-NEXT:    movdqa %xmm6, %xmm0
 564 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 565 ; SSE41-NEXT:    movdqa %xmm2, %xmm1
 566 ; SSE41-NEXT:    pxor %xmm9, %xmm1
 567 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 568 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm3
 569 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm1
 570 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,0,2,2]
 571 ; SSE41-NEXT:    pand %xmm3, %xmm0
 572 ; SSE41-NEXT:    por %xmm1, %xmm0
 573 ; SSE41-NEXT:    blendvpd %xmm0, %xmm2, %xmm6
 574 ; SSE41-NEXT:    movapd %xmm6, %xmm0
 575 ; SSE41-NEXT:    xorpd %xmm9, %xmm0
 576 ; SSE41-NEXT:    movapd %xmm4, %xmm1
 577 ; SSE41-NEXT:    xorpd %xmm9, %xmm1
 578 ; SSE41-NEXT:    movapd %xmm1, %xmm2
 579 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm2
 580 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm1
 581 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,0,2,2]
 582 ; SSE41-NEXT:    pand %xmm2, %xmm0
 583 ; SSE41-NEXT:    por %xmm1, %xmm0
 584 ; SSE41-NEXT:    blendvpd %xmm0, %xmm4, %xmm6
 585 ; SSE41-NEXT:    movapd %xmm7, %xmm0
 586 ; SSE41-NEXT:    xorpd %xmm9, %xmm0
 587 ; SSE41-NEXT:    movapd %xmm5, %xmm1
 588 ; SSE41-NEXT:    xorpd %xmm9, %xmm1
 589 ; SSE41-NEXT:    movapd %xmm1, %xmm2
 590 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm2
 591 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm1
 592 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,0,2,2]
 593 ; SSE41-NEXT:    pand %xmm2, %xmm0
 594 ; SSE41-NEXT:    por %xmm1, %xmm0
 595 ; SSE41-NEXT:    blendvpd %xmm0, %xmm5, %xmm7
 596 ; SSE41-NEXT:    movapd %xmm7, %xmm0
 597 ; SSE41-NEXT:    xorpd %xmm9, %xmm0
 598 ; SSE41-NEXT:    movapd %xmm6, %xmm1
 599 ; SSE41-NEXT:    xorpd %xmm9, %xmm1
 600 ; SSE41-NEXT:    movapd %xmm1, %xmm2
 601 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm2
 602 ; SSE41-NEXT:    pcmpgtd %xmm0, %xmm1
 603 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,0,2,2]
 604 ; SSE41-NEXT:    pand %xmm2, %xmm0
 605 ; SSE41-NEXT:    por %xmm1, %xmm0
 606 ; SSE41-NEXT:    blendvpd %xmm0, %xmm6, %xmm7
 607 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm7[2,3,0,1]
 608 ; SSE41-NEXT:    movdqa %xmm7, %xmm2
 609 ; SSE41-NEXT:    pxor %xmm9, %xmm2
 610 ; SSE41-NEXT:    pxor %xmm1, %xmm9
 611 ; SSE41-NEXT:    movdqa %xmm2, %xmm3
 612 ; SSE41-NEXT:    pcmpeqd %xmm9, %xmm3
 613 ; SSE41-NEXT:    pcmpgtd %xmm9, %xmm2
 614 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[0,0,2,2]
 615 ; SSE41-NEXT:    pand %xmm3, %xmm0
 616 ; SSE41-NEXT:    por %xmm2, %xmm0
 617 ; SSE41-NEXT:    blendvpd %xmm0, %xmm7, %xmm1
 618 ; SSE41-NEXT:    movq %xmm1, %rax
 619 ; SSE41-NEXT:    retq
 620 ;
 621 ; AVX1-LABEL: test_v16i64:
 622 ; AVX1:       # %bb.0:
 623 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm8
 624 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [9223372036854775808,9223372036854775808]
 625 ; AVX1-NEXT:    vpxor %xmm4, %xmm8, %xmm6
 626 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm10
 627 ; AVX1-NEXT:    vpxor %xmm4, %xmm10, %xmm5
 628 ; AVX1-NEXT:    vpcmpgtq %xmm6, %xmm5, %xmm9
 629 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm11
 630 ; AVX1-NEXT:    vpxor %xmm4, %xmm11, %xmm5
 631 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm7
 632 ; AVX1-NEXT:    vpxor %xmm4, %xmm7, %xmm6
 633 ; AVX1-NEXT:    vpcmpgtq %xmm5, %xmm6, %xmm12
 634 ; AVX1-NEXT:    vpxor %xmm4, %xmm2, %xmm6
 635 ; AVX1-NEXT:    vpxor %xmm4, %xmm0, %xmm5
 636 ; AVX1-NEXT:    vpcmpgtq %xmm6, %xmm5, %xmm13
 637 ; AVX1-NEXT:    vpxor %xmm4, %xmm3, %xmm6
 638 ; AVX1-NEXT:    vpxor %xmm4, %xmm1, %xmm5
 639 ; AVX1-NEXT:    vpcmpgtq %xmm6, %xmm5, %xmm5
 640 ; AVX1-NEXT:    vblendvpd %xmm5, %xmm1, %xmm3, %xmm1
 641 ; AVX1-NEXT:    vxorpd %xmm4, %xmm1, %xmm3
 642 ; AVX1-NEXT:    vblendvpd %xmm13, %xmm0, %xmm2, %xmm0
 643 ; AVX1-NEXT:    vxorpd %xmm4, %xmm0, %xmm2
 644 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm2, %xmm2
 645 ; AVX1-NEXT:    vblendvpd %xmm12, %xmm7, %xmm11, %xmm3
 646 ; AVX1-NEXT:    vxorpd %xmm4, %xmm3, %xmm5
 647 ; AVX1-NEXT:    vblendvpd %xmm9, %xmm10, %xmm8, %xmm6
 648 ; AVX1-NEXT:    vxorpd %xmm4, %xmm6, %xmm7
 649 ; AVX1-NEXT:    vpcmpgtq %xmm5, %xmm7, %xmm5
 650 ; AVX1-NEXT:    vblendvpd %xmm5, %xmm6, %xmm3, %xmm3
 651 ; AVX1-NEXT:    vxorpd %xmm4, %xmm3, %xmm5
 652 ; AVX1-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 653 ; AVX1-NEXT:    vxorpd %xmm4, %xmm0, %xmm1
 654 ; AVX1-NEXT:    vpcmpgtq %xmm5, %xmm1, %xmm1
 655 ; AVX1-NEXT:    vblendvpd %xmm1, %xmm0, %xmm3, %xmm0
 656 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 657 ; AVX1-NEXT:    vxorpd %xmm4, %xmm0, %xmm2
 658 ; AVX1-NEXT:    vxorpd %xmm4, %xmm1, %xmm3
 659 ; AVX1-NEXT:    vpcmpgtq %xmm3, %xmm2, %xmm2
 660 ; AVX1-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 661 ; AVX1-NEXT:    vmovq %xmm0, %rax
 662 ; AVX1-NEXT:    vzeroupper
 663 ; AVX1-NEXT:    retq
 664 ;
 665 ; AVX2-LABEL: test_v16i64:
 666 ; AVX2:       # %bb.0:
 667 ; AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm4 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
 668 ; AVX2-NEXT:    vpxor %ymm4, %ymm2, %ymm5
 669 ; AVX2-NEXT:    vpxor %ymm4, %ymm0, %ymm6
 670 ; AVX2-NEXT:    vpcmpgtq %ymm5, %ymm6, %ymm5
 671 ; AVX2-NEXT:    vblendvpd %ymm5, %ymm0, %ymm2, %ymm0
 672 ; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm2
 673 ; AVX2-NEXT:    vpxor %ymm4, %ymm1, %ymm5
 674 ; AVX2-NEXT:    vpcmpgtq %ymm2, %ymm5, %ymm2
 675 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm1, %ymm3, %ymm1
 676 ; AVX2-NEXT:    vxorpd %ymm4, %ymm1, %ymm2
 677 ; AVX2-NEXT:    vxorpd %ymm4, %ymm0, %ymm3
 678 ; AVX2-NEXT:    vpcmpgtq %ymm2, %ymm3, %ymm2
 679 ; AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
 680 ; AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
 681 ; AVX2-NEXT:    vxorpd %xmm4, %xmm1, %xmm2
 682 ; AVX2-NEXT:    vxorpd %xmm4, %xmm0, %xmm3
 683 ; AVX2-NEXT:    vpcmpgtq %xmm2, %xmm3, %xmm2
 684 ; AVX2-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 685 ; AVX2-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[2,3,0,1]
 686 ; AVX2-NEXT:    vxorpd %xmm4, %xmm0, %xmm2
 687 ; AVX2-NEXT:    vxorpd %xmm4, %xmm1, %xmm3
 688 ; AVX2-NEXT:    vpcmpgtq %xmm3, %xmm2, %xmm2
 689 ; AVX2-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 690 ; AVX2-NEXT:    vmovq %xmm0, %rax
 691 ; AVX2-NEXT:    vzeroupper
 692 ; AVX2-NEXT:    retq
 693 ;
 694 ; AVX512BW-LABEL: test_v16i64:
 695 ; AVX512BW:       # %bb.0:
 696 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 697 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 698 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 699 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
 700 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 701 ; AVX512BW-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 702 ; AVX512BW-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 703 ; AVX512BW-NEXT:    vmovq %xmm0, %rax
 704 ; AVX512BW-NEXT:    vzeroupper
 705 ; AVX512BW-NEXT:    retq
 706 ;
 707 ; AVX512VL-LABEL: test_v16i64:
 708 ; AVX512VL:       # %bb.0:
 709 ; AVX512VL-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 710 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 711 ; AVX512VL-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm0
 712 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
 713 ; AVX512VL-NEXT:    vpmaxuq %xmm1, %xmm0, %xmm0
 714 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 715 ; AVX512VL-NEXT:    vpmaxuq %xmm1, %xmm0, %xmm0
 716 ; AVX512VL-NEXT:    vmovq %xmm0, %rax
 717 ; AVX512VL-NEXT:    vzeroupper
 718 ; AVX512VL-NEXT:    retq
 719   %1 = call i64 @llvm.experimental.vector.reduce.umax.v16i64(<16 x i64> %a0)
 720   ret i64 %1
 721 }
 722
 723 ;
 724 ; vXi32
 725 ;
 726
 727 define i32 @test_v2i32(<2 x i32> %a0) {
 728 ; SSE2-LABEL: test_v2i32:
 729 ; SSE2:       # %bb.0:
 730 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 731 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 732 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 733 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 734 ; SSE2-NEXT:    pxor %xmm1, %xmm2
 735 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm3
 736 ; SSE2-NEXT:    pand %xmm3, %xmm0
 737 ; SSE2-NEXT:    pandn %xmm1, %xmm3
 738 ; SSE2-NEXT:    por %xmm0, %xmm3
 739 ; SSE2-NEXT:    movd %xmm3, %eax
 740 ; SSE2-NEXT:    retq
 741 ;
 742 ; SSE41-LABEL: test_v2i32:
 743 ; SSE41:       # %bb.0:
 744 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 745 ; SSE41-NEXT:    pmaxud %xmm0, %xmm1
 746 ; SSE41-NEXT:    movd %xmm1, %eax
 747 ; SSE41-NEXT:    retq
 748 ;
 749 ; AVX-LABEL: test_v2i32:
 750 ; AVX:       # %bb.0:
 751 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 752 ; AVX-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 753 ; AVX-NEXT:    vmovd %xmm0, %eax
 754 ; AVX-NEXT:    retq
 755 ;
 756 ; AVX512-LABEL: test_v2i32:
 757 ; AVX512:       # %bb.0:
 758 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 759 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 760 ; AVX512-NEXT:    vmovd %xmm0, %eax
 761 ; AVX512-NEXT:    retq
 762   %1 = call i32 @llvm.experimental.vector.reduce.umax.v2i32(<2 x i32> %a0)
 763   ret i32 %1
 764 }
 765
 766 define i32 @test_v4i32(<4 x i32> %a0) {
 767 ; SSE2-LABEL: test_v4i32:
 768 ; SSE2:       # %bb.0:
 769 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 770 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 771 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 772 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 773 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 774 ; SSE2-NEXT:    pxor %xmm2, %xmm4
 775 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm3
 776 ; SSE2-NEXT:    pand %xmm3, %xmm0
 777 ; SSE2-NEXT:    pandn %xmm1, %xmm3
 778 ; SSE2-NEXT:    por %xmm0, %xmm3
 779 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[1,1,2,3]
 780 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
 781 ; SSE2-NEXT:    pxor %xmm2, %xmm1
 782 ; SSE2-NEXT:    pxor %xmm0, %xmm2
 783 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm1
 784 ; SSE2-NEXT:    pand %xmm1, %xmm3
 785 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 786 ; SSE2-NEXT:    por %xmm3, %xmm1
 787 ; SSE2-NEXT:    movd %xmm1, %eax
 788 ; SSE2-NEXT:    retq
 789 ;
 790 ; SSE41-LABEL: test_v4i32:
 791 ; SSE41:       # %bb.0:
 792 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 793 ; SSE41-NEXT:    pmaxud %xmm0, %xmm1
 794 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 795 ; SSE41-NEXT:    pmaxud %xmm1, %xmm0
 796 ; SSE41-NEXT:    movd %xmm0, %eax
 797 ; SSE41-NEXT:    retq
 798 ;
 799 ; AVX-LABEL: test_v4i32:
 800 ; AVX:       # %bb.0:
 801 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 802 ; AVX-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 803 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 804 ; AVX-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 805 ; AVX-NEXT:    vmovd %xmm0, %eax
 806 ; AVX-NEXT:    retq
 807 ;
 808 ; AVX512-LABEL: test_v4i32:
 809 ; AVX512:       # %bb.0:
 810 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 811 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 812 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 813 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 814 ; AVX512-NEXT:    vmovd %xmm0, %eax
 815 ; AVX512-NEXT:    retq
 816   %1 = call i32 @llvm.experimental.vector.reduce.umax.v4i32(<4 x i32> %a0)
 817   ret i32 %1
 818 }
 819
 820 define i32 @test_v8i32(<8 x i32> %a0) {
 821 ; SSE2-LABEL: test_v8i32:
 822 ; SSE2:       # %bb.0:
 823 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 824 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 825 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 826 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
 827 ; SSE2-NEXT:    pxor %xmm2, %xmm4
 828 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm4
 829 ; SSE2-NEXT:    pand %xmm4, %xmm0
 830 ; SSE2-NEXT:    pandn %xmm1, %xmm4
 831 ; SSE2-NEXT:    por %xmm0, %xmm4
 832 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[2,3,0,1]
 833 ; SSE2-NEXT:    movdqa %xmm4, %xmm1
 834 ; SSE2-NEXT:    pxor %xmm2, %xmm1
 835 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 836 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 837 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm1
 838 ; SSE2-NEXT:    pand %xmm1, %xmm4
 839 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 840 ; SSE2-NEXT:    por %xmm4, %xmm1
 841 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 842 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 843 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 844 ; SSE2-NEXT:    pxor %xmm0, %xmm2
 845 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm3
 846 ; SSE2-NEXT:    pand %xmm3, %xmm1
 847 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 848 ; SSE2-NEXT:    por %xmm1, %xmm3
 849 ; SSE2-NEXT:    movd %xmm3, %eax
 850 ; SSE2-NEXT:    retq
 851 ;
 852 ; SSE41-LABEL: test_v8i32:
 853 ; SSE41:       # %bb.0:
 854 ; SSE41-NEXT:    pmaxud %xmm1, %xmm0
 855 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 856 ; SSE41-NEXT:    pmaxud %xmm0, %xmm1
 857 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
 858 ; SSE41-NEXT:    pmaxud %xmm1, %xmm0
 859 ; SSE41-NEXT:    movd %xmm0, %eax
 860 ; SSE41-NEXT:    retq
 861 ;
 862 ; AVX1-LABEL: test_v8i32:
 863 ; AVX1:       # %bb.0:
 864 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 865 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 866 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 867 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 868 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 869 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 870 ; AVX1-NEXT:    vmovd %xmm0, %eax
 871 ; AVX1-NEXT:    vzeroupper
 872 ; AVX1-NEXT:    retq
 873 ;
 874 ; AVX2-LABEL: test_v8i32:
 875 ; AVX2:       # %bb.0:
 876 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 877 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 878 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 879 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 880 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 881 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 882 ; AVX2-NEXT:    vmovd %xmm0, %eax
 883 ; AVX2-NEXT:    vzeroupper
 884 ; AVX2-NEXT:    retq
 885 ;
 886 ; AVX512-LABEL: test_v8i32:
 887 ; AVX512:       # %bb.0:
 888 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
 889 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 890 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 891 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 892 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 893 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 894 ; AVX512-NEXT:    vmovd %xmm0, %eax
 895 ; AVX512-NEXT:    vzeroupper
 896 ; AVX512-NEXT:    retq
 897   %1 = call i32 @llvm.experimental.vector.reduce.umax.v8i32(<8 x i32> %a0)
 898   ret i32 %1
 899 }
 900
 901 define i32 @test_v16i32(<16 x i32> %a0) {
 902 ; SSE2-LABEL: test_v16i32:
 903 ; SSE2:       # %bb.0:
 904 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648,2147483648,2147483648]
 905 ; SSE2-NEXT:    movdqa %xmm2, %xmm6
 906 ; SSE2-NEXT:    pxor %xmm4, %xmm6
 907 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
 908 ; SSE2-NEXT:    pxor %xmm4, %xmm5
 909 ; SSE2-NEXT:    pcmpgtd %xmm6, %xmm5
 910 ; SSE2-NEXT:    pand %xmm5, %xmm0
 911 ; SSE2-NEXT:    pandn %xmm2, %xmm5
 912 ; SSE2-NEXT:    por %xmm0, %xmm5
 913 ; SSE2-NEXT:    movdqa %xmm3, %xmm0
 914 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 915 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 916 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 917 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm2
 918 ; SSE2-NEXT:    pand %xmm2, %xmm1
 919 ; SSE2-NEXT:    pandn %xmm3, %xmm2
 920 ; SSE2-NEXT:    por %xmm1, %xmm2
 921 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
 922 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 923 ; SSE2-NEXT:    movdqa %xmm5, %xmm1
 924 ; SSE2-NEXT:    pxor %xmm4, %xmm1
 925 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm1
 926 ; SSE2-NEXT:    pand %xmm1, %xmm5
 927 ; SSE2-NEXT:    pandn %xmm2, %xmm1
 928 ; SSE2-NEXT:    por %xmm5, %xmm1
 929 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
 930 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 931 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 932 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 933 ; SSE2-NEXT:    pxor %xmm4, %xmm3
 934 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm2
 935 ; SSE2-NEXT:    pand %xmm2, %xmm1
 936 ; SSE2-NEXT:    pandn %xmm0, %xmm2
 937 ; SSE2-NEXT:    por %xmm1, %xmm2
 938 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,1,2,3]
 939 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 940 ; SSE2-NEXT:    pxor %xmm4, %xmm1
 941 ; SSE2-NEXT:    pxor %xmm0, %xmm4
 942 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm1
 943 ; SSE2-NEXT:    pand %xmm1, %xmm2
 944 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 945 ; SSE2-NEXT:    por %xmm2, %xmm1
 946 ; SSE2-NEXT:    movd %xmm1, %eax
 947 ; SSE2-NEXT:    retq
 948 ;
 949 ; SSE41-LABEL: test_v16i32:
 950 ; SSE41:       # %bb.0:
 951 ; SSE41-NEXT:    pmaxud %xmm3, %xmm1
 952 ; SSE41-NEXT:    pmaxud %xmm2, %xmm1
 953 ; SSE41-NEXT:    pmaxud %xmm0, %xmm1
 954 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
 955 ; SSE41-NEXT:    pmaxud %xmm1, %xmm0
 956 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 957 ; SSE41-NEXT:    pmaxud %xmm0, %xmm1
 958 ; SSE41-NEXT:    movd %xmm1, %eax
 959 ; SSE41-NEXT:    retq
 960 ;
 961 ; AVX1-LABEL: test_v16i32:
 962 ; AVX1:       # %bb.0:
 963 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 964 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 965 ; AVX1-NEXT:    vpmaxud %xmm2, %xmm3, %xmm2
 966 ; AVX1-NEXT:    vpmaxud %xmm2, %xmm1, %xmm1
 967 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 968 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 969 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 970 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 971 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 972 ; AVX1-NEXT:    vmovd %xmm0, %eax
 973 ; AVX1-NEXT:    vzeroupper
 974 ; AVX1-NEXT:    retq
 975 ;
 976 ; AVX2-LABEL: test_v16i32:
 977 ; AVX2:       # %bb.0:
 978 ; AVX2-NEXT:    vpmaxud %ymm1, %ymm0, %ymm0
 979 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 980 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 981 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 982 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 983 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 984 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 985 ; AVX2-NEXT:    vmovd %xmm0, %eax
 986 ; AVX2-NEXT:    vzeroupper
 987 ; AVX2-NEXT:    retq
 988 ;
 989 ; AVX512-LABEL: test_v16i32:
 990 ; AVX512:       # %bb.0:
 991 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 992 ; AVX512-NEXT:    vpmaxud %zmm1, %zmm0, %zmm0
 993 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
 994 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 995 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 996 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 997 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
 998 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
 999 ; AVX512-NEXT:    vmovd %xmm0, %eax
1000 ; AVX512-NEXT:    vzeroupper
1001 ; AVX512-NEXT:    retq
1002   %1 = call i32 @llvm.experimental.vector.reduce.umax.v16i32(<16 x i32> %a0)
1003   ret i32 %1
1004 }
1005
1006 define i32 @test_v32i32(<32 x i32> %a0) {
1007 ; SSE2-LABEL: test_v32i32:
1008 ; SSE2:       # %bb.0:
1009 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2147483648,2147483648,2147483648,2147483648]
1010 ; SSE2-NEXT:    movdqa %xmm5, %xmm10
1011 ; SSE2-NEXT:    pxor %xmm8, %xmm10
1012 ; SSE2-NEXT:    movdqa %xmm1, %xmm9
1013 ; SSE2-NEXT:    pxor %xmm8, %xmm9
1014 ; SSE2-NEXT:    pcmpgtd %xmm10, %xmm9
1015 ; SSE2-NEXT:    pand %xmm9, %xmm1
1016 ; SSE2-NEXT:    pandn %xmm5, %xmm9
1017 ; SSE2-NEXT:    por %xmm1, %xmm9
1018 ; SSE2-NEXT:    movdqa %xmm7, %xmm5
1019 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1020 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
1021 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1022 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm1
1023 ; SSE2-NEXT:    pand %xmm1, %xmm3
1024 ; SSE2-NEXT:    pandn %xmm7, %xmm1
1025 ; SSE2-NEXT:    por %xmm3, %xmm1
1026 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
1027 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1028 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
1029 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1030 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm3
1031 ; SSE2-NEXT:    pand %xmm3, %xmm0
1032 ; SSE2-NEXT:    pandn %xmm4, %xmm3
1033 ; SSE2-NEXT:    por %xmm0, %xmm3
1034 ; SSE2-NEXT:    movdqa %xmm6, %xmm0
1035 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1036 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
1037 ; SSE2-NEXT:    pxor %xmm8, %xmm4
1038 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm4
1039 ; SSE2-NEXT:    pand %xmm4, %xmm2
1040 ; SSE2-NEXT:    pandn %xmm6, %xmm4
1041 ; SSE2-NEXT:    por %xmm2, %xmm4
1042 ; SSE2-NEXT:    movdqa %xmm4, %xmm2
1043 ; SSE2-NEXT:    pxor %xmm8, %xmm2
1044 ; SSE2-NEXT:    movdqa %xmm3, %xmm0
1045 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1046 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm0
1047 ; SSE2-NEXT:    pand %xmm0, %xmm3
1048 ; SSE2-NEXT:    pandn %xmm4, %xmm0
1049 ; SSE2-NEXT:    por %xmm3, %xmm0
1050 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1051 ; SSE2-NEXT:    pxor %xmm8, %xmm2
1052 ; SSE2-NEXT:    movdqa %xmm9, %xmm3
1053 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1054 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm3
1055 ; SSE2-NEXT:    pand %xmm3, %xmm9
1056 ; SSE2-NEXT:    pandn %xmm1, %xmm3
1057 ; SSE2-NEXT:    por %xmm9, %xmm3
1058 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
1059 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1060 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1061 ; SSE2-NEXT:    pxor %xmm8, %xmm2
1062 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm2
1063 ; SSE2-NEXT:    pand %xmm2, %xmm0
1064 ; SSE2-NEXT:    pandn %xmm3, %xmm2
1065 ; SSE2-NEXT:    por %xmm0, %xmm2
1066 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
1067 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
1068 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1069 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
1070 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1071 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm1
1072 ; SSE2-NEXT:    pand %xmm1, %xmm2
1073 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1074 ; SSE2-NEXT:    por %xmm2, %xmm1
1075 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1076 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
1077 ; SSE2-NEXT:    pxor %xmm8, %xmm2
1078 ; SSE2-NEXT:    pxor %xmm0, %xmm8
1079 ; SSE2-NEXT:    pcmpgtd %xmm8, %xmm2
1080 ; SSE2-NEXT:    pand %xmm2, %xmm1
1081 ; SSE2-NEXT:    pandn %xmm0, %xmm2
1082 ; SSE2-NEXT:    por %xmm1, %xmm2
1083 ; SSE2-NEXT:    movd %xmm2, %eax
1084 ; SSE2-NEXT:    retq
1085 ;
1086 ; SSE41-LABEL: test_v32i32:
1087 ; SSE41:       # %bb.0:
1088 ; SSE41-NEXT:    pmaxud %xmm6, %xmm2
1089 ; SSE41-NEXT:    pmaxud %xmm7, %xmm3
1090 ; SSE41-NEXT:    pmaxud %xmm5, %xmm3
1091 ; SSE41-NEXT:    pmaxud %xmm1, %xmm3
1092 ; SSE41-NEXT:    pmaxud %xmm4, %xmm2
1093 ; SSE41-NEXT:    pmaxud %xmm3, %xmm2
1094 ; SSE41-NEXT:    pmaxud %xmm0, %xmm2
1095 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
1096 ; SSE41-NEXT:    pmaxud %xmm2, %xmm0
1097 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1098 ; SSE41-NEXT:    pmaxud %xmm0, %xmm1
1099 ; SSE41-NEXT:    movd %xmm1, %eax
1100 ; SSE41-NEXT:    retq
1101 ;
1102 ; AVX1-LABEL: test_v32i32:
1103 ; AVX1:       # %bb.0:
1104 ; AVX1-NEXT:    vpmaxud %xmm3, %xmm1, %xmm4
1105 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm3
1106 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm1
1107 ; AVX1-NEXT:    vpmaxud %xmm3, %xmm1, %xmm1
1108 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm3
1109 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm3, %xmm1
1110 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
1111 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm3, %xmm1
1112 ; AVX1-NEXT:    vpmaxud %xmm4, %xmm2, %xmm2
1113 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm2, %xmm1
1114 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1115 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1116 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1117 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1118 ; AVX1-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1119 ; AVX1-NEXT:    vmovd %xmm0, %eax
1120 ; AVX1-NEXT:    vzeroupper
1121 ; AVX1-NEXT:    retq
1122 ;
1123 ; AVX2-LABEL: test_v32i32:
1124 ; AVX2:       # %bb.0:
1125 ; AVX2-NEXT:    vpmaxud %ymm3, %ymm1, %ymm1
1126 ; AVX2-NEXT:    vpmaxud %ymm1, %ymm2, %ymm1
1127 ; AVX2-NEXT:    vpmaxud %ymm1, %ymm0, %ymm0
1128 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1129 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1130 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1131 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1132 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1133 ; AVX2-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1134 ; AVX2-NEXT:    vmovd %xmm0, %eax
1135 ; AVX2-NEXT:    vzeroupper
1136 ; AVX2-NEXT:    retq
1137 ;
1138 ; AVX512-LABEL: test_v32i32:
1139 ; AVX512:       # %bb.0:
1140 ; AVX512-NEXT:    vpmaxud %zmm1, %zmm0, %zmm0
1141 ; AVX512-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1142 ; AVX512-NEXT:    vpmaxud %zmm1, %zmm0, %zmm0
1143 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
1144 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1145 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1146 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1147 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1148 ; AVX512-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
1149 ; AVX512-NEXT:    vmovd %xmm0, %eax
1150 ; AVX512-NEXT:    vzeroupper
1151 ; AVX512-NEXT:    retq
1152   %1 = call i32 @llvm.experimental.vector.reduce.umax.v32i32(<32 x i32> %a0)
1153   ret i32 %1
1154 }
1155
1156 ;
1157 ; vXi16
1158 ;
1159
1160 define i16 @test_v2i16(<2 x i16> %a0) {
1161 ; SSE2-LABEL: test_v2i16:
1162 ; SSE2:       # %bb.0:
1163 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1164 ; SSE2-NEXT:    psrld $16, %xmm1
1165 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [32768,32768,32768,32768,32768,32768,32768,32768]
1166 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1167 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1168 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1169 ; SSE2-NEXT:    movd %xmm1, %eax
1170 ; SSE2-NEXT:    xorl $32768, %eax # imm = 0x8000
1171 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1172 ; SSE2-NEXT:    retq
1173 ;
1174 ; SSE41-LABEL: test_v2i16:
1175 ; SSE41:       # %bb.0:
1176 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1177 ; SSE41-NEXT:    psrld $16, %xmm1
1178 ; SSE41-NEXT:    pmaxuw %xmm0, %xmm1
1179 ; SSE41-NEXT:    movd %xmm1, %eax
1180 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1181 ; SSE41-NEXT:    retq
1182 ;
1183 ; AVX-LABEL: test_v2i16:
1184 ; AVX:       # %bb.0:
1185 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1186 ; AVX-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1187 ; AVX-NEXT:    vmovd %xmm0, %eax
1188 ; AVX-NEXT:    # kill: def $ax killed $ax killed $eax
1189 ; AVX-NEXT:    retq
1190 ;
1191 ; AVX512-LABEL: test_v2i16:
1192 ; AVX512:       # %bb.0:
1193 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1194 ; AVX512-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1195 ; AVX512-NEXT:    vmovd %xmm0, %eax
1196 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1197 ; AVX512-NEXT:    retq
1198   %1 = call i16 @llvm.experimental.vector.reduce.umax.v2i16(<2 x i16> %a0)
1199   ret i16 %1
1200 }
1201
1202 define i16 @test_v4i16(<4 x i16> %a0) {
1203 ; SSE2-LABEL: test_v4i16:
1204 ; SSE2:       # %bb.0:
1205 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1206 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [32768,32768,32768,32768,32768,32768,32768,32768]
1207 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1208 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1209 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1210 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1211 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1212 ; SSE2-NEXT:    psrld $16, %xmm0
1213 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1214 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1215 ; SSE2-NEXT:    movd %xmm0, %eax
1216 ; SSE2-NEXT:    xorl $32768, %eax # imm = 0x8000
1217 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1218 ; SSE2-NEXT:    retq
1219 ;
1220 ; SSE41-LABEL: test_v4i16:
1221 ; SSE41:       # %bb.0:
1222 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1223 ; SSE41-NEXT:    pmaxuw %xmm0, %xmm1
1224 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1225 ; SSE41-NEXT:    psrld $16, %xmm0
1226 ; SSE41-NEXT:    pmaxuw %xmm1, %xmm0
1227 ; SSE41-NEXT:    movd %xmm0, %eax
1228 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1229 ; SSE41-NEXT:    retq
1230 ;
1231 ; AVX-LABEL: test_v4i16:
1232 ; AVX:       # %bb.0:
1233 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1234 ; AVX-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1235 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1236 ; AVX-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1237 ; AVX-NEXT:    vmovd %xmm0, %eax
1238 ; AVX-NEXT:    # kill: def $ax killed $ax killed $eax
1239 ; AVX-NEXT:    retq
1240 ;
1241 ; AVX512-LABEL: test_v4i16:
1242 ; AVX512:       # %bb.0:
1243 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1244 ; AVX512-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1245 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1246 ; AVX512-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1247 ; AVX512-NEXT:    vmovd %xmm0, %eax
1248 ; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
1249 ; AVX512-NEXT:    retq
1250   %1 = call i16 @llvm.experimental.vector.reduce.umax.v4i16(<4 x i16> %a0)
1251   ret i16 %1
1252 }
1253
1254 define i16 @test_v8i16(<8 x i16> %a0) {
1255 ; SSE2-LABEL: test_v8i16:
1256 ; SSE2:       # %bb.0:
1257 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1258 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [32768,32768,32768,32768,32768,32768,32768,32768]
1259 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1260 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1261 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1262 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1263 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1264 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,1,2,3]
1265 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1266 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1267 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1268 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1269 ; SSE2-NEXT:    psrld $16, %xmm1
1270 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1271 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1272 ; SSE2-NEXT:    movd %xmm1, %eax
1273 ; SSE2-NEXT:    xorl $32768, %eax # imm = 0x8000
1274 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1275 ; SSE2-NEXT:    retq
1276 ;
1277 ; SSE41-LABEL: test_v8i16:
1278 ; SSE41:       # %bb.0:
1279 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
1280 ; SSE41-NEXT:    pxor %xmm0, %xmm1
1281 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
1282 ; SSE41-NEXT:    movd %xmm0, %eax
1283 ; SSE41-NEXT:    notl %eax
1284 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1285 ; SSE41-NEXT:    retq
1286 ;
1287 ; AVX-LABEL: test_v8i16:
1288 ; AVX:       # %bb.0:
1289 ; AVX-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1290 ; AVX-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1291 ; AVX-NEXT:    vphminposuw %xmm0, %xmm0
1292 ; AVX-NEXT:    vmovd %xmm0, %eax
1293 ; AVX-NEXT:    notl %eax
1294 ; AVX-NEXT:    # kill: def $ax killed $ax killed $eax
1295 ; AVX-NEXT:    retq
1296 ;
1297 ; AVX512BW-LABEL: test_v8i16:
1298 ; AVX512BW:       # %bb.0:
1299 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1300 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
1301 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
1302 ; AVX512BW-NEXT:    vmovd %xmm0, %eax
1303 ; AVX512BW-NEXT:    notl %eax
1304 ; AVX512BW-NEXT:    # kill: def $ax killed $ax killed $eax
1305 ; AVX512BW-NEXT:    vzeroupper
1306 ; AVX512BW-NEXT:    retq
1307 ;
1308 ; AVX512VL-LABEL: test_v8i16:
1309 ; AVX512VL:       # %bb.0:
1310 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
1311 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
1312 ; AVX512VL-NEXT:    vmovd %xmm0, %eax
1313 ; AVX512VL-NEXT:    notl %eax
1314 ; AVX512VL-NEXT:    # kill: def $ax killed $ax killed $eax
1315 ; AVX512VL-NEXT:    retq
1316   %1 = call i16 @llvm.experimental.vector.reduce.umax.v8i16(<8 x i16> %a0)
1317   ret i16 %1
1318 }
1319
1320 define i16 @test_v16i16(<16 x i16> %a0) {
1321 ; SSE2-LABEL: test_v16i16:
1322 ; SSE2:       # %bb.0:
1323 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [32768,32768,32768,32768,32768,32768,32768,32768]
1324 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1325 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1326 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1327 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1328 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1329 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1330 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1331 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1332 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1333 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1334 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,1,2,3]
1335 ; SSE2-NEXT:    pxor %xmm2, %xmm0
1336 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1337 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1338 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1339 ; SSE2-NEXT:    psrld $16, %xmm1
1340 ; SSE2-NEXT:    pxor %xmm2, %xmm1
1341 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1342 ; SSE2-NEXT:    movd %xmm1, %eax
1343 ; SSE2-NEXT:    xorl $32768, %eax # imm = 0x8000
1344 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1345 ; SSE2-NEXT:    retq
1346 ;
1347 ; SSE41-LABEL: test_v16i16:
1348 ; SSE41:       # %bb.0:
1349 ; SSE41-NEXT:    pmaxuw %xmm1, %xmm0
1350 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
1351 ; SSE41-NEXT:    pxor %xmm0, %xmm1
1352 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
1353 ; SSE41-NEXT:    movd %xmm0, %eax
1354 ; SSE41-NEXT:    notl %eax
1355 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1356 ; SSE41-NEXT:    retq
1357 ;
1358 ; AVX1-LABEL: test_v16i16:
1359 ; AVX1:       # %bb.0:
1360 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1361 ; AVX1-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1362 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1363 ; AVX1-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1364 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1365 ; AVX1-NEXT:    vmovd %xmm0, %eax
1366 ; AVX1-NEXT:    notl %eax
1367 ; AVX1-NEXT:    # kill: def $ax killed $ax killed $eax
1368 ; AVX1-NEXT:    vzeroupper
1369 ; AVX1-NEXT:    retq
1370 ;
1371 ; AVX2-LABEL: test_v16i16:
1372 ; AVX2:       # %bb.0:
1373 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1374 ; AVX2-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1375 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1376 ; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1377 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1378 ; AVX2-NEXT:    vmovd %xmm0, %eax
1379 ; AVX2-NEXT:    notl %eax
1380 ; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
1381 ; AVX2-NEXT:    vzeroupper
1382 ; AVX2-NEXT:    retq
1383 ;
1384 ; AVX512BW-LABEL: test_v16i16:
1385 ; AVX512BW:       # %bb.0:
1386 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
1387 ; AVX512BW-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1388 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
1389 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
1390 ; AVX512BW-NEXT:    vmovd %xmm0, %eax
1391 ; AVX512BW-NEXT:    notl %eax
1392 ; AVX512BW-NEXT:    # kill: def $ax killed $ax killed $eax
1393 ; AVX512BW-NEXT:    vzeroupper
1394 ; AVX512BW-NEXT:    retq
1395 ;
1396 ; AVX512VL-LABEL: test_v16i16:
1397 ; AVX512VL:       # %bb.0:
1398 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
1399 ; AVX512VL-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1400 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
1401 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
1402 ; AVX512VL-NEXT:    vmovd %xmm0, %eax
1403 ; AVX512VL-NEXT:    notl %eax
1404 ; AVX512VL-NEXT:    # kill: def $ax killed $ax killed $eax
1405 ; AVX512VL-NEXT:    vzeroupper
1406 ; AVX512VL-NEXT:    retq
1407   %1 = call i16 @llvm.experimental.vector.reduce.umax.v16i16(<16 x i16> %a0)
1408   ret i16 %1
1409 }
1410
1411 define i16 @test_v32i16(<32 x i16> %a0) {
1412 ; SSE2-LABEL: test_v32i16:
1413 ; SSE2:       # %bb.0:
1414 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [32768,32768,32768,32768,32768,32768,32768,32768]
1415 ; SSE2-NEXT:    pxor %xmm4, %xmm3
1416 ; SSE2-NEXT:    pxor %xmm4, %xmm1
1417 ; SSE2-NEXT:    pmaxsw %xmm3, %xmm1
1418 ; SSE2-NEXT:    pxor %xmm4, %xmm2
1419 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm2
1420 ; SSE2-NEXT:    pxor %xmm4, %xmm0
1421 ; SSE2-NEXT:    pmaxsw %xmm2, %xmm0
1422 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1423 ; SSE2-NEXT:    pxor %xmm4, %xmm1
1424 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1425 ; SSE2-NEXT:    pxor %xmm4, %xmm1
1426 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1427 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1428 ; SSE2-NEXT:    pxor %xmm4, %xmm0
1429 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,1,2,3]
1430 ; SSE2-NEXT:    pxor %xmm4, %xmm0
1431 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1432 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1433 ; SSE2-NEXT:    pxor %xmm4, %xmm1
1434 ; SSE2-NEXT:    psrld $16, %xmm1
1435 ; SSE2-NEXT:    pxor %xmm4, %xmm1
1436 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1437 ; SSE2-NEXT:    movd %xmm1, %eax
1438 ; SSE2-NEXT:    xorl $32768, %eax # imm = 0x8000
1439 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1440 ; SSE2-NEXT:    retq
1441 ;
1442 ; SSE41-LABEL: test_v32i16:
1443 ; SSE41:       # %bb.0:
1444 ; SSE41-NEXT:    pmaxuw %xmm3, %xmm1
1445 ; SSE41-NEXT:    pmaxuw %xmm2, %xmm1
1446 ; SSE41-NEXT:    pmaxuw %xmm0, %xmm1
1447 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm0
1448 ; SSE41-NEXT:    pxor %xmm1, %xmm0
1449 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1450 ; SSE41-NEXT:    movd %xmm0, %eax
1451 ; SSE41-NEXT:    notl %eax
1452 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1453 ; SSE41-NEXT:    retq
1454 ;
1455 ; AVX1-LABEL: test_v32i16:
1456 ; AVX1:       # %bb.0:
1457 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
1458 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
1459 ; AVX1-NEXT:    vpmaxuw %xmm2, %xmm3, %xmm2
1460 ; AVX1-NEXT:    vpmaxuw %xmm2, %xmm1, %xmm1
1461 ; AVX1-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1462 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1463 ; AVX1-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1464 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1465 ; AVX1-NEXT:    vmovd %xmm0, %eax
1466 ; AVX1-NEXT:    notl %eax
1467 ; AVX1-NEXT:    # kill: def $ax killed $ax killed $eax
1468 ; AVX1-NEXT:    vzeroupper
1469 ; AVX1-NEXT:    retq
1470 ;
1471 ; AVX2-LABEL: test_v32i16:
1472 ; AVX2:       # %bb.0:
1473 ; AVX2-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0
1474 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1475 ; AVX2-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1476 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1477 ; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1478 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1479 ; AVX2-NEXT:    vmovd %xmm0, %eax
1480 ; AVX2-NEXT:    notl %eax
1481 ; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
1482 ; AVX2-NEXT:    vzeroupper
1483 ; AVX2-NEXT:    retq
1484 ;
1485 ; AVX512BW-LABEL: test_v32i16:
1486 ; AVX512BW:       # %bb.0:
1487 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1488 ; AVX512BW-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0
1489 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
1490 ; AVX512BW-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1491 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
1492 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
1493 ; AVX512BW-NEXT:    vmovd %xmm0, %eax
1494 ; AVX512BW-NEXT:    notl %eax
1495 ; AVX512BW-NEXT:    # kill: def $ax killed $ax killed $eax
1496 ; AVX512BW-NEXT:    vzeroupper
1497 ; AVX512BW-NEXT:    retq
1498 ;
1499 ; AVX512VL-LABEL: test_v32i16:
1500 ; AVX512VL:       # %bb.0:
1501 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1502 ; AVX512VL-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0
1503 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
1504 ; AVX512VL-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1505 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
1506 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
1507 ; AVX512VL-NEXT:    vmovd %xmm0, %eax
1508 ; AVX512VL-NEXT:    notl %eax
1509 ; AVX512VL-NEXT:    # kill: def $ax killed $ax killed $eax
1510 ; AVX512VL-NEXT:    vzeroupper
1511 ; AVX512VL-NEXT:    retq
1512   %1 = call i16 @llvm.experimental.vector.reduce.umax.v32i16(<32 x i16> %a0)
1513   ret i16 %1
1514 }
1515
1516 define i16 @test_v64i16(<64 x i16> %a0) {
1517 ; SSE2-LABEL: test_v64i16:
1518 ; SSE2:       # %bb.0:
1519 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [32768,32768,32768,32768,32768,32768,32768,32768]
1520 ; SSE2-NEXT:    pxor %xmm8, %xmm6
1521 ; SSE2-NEXT:    pxor %xmm8, %xmm2
1522 ; SSE2-NEXT:    pmaxsw %xmm6, %xmm2
1523 ; SSE2-NEXT:    pxor %xmm8, %xmm4
1524 ; SSE2-NEXT:    pmaxsw %xmm2, %xmm4
1525 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1526 ; SSE2-NEXT:    pxor %xmm8, %xmm7
1527 ; SSE2-NEXT:    pxor %xmm8, %xmm3
1528 ; SSE2-NEXT:    pmaxsw %xmm7, %xmm3
1529 ; SSE2-NEXT:    pxor %xmm8, %xmm5
1530 ; SSE2-NEXT:    pmaxsw %xmm3, %xmm5
1531 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1532 ; SSE2-NEXT:    pmaxsw %xmm5, %xmm1
1533 ; SSE2-NEXT:    pmaxsw %xmm4, %xmm1
1534 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1535 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1536 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1537 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
1538 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1539 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1540 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1541 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1542 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,2,3]
1543 ; SSE2-NEXT:    pxor %xmm8, %xmm1
1544 ; SSE2-NEXT:    pmaxsw %xmm0, %xmm1
1545 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1546 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1547 ; SSE2-NEXT:    psrld $16, %xmm0
1548 ; SSE2-NEXT:    pxor %xmm8, %xmm0
1549 ; SSE2-NEXT:    pmaxsw %xmm1, %xmm0
1550 ; SSE2-NEXT:    movd %xmm0, %eax
1551 ; SSE2-NEXT:    xorl $32768, %eax # imm = 0x8000
1552 ; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
1553 ; SSE2-NEXT:    retq
1554 ;
1555 ; SSE41-LABEL: test_v64i16:
1556 ; SSE41:       # %bb.0:
1557 ; SSE41-NEXT:    pmaxuw %xmm7, %xmm3
1558 ; SSE41-NEXT:    pmaxuw %xmm5, %xmm3
1559 ; SSE41-NEXT:    pmaxuw %xmm1, %xmm3
1560 ; SSE41-NEXT:    pmaxuw %xmm6, %xmm2
1561 ; SSE41-NEXT:    pmaxuw %xmm4, %xmm2
1562 ; SSE41-NEXT:    pmaxuw %xmm3, %xmm2
1563 ; SSE41-NEXT:    pmaxuw %xmm0, %xmm2
1564 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm0
1565 ; SSE41-NEXT:    pxor %xmm2, %xmm0
1566 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1567 ; SSE41-NEXT:    movd %xmm0, %eax
1568 ; SSE41-NEXT:    notl %eax
1569 ; SSE41-NEXT:    # kill: def $ax killed $ax killed $eax
1570 ; SSE41-NEXT:    retq
1571 ;
1572 ; AVX1-LABEL: test_v64i16:
1573 ; AVX1:       # %bb.0:
1574 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
1575 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
1576 ; AVX1-NEXT:    vpmaxuw %xmm4, %xmm5, %xmm4
1577 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm5
1578 ; AVX1-NEXT:    vpmaxuw %xmm4, %xmm5, %xmm4
1579 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
1580 ; AVX1-NEXT:    vpmaxuw %xmm4, %xmm5, %xmm4
1581 ; AVX1-NEXT:    vpmaxuw %xmm3, %xmm1, %xmm1
1582 ; AVX1-NEXT:    vpmaxuw %xmm1, %xmm2, %xmm1
1583 ; AVX1-NEXT:    vpmaxuw %xmm4, %xmm1, %xmm1
1584 ; AVX1-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1585 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1586 ; AVX1-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1587 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1588 ; AVX1-NEXT:    vmovd %xmm0, %eax
1589 ; AVX1-NEXT:    notl %eax
1590 ; AVX1-NEXT:    # kill: def $ax killed $ax killed $eax
1591 ; AVX1-NEXT:    vzeroupper
1592 ; AVX1-NEXT:    retq
1593 ;
1594 ; AVX2-LABEL: test_v64i16:
1595 ; AVX2:       # %bb.0:
1596 ; AVX2-NEXT:    vpmaxuw %ymm3, %ymm1, %ymm1
1597 ; AVX2-NEXT:    vpmaxuw %ymm1, %ymm2, %ymm1
1598 ; AVX2-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0
1599 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1600 ; AVX2-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1601 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1602 ; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1603 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1604 ; AVX2-NEXT:    vmovd %xmm0, %eax
1605 ; AVX2-NEXT:    notl %eax
1606 ; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
1607 ; AVX2-NEXT:    vzeroupper
1608 ; AVX2-NEXT:    retq
1609 ;
1610 ; AVX512BW-LABEL: test_v64i16:
1611 ; AVX512BW:       # %bb.0:
1612 ; AVX512BW-NEXT:    vpmaxuw %zmm1, %zmm0, %zmm0
1613 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1614 ; AVX512BW-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0
1615 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
1616 ; AVX512BW-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1617 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
1618 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
1619 ; AVX512BW-NEXT:    vmovd %xmm0, %eax
1620 ; AVX512BW-NEXT:    notl %eax
1621 ; AVX512BW-NEXT:    # kill: def $ax killed $ax killed $eax
1622 ; AVX512BW-NEXT:    vzeroupper
1623 ; AVX512BW-NEXT:    retq
1624 ;
1625 ; AVX512VL-LABEL: test_v64i16:
1626 ; AVX512VL:       # %bb.0:
1627 ; AVX512VL-NEXT:    vpmaxuw %zmm1, %zmm0, %zmm0
1628 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1629 ; AVX512VL-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0
1630 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
1631 ; AVX512VL-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
1632 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
1633 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
1634 ; AVX512VL-NEXT:    vmovd %xmm0, %eax
1635 ; AVX512VL-NEXT:    notl %eax
1636 ; AVX512VL-NEXT:    # kill: def $ax killed $ax killed $eax
1637 ; AVX512VL-NEXT:    vzeroupper
1638 ; AVX512VL-NEXT:    retq
1639   %1 = call i16 @llvm.experimental.vector.reduce.umax.v64i16(<64 x i16> %a0)
1640   ret i16 %1
1641 }
1642
1643 ;
1644 ; vXi8
1645 ;
1646
1647 define i8 @test_v2i8(<2 x i8> %a0) {
1648 ; SSE2-LABEL: test_v2i8:
1649 ; SSE2:       # %bb.0:
1650 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1651 ; SSE2-NEXT:    psrlw $8, %xmm1
1652 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1653 ; SSE2-NEXT:    movd %xmm1, %eax
1654 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1655 ; SSE2-NEXT:    retq
1656 ;
1657 ; SSE41-LABEL: test_v2i8:
1658 ; SSE41:       # %bb.0:
1659 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1660 ; SSE41-NEXT:    psrlw $8, %xmm1
1661 ; SSE41-NEXT:    pmaxub %xmm0, %xmm1
1662 ; SSE41-NEXT:    pextrb $0, %xmm1, %eax
1663 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1664 ; SSE41-NEXT:    retq
1665 ;
1666 ; AVX-LABEL: test_v2i8:
1667 ; AVX:       # %bb.0:
1668 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1669 ; AVX-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1670 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1671 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1672 ; AVX-NEXT:    retq
1673 ;
1674 ; AVX512-LABEL: test_v2i8:
1675 ; AVX512:       # %bb.0:
1676 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1677 ; AVX512-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1678 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1679 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1680 ; AVX512-NEXT:    retq
1681   %1 = call i8 @llvm.experimental.vector.reduce.umax.v2i8(<2 x i8> %a0)
1682   ret i8 %1
1683 }
1684
1685 define i8 @test_v4i8(<4 x i8> %a0) {
1686 ; SSE2-LABEL: test_v4i8:
1687 ; SSE2:       # %bb.0:
1688 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1689 ; SSE2-NEXT:    psrld $16, %xmm1
1690 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1691 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1692 ; SSE2-NEXT:    psrlw $8, %xmm0
1693 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1694 ; SSE2-NEXT:    movd %xmm0, %eax
1695 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1696 ; SSE2-NEXT:    retq
1697 ;
1698 ; SSE41-LABEL: test_v4i8:
1699 ; SSE41:       # %bb.0:
1700 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1701 ; SSE41-NEXT:    psrld $16, %xmm1
1702 ; SSE41-NEXT:    pmaxub %xmm0, %xmm1
1703 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1704 ; SSE41-NEXT:    psrlw $8, %xmm0
1705 ; SSE41-NEXT:    pmaxub %xmm1, %xmm0
1706 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1707 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1708 ; SSE41-NEXT:    retq
1709 ;
1710 ; AVX-LABEL: test_v4i8:
1711 ; AVX:       # %bb.0:
1712 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1713 ; AVX-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1714 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1715 ; AVX-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1716 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1717 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1718 ; AVX-NEXT:    retq
1719 ;
1720 ; AVX512-LABEL: test_v4i8:
1721 ; AVX512:       # %bb.0:
1722 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1723 ; AVX512-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1724 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1725 ; AVX512-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1726 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1727 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1728 ; AVX512-NEXT:    retq
1729   %1 = call i8 @llvm.experimental.vector.reduce.umax.v4i8(<4 x i8> %a0)
1730   ret i8 %1
1731 }
1732
1733 define i8 @test_v8i8(<8 x i8> %a0) {
1734 ; SSE2-LABEL: test_v8i8:
1735 ; SSE2:       # %bb.0:
1736 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1737 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1738 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1739 ; SSE2-NEXT:    psrld $16, %xmm0
1740 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1741 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1742 ; SSE2-NEXT:    psrlw $8, %xmm1
1743 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1744 ; SSE2-NEXT:    movd %xmm1, %eax
1745 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1746 ; SSE2-NEXT:    retq
1747 ;
1748 ; SSE41-LABEL: test_v8i8:
1749 ; SSE41:       # %bb.0:
1750 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1751 ; SSE41-NEXT:    pmaxub %xmm0, %xmm1
1752 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1753 ; SSE41-NEXT:    psrld $16, %xmm0
1754 ; SSE41-NEXT:    pmaxub %xmm1, %xmm0
1755 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1756 ; SSE41-NEXT:    psrlw $8, %xmm1
1757 ; SSE41-NEXT:    pmaxub %xmm0, %xmm1
1758 ; SSE41-NEXT:    pextrb $0, %xmm1, %eax
1759 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1760 ; SSE41-NEXT:    retq
1761 ;
1762 ; AVX-LABEL: test_v8i8:
1763 ; AVX:       # %bb.0:
1764 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1765 ; AVX-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1766 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm1
1767 ; AVX-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1768 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1769 ; AVX-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1770 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1771 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1772 ; AVX-NEXT:    retq
1773 ;
1774 ; AVX512-LABEL: test_v8i8:
1775 ; AVX512:       # %bb.0:
1776 ; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1777 ; AVX512-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1778 ; AVX512-NEXT:    vpsrld $16, %xmm0, %xmm1
1779 ; AVX512-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1780 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm1
1781 ; AVX512-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1782 ; AVX512-NEXT:    vpextrb $0, %xmm0, %eax
1783 ; AVX512-NEXT:    # kill: def $al killed $al killed $eax
1784 ; AVX512-NEXT:    retq
1785   %1 = call i8 @llvm.experimental.vector.reduce.umax.v8i8(<8 x i8> %a0)
1786   ret i8 %1
1787 }
1788
1789 define i8 @test_v16i8(<16 x i8> %a0) {
1790 ; SSE2-LABEL: test_v16i8:
1791 ; SSE2:       # %bb.0:
1792 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1793 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1794 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1795 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1796 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1797 ; SSE2-NEXT:    psrld $16, %xmm1
1798 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1799 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1800 ; SSE2-NEXT:    psrlw $8, %xmm0
1801 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1802 ; SSE2-NEXT:    movd %xmm0, %eax
1803 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1804 ; SSE2-NEXT:    retq
1805 ;
1806 ; SSE41-LABEL: test_v16i8:
1807 ; SSE41:       # %bb.0:
1808 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
1809 ; SSE41-NEXT:    pxor %xmm0, %xmm1
1810 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1811 ; SSE41-NEXT:    psrlw $8, %xmm0
1812 ; SSE41-NEXT:    pminub %xmm1, %xmm0
1813 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1814 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1815 ; SSE41-NEXT:    notb %al
1816 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1817 ; SSE41-NEXT:    retq
1818 ;
1819 ; AVX-LABEL: test_v16i8:
1820 ; AVX:       # %bb.0:
1821 ; AVX-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1822 ; AVX-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1823 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm1
1824 ; AVX-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1825 ; AVX-NEXT:    vphminposuw %xmm0, %xmm0
1826 ; AVX-NEXT:    vpextrb $0, %xmm0, %eax
1827 ; AVX-NEXT:    notb %al
1828 ; AVX-NEXT:    # kill: def $al killed $al killed $eax
1829 ; AVX-NEXT:    retq
1830 ;
1831 ; AVX512BW-LABEL: test_v16i8:
1832 ; AVX512BW:       # %bb.0:
1833 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1834 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
1835 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm1
1836 ; AVX512BW-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1837 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
1838 ; AVX512BW-NEXT:    vpextrb $0, %xmm0, %eax
1839 ; AVX512BW-NEXT:    notb %al
1840 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
1841 ; AVX512BW-NEXT:    vzeroupper
1842 ; AVX512BW-NEXT:    retq
1843 ;
1844 ; AVX512VL-LABEL: test_v16i8:
1845 ; AVX512VL:       # %bb.0:
1846 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
1847 ; AVX512VL-NEXT:    vpsrlw $8, %xmm0, %xmm1
1848 ; AVX512VL-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1849 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
1850 ; AVX512VL-NEXT:    vpextrb $0, %xmm0, %eax
1851 ; AVX512VL-NEXT:    notb %al
1852 ; AVX512VL-NEXT:    # kill: def $al killed $al killed $eax
1853 ; AVX512VL-NEXT:    retq
1854   %1 = call i8 @llvm.experimental.vector.reduce.umax.v16i8(<16 x i8> %a0)
1855   ret i8 %1
1856 }
1857
1858 define i8 @test_v32i8(<32 x i8> %a0) {
1859 ; SSE2-LABEL: test_v32i8:
1860 ; SSE2:       # %bb.0:
1861 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1862 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
1863 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1864 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,2,3]
1865 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1866 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1867 ; SSE2-NEXT:    psrld $16, %xmm1
1868 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1869 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1870 ; SSE2-NEXT:    psrlw $8, %xmm0
1871 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1872 ; SSE2-NEXT:    movd %xmm0, %eax
1873 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1874 ; SSE2-NEXT:    retq
1875 ;
1876 ; SSE41-LABEL: test_v32i8:
1877 ; SSE41:       # %bb.0:
1878 ; SSE41-NEXT:    pmaxub %xmm1, %xmm0
1879 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
1880 ; SSE41-NEXT:    pxor %xmm0, %xmm1
1881 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1882 ; SSE41-NEXT:    psrlw $8, %xmm0
1883 ; SSE41-NEXT:    pminub %xmm1, %xmm0
1884 ; SSE41-NEXT:    phminposuw %xmm0, %xmm0
1885 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1886 ; SSE41-NEXT:    notb %al
1887 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1888 ; SSE41-NEXT:    retq
1889 ;
1890 ; AVX1-LABEL: test_v32i8:
1891 ; AVX1:       # %bb.0:
1892 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1893 ; AVX1-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1894 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1895 ; AVX1-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1896 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm1
1897 ; AVX1-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1898 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1899 ; AVX1-NEXT:    vpextrb $0, %xmm0, %eax
1900 ; AVX1-NEXT:    notb %al
1901 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
1902 ; AVX1-NEXT:    vzeroupper
1903 ; AVX1-NEXT:    retq
1904 ;
1905 ; AVX2-LABEL: test_v32i8:
1906 ; AVX2:       # %bb.0:
1907 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1908 ; AVX2-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1909 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1910 ; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1911 ; AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
1912 ; AVX2-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1913 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
1914 ; AVX2-NEXT:    vpextrb $0, %xmm0, %eax
1915 ; AVX2-NEXT:    notb %al
1916 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
1917 ; AVX2-NEXT:    vzeroupper
1918 ; AVX2-NEXT:    retq
1919 ;
1920 ; AVX512BW-LABEL: test_v32i8:
1921 ; AVX512BW:       # %bb.0:
1922 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
1923 ; AVX512BW-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1924 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
1925 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm1
1926 ; AVX512BW-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1927 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
1928 ; AVX512BW-NEXT:    vpextrb $0, %xmm0, %eax
1929 ; AVX512BW-NEXT:    notb %al
1930 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
1931 ; AVX512BW-NEXT:    vzeroupper
1932 ; AVX512BW-NEXT:    retq
1933 ;
1934 ; AVX512VL-LABEL: test_v32i8:
1935 ; AVX512VL:       # %bb.0:
1936 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
1937 ; AVX512VL-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1938 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
1939 ; AVX512VL-NEXT:    vpsrlw $8, %xmm0, %xmm1
1940 ; AVX512VL-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1941 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
1942 ; AVX512VL-NEXT:    vpextrb $0, %xmm0, %eax
1943 ; AVX512VL-NEXT:    notb %al
1944 ; AVX512VL-NEXT:    # kill: def $al killed $al killed $eax
1945 ; AVX512VL-NEXT:    vzeroupper
1946 ; AVX512VL-NEXT:    retq
1947   %1 = call i8 @llvm.experimental.vector.reduce.umax.v32i8(<32 x i8> %a0)
1948   ret i8 %1
1949 }
1950
1951 define i8 @test_v64i8(<64 x i8> %a0) {
1952 ; SSE2-LABEL: test_v64i8:
1953 ; SSE2:       # %bb.0:
1954 ; SSE2-NEXT:    pmaxub %xmm3, %xmm1
1955 ; SSE2-NEXT:    pmaxub %xmm2, %xmm1
1956 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1957 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
1958 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1959 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
1960 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1961 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1962 ; SSE2-NEXT:    psrld $16, %xmm0
1963 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
1964 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1965 ; SSE2-NEXT:    psrlw $8, %xmm1
1966 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
1967 ; SSE2-NEXT:    movd %xmm1, %eax
1968 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
1969 ; SSE2-NEXT:    retq
1970 ;
1971 ; SSE41-LABEL: test_v64i8:
1972 ; SSE41:       # %bb.0:
1973 ; SSE41-NEXT:    pmaxub %xmm3, %xmm1
1974 ; SSE41-NEXT:    pmaxub %xmm2, %xmm1
1975 ; SSE41-NEXT:    pmaxub %xmm0, %xmm1
1976 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm0
1977 ; SSE41-NEXT:    pxor %xmm1, %xmm0
1978 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1979 ; SSE41-NEXT:    psrlw $8, %xmm1
1980 ; SSE41-NEXT:    pminub %xmm0, %xmm1
1981 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
1982 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
1983 ; SSE41-NEXT:    notb %al
1984 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
1985 ; SSE41-NEXT:    retq
1986 ;
1987 ; AVX1-LABEL: test_v64i8:
1988 ; AVX1:       # %bb.0:
1989 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
1990 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
1991 ; AVX1-NEXT:    vpmaxub %xmm2, %xmm3, %xmm2
1992 ; AVX1-NEXT:    vpmaxub %xmm2, %xmm1, %xmm1
1993 ; AVX1-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
1994 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
1995 ; AVX1-NEXT:    vpxor %xmm1, %xmm0, %xmm0
1996 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm1
1997 ; AVX1-NEXT:    vpminub %xmm1, %xmm0, %xmm0
1998 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
1999 ; AVX1-NEXT:    vpextrb $0, %xmm0, %eax
2000 ; AVX1-NEXT:    notb %al
2001 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
2002 ; AVX1-NEXT:    vzeroupper
2003 ; AVX1-NEXT:    retq
2004 ;
2005 ; AVX2-LABEL: test_v64i8:
2006 ; AVX2:       # %bb.0:
2007 ; AVX2-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0
2008 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
2009 ; AVX2-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
2010 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
2011 ; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
2012 ; AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
2013 ; AVX2-NEXT:    vpminub %xmm1, %xmm0, %xmm0
2014 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
2015 ; AVX2-NEXT:    vpextrb $0, %xmm0, %eax
2016 ; AVX2-NEXT:    notb %al
2017 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
2018 ; AVX2-NEXT:    vzeroupper
2019 ; AVX2-NEXT:    retq
2020 ;
2021 ; AVX512BW-LABEL: test_v64i8:
2022 ; AVX512BW:       # %bb.0:
2023 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
2024 ; AVX512BW-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0
2025 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
2026 ; AVX512BW-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
2027 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
2028 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm1
2029 ; AVX512BW-NEXT:    vpminub %xmm1, %xmm0, %xmm0
2030 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
2031 ; AVX512BW-NEXT:    vpextrb $0, %xmm0, %eax
2032 ; AVX512BW-NEXT:    notb %al
2033 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
2034 ; AVX512BW-NEXT:    vzeroupper
2035 ; AVX512BW-NEXT:    retq
2036 ;
2037 ; AVX512VL-LABEL: test_v64i8:
2038 ; AVX512VL:       # %bb.0:
2039 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
2040 ; AVX512VL-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0
2041 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
2042 ; AVX512VL-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
2043 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
2044 ; AVX512VL-NEXT:    vpsrlw $8, %xmm0, %xmm1
2045 ; AVX512VL-NEXT:    vpminub %xmm1, %xmm0, %xmm0
2046 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
2047 ; AVX512VL-NEXT:    vpextrb $0, %xmm0, %eax
2048 ; AVX512VL-NEXT:    notb %al
2049 ; AVX512VL-NEXT:    # kill: def $al killed $al killed $eax
2050 ; AVX512VL-NEXT:    vzeroupper
2051 ; AVX512VL-NEXT:    retq
2052   %1 = call i8 @llvm.experimental.vector.reduce.umax.v64i8(<64 x i8> %a0)
2053   ret i8 %1
2054 }
2055
2056 define i8 @test_v128i8(<128 x i8> %a0) {
2057 ; SSE2-LABEL: test_v128i8:
2058 ; SSE2:       # %bb.0:
2059 ; SSE2-NEXT:    pmaxub %xmm6, %xmm2
2060 ; SSE2-NEXT:    pmaxub %xmm7, %xmm3
2061 ; SSE2-NEXT:    pmaxub %xmm5, %xmm3
2062 ; SSE2-NEXT:    pmaxub %xmm1, %xmm3
2063 ; SSE2-NEXT:    pmaxub %xmm4, %xmm2
2064 ; SSE2-NEXT:    pmaxub %xmm3, %xmm2
2065 ; SSE2-NEXT:    pmaxub %xmm0, %xmm2
2066 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
2067 ; SSE2-NEXT:    pmaxub %xmm2, %xmm0
2068 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,2,3]
2069 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
2070 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
2071 ; SSE2-NEXT:    psrld $16, %xmm0
2072 ; SSE2-NEXT:    pmaxub %xmm1, %xmm0
2073 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
2074 ; SSE2-NEXT:    psrlw $8, %xmm1
2075 ; SSE2-NEXT:    pmaxub %xmm0, %xmm1
2076 ; SSE2-NEXT:    movd %xmm1, %eax
2077 ; SSE2-NEXT:    # kill: def $al killed $al killed $eax
2078 ; SSE2-NEXT:    retq
2079 ;
2080 ; SSE41-LABEL: test_v128i8:
2081 ; SSE41:       # %bb.0:
2082 ; SSE41-NEXT:    pmaxub %xmm7, %xmm3
2083 ; SSE41-NEXT:    pmaxub %xmm5, %xmm3
2084 ; SSE41-NEXT:    pmaxub %xmm1, %xmm3
2085 ; SSE41-NEXT:    pmaxub %xmm6, %xmm2
2086 ; SSE41-NEXT:    pmaxub %xmm4, %xmm2
2087 ; SSE41-NEXT:    pmaxub %xmm3, %xmm2
2088 ; SSE41-NEXT:    pmaxub %xmm0, %xmm2
2089 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm0
2090 ; SSE41-NEXT:    pxor %xmm2, %xmm0
2091 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
2092 ; SSE41-NEXT:    psrlw $8, %xmm1
2093 ; SSE41-NEXT:    pminub %xmm0, %xmm1
2094 ; SSE41-NEXT:    phminposuw %xmm1, %xmm0
2095 ; SSE41-NEXT:    pextrb $0, %xmm0, %eax
2096 ; SSE41-NEXT:    notb %al
2097 ; SSE41-NEXT:    # kill: def $al killed $al killed $eax
2098 ; SSE41-NEXT:    retq
2099 ;
2100 ; AVX1-LABEL: test_v128i8:
2101 ; AVX1:       # %bb.0:
2102 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
2103 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
2104 ; AVX1-NEXT:    vpmaxub %xmm4, %xmm5, %xmm4
2105 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm5
2106 ; AVX1-NEXT:    vpmaxub %xmm4, %xmm5, %xmm4
2107 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
2108 ; AVX1-NEXT:    vpmaxub %xmm4, %xmm5, %xmm4
2109 ; AVX1-NEXT:    vpmaxub %xmm3, %xmm1, %xmm1
2110 ; AVX1-NEXT:    vpmaxub %xmm1, %xmm2, %xmm1
2111 ; AVX1-NEXT:    vpmaxub %xmm4, %xmm1, %xmm1
2112 ; AVX1-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
2113 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
2114 ; AVX1-NEXT:    vpxor %xmm1, %xmm0, %xmm0
2115 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm1
2116 ; AVX1-NEXT:    vpminub %xmm1, %xmm0, %xmm0
2117 ; AVX1-NEXT:    vphminposuw %xmm0, %xmm0
2118 ; AVX1-NEXT:    vpextrb $0, %xmm0, %eax
2119 ; AVX1-NEXT:    notb %al
2120 ; AVX1-NEXT:    # kill: def $al killed $al killed $eax
2121 ; AVX1-NEXT:    vzeroupper
2122 ; AVX1-NEXT:    retq
2123 ;
2124 ; AVX2-LABEL: test_v128i8:
2125 ; AVX2:       # %bb.0:
2126 ; AVX2-NEXT:    vpmaxub %ymm3, %ymm1, %ymm1
2127 ; AVX2-NEXT:    vpmaxub %ymm1, %ymm2, %ymm1
2128 ; AVX2-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0
2129 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
2130 ; AVX2-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
2131 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
2132 ; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
2133 ; AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
2134 ; AVX2-NEXT:    vpminub %xmm1, %xmm0, %xmm0
2135 ; AVX2-NEXT:    vphminposuw %xmm0, %xmm0
2136 ; AVX2-NEXT:    vpextrb $0, %xmm0, %eax
2137 ; AVX2-NEXT:    notb %al
2138 ; AVX2-NEXT:    # kill: def $al killed $al killed $eax
2139 ; AVX2-NEXT:    vzeroupper
2140 ; AVX2-NEXT:    retq
2141 ;
2142 ; AVX512BW-LABEL: test_v128i8:
2143 ; AVX512BW:       # %bb.0:
2144 ; AVX512BW-NEXT:    vpmaxub %zmm1, %zmm0, %zmm0
2145 ; AVX512BW-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
2146 ; AVX512BW-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0
2147 ; AVX512BW-NEXT:    vextracti128 $1, %ymm0, %xmm1
2148 ; AVX512BW-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
2149 ; AVX512BW-NEXT:    vpternlogq $15, %zmm0, %zmm0, %zmm0
2150 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm1
2151 ; AVX512BW-NEXT:    vpminub %xmm1, %xmm0, %xmm0
2152 ; AVX512BW-NEXT:    vphminposuw %xmm0, %xmm0
2153 ; AVX512BW-NEXT:    vpextrb $0, %xmm0, %eax
2154 ; AVX512BW-NEXT:    notb %al
2155 ; AVX512BW-NEXT:    # kill: def $al killed $al killed $eax
2156 ; AVX512BW-NEXT:    vzeroupper
2157 ; AVX512BW-NEXT:    retq
2158 ;
2159 ; AVX512VL-LABEL: test_v128i8:
2160 ; AVX512VL:       # %bb.0:
2161 ; AVX512VL-NEXT:    vpmaxub %zmm1, %zmm0, %zmm0
2162 ; AVX512VL-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
2163 ; AVX512VL-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0
2164 ; AVX512VL-NEXT:    vextracti128 $1, %ymm0, %xmm1
2165 ; AVX512VL-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
2166 ; AVX512VL-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
2167 ; AVX512VL-NEXT:    vpsrlw $8, %xmm0, %xmm1
2168 ; AVX512VL-NEXT:    vpminub %xmm1, %xmm0, %xmm0
2169 ; AVX512VL-NEXT:    vphminposuw %xmm0, %xmm0
2170 ; AVX512VL-NEXT:    vpextrb $0, %xmm0, %eax
2171 ; AVX512VL-NEXT:    notb %al
2172 ; AVX512VL-NEXT:    # kill: def $al killed $al killed $eax
2173 ; AVX512VL-NEXT:    vzeroupper
2174 ; AVX512VL-NEXT:    retq
2175   %1 = call i8 @llvm.experimental.vector.reduce.umax.v128i8(<128 x i8> %a0)
2176   ret i8 %1
2177 }
2178
2179 declare i64 @llvm.experimental.vector.reduce.umax.v2i64(<2 x i64>)
2180 declare i64 @llvm.experimental.vector.reduce.umax.v4i64(<4 x i64>)
2181 declare i64 @llvm.experimental.vector.reduce.umax.v8i64(<8 x i64>)
2182 declare i64 @llvm.experimental.vector.reduce.umax.v16i64(<16 x i64>)
2183
2184 declare i32 @llvm.experimental.vector.reduce.umax.v2i32(<2 x i32>)
2185 declare i32 @llvm.experimental.vector.reduce.umax.v4i32(<4 x i32>)
2186 declare i32 @llvm.experimental.vector.reduce.umax.v8i32(<8 x i32>)
2187 declare i32 @llvm.experimental.vector.reduce.umax.v16i32(<16 x i32>)
2188 declare i32 @llvm.experimental.vector.reduce.umax.v32i32(<32 x i32>)
2189
2190 declare i16 @llvm.experimental.vector.reduce.umax.v2i16(<2 x i16>)
2191 declare i16 @llvm.experimental.vector.reduce.umax.v4i16(<4 x i16>)
2192 declare i16 @llvm.experimental.vector.reduce.umax.v8i16(<8 x i16>)
2193 declare i16 @llvm.experimental.vector.reduce.umax.v16i16(<16 x i16>)
2194 declare i16 @llvm.experimental.vector.reduce.umax.v32i16(<32 x i16>)
2195 declare i16 @llvm.experimental.vector.reduce.umax.v64i16(<64 x i16>)
2196
2197 declare i8 @llvm.experimental.vector.reduce.umax.v2i8(<2 x i8>)
2198 declare i8 @llvm.experimental.vector.reduce.umax.v4i8(<4 x i8>)
2199 declare i8 @llvm.experimental.vector.reduce.umax.v8i8(<8 x i8>)
2200 declare i8 @llvm.experimental.vector.reduce.umax.v16i8(<16 x i8>)
2201 declare i8 @llvm.experimental.vector.reduce.umax.v32i8(<32 x i8>)
2202 declare i8 @llvm.experimental.vector.reduce.umax.v64i8(<64 x i8>)
2203 declare i8 @llvm.experimental.vector.reduce.umax.v128i8(<128 x i8>)