test/CodeGen/X86/urem-seteq-vec-nonsplat.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+sse2 < %s | FileCheck %s --check-prefixes=CHECK,CHECK-SSE,CHECK-SSE2
   3 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+sse4.1 < %s | FileCheck %s --check-prefixes=CHECK,CHECK-SSE,CHECK-SSE41
   4 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx < %s | FileCheck %s --check-prefixes=CHECK,CHECK-AVX,CHECK-AVX1
   5 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx2 < %s | FileCheck %s --check-prefixes=CHECK,CHECK-AVX,CHECK-AVX2
   6 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx512f,+avx512vl < %s | FileCheck %s --check-prefixes=CHECK,CHECK-AVX,CHECK-AVX512VL
   7
   8 ; At the moment, BuildUREMEqFold does not handle nonsplat vectors.
   9
  10 ; Odd+Even divisors
  11 define <4 x i32> @test_urem_odd_even(<4 x i32> %X) nounwind {
  12 ; CHECK-SSE2-LABEL: test_urem_odd_even:
  13 ; CHECK-SSE2:       # %bb.0:
  14 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
  15 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
  16 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
  17 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm0[3,3]
  18 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,1374389535,1374389535]
  19 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
  20 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
  21 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
  22 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
  23 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
  24 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
  25 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
  26 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
  27 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
  28 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
  29 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
  30 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
  31 ; CHECK-SSE2-NEXT:    psrld $3, %xmm1
  32 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm3[0],xmm1[1]
  33 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
  34 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [5,14,25,100]
  35 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
  36 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
  37 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
  38 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
  39 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
  40 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
  41 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
  42 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
  43 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
  44 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
  45 ; CHECK-SSE2-NEXT:    retq
  46 ;
  47 ; CHECK-SSE41-LABEL: test_urem_odd_even:
  48 ; CHECK-SSE41:       # %bb.0:
  49 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
  50 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
  51 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
  52 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
  53 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,1374389535,1374389535]
  54 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
  55 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
  56 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
  57 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
  58 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
  59 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
  60 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
  61 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
  62 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
  63 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
  64 ; CHECK-SSE41-NEXT:    psrld $3, %xmm1
  65 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
  66 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
  67 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
  68 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
  69 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
  70 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
  71 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
  72 ; CHECK-SSE41-NEXT:    retq
  73 ;
  74 ; CHECK-AVX1-LABEL: test_urem_odd_even:
  75 ; CHECK-AVX1:       # %bb.0:
  76 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
  77 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
  78 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
  79 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [3435973837,2454267027,1374389535,1374389535]
  80 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
  81 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
  82 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
  83 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
  84 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
  85 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
  86 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
  87 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
  88 ; CHECK-AVX1-NEXT:    vpsrld $3, %xmm1, %xmm1
  89 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
  90 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
  91 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
  92 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
  93 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
  94 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
  95 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
  96 ; CHECK-AVX1-NEXT:    retq
  97 ;
  98 ; CHECK-AVX2-LABEL: test_urem_odd_even:
  99 ; CHECK-AVX2:       # %bb.0:
 100 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,1374389535,1374389535]
 101 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 102 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 103 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 104 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 105 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 106 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 107 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 108 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 109 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 110 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 111 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 112 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 113 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 114 ; CHECK-AVX2-NEXT:    retq
 115 ;
 116 ; CHECK-AVX512VL-LABEL: test_urem_odd_even:
 117 ; CHECK-AVX512VL:       # %bb.0:
 118 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,1374389535,1374389535]
 119 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 120 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 121 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 122 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 123 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 124 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 125 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 126 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 127 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 128 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 129 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 130 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 131 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 132 ; CHECK-AVX512VL-NEXT:    retq
 133   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 25, i32 100>
 134   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 135   %ret = zext <4 x i1> %cmp to <4 x i32>
 136   ret <4 x i32> %ret
 137 }
 138
 139 ;==============================================================================;
 140
 141 ; One all-ones divisor in odd divisor
 142 define <4 x i32> @test_urem_odd_allones_eq(<4 x i32> %X) nounwind {
 143 ; CHECK-SSE2-LABEL: test_urem_odd_allones_eq:
 144 ; CHECK-SSE2:       # %bb.0:
 145 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <3435973837,u,2147483649,u>
 146 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
 147 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 148 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 149 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 150 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
 151 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 152 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 153 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 154 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 155 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 156 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 157 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 158 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 159 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 160 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 161 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 162 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 163 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 164 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 165 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 166 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 167 ; CHECK-SSE2-NEXT:    retq
 168 ;
 169 ; CHECK-SSE41-LABEL: test_urem_odd_allones_eq:
 170 ; CHECK-SSE41:       # %bb.0:
 171 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 172 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 173 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = <3435973837,u,2147483649,u>
 174 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
 175 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 176 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 177 ; CHECK-SSE41-NEXT:    movdqa %xmm2, %xmm1
 178 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 179 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 180 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 181 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 182 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 183 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 184 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 185 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 186 ; CHECK-SSE41-NEXT:    retq
 187 ;
 188 ; CHECK-AVX1-LABEL: test_urem_odd_allones_eq:
 189 ; CHECK-AVX1:       # %bb.0:
 190 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 191 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 192 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 193 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 194 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 195 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
 196 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 197 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 198 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 199 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 200 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 201 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 202 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 203 ; CHECK-AVX1-NEXT:    retq
 204 ;
 205 ; CHECK-AVX2-LABEL: test_urem_odd_allones_eq:
 206 ; CHECK-AVX2:       # %bb.0:
 207 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 208 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
 209 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
 210 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 211 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 212 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
 213 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 214 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 215 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 216 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 217 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 218 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 219 ; CHECK-AVX2-NEXT:    retq
 220 ;
 221 ; CHECK-AVX512VL-LABEL: test_urem_odd_allones_eq:
 222 ; CHECK-AVX512VL:       # %bb.0:
 223 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 224 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
 225 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
 226 ; CHECK-AVX512VL-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 227 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 228 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
 229 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 230 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 231 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 232 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 233 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 234 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 235 ; CHECK-AVX512VL-NEXT:    retq
 236   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 4294967295, i32 5>
 237   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 238   %ret = zext <4 x i1> %cmp to <4 x i32>
 239   ret <4 x i32> %ret
 240 }
 241 define <4 x i32> @test_urem_odd_allones_ne(<4 x i32> %X) nounwind {
 242 ; CHECK-SSE2-LABEL: test_urem_odd_allones_ne:
 243 ; CHECK-SSE2:       # %bb.0:
 244 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <3435973837,u,2147483649,u>
 245 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
 246 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 247 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 248 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 249 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
 250 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 251 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 252 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 253 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 254 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 255 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 256 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 257 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 258 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 259 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 260 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 261 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 262 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 263 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 264 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 265 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
 266 ; CHECK-SSE2-NEXT:    retq
 267 ;
 268 ; CHECK-SSE41-LABEL: test_urem_odd_allones_ne:
 269 ; CHECK-SSE41:       # %bb.0:
 270 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 271 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 272 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = <3435973837,u,2147483649,u>
 273 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
 274 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 275 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 276 ; CHECK-SSE41-NEXT:    movdqa %xmm2, %xmm1
 277 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 278 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 279 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 280 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 281 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 282 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 283 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 284 ; CHECK-SSE41-NEXT:    pandn {{.*}}(%rip), %xmm0
 285 ; CHECK-SSE41-NEXT:    retq
 286 ;
 287 ; CHECK-AVX1-LABEL: test_urem_odd_allones_ne:
 288 ; CHECK-AVX1:       # %bb.0:
 289 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 290 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 291 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 292 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 293 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 294 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
 295 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 296 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 297 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 298 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 299 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 300 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 301 ; CHECK-AVX1-NEXT:    vpandn {{.*}}(%rip), %xmm0, %xmm0
 302 ; CHECK-AVX1-NEXT:    retq
 303 ;
 304 ; CHECK-AVX2-LABEL: test_urem_odd_allones_ne:
 305 ; CHECK-AVX2:       # %bb.0:
 306 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 307 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
 308 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
 309 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 310 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 311 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
 312 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 313 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 314 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 315 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 316 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 317 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 318 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 319 ; CHECK-AVX2-NEXT:    retq
 320 ;
 321 ; CHECK-AVX512VL-LABEL: test_urem_odd_allones_ne:
 322 ; CHECK-AVX512VL:       # %bb.0:
 323 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 324 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
 325 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
 326 ; CHECK-AVX512VL-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 327 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 328 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
 329 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 330 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 331 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 332 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 333 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 334 ; CHECK-AVX512VL-NEXT:    vpandnd {{.*}}(%rip){1to4}, %xmm0, %xmm0
 335 ; CHECK-AVX512VL-NEXT:    retq
 336   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 4294967295, i32 5>
 337   %cmp = icmp ne <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 338   %ret = zext <4 x i1> %cmp to <4 x i32>
 339   ret <4 x i32> %ret
 340 }
 341
 342 ; One all-ones divisor in even divisor
 343 define <4 x i32> @test_urem_even_allones_eq(<4 x i32> %X) nounwind {
 344 ; CHECK-SSE2-LABEL: test_urem_even_allones_eq:
 345 ; CHECK-SSE2:       # %bb.0:
 346 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 347 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 348 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 349 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
 350 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 351 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
 352 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 353 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 354 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 355 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
 356 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 357 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 358 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 359 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 360 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 361 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 362 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 363 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 364 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 365 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 366 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 367 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 368 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 369 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 370 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 371 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 372 ; CHECK-SSE2-NEXT:    retq
 373 ;
 374 ; CHECK-SSE41-LABEL: test_urem_even_allones_eq:
 375 ; CHECK-SSE41:       # %bb.0:
 376 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 377 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 378 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 379 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 380 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 381 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 382 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 383 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 384 ; CHECK-SSE41-NEXT:    movdqa %xmm2, %xmm1
 385 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 386 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 387 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 388 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 389 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 390 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 391 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 392 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 393 ; CHECK-SSE41-NEXT:    retq
 394 ;
 395 ; CHECK-AVX1-LABEL: test_urem_even_allones_eq:
 396 ; CHECK-AVX1:       # %bb.0:
 397 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 398 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 399 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
 400 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 401 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 402 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 403 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 404 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
 405 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 406 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 407 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 408 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 409 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 410 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 411 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 412 ; CHECK-AVX1-NEXT:    retq
 413 ;
 414 ; CHECK-AVX2-LABEL: test_urem_even_allones_eq:
 415 ; CHECK-AVX2:       # %bb.0:
 416 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 417 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 418 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 419 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 420 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 421 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 422 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 423 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 424 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 425 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 426 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 427 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 428 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 429 ; CHECK-AVX2-NEXT:    retq
 430 ;
 431 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_eq:
 432 ; CHECK-AVX512VL:       # %bb.0:
 433 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 434 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 435 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 436 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 437 ; CHECK-AVX512VL-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 438 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 439 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 440 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 441 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 442 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 443 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 444 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 445 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 446 ; CHECK-AVX512VL-NEXT:    retq
 447   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 4294967295, i32 14>
 448   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 449   %ret = zext <4 x i1> %cmp to <4 x i32>
 450   ret <4 x i32> %ret
 451 }
 452 define <4 x i32> @test_urem_even_allones_ne(<4 x i32> %X) nounwind {
 453 ; CHECK-SSE2-LABEL: test_urem_even_allones_ne:
 454 ; CHECK-SSE2:       # %bb.0:
 455 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 456 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 457 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 458 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
 459 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 460 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
 461 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 462 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 463 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 464 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
 465 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 466 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 467 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 468 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 469 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 470 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 471 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 472 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 473 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 474 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 475 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 476 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 477 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 478 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 479 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 480 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
 481 ; CHECK-SSE2-NEXT:    retq
 482 ;
 483 ; CHECK-SSE41-LABEL: test_urem_even_allones_ne:
 484 ; CHECK-SSE41:       # %bb.0:
 485 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 486 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 487 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 488 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 489 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 490 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 491 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 492 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 493 ; CHECK-SSE41-NEXT:    movdqa %xmm2, %xmm1
 494 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 495 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 496 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 497 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 498 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 499 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 500 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 501 ; CHECK-SSE41-NEXT:    pandn {{.*}}(%rip), %xmm0
 502 ; CHECK-SSE41-NEXT:    retq
 503 ;
 504 ; CHECK-AVX1-LABEL: test_urem_even_allones_ne:
 505 ; CHECK-AVX1:       # %bb.0:
 506 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 507 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 508 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
 509 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 510 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 511 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 512 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 513 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
 514 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 515 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 516 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 517 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 518 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 519 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 520 ; CHECK-AVX1-NEXT:    vpandn {{.*}}(%rip), %xmm0, %xmm0
 521 ; CHECK-AVX1-NEXT:    retq
 522 ;
 523 ; CHECK-AVX2-LABEL: test_urem_even_allones_ne:
 524 ; CHECK-AVX2:       # %bb.0:
 525 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 526 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 527 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 528 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 529 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 530 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 531 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 532 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 533 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 534 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 535 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 536 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 537 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 538 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 539 ; CHECK-AVX2-NEXT:    retq
 540 ;
 541 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_ne:
 542 ; CHECK-AVX512VL:       # %bb.0:
 543 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 544 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 545 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 546 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 547 ; CHECK-AVX512VL-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 548 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 549 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 550 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 551 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 552 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 553 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 554 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 555 ; CHECK-AVX512VL-NEXT:    vpandnd {{.*}}(%rip){1to4}, %xmm0, %xmm0
 556 ; CHECK-AVX512VL-NEXT:    retq
 557   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 4294967295, i32 14>
 558   %cmp = icmp ne <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 559   %ret = zext <4 x i1> %cmp to <4 x i32>
 560   ret <4 x i32> %ret
 561 }
 562
 563 ; One all-ones divisor in odd+even divisor
 564 define <4 x i32> @test_urem_odd_even_allones_eq(<4 x i32> %X) nounwind {
 565 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_eq:
 566 ; CHECK-SSE2:       # %bb.0:
 567 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 568 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 569 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 570 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm0[3,3]
 571 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,2147483649,1374389535]
 572 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 573 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
 574 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
 575 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
 576 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
 577 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
 578 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 579 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 580 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 581 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
 582 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
 583 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
 584 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 585 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm3[0],xmm1[1]
 586 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
 587 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [5,14,4294967295,100]
 588 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
 589 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
 590 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
 591 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 592 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 593 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
 594 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 595 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 596 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 597 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 598 ; CHECK-SSE2-NEXT:    retq
 599 ;
 600 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_eq:
 601 ; CHECK-SSE41:       # %bb.0:
 602 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 603 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 604 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 605 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 606 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,2147483649,1374389535]
 607 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 608 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
 609 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
 610 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 611 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
 612 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
 613 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
 614 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
 615 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
 616 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 617 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 618 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 619 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 620 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
 621 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
 622 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 623 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 624 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 625 ; CHECK-SSE41-NEXT:    retq
 626 ;
 627 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_eq:
 628 ; CHECK-AVX1:       # %bb.0:
 629 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 630 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 631 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 632 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [3435973837,2454267027,2147483649,1374389535]
 633 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 634 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
 635 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
 636 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 637 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 638 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
 639 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
 640 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 641 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
 642 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 643 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 644 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 645 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 646 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 647 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 648 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 649 ; CHECK-AVX1-NEXT:    retq
 650 ;
 651 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_eq:
 652 ; CHECK-AVX2:       # %bb.0:
 653 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 654 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 655 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 656 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 657 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 658 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 659 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 660 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 661 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 662 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 663 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 664 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 665 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 666 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 667 ; CHECK-AVX2-NEXT:    retq
 668 ;
 669 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_eq:
 670 ; CHECK-AVX512VL:       # %bb.0:
 671 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 672 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 673 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 674 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 675 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 676 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 677 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 678 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 679 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 680 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 681 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 682 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 683 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 684 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 685 ; CHECK-AVX512VL-NEXT:    retq
 686   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 4294967295, i32 100>
 687   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 688   %ret = zext <4 x i1> %cmp to <4 x i32>
 689   ret <4 x i32> %ret
 690 }
 691 define <4 x i32> @test_urem_odd_even_allones_ne(<4 x i32> %X) nounwind {
 692 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_ne:
 693 ; CHECK-SSE2:       # %bb.0:
 694 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 695 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 696 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 697 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm0[3,3]
 698 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,2147483649,1374389535]
 699 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 700 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
 701 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
 702 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
 703 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
 704 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
 705 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 706 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 707 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 708 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
 709 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
 710 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
 711 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 712 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm3[0],xmm1[1]
 713 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
 714 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [5,14,4294967295,100]
 715 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
 716 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
 717 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
 718 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 719 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 720 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
 721 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 722 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 723 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 724 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
 725 ; CHECK-SSE2-NEXT:    retq
 726 ;
 727 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_ne:
 728 ; CHECK-SSE41:       # %bb.0:
 729 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 730 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 731 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 732 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 733 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,2147483649,1374389535]
 734 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 735 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
 736 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
 737 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 738 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
 739 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
 740 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
 741 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
 742 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
 743 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 744 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 745 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 746 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 747 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
 748 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
 749 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 750 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 751 ; CHECK-SSE41-NEXT:    pandn {{.*}}(%rip), %xmm0
 752 ; CHECK-SSE41-NEXT:    retq
 753 ;
 754 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_ne:
 755 ; CHECK-AVX1:       # %bb.0:
 756 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 757 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 758 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 759 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [3435973837,2454267027,2147483649,1374389535]
 760 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 761 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
 762 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
 763 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 764 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 765 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
 766 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
 767 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 768 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
 769 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 770 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 771 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 772 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 773 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 774 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 775 ; CHECK-AVX1-NEXT:    vpandn {{.*}}(%rip), %xmm0, %xmm0
 776 ; CHECK-AVX1-NEXT:    retq
 777 ;
 778 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_ne:
 779 ; CHECK-AVX2:       # %bb.0:
 780 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 781 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 782 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 783 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 784 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 785 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 786 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 787 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 788 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 789 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 790 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 791 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 792 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 793 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 794 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 795 ; CHECK-AVX2-NEXT:    retq
 796 ;
 797 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_ne:
 798 ; CHECK-AVX512VL:       # %bb.0:
 799 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 800 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 801 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 802 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 803 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 804 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 805 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 806 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 807 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 808 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 809 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 810 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 811 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 812 ; CHECK-AVX512VL-NEXT:    vpandnd {{.*}}(%rip){1to4}, %xmm0, %xmm0
 813 ; CHECK-AVX512VL-NEXT:    retq
 814   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 4294967295, i32 100>
 815   %cmp = icmp ne <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 816   %ret = zext <4 x i1> %cmp to <4 x i32>
 817   ret <4 x i32> %ret
 818 }
 819
 820 ;------------------------------------------------------------------------------;
 821
 822 ; One power-of-two divisor in odd divisor
 823 define <4 x i32> @test_urem_odd_poweroftwo(<4 x i32> %X) nounwind {
 824 ; CHECK-SSE2-LABEL: test_urem_odd_poweroftwo:
 825 ; CHECK-SSE2:       # %bb.0:
 826 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <3435973837,u,268435456,u>
 827 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
 828 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 829 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 830 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 831 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
 832 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 833 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 834 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 835 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 836 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 837 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 838 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 839 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 840 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 841 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 842 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 843 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 844 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 845 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 846 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 847 ; CHECK-SSE2-NEXT:    retq
 848 ;
 849 ; CHECK-SSE41-LABEL: test_urem_odd_poweroftwo:
 850 ; CHECK-SSE41:       # %bb.0:
 851 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 852 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 853 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = <3435973837,u,268435456,u>
 854 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
 855 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 856 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 857 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
 858 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 859 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
 860 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
 861 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 862 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 863 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 864 ; CHECK-SSE41-NEXT:    retq
 865 ;
 866 ; CHECK-AVX1-LABEL: test_urem_odd_poweroftwo:
 867 ; CHECK-AVX1:       # %bb.0:
 868 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 869 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 870 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 871 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 872 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 873 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 874 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 875 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 876 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 877 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 878 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 879 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 880 ; CHECK-AVX1-NEXT:    retq
 881 ;
 882 ; CHECK-AVX2-LABEL: test_urem_odd_poweroftwo:
 883 ; CHECK-AVX2:       # %bb.0:
 884 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 885 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
 886 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
 887 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 888 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 889 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
 890 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 891 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 892 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 893 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 894 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 895 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 896 ; CHECK-AVX2-NEXT:    retq
 897 ;
 898 ; CHECK-AVX512VL-LABEL: test_urem_odd_poweroftwo:
 899 ; CHECK-AVX512VL:       # %bb.0:
 900 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 901 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
 902 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
 903 ; CHECK-AVX512VL-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 904 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 905 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
 906 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 907 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 908 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 909 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 910 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 911 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 912 ; CHECK-AVX512VL-NEXT:    retq
 913   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 16, i32 5>
 914   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 915   %ret = zext <4 x i1> %cmp to <4 x i32>
 916   ret <4 x i32> %ret
 917 }
 918
 919 ; One power-of-two divisor in even divisor
 920 define <4 x i32> @test_urem_even_poweroftwo(<4 x i32> %X) nounwind {
 921 ; CHECK-SSE2-LABEL: test_urem_even_poweroftwo:
 922 ; CHECK-SSE2:       # %bb.0:
 923 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 924 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 925 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 926 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
 927 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 928 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
 929 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 930 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 931 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 932 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
 933 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 934 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 935 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 936 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 937 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 938 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 939 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 940 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 941 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 942 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 943 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 944 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 945 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 946 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 947 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 948 ; CHECK-SSE2-NEXT:    retq
 949 ;
 950 ; CHECK-SSE41-LABEL: test_urem_even_poweroftwo:
 951 ; CHECK-SSE41:       # %bb.0:
 952 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 953 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 954 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 955 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 956 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 957 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 958 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 959 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 960 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 961 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 962 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 963 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 964 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 965 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 966 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 967 ; CHECK-SSE41-NEXT:    retq
 968 ;
 969 ; CHECK-AVX1-LABEL: test_urem_even_poweroftwo:
 970 ; CHECK-AVX1:       # %bb.0:
 971 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 972 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 973 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
 974 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 975 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 976 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 977 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 978 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 979 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 980 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 981 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 982 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 983 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 984 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 985 ; CHECK-AVX1-NEXT:    retq
 986 ;
 987 ; CHECK-AVX2-LABEL: test_urem_even_poweroftwo:
 988 ; CHECK-AVX2:       # %bb.0:
 989 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 990 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 991 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 992 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 993 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 994 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 995 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 996 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 997 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 998 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 999 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1000 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1001 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1002 ; CHECK-AVX2-NEXT:    retq
1003 ;
1004 ; CHECK-AVX512VL-LABEL: test_urem_even_poweroftwo:
1005 ; CHECK-AVX512VL:       # %bb.0:
1006 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
1007 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1008 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
1009 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
1010 ; CHECK-AVX512VL-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
1011 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1012 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1013 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1014 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1015 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1016 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1017 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1018 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1019 ; CHECK-AVX512VL-NEXT:    retq
1020   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 16, i32 14>
1021   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1022   %ret = zext <4 x i1> %cmp to <4 x i32>
1023   ret <4 x i32> %ret
1024 }
1025
1026 ; One power-of-two divisor in odd+even divisor
1027 define <4 x i32> @test_urem_odd_even_poweroftwo(<4 x i32> %X) nounwind {
1028 ; CHECK-SSE2-LABEL: test_urem_odd_even_poweroftwo:
1029 ; CHECK-SSE2:       # %bb.0:
1030 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1031 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1032 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1033 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm0[3,3]
1034 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,268435456,1374389535]
1035 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1036 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
1037 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
1038 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
1039 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
1040 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
1041 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1042 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1043 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1044 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
1045 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
1046 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
1047 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm3[0],xmm1[1]
1048 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
1049 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [5,14,16,100]
1050 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
1051 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
1052 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
1053 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1054 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1055 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1056 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1057 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1058 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1059 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1060 ; CHECK-SSE2-NEXT:    retq
1061 ;
1062 ; CHECK-SSE41-LABEL: test_urem_odd_even_poweroftwo:
1063 ; CHECK-SSE41:       # %bb.0:
1064 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1065 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1066 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
1067 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1068 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,268435456,1374389535]
1069 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1070 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
1071 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
1072 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1073 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
1074 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1075 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
1076 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1077 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
1078 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1079 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1080 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1],xmm2[2,3],xmm3[4,5],xmm2[6,7]
1081 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm3
1082 ; CHECK-SSE41-NEXT:    psubd %xmm3, %xmm0
1083 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1084 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1085 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1086 ; CHECK-SSE41-NEXT:    retq
1087 ;
1088 ; CHECK-AVX1-LABEL: test_urem_odd_even_poweroftwo:
1089 ; CHECK-AVX1:       # %bb.0:
1090 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1091 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
1092 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1093 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [3435973837,2454267027,268435456,1374389535]
1094 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1095 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
1096 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1097 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1098 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1099 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
1100 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
1101 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1102 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1103 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1104 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1105 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1106 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1107 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1108 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1109 ; CHECK-AVX1-NEXT:    retq
1110 ;
1111 ; CHECK-AVX2-LABEL: test_urem_odd_even_poweroftwo:
1112 ; CHECK-AVX2:       # %bb.0:
1113 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,268435456,1374389535]
1114 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1115 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1116 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1117 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1118 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1119 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1120 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1121 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1122 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1123 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1124 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1125 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1126 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1127 ; CHECK-AVX2-NEXT:    retq
1128 ;
1129 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_poweroftwo:
1130 ; CHECK-AVX512VL:       # %bb.0:
1131 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,268435456,1374389535]
1132 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1133 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1134 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1135 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1136 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1137 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1138 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1139 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1140 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1141 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1142 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1143 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1144 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1145 ; CHECK-AVX512VL-NEXT:    retq
1146   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 16, i32 100>
1147   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1148   %ret = zext <4 x i1> %cmp to <4 x i32>
1149   ret <4 x i32> %ret
1150 }
1151
1152 ;------------------------------------------------------------------------------;
1153
1154 ; One one divisor in odd divisor
1155 define <4 x i32> @test_urem_odd_one(<4 x i32> %X) nounwind {
1156 ; CHECK-SSE2-LABEL: test_urem_odd_one:
1157 ; CHECK-SSE2:       # %bb.0:
1158 ; CHECK-SSE2-NEXT:    movl $-858993459, %eax # imm = 0xCCCCCCCD
1159 ; CHECK-SSE2-NEXT:    movd %eax, %xmm1
1160 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
1161 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1162 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1163 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1164 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1165 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1166 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
1167 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1168 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
1169 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
1170 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1171 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
1172 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1173 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1174 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
1175 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1176 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1177 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1178 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1179 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1180 ; CHECK-SSE2-NEXT:    retq
1181 ;
1182 ; CHECK-SSE41-LABEL: test_urem_odd_one:
1183 ; CHECK-SSE41:       # %bb.0:
1184 ; CHECK-SSE41-NEXT:    movl $-858993459, %eax # imm = 0xCCCCCCCD
1185 ; CHECK-SSE41-NEXT:    movd %eax, %xmm1
1186 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
1187 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1188 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1189 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1190 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1191 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1192 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm0[4,5],xmm2[6,7]
1193 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1194 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1195 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1196 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1197 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1198 ; CHECK-SSE41-NEXT:    retq
1199 ;
1200 ; CHECK-AVX1-LABEL: test_urem_odd_one:
1201 ; CHECK-AVX1:       # %bb.0:
1202 ; CHECK-AVX1-NEXT:    movl $-858993459, %eax # imm = 0xCCCCCCCD
1203 ; CHECK-AVX1-NEXT:    vmovd %eax, %xmm1
1204 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1205 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1206 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1207 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
1208 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1209 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1210 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1211 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1212 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1213 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1214 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1215 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1216 ; CHECK-AVX1-NEXT:    retq
1217 ;
1218 ; CHECK-AVX2-LABEL: test_urem_odd_one:
1219 ; CHECK-AVX2:       # %bb.0:
1220 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1221 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
1222 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
1223 ; CHECK-AVX2-NEXT:    movl $-858993459, %eax # imm = 0xCCCCCCCD
1224 ; CHECK-AVX2-NEXT:    vmovd %eax, %xmm2
1225 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
1226 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1227 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
1228 ; CHECK-AVX2-NEXT:    vpsrld $2, %xmm1, %xmm1
1229 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1230 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1231 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1232 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1233 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1234 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1235 ; CHECK-AVX2-NEXT:    retq
1236 ;
1237 ; CHECK-AVX512VL-LABEL: test_urem_odd_one:
1238 ; CHECK-AVX512VL:       # %bb.0:
1239 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1240 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
1241 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
1242 ; CHECK-AVX512VL-NEXT:    movl $-858993459, %eax # imm = 0xCCCCCCCD
1243 ; CHECK-AVX512VL-NEXT:    vmovd %eax, %xmm2
1244 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
1245 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1246 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
1247 ; CHECK-AVX512VL-NEXT:    vpsrld $2, %xmm1, %xmm1
1248 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1249 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1250 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1251 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1252 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1253 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1254 ; CHECK-AVX512VL-NEXT:    retq
1255   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 1, i32 5>
1256   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1257   %ret = zext <4 x i1> %cmp to <4 x i32>
1258   ret <4 x i32> %ret
1259 }
1260
1261 ; One one divisor in even divisor
1262 define <4 x i32> @test_urem_even_one(<4 x i32> %X) nounwind {
1263 ; CHECK-SSE2-LABEL: test_urem_even_one:
1264 ; CHECK-SSE2:       # %bb.0:
1265 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1266 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1267 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1268 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
1269 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
1270 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1271 ; CHECK-SSE2-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1272 ; CHECK-SSE2-NEXT:    movd %eax, %xmm2
1273 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1274 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,3,2,3]
1275 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1276 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
1277 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1278 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
1279 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1280 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
1281 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
1282 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1283 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
1284 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1285 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1286 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
1287 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1288 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1289 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1290 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1291 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1292 ; CHECK-SSE2-NEXT:    retq
1293 ;
1294 ; CHECK-SSE41-LABEL: test_urem_even_one:
1295 ; CHECK-SSE41:       # %bb.0:
1296 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1297 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1298 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1299 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1300 ; CHECK-SSE41-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1301 ; CHECK-SSE41-NEXT:    movd %eax, %xmm3
1302 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
1303 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
1304 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1305 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1306 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1307 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm0[4,5],xmm2[6,7]
1308 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1309 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1310 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1311 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1312 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1313 ; CHECK-SSE41-NEXT:    retq
1314 ;
1315 ; CHECK-AVX1-LABEL: test_urem_even_one:
1316 ; CHECK-AVX1:       # %bb.0:
1317 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1318 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1319 ; CHECK-AVX1-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1320 ; CHECK-AVX1-NEXT:    vmovd %eax, %xmm3
1321 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
1322 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1323 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1324 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
1325 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1326 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1327 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1328 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1329 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1330 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1331 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1332 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1333 ; CHECK-AVX1-NEXT:    retq
1334 ;
1335 ; CHECK-AVX2-LABEL: test_urem_even_one:
1336 ; CHECK-AVX2:       # %bb.0:
1337 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
1338 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1339 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
1340 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
1341 ; CHECK-AVX2-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1342 ; CHECK-AVX2-NEXT:    vmovd %eax, %xmm3
1343 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1344 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1345 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1346 ; CHECK-AVX2-NEXT:    vpsrld $2, %xmm1, %xmm1
1347 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1348 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1349 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1350 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1351 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1352 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1353 ; CHECK-AVX2-NEXT:    retq
1354 ;
1355 ; CHECK-AVX512VL-LABEL: test_urem_even_one:
1356 ; CHECK-AVX512VL:       # %bb.0:
1357 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
1358 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1359 ; CHECK-AVX512VL-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
1360 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
1361 ; CHECK-AVX512VL-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1362 ; CHECK-AVX512VL-NEXT:    vmovd %eax, %xmm3
1363 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1364 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1365 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1366 ; CHECK-AVX512VL-NEXT:    vpsrld $2, %xmm1, %xmm1
1367 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1368 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1369 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1370 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1371 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1372 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1373 ; CHECK-AVX512VL-NEXT:    retq
1374   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 1, i32 14>
1375   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1376   %ret = zext <4 x i1> %cmp to <4 x i32>
1377   ret <4 x i32> %ret
1378 }
1379
1380 ; One one divisor in odd+even divisor
1381 define <4 x i32> @test_urem_odd_even_one(<4 x i32> %X) nounwind {
1382 ; CHECK-SSE2-LABEL: test_urem_odd_even_one:
1383 ; CHECK-SSE2:       # %bb.0:
1384 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1385 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1386 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1387 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm0[3,3]
1388 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,0,1374389535]
1389 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1390 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
1391 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
1392 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
1393 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
1394 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
1395 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1396 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1397 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1398 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
1399 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
1400 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
1401 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
1402 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,14,1,100]
1403 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1404 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
1405 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
1406 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm5
1407 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[2,0],xmm2[3,0]
1408 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm5[0,2]
1409 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm1
1410 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1411 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1412 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1413 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1414 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1415 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1416 ; CHECK-SSE2-NEXT:    retq
1417 ;
1418 ; CHECK-SSE41-LABEL: test_urem_odd_even_one:
1419 ; CHECK-SSE41:       # %bb.0:
1420 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1421 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1422 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
1423 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1424 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [3435973837,2454267027,0,1374389535]
1425 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1426 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
1427 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
1428 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1429 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
1430 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1431 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
1432 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
1433 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
1434 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1435 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
1436 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
1437 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1438 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1439 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1440 ; CHECK-SSE41-NEXT:    retq
1441 ;
1442 ; CHECK-AVX1-LABEL: test_urem_odd_even_one:
1443 ; CHECK-AVX1:       # %bb.0:
1444 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1445 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
1446 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1447 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [3435973837,2454267027,0,1374389535]
1448 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1449 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
1450 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1451 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1452 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1453 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
1454 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1455 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
1456 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1457 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1458 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1459 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1460 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1461 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1462 ; CHECK-AVX1-NEXT:    retq
1463 ;
1464 ; CHECK-AVX2-LABEL: test_urem_odd_even_one:
1465 ; CHECK-AVX2:       # %bb.0:
1466 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,0,1374389535]
1467 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1468 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1469 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1470 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1471 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1472 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1473 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1474 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1475 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1476 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1477 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1478 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1479 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1480 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1481 ; CHECK-AVX2-NEXT:    retq
1482 ;
1483 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_one:
1484 ; CHECK-AVX512VL:       # %bb.0:
1485 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,0,1374389535]
1486 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1487 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1488 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1489 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1490 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1491 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1492 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1493 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1494 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1495 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1496 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1497 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1498 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1499 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1500 ; CHECK-AVX512VL-NEXT:    retq
1501   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 1, i32 100>
1502   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1503   %ret = zext <4 x i1> %cmp to <4 x i32>
1504   ret <4 x i32> %ret
1505 }
1506
1507 ;==============================================================================;
1508
1509 ; One all-ones divisor and power-of-two divisor divisor in odd divisor
1510 define <4 x i32> @test_urem_odd_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1511 ; CHECK-SSE2-LABEL: test_urem_odd_allones_and_poweroftwo:
1512 ; CHECK-SSE2:       # %bb.0:
1513 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1514 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1515 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1516 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1517 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1518 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1519 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1520 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
1521 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1522 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
1523 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
1524 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
1525 ; CHECK-SSE2-NEXT:    psrld $31, %xmm3
1526 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
1527 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,4294967295,16,5]
1528 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1529 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
1530 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
1531 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm2[2,3]
1532 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm1
1533 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1534 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1535 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1536 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1537 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1538 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1539 ; CHECK-SSE2-NEXT:    retq
1540 ;
1541 ; CHECK-SSE41-LABEL: test_urem_odd_allones_and_poweroftwo:
1542 ; CHECK-SSE41:       # %bb.0:
1543 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1544 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1545 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1546 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1547 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
1548 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1549 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1550 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1551 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1552 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1553 ; CHECK-SSE41-NEXT:    psrld $31, %xmm3
1554 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1555 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1556 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm3[2,3],xmm2[4,5],xmm3[6,7]
1557 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1558 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1559 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1560 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1561 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1562 ; CHECK-SSE41-NEXT:    retq
1563 ;
1564 ; CHECK-AVX1-LABEL: test_urem_odd_allones_and_poweroftwo:
1565 ; CHECK-AVX1:       # %bb.0:
1566 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1567 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1568 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1569 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1570 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1571 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1572 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1573 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
1574 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
1575 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1576 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1577 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1578 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1579 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1580 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1581 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1582 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1583 ; CHECK-AVX1-NEXT:    retq
1584 ;
1585 ; CHECK-AVX2-LABEL: test_urem_odd_allones_and_poweroftwo:
1586 ; CHECK-AVX2:       # %bb.0:
1587 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1588 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1589 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1590 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1591 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1592 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1593 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1594 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1595 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1596 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1597 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1598 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1599 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1600 ; CHECK-AVX2-NEXT:    retq
1601 ;
1602 ; CHECK-AVX512VL-LABEL: test_urem_odd_allones_and_poweroftwo:
1603 ; CHECK-AVX512VL:       # %bb.0:
1604 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1605 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1606 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1607 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1608 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1609 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1610 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1611 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1612 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1613 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1614 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1615 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1616 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1617 ; CHECK-AVX512VL-NEXT:    retq
1618   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 5>
1619   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1620   %ret = zext <4 x i1> %cmp to <4 x i32>
1621   ret <4 x i32> %ret
1622 }
1623
1624 ; One all-ones divisor and power-of-two divisor divisor in even divisor
1625 define <4 x i32> @test_urem_even_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1626 ; CHECK-SSE2-LABEL: test_urem_even_allones_and_poweroftwo:
1627 ; CHECK-SSE2:       # %bb.0:
1628 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1629 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1630 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1631 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm1[3,3]
1632 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,2454267027]
1633 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1634 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
1635 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
1636 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm0[1,2]
1637 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2,3,1]
1638 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
1639 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1640 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1641 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1642 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
1643 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
1644 ; CHECK-SSE2-NEXT:    psrld $31, %xmm3
1645 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
1646 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [14,4294967295,16,14]
1647 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1648 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
1649 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
1650 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm1[2,3]
1651 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm2
1652 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1653 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1654 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1655 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1656 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1657 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1658 ; CHECK-SSE2-NEXT:    retq
1659 ;
1660 ; CHECK-SSE41-LABEL: test_urem_even_allones_and_poweroftwo:
1661 ; CHECK-SSE41:       # %bb.0:
1662 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1663 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1664 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
1665 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1666 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,2454267027]
1667 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1668 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
1669 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
1670 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1671 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
1672 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1673 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1674 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1675 ; CHECK-SSE41-NEXT:    psrld $31, %xmm3
1676 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1677 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1678 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm3[2,3],xmm2[4,5],xmm3[6,7]
1679 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1680 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1681 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1682 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1683 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1684 ; CHECK-SSE41-NEXT:    retq
1685 ;
1686 ; CHECK-AVX1-LABEL: test_urem_even_allones_and_poweroftwo:
1687 ; CHECK-AVX1:       # %bb.0:
1688 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1689 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
1690 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1691 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,2454267027]
1692 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1693 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
1694 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1695 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1696 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1697 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
1698 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
1699 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1700 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1701 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1702 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1703 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1704 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1705 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1706 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1707 ; CHECK-AVX1-NEXT:    retq
1708 ;
1709 ; CHECK-AVX2-LABEL: test_urem_even_allones_and_poweroftwo:
1710 ; CHECK-AVX2:       # %bb.0:
1711 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,2454267027]
1712 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1713 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1714 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1715 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1716 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1717 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1718 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1719 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1720 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1721 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1722 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1723 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1724 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1725 ; CHECK-AVX2-NEXT:    retq
1726 ;
1727 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_and_poweroftwo:
1728 ; CHECK-AVX512VL:       # %bb.0:
1729 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,2454267027]
1730 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1731 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1732 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1733 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1734 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1735 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1736 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1737 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1738 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1739 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1740 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1741 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1742 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1743 ; CHECK-AVX512VL-NEXT:    retq
1744   %urem = urem <4 x i32> %X, <i32 14, i32 4294967295, i32 16, i32 14>
1745   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1746   %ret = zext <4 x i1> %cmp to <4 x i32>
1747   ret <4 x i32> %ret
1748 }
1749
1750 ; One all-ones divisor and power-of-two divisor divisor in odd+even divisor
1751 define <4 x i32> @test_urem_odd_even_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1752 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1753 ; CHECK-SSE2:       # %bb.0:
1754 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1755 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1756 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1757 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1758 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1759 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1760 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1761 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
1762 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1763 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
1764 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
1765 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
1766 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,3],xmm2[2,3]
1767 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
1768 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
1769 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm2[3,3]
1770 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [5,4294967295,16,100]
1771 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
1772 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm4
1773 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[0,2,2,3]
1774 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm3
1775 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
1776 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1777 ; CHECK-SSE2-NEXT:    psubd %xmm2, %xmm0
1778 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1779 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1780 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1781 ; CHECK-SSE2-NEXT:    retq
1782 ;
1783 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1784 ; CHECK-SSE41:       # %bb.0:
1785 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1786 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1787 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1788 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1789 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
1790 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1791 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1792 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1793 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1794 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
1795 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1796 ; CHECK-SSE41-NEXT:    psrld $5, %xmm1
1797 ; CHECK-SSE41-NEXT:    psrld $31, %xmm2
1798 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1799 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1],xmm2[2,3],xmm3[4,5],xmm2[6,7]
1800 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm3
1801 ; CHECK-SSE41-NEXT:    psubd %xmm3, %xmm0
1802 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1803 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1804 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1805 ; CHECK-SSE41-NEXT:    retq
1806 ;
1807 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1808 ; CHECK-AVX1:       # %bb.0:
1809 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1810 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1811 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1812 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1813 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1814 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1815 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1816 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
1817 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
1818 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1819 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
1820 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1821 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1822 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1823 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1824 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1825 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1826 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1827 ; CHECK-AVX1-NEXT:    retq
1828 ;
1829 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1830 ; CHECK-AVX2:       # %bb.0:
1831 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1832 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1833 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1834 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1835 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1836 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1837 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1838 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1839 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1840 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1841 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1842 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1843 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1844 ; CHECK-AVX2-NEXT:    retq
1845 ;
1846 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1847 ; CHECK-AVX512VL:       # %bb.0:
1848 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1849 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1850 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1851 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1852 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1853 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1854 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1855 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1856 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1857 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1858 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1859 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1860 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1861 ; CHECK-AVX512VL-NEXT:    retq
1862   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 100>
1863   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1864   %ret = zext <4 x i1> %cmp to <4 x i32>
1865   ret <4 x i32> %ret
1866 }
1867
1868 ;------------------------------------------------------------------------------;
1869
1870 ; One all-ones divisor and one one divisor in odd divisor
1871 define <4 x i32> @test_urem_odd_allones_and_one(<4 x i32> %X) nounwind {
1872 ; CHECK-SSE2-LABEL: test_urem_odd_allones_and_one:
1873 ; CHECK-SSE2:       # %bb.0:
1874 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,3435973837]
1875 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1876 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1877 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1878 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1879 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1880 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1881 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
1882 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1883 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
1884 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
1885 ; CHECK-SSE2-NEXT:    psrld $31, %xmm2
1886 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
1887 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
1888 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,4294967295,1,5]
1889 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1890 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
1891 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
1892 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,0],xmm1[0,0]
1893 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm5
1894 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[2,0],xmm1[3,0]
1895 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm5[0,2]
1896 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm2
1897 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1898 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1899 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1900 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1901 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1902 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1903 ; CHECK-SSE2-NEXT:    retq
1904 ;
1905 ; CHECK-SSE41-LABEL: test_urem_odd_allones_and_one:
1906 ; CHECK-SSE41:       # %bb.0:
1907 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,3435973837]
1908 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1909 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1910 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1911 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
1912 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1913 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1914 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1915 ; CHECK-SSE41-NEXT:    psrld $31, %xmm2
1916 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
1917 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
1918 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1919 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
1920 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
1921 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1922 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1923 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1924 ; CHECK-SSE41-NEXT:    retq
1925 ;
1926 ; CHECK-AVX1-LABEL: test_urem_odd_allones_and_one:
1927 ; CHECK-AVX1:       # %bb.0:
1928 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,3435973837]
1929 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1930 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1931 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1932 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1933 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1934 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1935 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
1936 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1937 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
1938 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1939 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1940 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1941 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1942 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1943 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1944 ; CHECK-AVX1-NEXT:    retq
1945 ;
1946 ; CHECK-AVX2-LABEL: test_urem_odd_allones_and_one:
1947 ; CHECK-AVX2:       # %bb.0:
1948 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,3435973837]
1949 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1950 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1951 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1952 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1953 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1954 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1955 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1956 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1957 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1958 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1959 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1960 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1961 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1962 ; CHECK-AVX2-NEXT:    retq
1963 ;
1964 ; CHECK-AVX512VL-LABEL: test_urem_odd_allones_and_one:
1965 ; CHECK-AVX512VL:       # %bb.0:
1966 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,3435973837]
1967 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1968 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1969 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1970 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1971 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1972 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1973 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1974 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1975 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1976 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1977 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1978 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1979 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1980 ; CHECK-AVX512VL-NEXT:    retq
1981   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 1, i32 5>
1982   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1983   %ret = zext <4 x i1> %cmp to <4 x i32>
1984   ret <4 x i32> %ret
1985 }
1986
1987 ; One all-ones divisor and one one divisor in even divisor
1988 define <4 x i32> @test_urem_even_allones_and_one(<4 x i32> %X) nounwind {
1989 ; CHECK-SSE2-LABEL: test_urem_even_allones_and_one:
1990 ; CHECK-SSE2:       # %bb.0:
1991 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1992 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1993 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1994 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm1[3,3]
1995 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,0,2454267027]
1996 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1997 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
1998 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
1999 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm0[1,2]
2000 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2,3,1]
2001 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
2002 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
2003 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2004 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
2005 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
2006 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
2007 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
2008 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
2009 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [14,4294967295,1,14]
2010 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
2011 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
2012 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
2013 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm2[0,0]
2014 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm5
2015 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[2,0],xmm2[3,0]
2016 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm5[0,2]
2017 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm1
2018 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2019 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
2020 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2021 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2022 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2023 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2024 ; CHECK-SSE2-NEXT:    retq
2025 ;
2026 ; CHECK-SSE41-LABEL: test_urem_even_allones_and_one:
2027 ; CHECK-SSE41:       # %bb.0:
2028 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
2029 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
2030 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
2031 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2032 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,0,2454267027]
2033 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2034 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
2035 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
2036 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2037 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
2038 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2039 ; CHECK-SSE41-NEXT:    psrld $31, %xmm2
2040 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2041 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
2042 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2043 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2044 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2045 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2046 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2047 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2048 ; CHECK-SSE41-NEXT:    retq
2049 ;
2050 ; CHECK-AVX1-LABEL: test_urem_even_allones_and_one:
2051 ; CHECK-AVX1:       # %bb.0:
2052 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
2053 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
2054 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2055 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,2147483649,0,2454267027]
2056 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2057 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
2058 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
2059 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2060 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2061 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
2062 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2063 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
2064 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2065 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2066 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2067 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2068 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2069 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2070 ; CHECK-AVX1-NEXT:    retq
2071 ;
2072 ; CHECK-AVX2-LABEL: test_urem_even_allones_and_one:
2073 ; CHECK-AVX2:       # %bb.0:
2074 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,0,2454267027]
2075 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2076 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
2077 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2078 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
2079 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
2080 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2081 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2082 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2083 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2084 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2085 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2086 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2087 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2088 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2089 ; CHECK-AVX2-NEXT:    retq
2090 ;
2091 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_and_one:
2092 ; CHECK-AVX512VL:       # %bb.0:
2093 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,0,2454267027]
2094 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2095 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
2096 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2097 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
2098 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
2099 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2100 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2101 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2102 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2103 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2104 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2105 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2106 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2107 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2108 ; CHECK-AVX512VL-NEXT:    retq
2109   %urem = urem <4 x i32> %X, <i32 14, i32 4294967295, i32 1, i32 14>
2110   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2111   %ret = zext <4 x i1> %cmp to <4 x i32>
2112   ret <4 x i32> %ret
2113 }
2114
2115 ; One all-ones divisor and one one divisor in odd+even divisor
2116 define <4 x i32> @test_urem_odd_even_allones_and_one(<4 x i32> %X) nounwind {
2117 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_and_one:
2118 ; CHECK-SSE2:       # %bb.0:
2119 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2120 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2121 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2122 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
2123 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2124 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2125 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2126 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
2127 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2128 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
2129 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
2130 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
2131 ; CHECK-SSE2-NEXT:    psrld $31, %xmm3
2132 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
2133 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,4294967295,1,100]
2134 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
2135 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
2136 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
2137 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm5
2138 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[2,0],xmm1[3,0]
2139 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
2140 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm5[0,2]
2141 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm2
2142 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
2143 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
2144 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2145 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2146 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2147 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2148 ; CHECK-SSE2-NEXT:    retq
2149 ;
2150 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_and_one:
2151 ; CHECK-SSE41:       # %bb.0:
2152 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2153 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2154 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2155 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2156 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2157 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2158 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2159 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2160 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
2161 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
2162 ; CHECK-SSE41-NEXT:    psrld $31, %xmm3
2163 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
2164 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2165 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2166 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2167 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2168 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2169 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2170 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2171 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2172 ; CHECK-SSE41-NEXT:    retq
2173 ;
2174 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_and_one:
2175 ; CHECK-AVX1:       # %bb.0:
2176 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2177 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2178 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2179 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2180 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2181 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2182 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2183 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
2184 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
2185 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
2186 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2187 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2188 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2189 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2190 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2191 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2192 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2193 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2194 ; CHECK-AVX1-NEXT:    retq
2195 ;
2196 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_and_one:
2197 ; CHECK-AVX2:       # %bb.0:
2198 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2199 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2200 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2201 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2202 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2203 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2204 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2205 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2206 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2207 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2208 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2209 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2210 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2211 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2212 ; CHECK-AVX2-NEXT:    retq
2213 ;
2214 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_and_one:
2215 ; CHECK-AVX512VL:       # %bb.0:
2216 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2217 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2218 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2219 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2220 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2221 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2222 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2223 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2224 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2225 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2226 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2227 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2228 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2229 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2230 ; CHECK-AVX512VL-NEXT:    retq
2231   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 1, i32 100>
2232   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2233   %ret = zext <4 x i1> %cmp to <4 x i32>
2234   ret <4 x i32> %ret
2235 }
2236
2237 ;------------------------------------------------------------------------------;
2238
2239 ; One power-of-two divisor divisor and one divisor in odd divisor
2240 define <4 x i32> @test_urem_odd_poweroftwo_and_one(<4 x i32> %X) nounwind {
2241 ; CHECK-SSE2-LABEL: test_urem_odd_poweroftwo_and_one:
2242 ; CHECK-SSE2:       # %bb.0:
2243 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2244 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2245 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2246 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
2247 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2248 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2249 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2250 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
2251 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2252 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
2253 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
2254 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
2255 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
2256 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,16,1,5]
2257 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
2258 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
2259 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
2260 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,0],xmm1[0,0]
2261 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm5
2262 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[2,0],xmm1[3,0]
2263 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm5[0,2]
2264 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm2
2265 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
2266 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
2267 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2268 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2269 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2270 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2271 ; CHECK-SSE2-NEXT:    retq
2272 ;
2273 ; CHECK-SSE41-LABEL: test_urem_odd_poweroftwo_and_one:
2274 ; CHECK-SSE41:       # %bb.0:
2275 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2276 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2277 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2278 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2279 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2280 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2281 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2282 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2283 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5,6,7]
2284 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2285 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2286 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2287 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2288 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2289 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2290 ; CHECK-SSE41-NEXT:    retq
2291 ;
2292 ; CHECK-AVX1-LABEL: test_urem_odd_poweroftwo_and_one:
2293 ; CHECK-AVX1:       # %bb.0:
2294 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2295 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2296 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2297 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2298 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2299 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2300 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2301 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2302 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
2303 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2304 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2305 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2306 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2307 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2308 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2309 ; CHECK-AVX1-NEXT:    retq
2310 ;
2311 ; CHECK-AVX2-LABEL: test_urem_odd_poweroftwo_and_one:
2312 ; CHECK-AVX2:       # %bb.0:
2313 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2314 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2315 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2316 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2317 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2318 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2319 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2320 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2321 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2322 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2323 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2324 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2325 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2326 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2327 ; CHECK-AVX2-NEXT:    retq
2328 ;
2329 ; CHECK-AVX512VL-LABEL: test_urem_odd_poweroftwo_and_one:
2330 ; CHECK-AVX512VL:       # %bb.0:
2331 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2332 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2333 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2334 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2335 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2336 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2337 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2338 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2339 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2340 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2341 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2342 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2343 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2344 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2345 ; CHECK-AVX512VL-NEXT:    retq
2346   %urem = urem <4 x i32> %X, <i32 5, i32 16, i32 1, i32 5>
2347   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2348   %ret = zext <4 x i1> %cmp to <4 x i32>
2349   ret <4 x i32> %ret
2350 }
2351
2352 ; One power-of-two divisor divisor and one divisor in even divisor
2353 define <4 x i32> @test_urem_even_poweroftwo_and_one(<4 x i32> %X) nounwind {
2354 ; CHECK-SSE2-LABEL: test_urem_even_poweroftwo_and_one:
2355 ; CHECK-SSE2:       # %bb.0:
2356 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
2357 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
2358 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2359 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm1[3,3]
2360 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,268435456,0,2454267027]
2361 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2362 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
2363 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
2364 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm0[1,2]
2365 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2,3,1]
2366 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
2367 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
2368 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2369 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
2370 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
2371 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
2372 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
2373 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [14,16,1,14]
2374 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
2375 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
2376 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
2377 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm2[0,0]
2378 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm5
2379 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[2,0],xmm2[3,0]
2380 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm5[0,2]
2381 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm1
2382 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2383 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
2384 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2385 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2386 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2387 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2388 ; CHECK-SSE2-NEXT:    retq
2389 ;
2390 ; CHECK-SSE41-LABEL: test_urem_even_poweroftwo_and_one:
2391 ; CHECK-SSE41:       # %bb.0:
2392 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
2393 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
2394 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
2395 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2396 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,268435456,0,2454267027]
2397 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2398 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
2399 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
2400 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2401 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
2402 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2403 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5,6,7]
2404 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2405 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2406 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2407 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2408 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2409 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2410 ; CHECK-SSE41-NEXT:    retq
2411 ;
2412 ; CHECK-AVX1-LABEL: test_urem_even_poweroftwo_and_one:
2413 ; CHECK-AVX1:       # %bb.0:
2414 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
2415 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
2416 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2417 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,268435456,0,2454267027]
2418 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2419 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
2420 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
2421 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2422 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2423 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2424 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
2425 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2426 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2427 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2428 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2429 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2430 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2431 ; CHECK-AVX1-NEXT:    retq
2432 ;
2433 ; CHECK-AVX2-LABEL: test_urem_even_poweroftwo_and_one:
2434 ; CHECK-AVX2:       # %bb.0:
2435 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,268435456,0,2454267027]
2436 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2437 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
2438 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2439 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
2440 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
2441 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2442 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2443 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2444 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2445 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2446 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2447 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2448 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2449 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2450 ; CHECK-AVX2-NEXT:    retq
2451 ;
2452 ; CHECK-AVX512VL-LABEL: test_urem_even_poweroftwo_and_one:
2453 ; CHECK-AVX512VL:       # %bb.0:
2454 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,268435456,0,2454267027]
2455 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2456 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
2457 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2458 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
2459 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
2460 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2461 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2462 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2463 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2464 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2465 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2466 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2467 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2468 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2469 ; CHECK-AVX512VL-NEXT:    retq
2470   %urem = urem <4 x i32> %X, <i32 14, i32 16, i32 1, i32 14>
2471   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2472   %ret = zext <4 x i1> %cmp to <4 x i32>
2473   ret <4 x i32> %ret
2474 }
2475
2476 ; One power-of-two divisor divisor and one divisor in odd+even divisor
2477 define <4 x i32> @test_urem_odd_even_poweroftwo_and_one(<4 x i32> %X) nounwind {
2478 ; CHECK-SSE2-LABEL: test_urem_odd_even_poweroftwo_and_one:
2479 ; CHECK-SSE2:       # %bb.0:
2480 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2481 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2482 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2483 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
2484 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2485 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2486 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2487 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
2488 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2489 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
2490 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
2491 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
2492 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
2493 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,16,1,100]
2494 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
2495 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
2496 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
2497 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm5
2498 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[2,0],xmm1[3,0]
2499 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
2500 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm5[0,2]
2501 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm2
2502 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
2503 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
2504 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2505 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2506 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2507 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2508 ; CHECK-SSE2-NEXT:    retq
2509 ;
2510 ; CHECK-SSE41-LABEL: test_urem_odd_even_poweroftwo_and_one:
2511 ; CHECK-SSE41:       # %bb.0:
2512 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2513 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2514 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2515 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2516 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2517 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2518 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2519 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2520 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
2521 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm2[4,5,6,7]
2522 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2523 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2524 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2525 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2526 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2527 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2528 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2529 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2530 ; CHECK-SSE41-NEXT:    retq
2531 ;
2532 ; CHECK-AVX1-LABEL: test_urem_odd_even_poweroftwo_and_one:
2533 ; CHECK-AVX1:       # %bb.0:
2534 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2535 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2536 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2537 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2538 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2539 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2540 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2541 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
2542 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm2[4,5,6,7]
2543 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2544 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2545 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2546 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2547 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2548 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2549 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2550 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2551 ; CHECK-AVX1-NEXT:    retq
2552 ;
2553 ; CHECK-AVX2-LABEL: test_urem_odd_even_poweroftwo_and_one:
2554 ; CHECK-AVX2:       # %bb.0:
2555 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2556 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2557 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2558 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2559 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2560 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2561 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2562 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2563 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2564 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2565 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2566 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2567 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2568 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2569 ; CHECK-AVX2-NEXT:    retq
2570 ;
2571 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_poweroftwo_and_one:
2572 ; CHECK-AVX512VL:       # %bb.0:
2573 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2574 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2575 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2576 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2577 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2578 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2579 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2580 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2581 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2582 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2583 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2584 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2585 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2586 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2587 ; CHECK-AVX512VL-NEXT:    retq
2588   %urem = urem <4 x i32> %X, <i32 5, i32 16, i32 1, i32 100>
2589   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2590   %ret = zext <4 x i1> %cmp to <4 x i32>
2591   ret <4 x i32> %ret
2592 }
2593
2594 ;------------------------------------------------------------------------------;
2595
2596 define <4 x i32> @test_urem_odd_allones_and_poweroftwo_and_one(<4 x i32> %X) nounwind {
2597 ; CHECK-SSE2-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2598 ; CHECK-SSE2:       # %bb.0:
2599 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2600 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2601 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2602 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,3,2,3]
2603 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2604 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
2605 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm4
2606 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[1,3,2,3]
2607 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
2608 ; CHECK-SSE2-NEXT:    movdqa %xmm3, %xmm1
2609 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
2610 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
2611 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,4294967295,16,1]
2612 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
2613 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm5
2614 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm5[0,2,2,3]
2615 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
2616 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm5
2617 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[3,0],xmm2[3,3]
2618 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,3],xmm5[2,0]
2619 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm3
2620 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
2621 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2622 ; CHECK-SSE2-NEXT:    psubd %xmm2, %xmm0
2623 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2624 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2625 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2626 ; CHECK-SSE2-NEXT:    retq
2627 ;
2628 ; CHECK-SSE41-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2629 ; CHECK-SSE41:       # %bb.0:
2630 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2631 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2632 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2633 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2634 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2635 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2636 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2637 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2638 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
2639 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2640 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
2641 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2642 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2643 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2644 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2645 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2646 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2647 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2648 ; CHECK-SSE41-NEXT:    retq
2649 ;
2650 ; CHECK-AVX1-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2651 ; CHECK-AVX1:       # %bb.0:
2652 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2653 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2654 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2655 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2656 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2657 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2658 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2659 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
2660 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2661 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
2662 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2663 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2664 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2665 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2666 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2667 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2668 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2669 ; CHECK-AVX1-NEXT:    retq
2670 ;
2671 ; CHECK-AVX2-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2672 ; CHECK-AVX2:       # %bb.0:
2673 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2674 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2675 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2676 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2677 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2678 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2679 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2680 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2681 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1,2],xmm0[3]
2682 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2683 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2684 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2685 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2686 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2687 ; CHECK-AVX2-NEXT:    retq
2688 ;
2689 ; CHECK-AVX512VL-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2690 ; CHECK-AVX512VL:       # %bb.0:
2691 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2692 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2693 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2694 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2695 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2696 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2697 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2698 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2699 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1,2],xmm0[3]
2700 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2701 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2702 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2703 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2704 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2705 ; CHECK-AVX512VL-NEXT:    retq
2706   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 1>
2707   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2708   %ret = zext <4 x i1> %cmp to <4 x i32>
2709   ret <4 x i32> %ret
2710 }
2711
2712 define <4 x i32> @test_urem_even_allones_and_poweroftwo_and_one(<4 x i32> %X) nounwind {
2713 ; CHECK-SSE2-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2714 ; CHECK-SSE2:       # %bb.0:
2715 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,0]
2716 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2717 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2718 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm3
2719 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
2720 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
2721 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
2722 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm4
2723 ; CHECK-SSE2-NEXT:    movss {{.*#+}} xmm4 = xmm3[0],xmm4[1,2,3]
2724 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm4
2725 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[1,3,2,3]
2726 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2727 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
2728 ; CHECK-SSE2-NEXT:    psrld $31, %xmm2
2729 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm0[3,3]
2730 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [14,4294967295,16,1]
2731 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm3[1,1,3,3]
2732 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm5
2733 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm5[0,2,2,3]
2734 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
2735 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm5
2736 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm5 = xmm5[3,0],xmm4[3,3]
2737 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm5[2,0]
2738 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
2739 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2740 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2741 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2742 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2743 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2744 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2745 ; CHECK-SSE2-NEXT:    retq
2746 ;
2747 ; CHECK-SSE41-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2748 ; CHECK-SSE41:       # %bb.0:
2749 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,0]
2750 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2751 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2752 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2753 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm2
2754 ; CHECK-SSE41-NEXT:    psrld $1, %xmm2
2755 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm0[2,3,4,5,6,7]
2756 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm2
2757 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
2758 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2759 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2760 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
2761 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2762 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
2763 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2764 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2765 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2766 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2767 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2768 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2769 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2770 ; CHECK-SSE41-NEXT:    retq
2771 ;
2772 ; CHECK-AVX1-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2773 ; CHECK-AVX1:       # %bb.0:
2774 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,0]
2775 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2776 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2777 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2778 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm3
2779 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1],xmm0[2,3,4,5,6,7]
2780 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
2781 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2782 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2783 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
2784 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2785 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
2786 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2787 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2788 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2789 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2790 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2791 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2792 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2793 ; CHECK-AVX1-NEXT:    retq
2794 ;
2795 ; CHECK-AVX2-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2796 ; CHECK-AVX2:       # %bb.0:
2797 ; CHECK-AVX2-NEXT:    movl $1, %eax
2798 ; CHECK-AVX2-NEXT:    vmovd %eax, %xmm1
2799 ; CHECK-AVX2-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm1
2800 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2801 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,0]
2802 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2803 ; CHECK-AVX2-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
2804 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
2805 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2806 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2807 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2808 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1,2],xmm0[3]
2809 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2810 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2811 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2812 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2813 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2814 ; CHECK-AVX2-NEXT:    retq
2815 ;
2816 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2817 ; CHECK-AVX512VL:       # %bb.0:
2818 ; CHECK-AVX512VL-NEXT:    movl $1, %eax
2819 ; CHECK-AVX512VL-NEXT:    vmovd %eax, %xmm1
2820 ; CHECK-AVX512VL-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm1
2821 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2822 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,0]
2823 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2824 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
2825 ; CHECK-AVX512VL-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
2826 ; CHECK-AVX512VL-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2827 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2828 ; CHECK-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2829 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1,2],xmm0[3]
2830 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2831 ; CHECK-AVX512VL-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2832 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2833 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2834 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2835 ; CHECK-AVX512VL-NEXT:    retq
2836   %urem = urem <4 x i32> %X, <i32 14, i32 4294967295, i32 16, i32 1>
2837   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2838   %ret = zext <4 x i1> %cmp to <4 x i32>
2839   ret <4 x i32> %ret
2840 }