test/CodeGen/X86/urem-seteq-vec-nonsplat.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+sse2 < %s | FileCheck %s --check-prefixes=CHECK,CHECK-SSE,CHECK-SSE2
   3 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+sse4.1 < %s | FileCheck %s --check-prefixes=CHECK,CHECK-SSE,CHECK-SSE41
   4 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx < %s | FileCheck %s --check-prefixes=CHECK,CHECK-AVX,CHECK-AVX1
   5 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx2 < %s | FileCheck %s --check-prefixes=CHECK,CHECK-AVX,CHECK-AVX2
   6 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx512f,+avx512vl < %s | FileCheck %s --check-prefixes=CHECK,CHECK-AVX,CHECK-AVX512VL
   7
   8 ; Odd+Even divisors
   9 define <4 x i32> @test_urem_odd_even(<4 x i32> %X) nounwind {
  10 ; CHECK-SSE2-LABEL: test_urem_odd_even:
  11 ; CHECK-SSE2:       # %bb.0:
  12 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2454267027,1374389535,1374389535]
  13 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
  14 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
  15 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
  16 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
  17 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
  18 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm0[3,3]
  19 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
  20 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
  21 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
  22 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
  23 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
  24 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
  25 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
  26 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
  27 ; CHECK-SSE2-NEXT:    psrld $3, %xmm2
  28 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm3[0],xmm2[1]
  29 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
  30 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,14,25,100]
  31 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
  32 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
  33 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
  34 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
  35 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
  36 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
  37 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
  38 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
  39 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
  40 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
  41 ; CHECK-SSE2-NEXT:    retq
  42 ;
  43 ; CHECK-SSE41-LABEL: test_urem_odd_even:
  44 ; CHECK-SSE41:       # %bb.0:
  45 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
  46 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
  47 ; CHECK-SSE41-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
  48 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [3435973837,2454267027,1374389535,1374389535]
  49 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
  50 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
  51 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
  52 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
  53 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
  54 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
  55 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
  56 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
  57 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
  58 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
  59 ; CHECK-SSE41-NEXT:    psrld $3, %xmm1
  60 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
  61 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
  62 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
  63 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
  64 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
  65 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
  66 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
  67 ; CHECK-SSE41-NEXT:    retq
  68 ;
  69 ; CHECK-AVX1-LABEL: test_urem_odd_even:
  70 ; CHECK-AVX1:       # %bb.0:
  71 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
  72 ; CHECK-AVX1-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
  73 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [3435973837,2454267027,1374389535,1374389535]
  74 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
  75 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
  76 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
  77 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
  78 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
  79 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
  80 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
  81 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
  82 ; CHECK-AVX1-NEXT:    vpsrld $3, %xmm1, %xmm1
  83 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
  84 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
  85 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
  86 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
  87 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
  88 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
  89 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
  90 ; CHECK-AVX1-NEXT:    retq
  91 ;
  92 ; CHECK-AVX2-LABEL: test_urem_odd_even:
  93 ; CHECK-AVX2:       # %bb.0:
  94 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,1374389535,1374389535]
  95 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
  96 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
  97 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
  98 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
  99 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 100 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 101 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 102 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 103 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 104 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 105 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 106 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 107 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 108 ; CHECK-AVX2-NEXT:    retq
 109 ;
 110 ; CHECK-AVX512VL-LABEL: test_urem_odd_even:
 111 ; CHECK-AVX512VL:       # %bb.0:
 112 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 113 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 114 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 115 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 116 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 117 ; CHECK-AVX512VL-NEXT:    retq
 118   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 25, i32 100>
 119   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 120   %ret = zext <4 x i1> %cmp to <4 x i32>
 121   ret <4 x i32> %ret
 122 }
 123
 124 ;==============================================================================;
 125
 126 ; One all-ones divisor in odd divisor
 127 define <4 x i32> @test_urem_odd_allones_eq(<4 x i32> %X) nounwind {
 128 ; CHECK-SSE2-LABEL: test_urem_odd_allones_eq:
 129 ; CHECK-SSE2:       # %bb.0:
 130 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 131 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm0
 132 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 133 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 134 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 135 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 136 ; CHECK-SSE2-NEXT:    pxor {{.*}}(%rip), %xmm0
 137 ; CHECK-SSE2-NEXT:    pcmpgtd {{.*}}(%rip), %xmm0
 138 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
 139 ; CHECK-SSE2-NEXT:    retq
 140 ;
 141 ; CHECK-SSE41-LABEL: test_urem_odd_allones_eq:
 142 ; CHECK-SSE41:       # %bb.0:
 143 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 144 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993459,858993459,1,858993459]
 145 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 146 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 147 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 148 ; CHECK-SSE41-NEXT:    retq
 149 ;
 150 ; CHECK-AVX-LABEL: test_urem_odd_allones_eq:
 151 ; CHECK-AVX:       # %bb.0:
 152 ; CHECK-AVX-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 153 ; CHECK-AVX-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 154 ; CHECK-AVX-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 155 ; CHECK-AVX-NEXT:    vpsrld $31, %xmm0, %xmm0
 156 ; CHECK-AVX-NEXT:    retq
 157   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 4294967295, i32 5>
 158   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 159   %ret = zext <4 x i1> %cmp to <4 x i32>
 160   ret <4 x i32> %ret
 161 }
 162 define <4 x i32> @test_urem_odd_allones_ne(<4 x i32> %X) nounwind {
 163 ; CHECK-SSE2-LABEL: test_urem_odd_allones_ne:
 164 ; CHECK-SSE2:       # %bb.0:
 165 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 166 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm0
 167 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 168 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 169 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 170 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 171 ; CHECK-SSE2-NEXT:    pxor {{.*}}(%rip), %xmm0
 172 ; CHECK-SSE2-NEXT:    pcmpgtd {{.*}}(%rip), %xmm0
 173 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 174 ; CHECK-SSE2-NEXT:    retq
 175 ;
 176 ; CHECK-SSE41-LABEL: test_urem_odd_allones_ne:
 177 ; CHECK-SSE41:       # %bb.0:
 178 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 179 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993460,858993460,2,858993460]
 180 ; CHECK-SSE41-NEXT:    pmaxud %xmm0, %xmm1
 181 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 182 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 183 ; CHECK-SSE41-NEXT:    retq
 184 ;
 185 ; CHECK-AVX-LABEL: test_urem_odd_allones_ne:
 186 ; CHECK-AVX:       # %bb.0:
 187 ; CHECK-AVX-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 188 ; CHECK-AVX-NEXT:    vpmaxud {{.*}}(%rip), %xmm0, %xmm1
 189 ; CHECK-AVX-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 190 ; CHECK-AVX-NEXT:    vpsrld $31, %xmm0, %xmm0
 191 ; CHECK-AVX-NEXT:    retq
 192   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 4294967295, i32 5>
 193   %cmp = icmp ne <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 194   %ret = zext <4 x i1> %cmp to <4 x i32>
 195   ret <4 x i32> %ret
 196 }
 197
 198 ; One all-ones divisor in even divisor
 199 define <4 x i32> @test_urem_even_allones_eq(<4 x i32> %X) nounwind {
 200 ; CHECK-SSE2-LABEL: test_urem_even_allones_eq:
 201 ; CHECK-SSE2:       # %bb.0:
 202 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 203 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 204 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 205 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
 206 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 207 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
 208 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 209 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 210 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 211 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
 212 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 213 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 214 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 215 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 216 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 217 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 218 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 219 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 220 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 221 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 222 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 223 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 224 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 225 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 226 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 227 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 228 ; CHECK-SSE2-NEXT:    retq
 229 ;
 230 ; CHECK-SSE41-LABEL: test_urem_even_allones_eq:
 231 ; CHECK-SSE41:       # %bb.0:
 232 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 233 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 234 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 235 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 236 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 237 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 238 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 239 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 240 ; CHECK-SSE41-NEXT:    movdqa %xmm2, %xmm1
 241 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 242 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 243 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 244 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 245 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 246 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 247 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 248 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 249 ; CHECK-SSE41-NEXT:    retq
 250 ;
 251 ; CHECK-AVX1-LABEL: test_urem_even_allones_eq:
 252 ; CHECK-AVX1:       # %bb.0:
 253 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 254 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 255 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
 256 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 257 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 258 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 259 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 260 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
 261 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 262 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 263 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 264 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 265 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 266 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 267 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 268 ; CHECK-AVX1-NEXT:    retq
 269 ;
 270 ; CHECK-AVX2-LABEL: test_urem_even_allones_eq:
 271 ; CHECK-AVX2:       # %bb.0:
 272 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 273 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 274 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 275 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 276 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 277 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 278 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 279 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 280 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 281 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 282 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 283 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 284 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 285 ; CHECK-AVX2-NEXT:    retq
 286 ;
 287 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_eq:
 288 ; CHECK-AVX512VL:       # %bb.0:
 289 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 290 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 291 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 292 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 293 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 294 ; CHECK-AVX512VL-NEXT:    retq
 295   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 4294967295, i32 14>
 296   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 297   %ret = zext <4 x i1> %cmp to <4 x i32>
 298   ret <4 x i32> %ret
 299 }
 300 define <4 x i32> @test_urem_even_allones_ne(<4 x i32> %X) nounwind {
 301 ; CHECK-SSE2-LABEL: test_urem_even_allones_ne:
 302 ; CHECK-SSE2:       # %bb.0:
 303 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 304 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 305 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 306 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
 307 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 308 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
 309 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 310 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 311 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 312 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
 313 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 314 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 315 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 316 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
 317 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 318 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 319 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 320 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 321 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 322 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 323 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 324 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 325 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 326 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 327 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 328 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
 329 ; CHECK-SSE2-NEXT:    retq
 330 ;
 331 ; CHECK-SSE41-LABEL: test_urem_even_allones_ne:
 332 ; CHECK-SSE41:       # %bb.0:
 333 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 334 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 335 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 336 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 337 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 338 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 339 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 340 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 341 ; CHECK-SSE41-NEXT:    movdqa %xmm2, %xmm1
 342 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 343 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 344 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 345 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 346 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 347 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 348 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 349 ; CHECK-SSE41-NEXT:    pandn {{.*}}(%rip), %xmm0
 350 ; CHECK-SSE41-NEXT:    retq
 351 ;
 352 ; CHECK-AVX1-LABEL: test_urem_even_allones_ne:
 353 ; CHECK-AVX1:       # %bb.0:
 354 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 355 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 356 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
 357 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 358 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 359 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 360 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 361 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
 362 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 363 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 364 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 365 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 366 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 367 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 368 ; CHECK-AVX1-NEXT:    vpandn {{.*}}(%rip), %xmm0, %xmm0
 369 ; CHECK-AVX1-NEXT:    retq
 370 ;
 371 ; CHECK-AVX2-LABEL: test_urem_even_allones_ne:
 372 ; CHECK-AVX2:       # %bb.0:
 373 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 374 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 375 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 376 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 377 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 378 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 379 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 380 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 381 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 382 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 383 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 384 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 385 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 386 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 387 ; CHECK-AVX2-NEXT:    retq
 388 ;
 389 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_ne:
 390 ; CHECK-AVX512VL:       # %bb.0:
 391 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 392 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 393 ; CHECK-AVX512VL-NEXT:    vpmaxud {{.*}}(%rip), %xmm0, %xmm1
 394 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 395 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 396 ; CHECK-AVX512VL-NEXT:    retq
 397   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 4294967295, i32 14>
 398   %cmp = icmp ne <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 399   %ret = zext <4 x i1> %cmp to <4 x i32>
 400   ret <4 x i32> %ret
 401 }
 402
 403 ; One all-ones divisor in odd+even divisor
 404 define <4 x i32> @test_urem_odd_even_allones_eq(<4 x i32> %X) nounwind {
 405 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_eq:
 406 ; CHECK-SSE2:       # %bb.0:
 407 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 408 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 409 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 410 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
 411 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
 412 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
 413 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm0[3,3]
 414 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 415 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
 416 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 417 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
 418 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
 419 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
 420 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
 421 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
 422 ; CHECK-SSE2-NEXT:    psrld $31, %xmm2
 423 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm3[0],xmm2[1]
 424 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
 425 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,14,4294967295,100]
 426 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
 427 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
 428 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
 429 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 430 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 431 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
 432 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 433 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 434 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 435 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 436 ; CHECK-SSE2-NEXT:    retq
 437 ;
 438 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_eq:
 439 ; CHECK-SSE41:       # %bb.0:
 440 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 441 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 442 ; CHECK-SSE41-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
 443 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [3435973837,2454267027,2147483649,1374389535]
 444 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 445 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
 446 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
 447 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
 448 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 449 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
 450 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
 451 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
 452 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
 453 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 454 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 455 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 456 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 457 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
 458 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
 459 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 460 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 461 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 462 ; CHECK-SSE41-NEXT:    retq
 463 ;
 464 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_eq:
 465 ; CHECK-AVX1:       # %bb.0:
 466 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 467 ; CHECK-AVX1-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
 468 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [3435973837,2454267027,2147483649,1374389535]
 469 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 470 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
 471 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
 472 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 473 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 474 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
 475 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
 476 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 477 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
 478 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 479 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 480 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 481 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 482 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 483 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 484 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 485 ; CHECK-AVX1-NEXT:    retq
 486 ;
 487 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_eq:
 488 ; CHECK-AVX2:       # %bb.0:
 489 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 490 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 491 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 492 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 493 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 494 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 495 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 496 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 497 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 498 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 499 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 500 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 501 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 502 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 503 ; CHECK-AVX2-NEXT:    retq
 504 ;
 505 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_eq:
 506 ; CHECK-AVX512VL:       # %bb.0:
 507 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 508 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 509 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 510 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 511 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 512 ; CHECK-AVX512VL-NEXT:    retq
 513   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 4294967295, i32 100>
 514   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 515   %ret = zext <4 x i1> %cmp to <4 x i32>
 516   ret <4 x i32> %ret
 517 }
 518 define <4 x i32> @test_urem_odd_even_allones_ne(<4 x i32> %X) nounwind {
 519 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_ne:
 520 ; CHECK-SSE2:       # %bb.0:
 521 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 522 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 523 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 524 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
 525 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
 526 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
 527 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm0[3,3]
 528 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 529 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
 530 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 531 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
 532 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
 533 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
 534 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
 535 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
 536 ; CHECK-SSE2-NEXT:    psrld $31, %xmm2
 537 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm3[0],xmm2[1]
 538 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
 539 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,14,4294967295,100]
 540 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
 541 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
 542 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
 543 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 544 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 545 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
 546 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 547 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 548 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 549 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
 550 ; CHECK-SSE2-NEXT:    retq
 551 ;
 552 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_ne:
 553 ; CHECK-SSE41:       # %bb.0:
 554 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 555 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 556 ; CHECK-SSE41-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
 557 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [3435973837,2454267027,2147483649,1374389535]
 558 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 559 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
 560 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
 561 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
 562 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 563 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
 564 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
 565 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
 566 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
 567 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 568 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
 569 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 570 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 571 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
 572 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
 573 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 574 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 575 ; CHECK-SSE41-NEXT:    pandn {{.*}}(%rip), %xmm0
 576 ; CHECK-SSE41-NEXT:    retq
 577 ;
 578 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_ne:
 579 ; CHECK-AVX1:       # %bb.0:
 580 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 581 ; CHECK-AVX1-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
 582 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [3435973837,2454267027,2147483649,1374389535]
 583 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 584 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
 585 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
 586 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 587 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 588 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
 589 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
 590 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 591 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
 592 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 593 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 594 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 595 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 596 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 597 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 598 ; CHECK-AVX1-NEXT:    vpandn {{.*}}(%rip), %xmm0, %xmm0
 599 ; CHECK-AVX1-NEXT:    retq
 600 ;
 601 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_ne:
 602 ; CHECK-AVX2:       # %bb.0:
 603 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,2147483649,1374389535]
 604 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 605 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 606 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 607 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 608 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 609 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 610 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 611 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 612 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 613 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 614 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 615 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 616 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 617 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 618 ; CHECK-AVX2-NEXT:    retq
 619 ;
 620 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_ne:
 621 ; CHECK-AVX512VL:       # %bb.0:
 622 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 623 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 624 ; CHECK-AVX512VL-NEXT:    vpmaxud {{.*}}(%rip), %xmm0, %xmm1
 625 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 626 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 627 ; CHECK-AVX512VL-NEXT:    retq
 628   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 4294967295, i32 100>
 629   %cmp = icmp ne <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 630   %ret = zext <4 x i1> %cmp to <4 x i32>
 631   ret <4 x i32> %ret
 632 }
 633
 634 ;------------------------------------------------------------------------------;
 635
 636 ; One power-of-two divisor in odd divisor
 637 define <4 x i32> @test_urem_odd_poweroftwo(<4 x i32> %X) nounwind {
 638 ; CHECK-SSE2-LABEL: test_urem_odd_poweroftwo:
 639 ; CHECK-SSE2:       # %bb.0:
 640 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <3435973837,u,268435456,u>
 641 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
 642 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 643 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 644 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 645 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
 646 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 647 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 648 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 649 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 650 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 651 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 652 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 653 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 654 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 655 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 656 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 657 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 658 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 659 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 660 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 661 ; CHECK-SSE2-NEXT:    retq
 662 ;
 663 ; CHECK-SSE41-LABEL: test_urem_odd_poweroftwo:
 664 ; CHECK-SSE41:       # %bb.0:
 665 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 666 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 667 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = <3435973837,u,268435456,u>
 668 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
 669 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 670 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 671 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
 672 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 673 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
 674 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
 675 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 676 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 677 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 678 ; CHECK-SSE41-NEXT:    retq
 679 ;
 680 ; CHECK-AVX1-LABEL: test_urem_odd_poweroftwo:
 681 ; CHECK-AVX1:       # %bb.0:
 682 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 683 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 684 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 685 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 686 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 687 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 688 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 689 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 690 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 691 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 692 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 693 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 694 ; CHECK-AVX1-NEXT:    retq
 695 ;
 696 ; CHECK-AVX2-LABEL: test_urem_odd_poweroftwo:
 697 ; CHECK-AVX2:       # %bb.0:
 698 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 699 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
 700 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
 701 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
 702 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 703 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
 704 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 705 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 706 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 707 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 708 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 709 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 710 ; CHECK-AVX2-NEXT:    retq
 711 ;
 712 ; CHECK-AVX512VL-LABEL: test_urem_odd_poweroftwo:
 713 ; CHECK-AVX512VL:       # %bb.0:
 714 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 715 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 716 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 717 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 718 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 719 ; CHECK-AVX512VL-NEXT:    retq
 720   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 16, i32 5>
 721   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 722   %ret = zext <4 x i1> %cmp to <4 x i32>
 723   ret <4 x i32> %ret
 724 }
 725
 726 ; One power-of-two divisor in even divisor
 727 define <4 x i32> @test_urem_even_poweroftwo(<4 x i32> %X) nounwind {
 728 ; CHECK-SSE2-LABEL: test_urem_even_poweroftwo:
 729 ; CHECK-SSE2:       # %bb.0:
 730 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 731 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 732 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 733 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
 734 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 735 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
 736 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 737 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 738 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 739 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
 740 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 741 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
 742 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
 743 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
 744 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 745 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
 746 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 747 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 748 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
 749 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
 750 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 751 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 752 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 753 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 754 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 755 ; CHECK-SSE2-NEXT:    retq
 756 ;
 757 ; CHECK-SSE41-LABEL: test_urem_even_poweroftwo:
 758 ; CHECK-SSE41:       # %bb.0:
 759 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 760 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 761 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 762 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 763 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
 764 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 765 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
 766 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 767 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
 768 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
 769 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
 770 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
 771 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 772 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 773 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 774 ; CHECK-SSE41-NEXT:    retq
 775 ;
 776 ; CHECK-AVX1-LABEL: test_urem_even_poweroftwo:
 777 ; CHECK-AVX1:       # %bb.0:
 778 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 779 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
 780 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
 781 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 782 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 783 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 784 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 785 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
 786 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
 787 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 788 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 789 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 790 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 791 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 792 ; CHECK-AVX1-NEXT:    retq
 793 ;
 794 ; CHECK-AVX2-LABEL: test_urem_even_poweroftwo:
 795 ; CHECK-AVX2:       # %bb.0:
 796 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
 797 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 798 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
 799 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 800 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
 801 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 802 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 803 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 804 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 805 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 806 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 807 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 808 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 809 ; CHECK-AVX2-NEXT:    retq
 810 ;
 811 ; CHECK-AVX512VL-LABEL: test_urem_even_poweroftwo:
 812 ; CHECK-AVX512VL:       # %bb.0:
 813 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 814 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 815 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 816 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 817 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 818 ; CHECK-AVX512VL-NEXT:    retq
 819   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 16, i32 14>
 820   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 821   %ret = zext <4 x i1> %cmp to <4 x i32>
 822   ret <4 x i32> %ret
 823 }
 824
 825 ; One power-of-two divisor in odd+even divisor
 826 define <4 x i32> @test_urem_odd_even_poweroftwo(<4 x i32> %X) nounwind {
 827 ; CHECK-SSE2-LABEL: test_urem_odd_even_poweroftwo:
 828 ; CHECK-SSE2:       # %bb.0:
 829 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2454267027,268435456,1374389535]
 830 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
 831 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 832 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
 833 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
 834 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
 835 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm0[3,3]
 836 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 837 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
 838 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 839 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
 840 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
 841 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
 842 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
 843 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
 844 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm3[0],xmm2[1]
 845 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
 846 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,14,16,100]
 847 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
 848 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
 849 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
 850 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 851 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 852 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
 853 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
 854 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
 855 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
 856 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 857 ; CHECK-SSE2-NEXT:    retq
 858 ;
 859 ; CHECK-SSE41-LABEL: test_urem_odd_even_poweroftwo:
 860 ; CHECK-SSE41:       # %bb.0:
 861 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 862 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 863 ; CHECK-SSE41-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
 864 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [3435973837,2454267027,268435456,1374389535]
 865 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 866 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
 867 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
 868 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
 869 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 870 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
 871 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
 872 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
 873 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
 874 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 875 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 876 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1],xmm2[2,3],xmm3[4,5],xmm2[6,7]
 877 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm3
 878 ; CHECK-SSE41-NEXT:    psubd %xmm3, %xmm0
 879 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
 880 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 881 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 882 ; CHECK-SSE41-NEXT:    retq
 883 ;
 884 ; CHECK-AVX1-LABEL: test_urem_odd_even_poweroftwo:
 885 ; CHECK-AVX1:       # %bb.0:
 886 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 887 ; CHECK-AVX1-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
 888 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [3435973837,2454267027,268435456,1374389535]
 889 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
 890 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
 891 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
 892 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
 893 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 894 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
 895 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
 896 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 897 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
 898 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 899 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 900 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 901 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 902 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 903 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 904 ; CHECK-AVX1-NEXT:    retq
 905 ;
 906 ; CHECK-AVX2-LABEL: test_urem_odd_even_poweroftwo:
 907 ; CHECK-AVX2:       # %bb.0:
 908 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,268435456,1374389535]
 909 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 910 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
 911 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
 912 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
 913 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
 914 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 915 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
 916 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
 917 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
 918 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
 919 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 920 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 921 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 922 ; CHECK-AVX2-NEXT:    retq
 923 ;
 924 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_poweroftwo:
 925 ; CHECK-AVX512VL:       # %bb.0:
 926 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 927 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
 928 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 929 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 930 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 931 ; CHECK-AVX512VL-NEXT:    retq
 932   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 16, i32 100>
 933   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 934   %ret = zext <4 x i1> %cmp to <4 x i32>
 935   ret <4 x i32> %ret
 936 }
 937
 938 ;------------------------------------------------------------------------------;
 939
 940 ; One one divisor in odd divisor
 941 define <4 x i32> @test_urem_odd_one(<4 x i32> %X) nounwind {
 942 ; CHECK-SSE2-LABEL: test_urem_odd_one:
 943 ; CHECK-SSE2:       # %bb.0:
 944 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 945 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 946 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 947 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 948 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 949 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 950 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 951 ; CHECK-SSE2-NEXT:    pxor {{.*}}(%rip), %xmm0
 952 ; CHECK-SSE2-NEXT:    pcmpgtd {{.*}}(%rip), %xmm0
 953 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
 954 ; CHECK-SSE2-NEXT:    retq
 955 ;
 956 ; CHECK-SSE41-LABEL: test_urem_odd_one:
 957 ; CHECK-SSE41:       # %bb.0:
 958 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 959 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993459,858993459,4294967295,858993459]
 960 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 961 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 962 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 963 ; CHECK-SSE41-NEXT:    retq
 964 ;
 965 ; CHECK-AVX1-LABEL: test_urem_odd_one:
 966 ; CHECK-AVX1:       # %bb.0:
 967 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 968 ; CHECK-AVX1-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 969 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 970 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 971 ; CHECK-AVX1-NEXT:    retq
 972 ;
 973 ; CHECK-AVX2-LABEL: test_urem_odd_one:
 974 ; CHECK-AVX2:       # %bb.0:
 975 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 976 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 977 ; CHECK-AVX2-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 978 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 979 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 980 ; CHECK-AVX2-NEXT:    retq
 981 ;
 982 ; CHECK-AVX512VL-LABEL: test_urem_odd_one:
 983 ; CHECK-AVX512VL:       # %bb.0:
 984 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip){1to4}, %xmm0, %xmm0
 985 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
 986 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 987 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 988 ; CHECK-AVX512VL-NEXT:    retq
 989   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 1, i32 5>
 990   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
 991   %ret = zext <4 x i1> %cmp to <4 x i32>
 992   ret <4 x i32> %ret
 993 }
 994
 995 ; One one divisor in even divisor
 996 define <4 x i32> @test_urem_even_one(<4 x i32> %X) nounwind {
 997 ; CHECK-SSE2-LABEL: test_urem_even_one:
 998 ; CHECK-SSE2:       # %bb.0:
 999 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1000 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1001 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1002 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
1003 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
1004 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1005 ; CHECK-SSE2-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1006 ; CHECK-SSE2-NEXT:    movd %eax, %xmm2
1007 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1008 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,3,2,3]
1009 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1010 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
1011 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1012 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
1013 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1014 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
1015 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
1016 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1017 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
1018 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1019 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1020 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
1021 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1022 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1023 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1024 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1025 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1026 ; CHECK-SSE2-NEXT:    retq
1027 ;
1028 ; CHECK-SSE41-LABEL: test_urem_even_one:
1029 ; CHECK-SSE41:       # %bb.0:
1030 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1031 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1032 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1033 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1034 ; CHECK-SSE41-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1035 ; CHECK-SSE41-NEXT:    movd %eax, %xmm3
1036 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
1037 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,3,3]
1038 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1039 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1040 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1041 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm0[4,5],xmm2[6,7]
1042 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1043 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1044 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1045 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1046 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1047 ; CHECK-SSE41-NEXT:    retq
1048 ;
1049 ; CHECK-AVX1-LABEL: test_urem_even_one:
1050 ; CHECK-AVX1:       # %bb.0:
1051 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1052 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1053 ; CHECK-AVX1-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1054 ; CHECK-AVX1-NEXT:    vmovd %eax, %xmm3
1055 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
1056 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1057 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1058 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
1059 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1060 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1061 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1062 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1063 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1064 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1065 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1066 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1067 ; CHECK-AVX1-NEXT:    retq
1068 ;
1069 ; CHECK-AVX2-LABEL: test_urem_even_one:
1070 ; CHECK-AVX2:       # %bb.0:
1071 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
1072 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1073 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
1074 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
1075 ; CHECK-AVX2-NEXT:    movl $-1840700269, %eax # imm = 0x92492493
1076 ; CHECK-AVX2-NEXT:    vmovd %eax, %xmm3
1077 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1078 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1079 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1080 ; CHECK-AVX2-NEXT:    vpsrld $2, %xmm1, %xmm1
1081 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1082 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1083 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1084 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1085 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1086 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1087 ; CHECK-AVX2-NEXT:    retq
1088 ;
1089 ; CHECK-AVX512VL-LABEL: test_urem_even_one:
1090 ; CHECK-AVX512VL:       # %bb.0:
1091 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip){1to4}, %xmm0, %xmm0
1092 ; CHECK-AVX512VL-NEXT:    vprord $1, %xmm0, %xmm0
1093 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1094 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1095 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1096 ; CHECK-AVX512VL-NEXT:    retq
1097   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 1, i32 14>
1098   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1099   %ret = zext <4 x i1> %cmp to <4 x i32>
1100   ret <4 x i32> %ret
1101 }
1102
1103 ; One one divisor in odd+even divisor
1104 define <4 x i32> @test_urem_odd_even_one(<4 x i32> %X) nounwind {
1105 ; CHECK-SSE2-LABEL: test_urem_odd_even_one:
1106 ; CHECK-SSE2:       # %bb.0:
1107 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2454267027,0,1374389535]
1108 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1109 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1110 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1111 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
1112 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
1113 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm0[3,3]
1114 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1115 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
1116 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1117 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1118 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
1119 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
1120 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
1121 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
1122 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
1123 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,14,1,100]
1124 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
1125 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
1126 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
1127 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm4
1128 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[2,0],xmm2[3,0]
1129 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm4[0,2]
1130 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1131 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1132 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1133 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1134 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1135 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1136 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1137 ; CHECK-SSE2-NEXT:    retq
1138 ;
1139 ; CHECK-SSE41-LABEL: test_urem_odd_even_one:
1140 ; CHECK-SSE41:       # %bb.0:
1141 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1142 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1143 ; CHECK-SSE41-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
1144 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [3435973837,2454267027,0,1374389535]
1145 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1146 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
1147 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
1148 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
1149 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1150 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1151 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
1152 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
1153 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
1154 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1155 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
1156 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
1157 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1158 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1159 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1160 ; CHECK-SSE41-NEXT:    retq
1161 ;
1162 ; CHECK-AVX1-LABEL: test_urem_odd_even_one:
1163 ; CHECK-AVX1:       # %bb.0:
1164 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1165 ; CHECK-AVX1-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
1166 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [3435973837,2454267027,0,1374389535]
1167 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1168 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1169 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
1170 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1171 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1172 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
1173 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1174 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
1175 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1176 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1177 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1178 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1179 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1180 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1181 ; CHECK-AVX1-NEXT:    retq
1182 ;
1183 ; CHECK-AVX2-LABEL: test_urem_odd_even_one:
1184 ; CHECK-AVX2:       # %bb.0:
1185 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,0,1374389535]
1186 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1187 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1188 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1189 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1190 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1191 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1192 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1193 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1194 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1195 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1196 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1197 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1198 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1199 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1200 ; CHECK-AVX2-NEXT:    retq
1201 ;
1202 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_one:
1203 ; CHECK-AVX512VL:       # %bb.0:
1204 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1205 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
1206 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1207 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1208 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1209 ; CHECK-AVX512VL-NEXT:    retq
1210   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 1, i32 100>
1211   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1212   %ret = zext <4 x i1> %cmp to <4 x i32>
1213   ret <4 x i32> %ret
1214 }
1215
1216 ;------------------------------------------------------------------------------;
1217
1218 ; One INT_MIN divisor in odd divisor
1219 define <4 x i32> @test_urem_odd_INT_MIN(<4 x i32> %X) nounwind {
1220 ; CHECK-SSE2-LABEL: test_urem_odd_INT_MIN:
1221 ; CHECK-SSE2:       # %bb.0:
1222 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <3435973837,u,2,u>
1223 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
1224 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1225 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1226 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1227 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1228 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1229 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1230 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
1231 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
1232 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1233 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
1234 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1235 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1236 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1237 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
1238 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1239 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1240 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1241 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1242 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1243 ; CHECK-SSE2-NEXT:    retq
1244 ;
1245 ; CHECK-SSE41-LABEL: test_urem_odd_INT_MIN:
1246 ; CHECK-SSE41:       # %bb.0:
1247 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1248 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
1249 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = <3435973837,u,2,u>
1250 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
1251 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1252 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1253 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
1254 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
1255 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
1256 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
1257 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1258 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1259 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1260 ; CHECK-SSE41-NEXT:    retq
1261 ;
1262 ; CHECK-AVX1-LABEL: test_urem_odd_INT_MIN:
1263 ; CHECK-AVX1:       # %bb.0:
1264 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1265 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
1266 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
1267 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1268 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1269 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1270 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
1271 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1272 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1273 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1274 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1275 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1276 ; CHECK-AVX1-NEXT:    retq
1277 ;
1278 ; CHECK-AVX2-LABEL: test_urem_odd_INT_MIN:
1279 ; CHECK-AVX2:       # %bb.0:
1280 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1281 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [3435973837,3435973837,3435973837,3435973837]
1282 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm1, %xmm1
1283 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm0, %xmm2
1284 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1285 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm2[0],xmm1[1],xmm2[2],xmm1[3]
1286 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1287 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1288 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1289 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1290 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1291 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1292 ; CHECK-AVX2-NEXT:    retq
1293 ;
1294 ; CHECK-AVX512VL-LABEL: test_urem_odd_INT_MIN:
1295 ; CHECK-AVX512VL:       # %bb.0:
1296 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1297 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
1298 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1299 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1300 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1301 ; CHECK-AVX512VL-NEXT:    retq
1302   %urem = urem <4 x i32> %X, <i32 5, i32 5, i32 2147483648, i32 5>
1303   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1304   %ret = zext <4 x i1> %cmp to <4 x i32>
1305   ret <4 x i32> %ret
1306 }
1307
1308 ; One INT_MIN divisor in even divisor
1309 define <4 x i32> @test_urem_even_INT_MIN(<4 x i32> %X) nounwind {
1310 ; CHECK-SSE2-LABEL: test_urem_even_INT_MIN:
1311 ; CHECK-SSE2:       # %bb.0:
1312 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1313 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1314 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1315 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
1316 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
1317 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1318 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm1
1319 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1320 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1321 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
1322 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1323 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1324 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
1325 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
1326 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1327 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
1328 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1329 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1330 ; CHECK-SSE2-NEXT:    pmuludq {{.*}}(%rip), %xmm3
1331 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
1332 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1333 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1334 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1335 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1336 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1337 ; CHECK-SSE2-NEXT:    retq
1338 ;
1339 ; CHECK-SSE41-LABEL: test_urem_even_INT_MIN:
1340 ; CHECK-SSE41:       # %bb.0:
1341 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1342 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1343 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1344 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1345 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm1
1346 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1347 ; CHECK-SSE41-NEXT:    pmuludq {{.*}}(%rip), %xmm2
1348 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1349 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1350 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5],xmm2[6,7]
1351 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1352 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1353 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1354 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1355 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1356 ; CHECK-SSE41-NEXT:    retq
1357 ;
1358 ; CHECK-AVX1-LABEL: test_urem_even_INT_MIN:
1359 ; CHECK-AVX1:       # %bb.0:
1360 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1361 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1362 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm2, %xmm2
1363 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1364 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1365 ; CHECK-AVX1-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
1366 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1367 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1368 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5],xmm1[6,7]
1369 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1370 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1371 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1372 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1373 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1374 ; CHECK-AVX1-NEXT:    retq
1375 ;
1376 ; CHECK-AVX2-LABEL: test_urem_even_INT_MIN:
1377 ; CHECK-AVX2:       # %bb.0:
1378 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm1
1379 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1380 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2454267027,2454267027,2454267027,2454267027]
1381 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
1382 ; CHECK-AVX2-NEXT:    vpmuludq {{.*}}(%rip), %xmm1, %xmm1
1383 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1384 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1385 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1386 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1387 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1388 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1389 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1390 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1391 ; CHECK-AVX2-NEXT:    retq
1392 ;
1393 ; CHECK-AVX512VL-LABEL: test_urem_even_INT_MIN:
1394 ; CHECK-AVX512VL:       # %bb.0:
1395 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1396 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
1397 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1398 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1399 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1400 ; CHECK-AVX512VL-NEXT:    retq
1401   %urem = urem <4 x i32> %X, <i32 14, i32 14, i32 2147483648, i32 14>
1402   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1403   %ret = zext <4 x i1> %cmp to <4 x i32>
1404   ret <4 x i32> %ret
1405 }
1406
1407 ; One INT_MIN divisor in odd+even divisor
1408 define <4 x i32> @test_urem_odd_even_INT_MIN(<4 x i32> %X) nounwind {
1409 ; CHECK-SSE2-LABEL: test_urem_odd_even_INT_MIN:
1410 ; CHECK-SSE2:       # %bb.0:
1411 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2454267027,2,1374389535]
1412 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1413 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1414 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1415 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
1416 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
1417 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm0[3,3]
1418 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1419 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
1420 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1421 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1422 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
1423 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
1424 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
1425 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
1426 ; CHECK-SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm3[0],xmm2[1]
1427 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
1428 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,14,2147483648,100]
1429 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
1430 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
1431 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
1432 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1433 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1434 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1435 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1436 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1437 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1438 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1439 ; CHECK-SSE2-NEXT:    retq
1440 ;
1441 ; CHECK-SSE41-LABEL: test_urem_odd_even_INT_MIN:
1442 ; CHECK-SSE41:       # %bb.0:
1443 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1444 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1445 ; CHECK-SSE41-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
1446 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [3435973837,2454267027,2,1374389535]
1447 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1448 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm3
1449 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm2
1450 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
1451 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1452 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1453 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
1454 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1455 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
1456 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1457 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1458 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1],xmm2[2,3],xmm3[4,5],xmm2[6,7]
1459 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm3
1460 ; CHECK-SSE41-NEXT:    psubd %xmm3, %xmm0
1461 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1462 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1463 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1464 ; CHECK-SSE41-NEXT:    retq
1465 ;
1466 ; CHECK-AVX1-LABEL: test_urem_odd_even_INT_MIN:
1467 ; CHECK-AVX1:       # %bb.0:
1468 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1469 ; CHECK-AVX1-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
1470 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [3435973837,2454267027,2,1374389535]
1471 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1472 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1473 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm0, %xmm2
1474 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
1475 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1476 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
1477 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
1478 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1479 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1480 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1481 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1482 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1483 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1484 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1485 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1486 ; CHECK-AVX1-NEXT:    retq
1487 ;
1488 ; CHECK-AVX2-LABEL: test_urem_odd_even_INT_MIN:
1489 ; CHECK-AVX2:       # %bb.0:
1490 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2454267027,2,1374389535]
1491 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1492 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1493 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1494 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1495 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1496 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1497 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1498 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1499 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1500 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1501 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1502 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1503 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1504 ; CHECK-AVX2-NEXT:    retq
1505 ;
1506 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_INT_MIN:
1507 ; CHECK-AVX512VL:       # %bb.0:
1508 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1509 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
1510 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1511 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1512 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1513 ; CHECK-AVX512VL-NEXT:    retq
1514   %urem = urem <4 x i32> %X, <i32 5, i32 14, i32 2147483648, i32 100>
1515   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1516   %ret = zext <4 x i1> %cmp to <4 x i32>
1517   ret <4 x i32> %ret
1518 }
1519
1520 ;==============================================================================;
1521
1522 ; One all-ones divisor and power-of-two divisor divisor in odd divisor
1523 define <4 x i32> @test_urem_odd_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1524 ; CHECK-SSE2-LABEL: test_urem_odd_allones_and_poweroftwo:
1525 ; CHECK-SSE2:       # %bb.0:
1526 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1527 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1528 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1529 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1530 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1531 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1532 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1533 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
1534 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1535 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
1536 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
1537 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
1538 ; CHECK-SSE2-NEXT:    psrld $31, %xmm3
1539 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
1540 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,4294967295,16,5]
1541 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1542 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
1543 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
1544 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm2[2,3]
1545 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm1
1546 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1547 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1548 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1549 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1550 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1551 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1552 ; CHECK-SSE2-NEXT:    retq
1553 ;
1554 ; CHECK-SSE41-LABEL: test_urem_odd_allones_and_poweroftwo:
1555 ; CHECK-SSE41:       # %bb.0:
1556 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1557 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1558 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1559 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1560 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
1561 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1562 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1563 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1564 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1565 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1566 ; CHECK-SSE41-NEXT:    psrld $31, %xmm3
1567 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1568 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1569 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm3[2,3],xmm2[4,5],xmm3[6,7]
1570 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1571 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1572 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1573 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1574 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1575 ; CHECK-SSE41-NEXT:    retq
1576 ;
1577 ; CHECK-AVX1-LABEL: test_urem_odd_allones_and_poweroftwo:
1578 ; CHECK-AVX1:       # %bb.0:
1579 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1580 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1581 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1582 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1583 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1584 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1585 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1586 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
1587 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
1588 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1589 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1590 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1591 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1592 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1593 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1594 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1595 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1596 ; CHECK-AVX1-NEXT:    retq
1597 ;
1598 ; CHECK-AVX2-LABEL: test_urem_odd_allones_and_poweroftwo:
1599 ; CHECK-AVX2:       # %bb.0:
1600 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,3435973837]
1601 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1602 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1603 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1604 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1605 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1606 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1607 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1608 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1609 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1610 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1611 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1612 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1613 ; CHECK-AVX2-NEXT:    retq
1614 ;
1615 ; CHECK-AVX512VL-LABEL: test_urem_odd_allones_and_poweroftwo:
1616 ; CHECK-AVX512VL:       # %bb.0:
1617 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1618 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
1619 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1620 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1621 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1622 ; CHECK-AVX512VL-NEXT:    retq
1623   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 5>
1624   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1625   %ret = zext <4 x i1> %cmp to <4 x i32>
1626   ret <4 x i32> %ret
1627 }
1628
1629 ; One all-ones divisor and power-of-two divisor divisor in even divisor
1630 define <4 x i32> @test_urem_even_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1631 ; CHECK-SSE2-LABEL: test_urem_even_allones_and_poweroftwo:
1632 ; CHECK-SSE2:       # %bb.0:
1633 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1634 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1635 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1636 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm1[3,3]
1637 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,2454267027]
1638 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1639 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
1640 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
1641 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm0[1,2]
1642 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2,3,1]
1643 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
1644 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1645 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1646 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1647 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
1648 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm3
1649 ; CHECK-SSE2-NEXT:    psrld $31, %xmm3
1650 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
1651 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [14,4294967295,16,14]
1652 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1653 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm5
1654 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
1655 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm1[2,3]
1656 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm2
1657 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1658 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1659 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
1660 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1661 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1662 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1663 ; CHECK-SSE2-NEXT:    retq
1664 ;
1665 ; CHECK-SSE41-LABEL: test_urem_even_allones_and_poweroftwo:
1666 ; CHECK-SSE41:       # %bb.0:
1667 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1668 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1669 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
1670 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1671 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,2454267027]
1672 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1673 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
1674 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
1675 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1676 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
1677 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1678 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
1679 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1680 ; CHECK-SSE41-NEXT:    psrld $31, %xmm3
1681 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1682 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1683 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm3[2,3],xmm2[4,5],xmm3[6,7]
1684 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm2
1685 ; CHECK-SSE41-NEXT:    psubd %xmm2, %xmm0
1686 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1687 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1688 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1689 ; CHECK-SSE41-NEXT:    retq
1690 ;
1691 ; CHECK-AVX1-LABEL: test_urem_even_allones_and_poweroftwo:
1692 ; CHECK-AVX1:       # %bb.0:
1693 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1694 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
1695 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1696 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,2454267027]
1697 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1698 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
1699 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1700 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1701 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1702 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
1703 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
1704 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1705 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1706 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1707 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1708 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1709 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1710 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1711 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1712 ; CHECK-AVX1-NEXT:    retq
1713 ;
1714 ; CHECK-AVX2-LABEL: test_urem_even_allones_and_poweroftwo:
1715 ; CHECK-AVX2:       # %bb.0:
1716 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,2454267027]
1717 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1718 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1719 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1720 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1721 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1722 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1723 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1724 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1725 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1726 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1727 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1728 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1729 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1730 ; CHECK-AVX2-NEXT:    retq
1731 ;
1732 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_and_poweroftwo:
1733 ; CHECK-AVX512VL:       # %bb.0:
1734 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1735 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
1736 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1737 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1738 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1739 ; CHECK-AVX512VL-NEXT:    retq
1740   %urem = urem <4 x i32> %X, <i32 14, i32 4294967295, i32 16, i32 14>
1741   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1742   %ret = zext <4 x i1> %cmp to <4 x i32>
1743   ret <4 x i32> %ret
1744 }
1745
1746 ; One all-ones divisor and power-of-two divisor divisor in odd+even divisor
1747 define <4 x i32> @test_urem_odd_even_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1748 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1749 ; CHECK-SSE2:       # %bb.0:
1750 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1751 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1752 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1753 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
1754 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1755 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1756 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1757 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
1758 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1759 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
1760 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
1761 ; CHECK-SSE2-NEXT:    psrld $2, %xmm3
1762 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,3],xmm2[2,3]
1763 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
1764 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
1765 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm2[3,3]
1766 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [5,4294967295,16,100]
1767 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
1768 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm4
1769 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[0,2,2,3]
1770 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm3
1771 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
1772 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1773 ; CHECK-SSE2-NEXT:    psubd %xmm2, %xmm0
1774 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1775 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1776 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1777 ; CHECK-SSE2-NEXT:    retq
1778 ;
1779 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1780 ; CHECK-SSE41:       # %bb.0:
1781 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1782 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1783 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1784 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1785 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
1786 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1787 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1788 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1789 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
1790 ; CHECK-SSE41-NEXT:    psrld $2, %xmm3
1791 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1792 ; CHECK-SSE41-NEXT:    psrld $5, %xmm1
1793 ; CHECK-SSE41-NEXT:    psrld $31, %xmm2
1794 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1795 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1],xmm2[2,3],xmm3[4,5],xmm2[6,7]
1796 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm3
1797 ; CHECK-SSE41-NEXT:    psubd %xmm3, %xmm0
1798 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1799 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1800 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1801 ; CHECK-SSE41-NEXT:    retq
1802 ;
1803 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1804 ; CHECK-AVX1:       # %bb.0:
1805 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1806 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1807 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1808 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1809 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1810 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1811 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1812 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
1813 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
1814 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
1815 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm3
1816 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
1817 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1818 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1819 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1820 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1821 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1822 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1823 ; CHECK-AVX1-NEXT:    retq
1824 ;
1825 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1826 ; CHECK-AVX2:       # %bb.0:
1827 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,1374389535]
1828 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1829 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1830 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1831 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
1832 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1833 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1834 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1835 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1836 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1837 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1838 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1839 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1840 ; CHECK-AVX2-NEXT:    retq
1841 ;
1842 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_and_poweroftwo:
1843 ; CHECK-AVX512VL:       # %bb.0:
1844 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1845 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
1846 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1847 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1848 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1849 ; CHECK-AVX512VL-NEXT:    retq
1850   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 100>
1851   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1852   %ret = zext <4 x i1> %cmp to <4 x i32>
1853   ret <4 x i32> %ret
1854 }
1855
1856 ;------------------------------------------------------------------------------;
1857
1858 ; One all-ones divisor and one one divisor in odd divisor
1859 define <4 x i32> @test_urem_odd_allones_and_one(<4 x i32> %X) nounwind {
1860 ; CHECK-SSE2-LABEL: test_urem_odd_allones_and_one:
1861 ; CHECK-SSE2:       # %bb.0:
1862 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,4294967295,0,3435973837]
1863 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1864 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1865 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1866 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1867 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1868 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1869 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1870 ; CHECK-SSE2-NEXT:    pxor {{.*}}(%rip), %xmm0
1871 ; CHECK-SSE2-NEXT:    pcmpgtd {{.*}}(%rip), %xmm0
1872 ; CHECK-SSE2-NEXT:    pandn {{.*}}(%rip), %xmm0
1873 ; CHECK-SSE2-NEXT:    retq
1874 ;
1875 ; CHECK-SSE41-LABEL: test_urem_odd_allones_and_one:
1876 ; CHECK-SSE41:       # %bb.0:
1877 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
1878 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993459,1,4294967295,858993459]
1879 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
1880 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1881 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1882 ; CHECK-SSE41-NEXT:    retq
1883 ;
1884 ; CHECK-AVX-LABEL: test_urem_odd_allones_and_one:
1885 ; CHECK-AVX:       # %bb.0:
1886 ; CHECK-AVX-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
1887 ; CHECK-AVX-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
1888 ; CHECK-AVX-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1889 ; CHECK-AVX-NEXT:    vpsrld $31, %xmm0, %xmm0
1890 ; CHECK-AVX-NEXT:    retq
1891   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 1, i32 5>
1892   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
1893   %ret = zext <4 x i1> %cmp to <4 x i32>
1894   ret <4 x i32> %ret
1895 }
1896
1897 ; One all-ones divisor and one one divisor in even divisor
1898 define <4 x i32> @test_urem_even_allones_and_one(<4 x i32> %X) nounwind {
1899 ; CHECK-SSE2-LABEL: test_urem_even_allones_and_one:
1900 ; CHECK-SSE2:       # %bb.0:
1901 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1902 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1903 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
1904 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm1[3,3]
1905 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,0,2454267027]
1906 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1907 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
1908 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
1909 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm0[1,2]
1910 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2,3,1]
1911 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
1912 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1913 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
1914 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
1915 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
1916 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
1917 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm2[3,3]
1918 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [14,4294967295,1,14]
1919 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1920 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm4
1921 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[0,2,2,3]
1922 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm4
1923 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[2,0],xmm2[3,0]
1924 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm4[0,2]
1925 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm2
1926 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
1927 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
1928 ; CHECK-SSE2-NEXT:    psubd %xmm2, %xmm0
1929 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1930 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1931 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1932 ; CHECK-SSE2-NEXT:    retq
1933 ;
1934 ; CHECK-SSE41-LABEL: test_urem_even_allones_and_one:
1935 ; CHECK-SSE41:       # %bb.0:
1936 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1937 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1938 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
1939 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1940 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,2147483649,0,2454267027]
1941 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1942 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
1943 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
1944 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1945 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
1946 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
1947 ; CHECK-SSE41-NEXT:    psrld $31, %xmm2
1948 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
1949 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
1950 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1951 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
1952 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
1953 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1954 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1955 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1956 ; CHECK-SSE41-NEXT:    retq
1957 ;
1958 ; CHECK-AVX1-LABEL: test_urem_even_allones_and_one:
1959 ; CHECK-AVX1:       # %bb.0:
1960 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1961 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
1962 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1963 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,2147483649,0,2454267027]
1964 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1965 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
1966 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
1967 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1968 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1969 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm2
1970 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
1971 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
1972 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
1973 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1974 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1975 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1976 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1977 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1978 ; CHECK-AVX1-NEXT:    retq
1979 ;
1980 ; CHECK-AVX2-LABEL: test_urem_even_allones_and_one:
1981 ; CHECK-AVX2:       # %bb.0:
1982 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,0,2454267027]
1983 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1984 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
1985 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1986 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1987 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
1988 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1989 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
1990 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
1991 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
1992 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
1993 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
1994 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1995 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1996 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1997 ; CHECK-AVX2-NEXT:    retq
1998 ;
1999 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_and_one:
2000 ; CHECK-AVX512VL:       # %bb.0:
2001 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
2002 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
2003 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
2004 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2005 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2006 ; CHECK-AVX512VL-NEXT:    retq
2007   %urem = urem <4 x i32> %X, <i32 14, i32 4294967295, i32 1, i32 14>
2008   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2009   %ret = zext <4 x i1> %cmp to <4 x i32>
2010   ret <4 x i32> %ret
2011 }
2012
2013 ; One all-ones divisor and one one divisor in odd+even divisor
2014 define <4 x i32> @test_urem_odd_even_allones_and_one(<4 x i32> %X) nounwind {
2015 ; CHECK-SSE2-LABEL: test_urem_odd_even_allones_and_one:
2016 ; CHECK-SSE2:       # %bb.0:
2017 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2018 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2019 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2020 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
2021 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2022 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2023 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2024 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
2025 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2026 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
2027 ; CHECK-SSE2-NEXT:    psrld $5, %xmm1
2028 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm3
2029 ; CHECK-SSE2-NEXT:    psrld $31, %xmm3
2030 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm1[3,3]
2031 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,4294967295,1,100]
2032 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,3,3]
2033 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm4
2034 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
2035 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
2036 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm4
2037 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[2,0],xmm2[3,0]
2038 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm4[0,2]
2039 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2040 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
2041 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
2042 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2043 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2044 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2045 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2046 ; CHECK-SSE2-NEXT:    retq
2047 ;
2048 ; CHECK-SSE41-LABEL: test_urem_odd_even_allones_and_one:
2049 ; CHECK-SSE41:       # %bb.0:
2050 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2051 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2052 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2053 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2054 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2055 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2056 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2057 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2058 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
2059 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm3
2060 ; CHECK-SSE41-NEXT:    psrld $31, %xmm3
2061 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
2062 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2063 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2064 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2065 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2066 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2067 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2068 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2069 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2070 ; CHECK-SSE41-NEXT:    retq
2071 ;
2072 ; CHECK-AVX1-LABEL: test_urem_odd_even_allones_and_one:
2073 ; CHECK-AVX1:       # %bb.0:
2074 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2075 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2076 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2077 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2078 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2079 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2080 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2081 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
2082 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm3
2083 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
2084 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2085 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2086 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2087 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2088 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2089 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2090 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2091 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2092 ; CHECK-AVX1-NEXT:    retq
2093 ;
2094 ; CHECK-AVX2-LABEL: test_urem_odd_even_allones_and_one:
2095 ; CHECK-AVX2:       # %bb.0:
2096 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,0,1374389535]
2097 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2098 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2099 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2100 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2101 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2102 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2103 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2104 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2105 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2106 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2107 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2108 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2109 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2110 ; CHECK-AVX2-NEXT:    retq
2111 ;
2112 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_allones_and_one:
2113 ; CHECK-AVX512VL:       # %bb.0:
2114 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
2115 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
2116 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
2117 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2118 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2119 ; CHECK-AVX512VL-NEXT:    retq
2120   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 1, i32 100>
2121   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2122   %ret = zext <4 x i1> %cmp to <4 x i32>
2123   ret <4 x i32> %ret
2124 }
2125
2126 ;------------------------------------------------------------------------------;
2127
2128 ; One power-of-two divisor divisor and one divisor in odd divisor
2129 define <4 x i32> @test_urem_odd_poweroftwo_and_one(<4 x i32> %X) nounwind {
2130 ; CHECK-SSE2-LABEL: test_urem_odd_poweroftwo_and_one:
2131 ; CHECK-SSE2:       # %bb.0:
2132 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2133 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2134 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2135 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
2136 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2137 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2138 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2139 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
2140 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2141 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
2142 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
2143 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm2[3,0]
2144 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
2145 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm1[0,2]
2146 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [5,16,1,5]
2147 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2148 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
2149 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2150 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
2151 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2152 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2153 ; CHECK-SSE2-NEXT:    psubd %xmm2, %xmm0
2154 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2155 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2156 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2157 ; CHECK-SSE2-NEXT:    retq
2158 ;
2159 ; CHECK-SSE41-LABEL: test_urem_odd_poweroftwo_and_one:
2160 ; CHECK-SSE41:       # %bb.0:
2161 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2162 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2163 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2164 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2165 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2166 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2167 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2168 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2169 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5,6,7]
2170 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2171 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2172 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2173 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2174 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2175 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2176 ; CHECK-SSE41-NEXT:    retq
2177 ;
2178 ; CHECK-AVX1-LABEL: test_urem_odd_poweroftwo_and_one:
2179 ; CHECK-AVX1:       # %bb.0:
2180 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2181 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2182 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2183 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2184 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2185 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2186 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2187 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2188 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
2189 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2190 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2191 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2192 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2193 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2194 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2195 ; CHECK-AVX1-NEXT:    retq
2196 ;
2197 ; CHECK-AVX2-LABEL: test_urem_odd_poweroftwo_and_one:
2198 ; CHECK-AVX2:       # %bb.0:
2199 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,3435973837]
2200 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2201 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2202 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2203 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2204 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2205 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2206 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2207 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2208 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2209 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2210 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2211 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2212 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2213 ; CHECK-AVX2-NEXT:    retq
2214 ;
2215 ; CHECK-AVX512VL-LABEL: test_urem_odd_poweroftwo_and_one:
2216 ; CHECK-AVX512VL:       # %bb.0:
2217 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
2218 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
2219 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
2220 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2221 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2222 ; CHECK-AVX512VL-NEXT:    retq
2223   %urem = urem <4 x i32> %X, <i32 5, i32 16, i32 1, i32 5>
2224   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2225   %ret = zext <4 x i1> %cmp to <4 x i32>
2226   ret <4 x i32> %ret
2227 }
2228
2229 ; One power-of-two divisor divisor and one divisor in even divisor
2230 define <4 x i32> @test_urem_even_poweroftwo_and_one(<4 x i32> %X) nounwind {
2231 ; CHECK-SSE2-LABEL: test_urem_even_poweroftwo_and_one:
2232 ; CHECK-SSE2:       # %bb.0:
2233 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
2234 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
2235 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2236 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm1[3,3]
2237 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,268435456,0,2454267027]
2238 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2239 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm4
2240 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,3,2,3]
2241 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm0[1,2]
2242 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2,3,1]
2243 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
2244 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
2245 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2246 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
2247 ; CHECK-SSE2-NEXT:    movaps %xmm0, %xmm2
2248 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[3,0]
2249 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[1,1],xmm1[3,3]
2250 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
2251 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [14,16,1,14]
2252 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
2253 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2254 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,1,3,3]
2255 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm2
2256 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
2257 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2258 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2259 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2260 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2261 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2262 ; CHECK-SSE2-NEXT:    retq
2263 ;
2264 ; CHECK-SSE41-LABEL: test_urem_even_poweroftwo_and_one:
2265 ; CHECK-SSE41:       # %bb.0:
2266 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
2267 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
2268 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
2269 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2270 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [2454267027,268435456,0,2454267027]
2271 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2272 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
2273 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm1
2274 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2275 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
2276 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2277 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5,6,7]
2278 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2279 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2280 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2281 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2282 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2283 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2284 ; CHECK-SSE41-NEXT:    retq
2285 ;
2286 ; CHECK-AVX1-LABEL: test_urem_even_poweroftwo_and_one:
2287 ; CHECK-AVX1:       # %bb.0:
2288 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
2289 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3,4,5],xmm1[6,7]
2290 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2291 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,268435456,0,2454267027]
2292 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2293 ; CHECK-AVX1-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
2294 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
2295 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2296 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2297 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2298 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5,6,7]
2299 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2300 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2301 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2302 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2303 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2304 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2305 ; CHECK-AVX1-NEXT:    retq
2306 ;
2307 ; CHECK-AVX2-LABEL: test_urem_even_poweroftwo_and_one:
2308 ; CHECK-AVX2:       # %bb.0:
2309 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,268435456,0,2454267027]
2310 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2311 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm3
2312 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2313 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
2314 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
2315 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2316 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2317 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2318 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2319 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2320 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2321 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2322 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2323 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2324 ; CHECK-AVX2-NEXT:    retq
2325 ;
2326 ; CHECK-AVX512VL-LABEL: test_urem_even_poweroftwo_and_one:
2327 ; CHECK-AVX512VL:       # %bb.0:
2328 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
2329 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
2330 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
2331 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2332 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2333 ; CHECK-AVX512VL-NEXT:    retq
2334   %urem = urem <4 x i32> %X, <i32 14, i32 16, i32 1, i32 14>
2335   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2336   %ret = zext <4 x i1> %cmp to <4 x i32>
2337   ret <4 x i32> %ret
2338 }
2339
2340 ; One power-of-two divisor divisor and one divisor in odd+even divisor
2341 define <4 x i32> @test_urem_odd_even_poweroftwo_and_one(<4 x i32> %X) nounwind {
2342 ; CHECK-SSE2-LABEL: test_urem_odd_even_poweroftwo_and_one:
2343 ; CHECK-SSE2:       # %bb.0:
2344 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2345 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2346 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2347 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
2348 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2349 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2350 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2351 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
2352 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2353 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
2354 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
2355 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm4
2356 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[2,0],xmm1[3,0]
2357 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm4[0,2]
2358 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [5,16,1,100]
2359 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm1
2360 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2361 ; CHECK-SSE2-NEXT:    psrld $5, %xmm2
2362 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[1,1],xmm2[3,3]
2363 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,1,3,3]
2364 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm2
2365 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
2366 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2367 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2368 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2369 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2370 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2371 ; CHECK-SSE2-NEXT:    retq
2372 ;
2373 ; CHECK-SSE41-LABEL: test_urem_odd_even_poweroftwo_and_one:
2374 ; CHECK-SSE41:       # %bb.0:
2375 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2376 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2377 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2378 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2379 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2380 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2381 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2382 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2383 ; CHECK-SSE41-NEXT:    psrld $5, %xmm2
2384 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm2[4,5,6,7]
2385 ; CHECK-SSE41-NEXT:    psrld $2, %xmm1
2386 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2387 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2388 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2389 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2390 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2391 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2392 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2393 ; CHECK-SSE41-NEXT:    retq
2394 ;
2395 ; CHECK-AVX1-LABEL: test_urem_odd_even_poweroftwo_and_one:
2396 ; CHECK-AVX1:       # %bb.0:
2397 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2398 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2399 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2400 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2401 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2402 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2403 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2404 ; CHECK-AVX1-NEXT:    vpsrld $5, %xmm1, %xmm2
2405 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm1[0,1,2,3],xmm2[4,5,6,7]
2406 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm1
2407 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2408 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5],xmm1[6,7]
2409 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2410 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2411 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2412 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2413 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2414 ; CHECK-AVX1-NEXT:    retq
2415 ;
2416 ; CHECK-AVX2-LABEL: test_urem_odd_even_poweroftwo_and_one:
2417 ; CHECK-AVX2:       # %bb.0:
2418 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,268435456,0,1374389535]
2419 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2420 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2421 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2422 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2423 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2424 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2425 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2426 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1],xmm0[2],xmm1[3]
2427 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2428 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2429 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2430 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2431 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2432 ; CHECK-AVX2-NEXT:    retq
2433 ;
2434 ; CHECK-AVX512VL-LABEL: test_urem_odd_even_poweroftwo_and_one:
2435 ; CHECK-AVX512VL:       # %bb.0:
2436 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
2437 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
2438 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
2439 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2440 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2441 ; CHECK-AVX512VL-NEXT:    retq
2442   %urem = urem <4 x i32> %X, <i32 5, i32 16, i32 1, i32 100>
2443   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2444   %ret = zext <4 x i1> %cmp to <4 x i32>
2445   ret <4 x i32> %ret
2446 }
2447
2448 ;------------------------------------------------------------------------------;
2449
2450 define <4 x i32> @test_urem_odd_allones_and_poweroftwo_and_one(<4 x i32> %X) nounwind {
2451 ; CHECK-SSE2-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2452 ; CHECK-SSE2:       # %bb.0:
2453 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2454 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm2
2455 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
2456 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[1,3,2,3]
2457 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2458 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2459 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2460 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,3,2,3]
2461 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2462 ; CHECK-SSE2-NEXT:    movdqa %xmm2, %xmm1
2463 ; CHECK-SSE2-NEXT:    psrld $2, %xmm1
2464 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,3],xmm2[2,1]
2465 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [5,4294967295,16,1]
2466 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm1
2467 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2468 ; CHECK-SSE2-NEXT:    psrld $31, %xmm2
2469 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[1,1],xmm0[3,3]
2470 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
2471 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm3
2472 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,2,2,3]
2473 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2474 ; CHECK-SSE2-NEXT:    psubd %xmm1, %xmm0
2475 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2476 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2477 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2478 ; CHECK-SSE2-NEXT:    retq
2479 ;
2480 ; CHECK-SSE41-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2481 ; CHECK-SSE41:       # %bb.0:
2482 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2483 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2484 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2485 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2486 ; CHECK-SSE41-NEXT:    pmuludq %xmm0, %xmm1
2487 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2488 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2489 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2490 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
2491 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2492 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
2493 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2494 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2495 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2496 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2497 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2498 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2499 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2500 ; CHECK-SSE41-NEXT:    retq
2501 ;
2502 ; CHECK-AVX1-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2503 ; CHECK-AVX1:       # %bb.0:
2504 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2505 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2506 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2507 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2508 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2509 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2510 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2511 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
2512 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2513 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
2514 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2515 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2516 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2517 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2518 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2519 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2520 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2521 ; CHECK-AVX1-NEXT:    retq
2522 ;
2523 ; CHECK-AVX2-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2524 ; CHECK-AVX2:       # %bb.0:
2525 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [3435973837,2147483649,268435456,0]
2526 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2527 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2528 ; CHECK-AVX2-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2529 ; CHECK-AVX2-NEXT:    vpmuludq %xmm1, %xmm0, %xmm1
2530 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2531 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2532 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2533 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1,2],xmm0[3]
2534 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2535 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2536 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2537 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2538 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2539 ; CHECK-AVX2-NEXT:    retq
2540 ;
2541 ; CHECK-AVX512VL-LABEL: test_urem_odd_allones_and_poweroftwo_and_one:
2542 ; CHECK-AVX512VL:       # %bb.0:
2543 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
2544 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
2545 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
2546 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2547 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2548 ; CHECK-AVX512VL-NEXT:    retq
2549   %urem = urem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 1>
2550   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2551   %ret = zext <4 x i1> %cmp to <4 x i32>
2552   ret <4 x i32> %ret
2553 }
2554
2555 define <4 x i32> @test_urem_even_allones_and_poweroftwo_and_one(<4 x i32> %X) nounwind {
2556 ; CHECK-SSE2-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2557 ; CHECK-SSE2:       # %bb.0:
2558 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,0]
2559 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2560 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2561 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm3
2562 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
2563 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
2564 ; CHECK-SSE2-NEXT:    psrld $1, %xmm3
2565 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm4
2566 ; CHECK-SSE2-NEXT:    movss {{.*#+}} xmm4 = xmm3[0],xmm4[1,2,3]
2567 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm4
2568 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[1,3,2,3]
2569 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
2570 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm2
2571 ; CHECK-SSE2-NEXT:    psrld $2, %xmm2
2572 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm1[2,1]
2573 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [14,4294967295,16,1]
2574 ; CHECK-SSE2-NEXT:    pmuludq %xmm3, %xmm2
2575 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
2576 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
2577 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,1],xmm0[3,3]
2578 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
2579 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
2580 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,2,2,3]
2581 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
2582 ; CHECK-SSE2-NEXT:    psubd %xmm2, %xmm0
2583 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2584 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
2585 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
2586 ; CHECK-SSE2-NEXT:    retq
2587 ;
2588 ; CHECK-SSE41-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2589 ; CHECK-SSE41:       # %bb.0:
2590 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,0]
2591 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2592 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2593 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2594 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm2
2595 ; CHECK-SSE41-NEXT:    psrld $1, %xmm2
2596 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm0[2,3,4,5,6,7]
2597 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm2
2598 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,3,3]
2599 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2600 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm2
2601 ; CHECK-SSE41-NEXT:    psrld $2, %xmm2
2602 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2603 ; CHECK-SSE41-NEXT:    psrld $31, %xmm1
2604 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2605 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2606 ; CHECK-SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
2607 ; CHECK-SSE41-NEXT:    psubd %xmm1, %xmm0
2608 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2609 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2610 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2611 ; CHECK-SSE41-NEXT:    retq
2612 ;
2613 ; CHECK-AVX1-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2614 ; CHECK-AVX1:       # %bb.0:
2615 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [2454267027,2147483649,268435456,0]
2616 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2617 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2618 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2619 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm3
2620 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1],xmm0[2,3,4,5,6,7]
2621 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm3, %xmm1
2622 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2623 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2624 ; CHECK-AVX1-NEXT:    vpsrld $2, %xmm1, %xmm2
2625 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
2626 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm1, %xmm1
2627 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
2628 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,5],xmm0[6,7]
2629 ; CHECK-AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2630 ; CHECK-AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2631 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2632 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2633 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2634 ; CHECK-AVX1-NEXT:    retq
2635 ;
2636 ; CHECK-AVX2-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2637 ; CHECK-AVX2:       # %bb.0:
2638 ; CHECK-AVX2-NEXT:    movl $1, %eax
2639 ; CHECK-AVX2-NEXT:    vmovd %eax, %xmm1
2640 ; CHECK-AVX2-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm1
2641 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2642 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm3 = [2454267027,2147483649,268435456,0]
2643 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
2644 ; CHECK-AVX2-NEXT:    vpmuludq %xmm4, %xmm2, %xmm2
2645 ; CHECK-AVX2-NEXT:    vpmuludq %xmm3, %xmm1, %xmm1
2646 ; CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2647 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3]
2648 ; CHECK-AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1
2649 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm1 = xmm1[0,1,2],xmm0[3]
2650 ; CHECK-AVX2-NEXT:    vpmulld {{.*}}(%rip), %xmm1, %xmm1
2651 ; CHECK-AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
2652 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2653 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2654 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2655 ; CHECK-AVX2-NEXT:    retq
2656 ;
2657 ; CHECK-AVX512VL-LABEL: test_urem_even_allones_and_poweroftwo_and_one:
2658 ; CHECK-AVX512VL:       # %bb.0:
2659 ; CHECK-AVX512VL-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
2660 ; CHECK-AVX512VL-NEXT:    vprorvd {{.*}}(%rip), %xmm0, %xmm0
2661 ; CHECK-AVX512VL-NEXT:    vpminud {{.*}}(%rip), %xmm0, %xmm1
2662 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2663 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2664 ; CHECK-AVX512VL-NEXT:    retq
2665   %urem = urem <4 x i32> %X, <i32 14, i32 4294967295, i32 16, i32 1>
2666   %cmp = icmp eq <4 x i32> %urem, <i32 0, i32 0, i32 0, i32 0>
2667   %ret = zext <4 x i1> %cmp to <4 x i32>
2668   ret <4 x i32> %ret
2669 }