llvm/test/CodeGen/X86/srem-seteq-vec-nonsplat.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+sse2 < %s | FileCheck %s --check-prefix=CHECK-SSE2
   3 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+sse4.1 < %s | FileCheck %s --check-prefix=CHECK-SSE41
   4 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx < %s | FileCheck %s --check-prefix=CHECK-AVX1
   5 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx2 < %s | FileCheck %s --check-prefix=CHECK-AVX2
   6 ; RUN: llc -mtriple=x86_64-unknown-linux-gnu -mattr=+avx512f,+avx512vl < %s | FileCheck %s --check-prefix=CHECK-AVX512VL
   7
   8 ; Odd+Even divisors
   9 define <4 x i32> @test_srem_odd_even(<4 x i32> %X) nounwind {
  10 ; CHECK-SSE2-LABEL: test_srem_odd_even:
  11 ; CHECK-SSE2:       # %bb.0:
  12 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3067833783,3264175145,3264175145]
  13 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
  14 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
  15 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
  16 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
  17 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
  18 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
  19 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
  20 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
  21 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
  22 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
  23 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
  24 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
  25 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
  26 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
  27 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
  28 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
  29 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
  30 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
  31 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
  32 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
  33 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
  34 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
  35 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
  36 ; CHECK-SSE2-NEXT:    retq
  37 ;
  38 ; CHECK-SSE41-LABEL: test_srem_odd_even:
  39 ; CHECK-SSE41:       # %bb.0:
  40 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
  41 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
  42 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
  43 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
  44 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
  45 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
  46 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
  47 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
  48 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
  49 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
  50 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
  51 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
  52 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,306783378,171798690,42949672]
  53 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
  54 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
  55 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
  56 ; CHECK-SSE41-NEXT:    retq
  57 ;
  58 ; CHECK-AVX1-LABEL: test_srem_odd_even:
  59 ; CHECK-AVX1:       # %bb.0:
  60 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
  61 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
  62 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  63 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  64 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
  65 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
  66 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
  67 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
  68 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
  69 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
  70 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
  71 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
  72 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
  73 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
  74 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
  75 ; CHECK-AVX1-NEXT:    retq
  76 ;
  77 ; CHECK-AVX2-LABEL: test_srem_odd_even:
  78 ; CHECK-AVX2:       # %bb.0:
  79 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  80 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  81 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
  82 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  83 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
  84 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
  85 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
  86 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
  87 ; CHECK-AVX2-NEXT:    retq
  88 ;
  89 ; CHECK-AVX512VL-LABEL: test_srem_odd_even:
  90 ; CHECK-AVX512VL:       # %bb.0:
  91 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  92 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  93 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
  94 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
  95 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
  96 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
  97 ; CHECK-AVX512VL-NEXT:    retq
  98   %srem = srem <4 x i32> %X, <i32 5, i32 14, i32 25, i32 100>
  99   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 100   %ret = zext <4 x i1> %cmp to <4 x i32>
 101   ret <4 x i32> %ret
 102 }
 103
 104 ;==============================================================================;
 105
 106 ; One all-ones divisor in odd divisor
 107 define <4 x i32> @test_srem_odd_allones_eq(<4 x i32> %X) nounwind {
 108 ; CHECK-SSE2-LABEL: test_srem_odd_allones_eq:
 109 ; CHECK-SSE2:       # %bb.0:
 110 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 111 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 112 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 113 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 114 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 115 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 116 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 117 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 118 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 119 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 120 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 121 ; CHECK-SSE2-NEXT:    retq
 122 ;
 123 ; CHECK-SSE41-LABEL: test_srem_odd_allones_eq:
 124 ; CHECK-SSE41:       # %bb.0:
 125 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 126 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 127 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993458,858993458,4294967295,858993458]
 128 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 129 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 130 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 131 ; CHECK-SSE41-NEXT:    retq
 132 ;
 133 ; CHECK-AVX1-LABEL: test_srem_odd_allones_eq:
 134 ; CHECK-AVX1:       # %bb.0:
 135 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 136 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 137 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 138 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 139 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 140 ; CHECK-AVX1-NEXT:    retq
 141 ;
 142 ; CHECK-AVX2-LABEL: test_srem_odd_allones_eq:
 143 ; CHECK-AVX2:       # %bb.0:
 144 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 145 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 146 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [429496729,429496729,429496729,429496729]
 147 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
 148 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 149 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 150 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 151 ; CHECK-AVX2-NEXT:    retq
 152 ;
 153 ; CHECK-AVX512VL-LABEL: test_srem_odd_allones_eq:
 154 ; CHECK-AVX512VL:       # %bb.0:
 155 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 156 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 157 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 158 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 159 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 160 ; CHECK-AVX512VL-NEXT:    retq
 161   %srem = srem <4 x i32> %X, <i32 5, i32 5, i32 4294967295, i32 5>
 162   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 163   %ret = zext <4 x i1> %cmp to <4 x i32>
 164   ret <4 x i32> %ret
 165 }
 166 define <4 x i32> @test_srem_odd_allones_ne(<4 x i32> %X) nounwind {
 167 ; CHECK-SSE2-LABEL: test_srem_odd_allones_ne:
 168 ; CHECK-SSE2:       # %bb.0:
 169 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 170 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 171 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 172 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 173 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 174 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 175 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 176 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 177 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 178 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 179 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 180 ; CHECK-SSE2-NEXT:    retq
 181 ;
 182 ; CHECK-SSE41-LABEL: test_srem_odd_allones_ne:
 183 ; CHECK-SSE41:       # %bb.0:
 184 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 185 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 186 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993458,858993458,4294967295,858993458]
 187 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 188 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 189 ; CHECK-SSE41-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 190 ; CHECK-SSE41-NEXT:    retq
 191 ;
 192 ; CHECK-AVX1-LABEL: test_srem_odd_allones_ne:
 193 ; CHECK-AVX1:       # %bb.0:
 194 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 195 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 196 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 197 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 198 ; CHECK-AVX1-NEXT:    vpandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 199 ; CHECK-AVX1-NEXT:    retq
 200 ;
 201 ; CHECK-AVX2-LABEL: test_srem_odd_allones_ne:
 202 ; CHECK-AVX2:       # %bb.0:
 203 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 204 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 205 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [429496729,429496729,429496729,429496729]
 206 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
 207 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 208 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 209 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 210 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 211 ; CHECK-AVX2-NEXT:    retq
 212 ;
 213 ; CHECK-AVX512VL-LABEL: test_srem_odd_allones_ne:
 214 ; CHECK-AVX512VL:       # %bb.0:
 215 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 216 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 217 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 218 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 219 ; CHECK-AVX512VL-NEXT:    vpandnd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 220 ; CHECK-AVX512VL-NEXT:    retq
 221   %srem = srem <4 x i32> %X, <i32 5, i32 5, i32 4294967295, i32 5>
 222   %cmp = icmp ne <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 223   %ret = zext <4 x i1> %cmp to <4 x i32>
 224   ret <4 x i32> %ret
 225 }
 226
 227 ; One all-ones divisor in even divisor
 228 define <4 x i32> @test_srem_even_allones_eq(<4 x i32> %X) nounwind {
 229 ; CHECK-SSE2-LABEL: test_srem_even_allones_eq:
 230 ; CHECK-SSE2:       # %bb.0:
 231 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
 232 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 233 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 234 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 235 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 236 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 237 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 238 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 239 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 240 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 241 ; CHECK-SSE2-NEXT:    pslld $31, %xmm0
 242 ; CHECK-SSE2-NEXT:    por %xmm1, %xmm0
 243 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 244 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 245 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 246 ; CHECK-SSE2-NEXT:    retq
 247 ;
 248 ; CHECK-SSE41-LABEL: test_srem_even_allones_eq:
 249 ; CHECK-SSE41:       # %bb.0:
 250 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 251 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 252 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 253 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 254 ; CHECK-SSE41-NEXT:    pslld $31, %xmm0
 255 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm0
 256 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [306783378,306783378,4294967295,306783378]
 257 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 258 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 259 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 260 ; CHECK-SSE41-NEXT:    retq
 261 ;
 262 ; CHECK-AVX1-LABEL: test_srem_even_allones_eq:
 263 ; CHECK-AVX1:       # %bb.0:
 264 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 265 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 266 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 267 ; CHECK-AVX1-NEXT:    vpslld $31, %xmm0, %xmm0
 268 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 269 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 270 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 271 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 272 ; CHECK-AVX1-NEXT:    retq
 273 ;
 274 ; CHECK-AVX2-LABEL: test_srem_even_allones_eq:
 275 ; CHECK-AVX2:       # %bb.0:
 276 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
 277 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 278 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [306783378,306783378,306783378,306783378]
 279 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
 280 ; CHECK-AVX2-NEXT:    vpsrld $1, %xmm0, %xmm1
 281 ; CHECK-AVX2-NEXT:    vpslld $31, %xmm0, %xmm0
 282 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 283 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 284 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 285 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 286 ; CHECK-AVX2-NEXT:    retq
 287 ;
 288 ; CHECK-AVX512VL-LABEL: test_srem_even_allones_eq:
 289 ; CHECK-AVX512VL:       # %bb.0:
 290 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 291 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 292 ; CHECK-AVX512VL-NEXT:    vprord $1, %xmm0, %xmm0
 293 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 294 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 295 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 296 ; CHECK-AVX512VL-NEXT:    retq
 297   %srem = srem <4 x i32> %X, <i32 14, i32 14, i32 4294967295, i32 14>
 298   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 299   %ret = zext <4 x i1> %cmp to <4 x i32>
 300   ret <4 x i32> %ret
 301 }
 302 define <4 x i32> @test_srem_even_allones_ne(<4 x i32> %X) nounwind {
 303 ; CHECK-SSE2-LABEL: test_srem_even_allones_ne:
 304 ; CHECK-SSE2:       # %bb.0:
 305 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
 306 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 307 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 308 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 309 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 310 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 311 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 312 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 313 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 314 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 315 ; CHECK-SSE2-NEXT:    pslld $31, %xmm0
 316 ; CHECK-SSE2-NEXT:    por %xmm1, %xmm0
 317 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 318 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 319 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 320 ; CHECK-SSE2-NEXT:    retq
 321 ;
 322 ; CHECK-SSE41-LABEL: test_srem_even_allones_ne:
 323 ; CHECK-SSE41:       # %bb.0:
 324 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 325 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 326 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 327 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 328 ; CHECK-SSE41-NEXT:    pslld $31, %xmm0
 329 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm0
 330 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [306783378,306783378,4294967295,306783378]
 331 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 332 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 333 ; CHECK-SSE41-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 334 ; CHECK-SSE41-NEXT:    retq
 335 ;
 336 ; CHECK-AVX1-LABEL: test_srem_even_allones_ne:
 337 ; CHECK-AVX1:       # %bb.0:
 338 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 339 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 340 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 341 ; CHECK-AVX1-NEXT:    vpslld $31, %xmm0, %xmm0
 342 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 343 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 344 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 345 ; CHECK-AVX1-NEXT:    vpandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 346 ; CHECK-AVX1-NEXT:    retq
 347 ;
 348 ; CHECK-AVX2-LABEL: test_srem_even_allones_ne:
 349 ; CHECK-AVX2:       # %bb.0:
 350 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
 351 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 352 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [306783378,306783378,306783378,306783378]
 353 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
 354 ; CHECK-AVX2-NEXT:    vpsrld $1, %xmm0, %xmm1
 355 ; CHECK-AVX2-NEXT:    vpslld $31, %xmm0, %xmm0
 356 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 357 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 358 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 359 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 360 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 361 ; CHECK-AVX2-NEXT:    retq
 362 ;
 363 ; CHECK-AVX512VL-LABEL: test_srem_even_allones_ne:
 364 ; CHECK-AVX512VL:       # %bb.0:
 365 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 366 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 367 ; CHECK-AVX512VL-NEXT:    vprord $1, %xmm0, %xmm0
 368 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 369 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 370 ; CHECK-AVX512VL-NEXT:    vpandnd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 371 ; CHECK-AVX512VL-NEXT:    retq
 372   %srem = srem <4 x i32> %X, <i32 14, i32 14, i32 4294967295, i32 14>
 373   %cmp = icmp ne <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 374   %ret = zext <4 x i1> %cmp to <4 x i32>
 375   ret <4 x i32> %ret
 376 }
 377
 378 ; One all-ones divisor in odd+even divisor
 379 define <4 x i32> @test_srem_odd_even_allones_eq(<4 x i32> %X) nounwind {
 380 ; CHECK-SSE2-LABEL: test_srem_odd_even_allones_eq:
 381 ; CHECK-SSE2:       # %bb.0:
 382 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3067833783,0,3264175145]
 383 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 384 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 385 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 386 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 387 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 388 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 389 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 390 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 391 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
 392 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 393 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 394 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
 395 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 396 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 397 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 398 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
 399 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 400 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 401 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 402 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
 403 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 404 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 405 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 406 ; CHECK-SSE2-NEXT:    retq
 407 ;
 408 ; CHECK-SSE41-LABEL: test_srem_odd_even_allones_eq:
 409 ; CHECK-SSE41:       # %bb.0:
 410 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
 411 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 412 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 413 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 414 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 415 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
 416 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
 417 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 418 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 419 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
 420 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 421 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
 422 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,306783378,4294967295,42949672]
 423 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
 424 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
 425 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 426 ; CHECK-SSE41-NEXT:    retq
 427 ;
 428 ; CHECK-AVX1-LABEL: test_srem_odd_even_allones_eq:
 429 ; CHECK-AVX1:       # %bb.0:
 430 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
 431 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 432 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 433 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 434 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 435 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
 436 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
 437 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 438 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 439 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
 440 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 441 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 442 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 443 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 444 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 445 ; CHECK-AVX1-NEXT:    retq
 446 ;
 447 ; CHECK-AVX2-LABEL: test_srem_odd_even_allones_eq:
 448 ; CHECK-AVX2:       # %bb.0:
 449 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 450 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 451 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 452 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 453 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 454 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 455 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 456 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 457 ; CHECK-AVX2-NEXT:    retq
 458 ;
 459 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_allones_eq:
 460 ; CHECK-AVX512VL:       # %bb.0:
 461 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 462 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 463 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 464 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 465 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 466 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 467 ; CHECK-AVX512VL-NEXT:    retq
 468   %srem = srem <4 x i32> %X, <i32 5, i32 14, i32 4294967295, i32 100>
 469   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 470   %ret = zext <4 x i1> %cmp to <4 x i32>
 471   ret <4 x i32> %ret
 472 }
 473 define <4 x i32> @test_srem_odd_even_allones_ne(<4 x i32> %X) nounwind {
 474 ; CHECK-SSE2-LABEL: test_srem_odd_even_allones_ne:
 475 ; CHECK-SSE2:       # %bb.0:
 476 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3067833783,0,3264175145]
 477 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 478 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 479 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 480 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 481 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 482 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 483 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 484 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 485 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
 486 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 487 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 488 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
 489 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 490 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 491 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 492 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
 493 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 494 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 495 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 496 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
 497 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 498 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 499 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
 500 ; CHECK-SSE2-NEXT:    retq
 501 ;
 502 ; CHECK-SSE41-LABEL: test_srem_odd_even_allones_ne:
 503 ; CHECK-SSE41:       # %bb.0:
 504 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
 505 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 506 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 507 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 508 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 509 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
 510 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
 511 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 512 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 513 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
 514 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 515 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
 516 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,306783378,4294967295,42949672]
 517 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
 518 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
 519 ; CHECK-SSE41-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 520 ; CHECK-SSE41-NEXT:    retq
 521 ;
 522 ; CHECK-AVX1-LABEL: test_srem_odd_even_allones_ne:
 523 ; CHECK-AVX1:       # %bb.0:
 524 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
 525 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 526 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 527 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 528 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 529 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
 530 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
 531 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 532 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 533 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
 534 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 535 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 536 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 537 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 538 ; CHECK-AVX1-NEXT:    vpandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 539 ; CHECK-AVX1-NEXT:    retq
 540 ;
 541 ; CHECK-AVX2-LABEL: test_srem_odd_even_allones_ne:
 542 ; CHECK-AVX2:       # %bb.0:
 543 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 544 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 545 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 546 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 547 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 548 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 549 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 550 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1,1,1,1]
 551 ; CHECK-AVX2-NEXT:    vpandn %xmm1, %xmm0, %xmm0
 552 ; CHECK-AVX2-NEXT:    retq
 553 ;
 554 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_allones_ne:
 555 ; CHECK-AVX512VL:       # %bb.0:
 556 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 557 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 558 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 559 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 560 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 561 ; CHECK-AVX512VL-NEXT:    vpandnd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 562 ; CHECK-AVX512VL-NEXT:    retq
 563   %srem = srem <4 x i32> %X, <i32 5, i32 14, i32 4294967295, i32 100>
 564   %cmp = icmp ne <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 565   %ret = zext <4 x i1> %cmp to <4 x i32>
 566   ret <4 x i32> %ret
 567 }
 568
 569 ;------------------------------------------------------------------------------;
 570
 571 ; One power-of-two divisor in odd divisor
 572 define <4 x i32> @test_srem_odd_poweroftwo(<4 x i32> %X) nounwind {
 573 ; CHECK-SSE2-LABEL: test_srem_odd_poweroftwo:
 574 ; CHECK-SSE2:       # %bb.0:
 575 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 576 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 577 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 578 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 579 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 580 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 581 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 582 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <1,u,268435456,u>
 583 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
 584 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 585 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 586 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [1,1,1,1]
 587 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm3
 588 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[1,3,2,3]
 589 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
 590 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
 591 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,2,2,3]
 592 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 593 ; CHECK-SSE2-NEXT:    por %xmm2, %xmm0
 594 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 595 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 596 ; CHECK-SSE2-NEXT:    pandn %xmm4, %xmm0
 597 ; CHECK-SSE2-NEXT:    retq
 598 ;
 599 ; CHECK-SSE41-LABEL: test_srem_odd_poweroftwo:
 600 ; CHECK-SSE41:       # %bb.0:
 601 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 602 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 603 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 604 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 605 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 606 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 607 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 608 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
 609 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 610 ; CHECK-SSE41-NEXT:    por %xmm2, %xmm1
 611 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,858993458,268435454,858993458]
 612 ; CHECK-SSE41-NEXT:    pminud %xmm1, %xmm0
 613 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 614 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 615 ; CHECK-SSE41-NEXT:    retq
 616 ;
 617 ; CHECK-AVX1-LABEL: test_srem_odd_poweroftwo:
 618 ; CHECK-AVX1:       # %bb.0:
 619 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 620 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 621 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 622 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 623 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 624 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 625 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 626 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
 627 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 628 ; CHECK-AVX1-NEXT:    vpor %xmm2, %xmm0, %xmm0
 629 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 630 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 631 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 632 ; CHECK-AVX1-NEXT:    retq
 633 ;
 634 ; CHECK-AVX2-LABEL: test_srem_odd_poweroftwo:
 635 ; CHECK-AVX2:       # %bb.0:
 636 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 637 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 638 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 639 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 640 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 641 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 642 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 643 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 644 ; CHECK-AVX2-NEXT:    retq
 645 ;
 646 ; CHECK-AVX512VL-LABEL: test_srem_odd_poweroftwo:
 647 ; CHECK-AVX512VL:       # %bb.0:
 648 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 649 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 650 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 651 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 652 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 653 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 654 ; CHECK-AVX512VL-NEXT:    retq
 655   %srem = srem <4 x i32> %X, <i32 5, i32 5, i32 16, i32 5>
 656   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 657   %ret = zext <4 x i1> %cmp to <4 x i32>
 658   ret <4 x i32> %ret
 659 }
 660
 661 ; One power-of-two divisor in even divisor
 662 define <4 x i32> @test_srem_even_poweroftwo(<4 x i32> %X) nounwind {
 663 ; CHECK-SSE2-LABEL: test_srem_even_poweroftwo:
 664 ; CHECK-SSE2:       # %bb.0:
 665 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 666 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 667 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 668 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 669 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 670 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 671 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 672 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <2147483648,u,268435456,u>
 673 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
 674 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 675 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 676 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648,2147483648,2147483648]
 677 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm3
 678 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[1,3,2,3]
 679 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
 680 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
 681 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,2,2,3]
 682 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 683 ; CHECK-SSE2-NEXT:    por %xmm2, %xmm0
 684 ; CHECK-SSE2-NEXT:    pxor %xmm4, %xmm0
 685 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 686 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 687 ; CHECK-SSE2-NEXT:    retq
 688 ;
 689 ; CHECK-SSE41-LABEL: test_srem_even_poweroftwo:
 690 ; CHECK-SSE41:       # %bb.0:
 691 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 692 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 693 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 694 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 695 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 696 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 697 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 698 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
 699 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 700 ; CHECK-SSE41-NEXT:    por %xmm2, %xmm1
 701 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [306783378,306783378,268435454,306783378]
 702 ; CHECK-SSE41-NEXT:    pminud %xmm1, %xmm0
 703 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 704 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 705 ; CHECK-SSE41-NEXT:    retq
 706 ;
 707 ; CHECK-AVX1-LABEL: test_srem_even_poweroftwo:
 708 ; CHECK-AVX1:       # %bb.0:
 709 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 710 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 711 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 712 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 713 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 714 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 715 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 716 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
 717 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 718 ; CHECK-AVX1-NEXT:    vpor %xmm2, %xmm0, %xmm0
 719 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 720 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 721 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 722 ; CHECK-AVX1-NEXT:    retq
 723 ;
 724 ; CHECK-AVX2-LABEL: test_srem_even_poweroftwo:
 725 ; CHECK-AVX2:       # %bb.0:
 726 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 727 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 728 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 729 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 730 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 731 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 732 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 733 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 734 ; CHECK-AVX2-NEXT:    retq
 735 ;
 736 ; CHECK-AVX512VL-LABEL: test_srem_even_poweroftwo:
 737 ; CHECK-AVX512VL:       # %bb.0:
 738 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 739 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 740 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 741 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 742 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 743 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 744 ; CHECK-AVX512VL-NEXT:    retq
 745   %srem = srem <4 x i32> %X, <i32 14, i32 14, i32 16, i32 14>
 746   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 747   %ret = zext <4 x i1> %cmp to <4 x i32>
 748   ret <4 x i32> %ret
 749 }
 750
 751 ; One power-of-two divisor in odd+even divisor
 752 define <4 x i32> @test_srem_odd_even_poweroftwo(<4 x i32> %X) nounwind {
 753 ; CHECK-SSE2-LABEL: test_srem_odd_even_poweroftwo:
 754 ; CHECK-SSE2:       # %bb.0:
 755 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3067833783,1,3264175145]
 756 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 757 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 758 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 759 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 760 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 761 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 762 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 763 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 764 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,268435456,1073741824]
 765 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 766 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 767 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
 768 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 769 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 770 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 771 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
 772 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 773 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 774 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 775 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
 776 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 777 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 778 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 779 ; CHECK-SSE2-NEXT:    retq
 780 ;
 781 ; CHECK-SSE41-LABEL: test_srem_odd_even_poweroftwo:
 782 ; CHECK-SSE41:       # %bb.0:
 783 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,268435456,1073741824]
 784 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 785 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 786 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 787 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 788 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
 789 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
 790 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 791 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 792 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
 793 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 794 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
 795 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,306783378,268435454,42949672]
 796 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
 797 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
 798 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 799 ; CHECK-SSE41-NEXT:    retq
 800 ;
 801 ; CHECK-AVX1-LABEL: test_srem_odd_even_poweroftwo:
 802 ; CHECK-AVX1:       # %bb.0:
 803 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2147483648,268435456,1073741824]
 804 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
 805 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 806 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 807 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 808 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
 809 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
 810 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 811 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 812 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
 813 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 814 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 815 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 816 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 817 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 818 ; CHECK-AVX1-NEXT:    retq
 819 ;
 820 ; CHECK-AVX2-LABEL: test_srem_odd_even_poweroftwo:
 821 ; CHECK-AVX2:       # %bb.0:
 822 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 823 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 824 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 825 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 826 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 827 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 828 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 829 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 830 ; CHECK-AVX2-NEXT:    retq
 831 ;
 832 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_poweroftwo:
 833 ; CHECK-AVX512VL:       # %bb.0:
 834 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 835 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 836 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 837 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 838 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 839 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 840 ; CHECK-AVX512VL-NEXT:    retq
 841   %srem = srem <4 x i32> %X, <i32 5, i32 14, i32 16, i32 100>
 842   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 843   %ret = zext <4 x i1> %cmp to <4 x i32>
 844   ret <4 x i32> %ret
 845 }
 846
 847 ;------------------------------------------------------------------------------;
 848
 849 ; One one divisor in odd divisor
 850 define <4 x i32> @test_srem_odd_one(<4 x i32> %X) nounwind {
 851 ; CHECK-SSE2-LABEL: test_srem_odd_one:
 852 ; CHECK-SSE2:       # %bb.0:
 853 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 854 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 855 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 856 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 857 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 858 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 859 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 860 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 861 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 862 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 863 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 864 ; CHECK-SSE2-NEXT:    retq
 865 ;
 866 ; CHECK-SSE41-LABEL: test_srem_odd_one:
 867 ; CHECK-SSE41:       # %bb.0:
 868 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 869 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 870 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993458,858993458,4294967295,858993458]
 871 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 872 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 873 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 874 ; CHECK-SSE41-NEXT:    retq
 875 ;
 876 ; CHECK-AVX1-LABEL: test_srem_odd_one:
 877 ; CHECK-AVX1:       # %bb.0:
 878 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 879 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 880 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 881 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 882 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 883 ; CHECK-AVX1-NEXT:    retq
 884 ;
 885 ; CHECK-AVX2-LABEL: test_srem_odd_one:
 886 ; CHECK-AVX2:       # %bb.0:
 887 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
 888 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 889 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [429496729,429496729,429496729,429496729]
 890 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
 891 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 892 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 893 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 894 ; CHECK-AVX2-NEXT:    retq
 895 ;
 896 ; CHECK-AVX512VL-LABEL: test_srem_odd_one:
 897 ; CHECK-AVX512VL:       # %bb.0:
 898 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 899 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 900 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 901 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 902 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 903 ; CHECK-AVX512VL-NEXT:    retq
 904   %srem = srem <4 x i32> %X, <i32 5, i32 5, i32 1, i32 5>
 905   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 906   %ret = zext <4 x i1> %cmp to <4 x i32>
 907   ret <4 x i32> %ret
 908 }
 909
 910 ; One one divisor in even divisor
 911 define <4 x i32> @test_srem_even_one(<4 x i32> %X) nounwind {
 912 ; CHECK-SSE2-LABEL: test_srem_even_one:
 913 ; CHECK-SSE2:       # %bb.0:
 914 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
 915 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 916 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 917 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 918 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
 919 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 920 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 921 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 922 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
 923 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
 924 ; CHECK-SSE2-NEXT:    pslld $31, %xmm0
 925 ; CHECK-SSE2-NEXT:    por %xmm1, %xmm0
 926 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 927 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 928 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 929 ; CHECK-SSE2-NEXT:    retq
 930 ;
 931 ; CHECK-SSE41-LABEL: test_srem_even_one:
 932 ; CHECK-SSE41:       # %bb.0:
 933 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 934 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 935 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
 936 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
 937 ; CHECK-SSE41-NEXT:    pslld $31, %xmm0
 938 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm0
 939 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [306783378,306783378,4294967295,306783378]
 940 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
 941 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
 942 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
 943 ; CHECK-SSE41-NEXT:    retq
 944 ;
 945 ; CHECK-AVX1-LABEL: test_srem_even_one:
 946 ; CHECK-AVX1:       # %bb.0:
 947 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 948 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
 949 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
 950 ; CHECK-AVX1-NEXT:    vpslld $31, %xmm0, %xmm0
 951 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 952 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 953 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 954 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
 955 ; CHECK-AVX1-NEXT:    retq
 956 ;
 957 ; CHECK-AVX2-LABEL: test_srem_even_one:
 958 ; CHECK-AVX2:       # %bb.0:
 959 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
 960 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 961 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [306783378,306783378,306783378,306783378]
 962 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
 963 ; CHECK-AVX2-NEXT:    vpsrld $1, %xmm0, %xmm1
 964 ; CHECK-AVX2-NEXT:    vpslld $31, %xmm0, %xmm0
 965 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
 966 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 967 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 968 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
 969 ; CHECK-AVX2-NEXT:    retq
 970 ;
 971 ; CHECK-AVX512VL-LABEL: test_srem_even_one:
 972 ; CHECK-AVX512VL:       # %bb.0:
 973 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 974 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
 975 ; CHECK-AVX512VL-NEXT:    vprord $1, %xmm0, %xmm0
 976 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
 977 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 978 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
 979 ; CHECK-AVX512VL-NEXT:    retq
 980   %srem = srem <4 x i32> %X, <i32 14, i32 14, i32 1, i32 14>
 981   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
 982   %ret = zext <4 x i1> %cmp to <4 x i32>
 983   ret <4 x i32> %ret
 984 }
 985
 986 ; One one divisor in odd+even divisor
 987 define <4 x i32> @test_srem_odd_even_one(<4 x i32> %X) nounwind {
 988 ; CHECK-SSE2-LABEL: test_srem_odd_even_one:
 989 ; CHECK-SSE2:       # %bb.0:
 990 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3067833783,0,3264175145]
 991 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 992 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 993 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 994 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 995 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 996 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 997 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 998 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 999 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
1000 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1001 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1002 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
1003 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1004 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1005 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
1006 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
1007 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1008 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1009 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1010 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
1011 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1012 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1013 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1014 ; CHECK-SSE2-NEXT:    retq
1015 ;
1016 ; CHECK-SSE41-LABEL: test_srem_odd_even_one:
1017 ; CHECK-SSE41:       # %bb.0:
1018 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
1019 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1020 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1021 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1022 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1023 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1024 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
1025 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1026 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1027 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
1028 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1029 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
1030 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,306783378,4294967295,42949672]
1031 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
1032 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
1033 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1034 ; CHECK-SSE41-NEXT:    retq
1035 ;
1036 ; CHECK-AVX1-LABEL: test_srem_odd_even_one:
1037 ; CHECK-AVX1:       # %bb.0:
1038 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2147483648,1,1073741824]
1039 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1040 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1041 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1042 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1043 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1044 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
1045 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1046 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1047 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
1048 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1049 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1050 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1051 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1052 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1053 ; CHECK-AVX1-NEXT:    retq
1054 ;
1055 ; CHECK-AVX2-LABEL: test_srem_odd_even_one:
1056 ; CHECK-AVX2:       # %bb.0:
1057 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1058 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1059 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1060 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1061 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1062 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1063 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1064 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1065 ; CHECK-AVX2-NEXT:    retq
1066 ;
1067 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_one:
1068 ; CHECK-AVX512VL:       # %bb.0:
1069 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1070 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1071 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1072 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1073 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1074 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1075 ; CHECK-AVX512VL-NEXT:    retq
1076   %srem = srem <4 x i32> %X, <i32 5, i32 14, i32 1, i32 100>
1077   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1078   %ret = zext <4 x i1> %cmp to <4 x i32>
1079   ret <4 x i32> %ret
1080 }
1081
1082 ;------------------------------------------------------------------------------;
1083
1084 ; One INT_MIN divisor in odd divisor
1085 define <4 x i32> @test_srem_odd_INT_MIN(<4 x i32> %X) nounwind {
1086 ; CHECK-SSE2-LABEL: test_srem_odd_INT_MIN:
1087 ; CHECK-SSE2:       # %bb.0:
1088 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
1089 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483647,2147483647,2147483647,2147483647]
1090 ; CHECK-SSE2-NEXT:    pand %xmm0, %xmm2
1091 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm2
1092 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1093 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1094 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[0,2,2,3]
1095 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1096 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
1097 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[1]
1098 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1099 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1100 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1101 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm0, %xmm0
1102 ; CHECK-SSE2-NEXT:    pxor %xmm3, %xmm0
1103 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm0[3,0]
1104 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm2[0,2]
1105 ; CHECK-SSE2-NEXT:    psrld $31, %xmm0
1106 ; CHECK-SSE2-NEXT:    retq
1107 ;
1108 ; CHECK-SSE41-LABEL: test_srem_odd_INT_MIN:
1109 ; CHECK-SSE41:       # %bb.0:
1110 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1111 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [2147483647,2147483647,2147483647,2147483647]
1112 ; CHECK-SSE41-NEXT:    pand %xmm0, %xmm2
1113 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm2
1114 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1115 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1116 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993458,858993458,0,858993458]
1117 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
1118 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1119 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5],xmm0[6,7]
1120 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1121 ; CHECK-SSE41-NEXT:    retq
1122 ;
1123 ; CHECK-AVX1-LABEL: test_srem_odd_INT_MIN:
1124 ; CHECK-AVX1:       # %bb.0:
1125 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1126 ; CHECK-AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1127 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm2, %xmm1
1128 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1129 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1130 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1131 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
1132 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5],xmm0[6,7]
1133 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1134 ; CHECK-AVX1-NEXT:    retq
1135 ;
1136 ; CHECK-AVX2-LABEL: test_srem_odd_INT_MIN:
1137 ; CHECK-AVX2:       # %bb.0:
1138 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1139 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [2147483647,2147483647,2147483647,2147483647]
1140 ; CHECK-AVX2-NEXT:    vpand %xmm2, %xmm0, %xmm2
1141 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm2, %xmm1
1142 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1143 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1144 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1145 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
1146 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
1147 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1148 ; CHECK-AVX2-NEXT:    retq
1149 ;
1150 ; CHECK-AVX512VL-LABEL: test_srem_odd_INT_MIN:
1151 ; CHECK-AVX512VL:       # %bb.0:
1152 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1153 ; CHECK-AVX512VL-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm2
1154 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm2, %xmm1
1155 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1156 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1157 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1158 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
1159 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
1160 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1161 ; CHECK-AVX512VL-NEXT:    retq
1162   %srem = srem <4 x i32> %X, <i32 5, i32 5, i32 2147483648, i32 5>
1163   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1164   %ret = zext <4 x i1> %cmp to <4 x i32>
1165   ret <4 x i32> %ret
1166 }
1167
1168 ; One INT_MIN divisor in even divisor
1169 define <4 x i32> @test_srem_even_INT_MIN(<4 x i32> %X) nounwind {
1170 ; CHECK-SSE2-LABEL: test_srem_even_INT_MIN:
1171 ; CHECK-SSE2:       # %bb.0:
1172 ; CHECK-SSE2-NEXT:    pxor %xmm2, %xmm2
1173 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <3067833783,u,1,u>
1174 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
1175 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1176 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1177 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1178 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
1179 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
1180 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1181 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = <2147483648,u,2,u>
1182 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1183 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,3,2,3]
1184 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1185 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [2147483648,2147483648,2147483648,2147483648]
1186 ; CHECK-SSE2-NEXT:    pmuludq %xmm5, %xmm1
1187 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm1[1,3,2,3]
1188 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm6[0],xmm4[1],xmm6[1]
1189 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
1190 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1191 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
1192 ; CHECK-SSE2-NEXT:    por %xmm4, %xmm3
1193 ; CHECK-SSE2-NEXT:    pxor %xmm5, %xmm3
1194 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1195 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm1
1196 ; CHECK-SSE2-NEXT:    pxor %xmm3, %xmm1
1197 ; CHECK-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1198 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm2, %xmm0
1199 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[3,0]
1200 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[0,2]
1201 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
1202 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm0
1203 ; CHECK-SSE2-NEXT:    retq
1204 ;
1205 ; CHECK-SSE41-LABEL: test_srem_even_INT_MIN:
1206 ; CHECK-SSE41:       # %bb.0:
1207 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1208 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [3067833783,3067833783,1,3067833783]
1209 ; CHECK-SSE41-NEXT:    pmulld %xmm0, %xmm2
1210 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [306783378,306783378,0,306783378]
1211 ; CHECK-SSE41-NEXT:    paddd %xmm3, %xmm2
1212 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
1213 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
1214 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
1215 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm2[1,1,3,3]
1216 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm5 = xmm5[0,1],xmm4[2,3],xmm5[4,5],xmm4[6,7]
1217 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,0,2,2]
1218 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm4 = xmm2[0,1],xmm4[2,3],xmm2[4,5],xmm4[6,7]
1219 ; CHECK-SSE41-NEXT:    por %xmm5, %xmm4
1220 ; CHECK-SSE41-NEXT:    pminud %xmm4, %xmm3
1221 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm4, %xmm3
1222 ; CHECK-SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1223 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1224 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm3[0,1,2,3],xmm0[4,5],xmm3[6,7]
1225 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1226 ; CHECK-SSE41-NEXT:    retq
1227 ;
1228 ; CHECK-AVX1-LABEL: test_srem_even_INT_MIN:
1229 ; CHECK-AVX1:       # %bb.0:
1230 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1231 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1232 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [306783378,306783378,0,306783378]
1233 ; CHECK-AVX1-NEXT:    vpaddd %xmm3, %xmm2, %xmm2
1234 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
1235 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4, %xmm4
1236 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
1237 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,3,3]
1238 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm5 = xmm5[0,1],xmm4[2,3],xmm5[4,5],xmm4[6,7]
1239 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm4[0,0,2,2]
1240 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm4[2,3],xmm2[4,5],xmm4[6,7]
1241 ; CHECK-AVX1-NEXT:    vpor %xmm5, %xmm2, %xmm2
1242 ; CHECK-AVX1-NEXT:    vpminud %xmm3, %xmm2, %xmm3
1243 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1244 ; CHECK-AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1245 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1246 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5],xmm2[6,7]
1247 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1248 ; CHECK-AVX1-NEXT:    retq
1249 ;
1250 ; CHECK-AVX2-LABEL: test_srem_even_INT_MIN:
1251 ; CHECK-AVX2:       # %bb.0:
1252 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1253 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1254 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm3 = [306783378,306783378,0,306783378]
1255 ; CHECK-AVX2-NEXT:    vpaddd %xmm3, %xmm2, %xmm2
1256 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm4
1257 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
1258 ; CHECK-AVX2-NEXT:    vpor %xmm4, %xmm2, %xmm2
1259 ; CHECK-AVX2-NEXT:    vpminud %xmm3, %xmm2, %xmm3
1260 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1261 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2147483647,2147483647,2147483647,2147483647]
1262 ; CHECK-AVX2-NEXT:    vpand %xmm3, %xmm0, %xmm0
1263 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1264 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm2[0,1],xmm0[2],xmm2[3]
1265 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1266 ; CHECK-AVX2-NEXT:    retq
1267 ;
1268 ; CHECK-AVX512VL-LABEL: test_srem_even_INT_MIN:
1269 ; CHECK-AVX512VL:       # %bb.0:
1270 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1271 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1272 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm3 = [306783378,306783378,0,306783378]
1273 ; CHECK-AVX512VL-NEXT:    vpaddd %xmm3, %xmm2, %xmm2
1274 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
1275 ; CHECK-AVX512VL-NEXT:    vpminud %xmm3, %xmm2, %xmm3
1276 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1277 ; CHECK-AVX512VL-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
1278 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1279 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm0 = xmm2[0,1],xmm0[2],xmm2[3]
1280 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1281 ; CHECK-AVX512VL-NEXT:    retq
1282   %srem = srem <4 x i32> %X, <i32 14, i32 14, i32 2147483648, i32 14>
1283   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1284   %ret = zext <4 x i1> %cmp to <4 x i32>
1285   ret <4 x i32> %ret
1286 }
1287
1288 ; One INT_MIN divisor in odd+even divisor
1289 define <4 x i32> @test_srem_odd_even_INT_MIN(<4 x i32> %X) nounwind {
1290 ; CHECK-SSE2-LABEL: test_srem_odd_even_INT_MIN:
1291 ; CHECK-SSE2:       # %bb.0:
1292 ; CHECK-SSE2-NEXT:    pxor %xmm2, %xmm2
1293 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3067833783,1,3264175145]
1294 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm3
1295 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1296 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
1297 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1298 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
1299 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm4
1300 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm4[0,2,2,3]
1301 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
1302 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1303 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2147483648,2,1073741824]
1304 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm3[1,1,3,3]
1305 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm3
1306 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm3[1,3,2,3]
1307 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1308 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm1
1309 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,3,2,3]
1310 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm4[0],xmm5[1],xmm4[1]
1311 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
1312 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1313 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
1314 ; CHECK-SSE2-NEXT:    por %xmm5, %xmm3
1315 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1316 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
1317 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm1, %xmm1
1318 ; CHECK-SSE2-NEXT:    pxor %xmm3, %xmm1
1319 ; CHECK-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1320 ; CHECK-SSE2-NEXT:    pcmpeqd %xmm2, %xmm0
1321 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[3,0]
1322 ; CHECK-SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[0,2]
1323 ; CHECK-SSE2-NEXT:    psrld $31, %xmm1
1324 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm0
1325 ; CHECK-SSE2-NEXT:    retq
1326 ;
1327 ; CHECK-SSE41-LABEL: test_srem_odd_even_INT_MIN:
1328 ; CHECK-SSE41:       # %bb.0:
1329 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
1330 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [1,2147483648,2,1073741824]
1331 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1332 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm4 = [3435973837,3067833783,1,3264175145]
1333 ; CHECK-SSE41-NEXT:    pmulld %xmm0, %xmm4
1334 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
1335 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1336 ; CHECK-SSE41-NEXT:    pmuludq %xmm3, %xmm5
1337 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm4
1338 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[1,1,3,3]
1339 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm5[2,3],xmm2[4,5],xmm5[6,7]
1340 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,0,2,2]
1341 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm4[0,1],xmm3[2,3],xmm4[4,5],xmm3[6,7]
1342 ; CHECK-SSE41-NEXT:    por %xmm2, %xmm3
1343 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [858993458,306783378,0,42949672]
1344 ; CHECK-SSE41-NEXT:    pminud %xmm3, %xmm2
1345 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm3, %xmm2
1346 ; CHECK-SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1347 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1348 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5],xmm2[6,7]
1349 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1350 ; CHECK-SSE41-NEXT:    retq
1351 ;
1352 ; CHECK-AVX1-LABEL: test_srem_odd_even_INT_MIN:
1353 ; CHECK-AVX1:       # %bb.0:
1354 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1355 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [1,2147483648,2,1073741824]
1356 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm2[1,1,3,3]
1357 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm4
1358 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4, %xmm4
1359 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm5 = xmm4[1,1,3,3]
1360 ; CHECK-AVX1-NEXT:    vpmuludq %xmm3, %xmm5, %xmm3
1361 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm4, %xmm2
1362 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
1363 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm4 = xmm4[0,1],xmm3[2,3],xmm4[4,5],xmm3[6,7]
1364 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[0,0,2,2]
1365 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm3[2,3],xmm2[4,5],xmm3[6,7]
1366 ; CHECK-AVX1-NEXT:    vpor %xmm4, %xmm2, %xmm2
1367 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm3
1368 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1369 ; CHECK-AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1370 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1371 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5],xmm2[6,7]
1372 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1373 ; CHECK-AVX1-NEXT:    retq
1374 ;
1375 ; CHECK-AVX2-LABEL: test_srem_odd_even_INT_MIN:
1376 ; CHECK-AVX2:       # %bb.0:
1377 ; CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1378 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1379 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
1380 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm3
1381 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
1382 ; CHECK-AVX2-NEXT:    vpor %xmm3, %xmm2, %xmm2
1383 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm3
1384 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1385 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [2147483647,2147483647,2147483647,2147483647]
1386 ; CHECK-AVX2-NEXT:    vpand %xmm3, %xmm0, %xmm0
1387 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1388 ; CHECK-AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm2[0,1],xmm0[2],xmm2[3]
1389 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1390 ; CHECK-AVX2-NEXT:    retq
1391 ;
1392 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_INT_MIN:
1393 ; CHECK-AVX512VL:       # %bb.0:
1394 ; CHECK-AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1395 ; CHECK-AVX512VL-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm2
1396 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm2, %xmm1
1397 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1398 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1399 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1400 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm2
1401 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
1402 ; CHECK-AVX512VL-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
1403 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1404 ; CHECK-AVX512VL-NEXT:    retq
1405   %srem = srem <4 x i32> %X, <i32 5, i32 14, i32 2147483648, i32 100>
1406   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1407   %ret = zext <4 x i1> %cmp to <4 x i32>
1408   ret <4 x i32> %ret
1409 }
1410
1411 ;==============================================================================;
1412
1413 ; One all-ones divisor and power-of-two divisor divisor in odd divisor
1414 define <4 x i32> @test_srem_odd_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1415 ; CHECK-SSE2-LABEL: test_srem_odd_allones_and_poweroftwo:
1416 ; CHECK-SSE2:       # %bb.0:
1417 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,0,1,3435973837]
1418 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1419 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1420 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1421 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1422 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1423 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1424 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1425 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1426 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = <1,u,268435456,u>
1427 ; CHECK-SSE2-NEXT:    pmuludq %xmm0, %xmm1
1428 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
1429 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1430 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [1,1,1,1]
1431 ; CHECK-SSE2-NEXT:    pmuludq %xmm4, %xmm3
1432 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[1,3,2,3]
1433 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
1434 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
1435 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,2,2,3]
1436 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1437 ; CHECK-SSE2-NEXT:    por %xmm2, %xmm0
1438 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1439 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1440 ; CHECK-SSE2-NEXT:    pandn %xmm4, %xmm0
1441 ; CHECK-SSE2-NEXT:    retq
1442 ;
1443 ; CHECK-SSE41-LABEL: test_srem_odd_allones_and_poweroftwo:
1444 ; CHECK-SSE41:       # %bb.0:
1445 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1446 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1447 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1448 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1449 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1450 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1451 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1452 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
1453 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1454 ; CHECK-SSE41-NEXT:    por %xmm2, %xmm1
1455 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,4294967295,268435454,858993458]
1456 ; CHECK-SSE41-NEXT:    pminud %xmm1, %xmm0
1457 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1458 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1459 ; CHECK-SSE41-NEXT:    retq
1460 ;
1461 ; CHECK-AVX1-LABEL: test_srem_odd_allones_and_poweroftwo:
1462 ; CHECK-AVX1:       # %bb.0:
1463 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1464 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1465 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1466 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1467 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1468 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1469 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1470 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
1471 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1472 ; CHECK-AVX1-NEXT:    vpor %xmm2, %xmm0, %xmm0
1473 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1474 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1475 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1476 ; CHECK-AVX1-NEXT:    retq
1477 ;
1478 ; CHECK-AVX2-LABEL: test_srem_odd_allones_and_poweroftwo:
1479 ; CHECK-AVX2:       # %bb.0:
1480 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1481 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1482 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1483 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1484 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1485 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1486 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1487 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1488 ; CHECK-AVX2-NEXT:    retq
1489 ;
1490 ; CHECK-AVX512VL-LABEL: test_srem_odd_allones_and_poweroftwo:
1491 ; CHECK-AVX512VL:       # %bb.0:
1492 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1493 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1494 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1495 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1496 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1497 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1498 ; CHECK-AVX512VL-NEXT:    retq
1499   %srem = srem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 5>
1500   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1501   %ret = zext <4 x i1> %cmp to <4 x i32>
1502   ret <4 x i32> %ret
1503 }
1504
1505 ; One all-ones divisor and power-of-two divisor divisor in even divisor
1506 define <4 x i32> @test_srem_even_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1507 ; CHECK-SSE2-LABEL: test_srem_even_allones_and_poweroftwo:
1508 ; CHECK-SSE2:       # %bb.0:
1509 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3067833783,0,1,3067833783]
1510 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1511 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1512 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1513 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1514 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1515 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1516 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1517 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1518 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [2147483648,1,268435456,2147483648]
1519 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1520 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1521 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
1522 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1523 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1524 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
1525 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
1526 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1527 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1528 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1529 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
1530 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1531 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1532 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1533 ; CHECK-SSE2-NEXT:    retq
1534 ;
1535 ; CHECK-SSE41-LABEL: test_srem_even_allones_and_poweroftwo:
1536 ; CHECK-SSE41:       # %bb.0:
1537 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [2147483648,1,268435456,2147483648]
1538 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1539 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1540 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1541 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1542 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1543 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
1544 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1545 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1546 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
1547 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1548 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
1549 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [306783378,4294967295,268435454,306783378]
1550 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
1551 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
1552 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1553 ; CHECK-SSE41-NEXT:    retq
1554 ;
1555 ; CHECK-AVX1-LABEL: test_srem_even_allones_and_poweroftwo:
1556 ; CHECK-AVX1:       # %bb.0:
1557 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [2147483648,1,268435456,2147483648]
1558 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1559 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1560 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1561 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1562 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1563 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
1564 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1565 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1566 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
1567 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1568 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1569 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1570 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1571 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1572 ; CHECK-AVX1-NEXT:    retq
1573 ;
1574 ; CHECK-AVX2-LABEL: test_srem_even_allones_and_poweroftwo:
1575 ; CHECK-AVX2:       # %bb.0:
1576 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1577 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1578 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1579 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1580 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1581 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1582 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1583 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1584 ; CHECK-AVX2-NEXT:    retq
1585 ;
1586 ; CHECK-AVX512VL-LABEL: test_srem_even_allones_and_poweroftwo:
1587 ; CHECK-AVX512VL:       # %bb.0:
1588 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1589 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1590 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1591 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1592 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1593 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1594 ; CHECK-AVX512VL-NEXT:    retq
1595   %srem = srem <4 x i32> %X, <i32 14, i32 4294967295, i32 16, i32 14>
1596   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1597   %ret = zext <4 x i1> %cmp to <4 x i32>
1598   ret <4 x i32> %ret
1599 }
1600
1601 ; One all-ones divisor and power-of-two divisor divisor in odd+even divisor
1602 define <4 x i32> @test_srem_odd_even_allones_and_poweroftwo(<4 x i32> %X) nounwind {
1603 ; CHECK-SSE2-LABEL: test_srem_odd_even_allones_and_poweroftwo:
1604 ; CHECK-SSE2:       # %bb.0:
1605 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,0,1,3264175145]
1606 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1607 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1608 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1609 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1610 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1611 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1612 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1613 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1614 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,1,268435456,1073741824]
1615 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1616 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1617 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
1618 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1619 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1620 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
1621 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
1622 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1623 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1624 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1625 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
1626 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1627 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1628 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1629 ; CHECK-SSE2-NEXT:    retq
1630 ;
1631 ; CHECK-SSE41-LABEL: test_srem_odd_even_allones_and_poweroftwo:
1632 ; CHECK-SSE41:       # %bb.0:
1633 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,1,268435456,1073741824]
1634 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1635 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1636 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1637 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1638 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1639 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
1640 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1641 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1642 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
1643 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1644 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
1645 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,4294967295,268435454,42949672]
1646 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
1647 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
1648 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1649 ; CHECK-SSE41-NEXT:    retq
1650 ;
1651 ; CHECK-AVX1-LABEL: test_srem_odd_even_allones_and_poweroftwo:
1652 ; CHECK-AVX1:       # %bb.0:
1653 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,1,268435456,1073741824]
1654 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1655 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1656 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1657 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1658 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1659 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
1660 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1661 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1662 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
1663 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1664 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1665 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1666 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1667 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1668 ; CHECK-AVX1-NEXT:    retq
1669 ;
1670 ; CHECK-AVX2-LABEL: test_srem_odd_even_allones_and_poweroftwo:
1671 ; CHECK-AVX2:       # %bb.0:
1672 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1673 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1674 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1675 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1676 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1677 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1678 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1679 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1680 ; CHECK-AVX2-NEXT:    retq
1681 ;
1682 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_allones_and_poweroftwo:
1683 ; CHECK-AVX512VL:       # %bb.0:
1684 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1685 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1686 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1687 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1688 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1689 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1690 ; CHECK-AVX512VL-NEXT:    retq
1691   %srem = srem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 100>
1692   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1693   %ret = zext <4 x i1> %cmp to <4 x i32>
1694   ret <4 x i32> %ret
1695 }
1696
1697 ;------------------------------------------------------------------------------;
1698
1699 ; One all-ones divisor and one one divisor in odd divisor
1700 define <4 x i32> @test_srem_odd_allones_and_one(<4 x i32> %X) nounwind {
1701 ; CHECK-SSE2-LABEL: test_srem_odd_allones_and_one:
1702 ; CHECK-SSE2:       # %bb.0:
1703 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
1704 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1705 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1706 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1707 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1708 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1709 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1710 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1711 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1712 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1713 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1714 ; CHECK-SSE2-NEXT:    retq
1715 ;
1716 ; CHECK-SSE41-LABEL: test_srem_odd_allones_and_one:
1717 ; CHECK-SSE41:       # %bb.0:
1718 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1719 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1720 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993458,4294967295,4294967295,858993458]
1721 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
1722 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1723 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1724 ; CHECK-SSE41-NEXT:    retq
1725 ;
1726 ; CHECK-AVX1-LABEL: test_srem_odd_allones_and_one:
1727 ; CHECK-AVX1:       # %bb.0:
1728 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1729 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1730 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1731 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1732 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1733 ; CHECK-AVX1-NEXT:    retq
1734 ;
1735 ; CHECK-AVX2-LABEL: test_srem_odd_allones_and_one:
1736 ; CHECK-AVX2:       # %bb.0:
1737 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3435973837,3435973837,3435973837,3435973837]
1738 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
1739 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [429496729,429496729,429496729,429496729]
1740 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
1741 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1742 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1743 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1744 ; CHECK-AVX2-NEXT:    retq
1745 ;
1746 ; CHECK-AVX512VL-LABEL: test_srem_odd_allones_and_one:
1747 ; CHECK-AVX512VL:       # %bb.0:
1748 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
1749 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
1750 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1751 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1752 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1753 ; CHECK-AVX512VL-NEXT:    retq
1754   %srem = srem <4 x i32> %X, <i32 5, i32 4294967295, i32 1, i32 5>
1755   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1756   %ret = zext <4 x i1> %cmp to <4 x i32>
1757   ret <4 x i32> %ret
1758 }
1759
1760 ; One all-ones divisor and one one divisor in even divisor
1761 define <4 x i32> @test_srem_even_allones_and_one(<4 x i32> %X) nounwind {
1762 ; CHECK-SSE2-LABEL: test_srem_even_allones_and_one:
1763 ; CHECK-SSE2:       # %bb.0:
1764 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
1765 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1766 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1767 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1768 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm2
1769 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
1770 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1771 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1772 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
1773 ; CHECK-SSE2-NEXT:    psrld $1, %xmm1
1774 ; CHECK-SSE2-NEXT:    pslld $31, %xmm0
1775 ; CHECK-SSE2-NEXT:    por %xmm1, %xmm0
1776 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1777 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1778 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1779 ; CHECK-SSE2-NEXT:    retq
1780 ;
1781 ; CHECK-SSE41-LABEL: test_srem_even_allones_and_one:
1782 ; CHECK-SSE41:       # %bb.0:
1783 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1784 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1785 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm1
1786 ; CHECK-SSE41-NEXT:    psrld $1, %xmm1
1787 ; CHECK-SSE41-NEXT:    pslld $31, %xmm0
1788 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm0
1789 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [306783378,4294967295,4294967295,306783378]
1790 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
1791 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
1792 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1793 ; CHECK-SSE41-NEXT:    retq
1794 ;
1795 ; CHECK-AVX1-LABEL: test_srem_even_allones_and_one:
1796 ; CHECK-AVX1:       # %bb.0:
1797 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1798 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1799 ; CHECK-AVX1-NEXT:    vpsrld $1, %xmm0, %xmm1
1800 ; CHECK-AVX1-NEXT:    vpslld $31, %xmm0, %xmm0
1801 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1802 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1803 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1804 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1805 ; CHECK-AVX1-NEXT:    retq
1806 ;
1807 ; CHECK-AVX2-LABEL: test_srem_even_allones_and_one:
1808 ; CHECK-AVX2:       # %bb.0:
1809 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [3067833783,3067833783,3067833783,3067833783]
1810 ; CHECK-AVX2-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
1811 ; CHECK-AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [306783378,306783378,306783378,306783378]
1812 ; CHECK-AVX2-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
1813 ; CHECK-AVX2-NEXT:    vpsrld $1, %xmm0, %xmm1
1814 ; CHECK-AVX2-NEXT:    vpslld $31, %xmm0, %xmm0
1815 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1816 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1817 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1818 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1819 ; CHECK-AVX2-NEXT:    retq
1820 ;
1821 ; CHECK-AVX512VL-LABEL: test_srem_even_allones_and_one:
1822 ; CHECK-AVX512VL:       # %bb.0:
1823 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
1824 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
1825 ; CHECK-AVX512VL-NEXT:    vprord $1, %xmm0, %xmm0
1826 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1827 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1828 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1829 ; CHECK-AVX512VL-NEXT:    retq
1830   %srem = srem <4 x i32> %X, <i32 14, i32 4294967295, i32 1, i32 14>
1831   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1832   %ret = zext <4 x i1> %cmp to <4 x i32>
1833   ret <4 x i32> %ret
1834 }
1835
1836 ; One all-ones divisor and one one divisor in odd+even divisor
1837 define <4 x i32> @test_srem_odd_even_allones_and_one(<4 x i32> %X) nounwind {
1838 ; CHECK-SSE2-LABEL: test_srem_odd_even_allones_and_one:
1839 ; CHECK-SSE2:       # %bb.0:
1840 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,0,0,3264175145]
1841 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1842 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1843 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1844 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,2,3,3]
1845 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1846 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1847 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1848 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1849 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,1,1,1073741824]
1850 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1851 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1852 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
1853 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,2,3,3]
1854 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1855 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
1856 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
1857 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1858 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1859 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1860 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
1861 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1862 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1863 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1864 ; CHECK-SSE2-NEXT:    retq
1865 ;
1866 ; CHECK-SSE41-LABEL: test_srem_odd_even_allones_and_one:
1867 ; CHECK-SSE41:       # %bb.0:
1868 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,1,1,1073741824]
1869 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,2,3,3]
1870 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1871 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1872 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1873 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1874 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
1875 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1876 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1877 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
1878 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1879 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
1880 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,4294967295,4294967295,42949672]
1881 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
1882 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
1883 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1884 ; CHECK-SSE41-NEXT:    retq
1885 ;
1886 ; CHECK-AVX1-LABEL: test_srem_odd_even_allones_and_one:
1887 ; CHECK-AVX1:       # %bb.0:
1888 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,1,1,1073741824]
1889 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[2,2,3,3]
1890 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1891 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1892 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1893 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1894 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
1895 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1896 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1897 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
1898 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1899 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1900 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1901 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1902 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
1903 ; CHECK-AVX1-NEXT:    retq
1904 ;
1905 ; CHECK-AVX2-LABEL: test_srem_odd_even_allones_and_one:
1906 ; CHECK-AVX2:       # %bb.0:
1907 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1908 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1909 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1910 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1911 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1912 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1913 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1914 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
1915 ; CHECK-AVX2-NEXT:    retq
1916 ;
1917 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_allones_and_one:
1918 ; CHECK-AVX512VL:       # %bb.0:
1919 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1920 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1921 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1922 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1923 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1924 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
1925 ; CHECK-AVX512VL-NEXT:    retq
1926   %srem = srem <4 x i32> %X, <i32 5, i32 4294967295, i32 1, i32 100>
1927   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
1928   %ret = zext <4 x i1> %cmp to <4 x i32>
1929   ret <4 x i32> %ret
1930 }
1931
1932 ;------------------------------------------------------------------------------;
1933
1934 ; One power-of-two divisor divisor and one divisor in odd divisor
1935 define <4 x i32> @test_srem_odd_poweroftwo_and_one(<4 x i32> %X) nounwind {
1936 ; CHECK-SSE2-LABEL: test_srem_odd_poweroftwo_and_one:
1937 ; CHECK-SSE2:       # %bb.0:
1938 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,1,0,3435973837]
1939 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1940 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1941 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1942 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1943 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1944 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1945 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1946 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1947 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,268435456,1,1]
1948 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1949 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
1950 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
1951 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
1952 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
1953 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
1954 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
1955 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1956 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1957 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1958 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
1959 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1960 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1961 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1962 ; CHECK-SSE2-NEXT:    retq
1963 ;
1964 ; CHECK-SSE41-LABEL: test_srem_odd_poweroftwo_and_one:
1965 ; CHECK-SSE41:       # %bb.0:
1966 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,268435456,1,1]
1967 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1968 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1969 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1970 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1971 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
1972 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
1973 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1974 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
1975 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
1976 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1977 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
1978 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,268435454,4294967295,858993458]
1979 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
1980 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
1981 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
1982 ; CHECK-SSE41-NEXT:    retq
1983 ;
1984 ; CHECK-AVX1-LABEL: test_srem_odd_poweroftwo_and_one:
1985 ; CHECK-AVX1:       # %bb.0:
1986 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,268435456,1,1]
1987 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
1988 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1989 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1990 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
1991 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
1992 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
1993 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1994 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
1995 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
1996 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1997 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1998 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1999 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2000 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2001 ; CHECK-AVX1-NEXT:    retq
2002 ;
2003 ; CHECK-AVX2-LABEL: test_srem_odd_poweroftwo_and_one:
2004 ; CHECK-AVX2:       # %bb.0:
2005 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2006 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2007 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2008 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2009 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
2010 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2011 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2012 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2013 ; CHECK-AVX2-NEXT:    retq
2014 ;
2015 ; CHECK-AVX512VL-LABEL: test_srem_odd_poweroftwo_and_one:
2016 ; CHECK-AVX512VL:       # %bb.0:
2017 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2018 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2019 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2020 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2021 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2022 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2023 ; CHECK-AVX512VL-NEXT:    retq
2024   %srem = srem <4 x i32> %X, <i32 5, i32 16, i32 1, i32 5>
2025   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
2026   %ret = zext <4 x i1> %cmp to <4 x i32>
2027   ret <4 x i32> %ret
2028 }
2029
2030 ; One power-of-two divisor divisor and one divisor in even divisor
2031 define <4 x i32> @test_srem_even_poweroftwo_and_one(<4 x i32> %X) nounwind {
2032 ; CHECK-SSE2-LABEL: test_srem_even_poweroftwo_and_one:
2033 ; CHECK-SSE2:       # %bb.0:
2034 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3067833783,1,0,3067833783]
2035 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
2036 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
2037 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
2038 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2039 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
2040 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2041 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
2042 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2043 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [2147483648,268435456,1,2147483648]
2044 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
2045 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
2046 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
2047 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2048 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
2049 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
2050 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
2051 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
2052 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2053 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
2054 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
2055 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2056 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2057 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2058 ; CHECK-SSE2-NEXT:    retq
2059 ;
2060 ; CHECK-SSE41-LABEL: test_srem_even_poweroftwo_and_one:
2061 ; CHECK-SSE41:       # %bb.0:
2062 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [2147483648,268435456,1,2147483648]
2063 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2064 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2065 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2066 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2067 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2068 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
2069 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
2070 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2071 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
2072 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2073 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
2074 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [306783378,268435454,4294967295,306783378]
2075 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
2076 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
2077 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2078 ; CHECK-SSE41-NEXT:    retq
2079 ;
2080 ; CHECK-AVX1-LABEL: test_srem_even_poweroftwo_and_one:
2081 ; CHECK-AVX1:       # %bb.0:
2082 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [2147483648,268435456,1,2147483648]
2083 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2084 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2085 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2086 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2087 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2088 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
2089 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
2090 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2091 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
2092 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2093 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
2094 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2095 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2096 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2097 ; CHECK-AVX1-NEXT:    retq
2098 ;
2099 ; CHECK-AVX2-LABEL: test_srem_even_poweroftwo_and_one:
2100 ; CHECK-AVX2:       # %bb.0:
2101 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2102 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2103 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2104 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2105 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
2106 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2107 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2108 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2109 ; CHECK-AVX2-NEXT:    retq
2110 ;
2111 ; CHECK-AVX512VL-LABEL: test_srem_even_poweroftwo_and_one:
2112 ; CHECK-AVX512VL:       # %bb.0:
2113 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2114 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2115 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2116 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2117 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2118 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2119 ; CHECK-AVX512VL-NEXT:    retq
2120   %srem = srem <4 x i32> %X, <i32 14, i32 16, i32 1, i32 14>
2121   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
2122   %ret = zext <4 x i1> %cmp to <4 x i32>
2123   ret <4 x i32> %ret
2124 }
2125
2126 ; One power-of-two divisor divisor and one divisor in odd+even divisor
2127 define <4 x i32> @test_srem_odd_even_poweroftwo_and_one(<4 x i32> %X) nounwind {
2128 ; CHECK-SSE2-LABEL: test_srem_odd_even_poweroftwo_and_one:
2129 ; CHECK-SSE2:       # %bb.0:
2130 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [3435973837,1,0,3264175145]
2131 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
2132 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
2133 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
2134 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2135 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
2136 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2137 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
2138 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2139 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,268435456,1,1073741824]
2140 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
2141 ; CHECK-SSE2-NEXT:    pmuludq %xmm1, %xmm0
2142 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
2143 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
2144 ; CHECK-SSE2-NEXT:    pmuludq %xmm2, %xmm1
2145 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
2146 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
2147 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
2148 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2149 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
2150 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
2151 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2152 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2153 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2154 ; CHECK-SSE2-NEXT:    retq
2155 ;
2156 ; CHECK-SSE41-LABEL: test_srem_odd_even_poweroftwo_and_one:
2157 ; CHECK-SSE41:       # %bb.0:
2158 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [1,268435456,1,1073741824]
2159 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2160 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2161 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2162 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2163 ; CHECK-SSE41-NEXT:    pmuludq %xmm2, %xmm3
2164 ; CHECK-SSE41-NEXT:    pmuludq %xmm1, %xmm0
2165 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
2166 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
2167 ; CHECK-SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
2168 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2169 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm2
2170 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [858993458,268435454,4294967295,42949672]
2171 ; CHECK-SSE41-NEXT:    pminud %xmm2, %xmm0
2172 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
2173 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2174 ; CHECK-SSE41-NEXT:    retq
2175 ;
2176 ; CHECK-AVX1-LABEL: test_srem_odd_even_poweroftwo_and_one:
2177 ; CHECK-AVX1:       # %bb.0:
2178 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,268435456,1,1073741824]
2179 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
2180 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2181 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2182 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
2183 ; CHECK-AVX1-NEXT:    vpmuludq %xmm2, %xmm3, %xmm2
2184 ; CHECK-AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
2185 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
2186 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
2187 ; CHECK-AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
2188 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2189 ; CHECK-AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
2190 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2191 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2192 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2193 ; CHECK-AVX1-NEXT:    retq
2194 ;
2195 ; CHECK-AVX2-LABEL: test_srem_odd_even_poweroftwo_and_one:
2196 ; CHECK-AVX2:       # %bb.0:
2197 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2198 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2199 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2200 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2201 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
2202 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2203 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2204 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2205 ; CHECK-AVX2-NEXT:    retq
2206 ;
2207 ; CHECK-AVX512VL-LABEL: test_srem_odd_even_poweroftwo_and_one:
2208 ; CHECK-AVX512VL:       # %bb.0:
2209 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2210 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2211 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2212 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2213 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2214 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2215 ; CHECK-AVX512VL-NEXT:    retq
2216   %srem = srem <4 x i32> %X, <i32 5, i32 16, i32 1, i32 100>
2217   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
2218   %ret = zext <4 x i1> %cmp to <4 x i32>
2219   ret <4 x i32> %ret
2220 }
2221
2222 ;------------------------------------------------------------------------------;
2223
2224 define <4 x i32> @test_srem_odd_allones_and_poweroftwo_and_one(<4 x i32> %X) nounwind {
2225 ; CHECK-SSE2-LABEL: test_srem_odd_allones_and_poweroftwo_and_one:
2226 ; CHECK-SSE2:       # %bb.0:
2227 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2228 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
2229 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2230 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2231 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2232 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
2233 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
2234 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2235 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
2236 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
2237 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
2238 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2239 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2240 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2241 ; CHECK-SSE2-NEXT:    retq
2242 ;
2243 ; CHECK-SSE41-LABEL: test_srem_odd_allones_and_poweroftwo_and_one:
2244 ; CHECK-SSE41:       # %bb.0:
2245 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2246 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2247 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2248 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2249 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
2250 ; CHECK-SSE41-NEXT:    psrlq $32, %xmm0
2251 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm0
2252 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [858993458,4294967295,268435454,4294967295]
2253 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
2254 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2255 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2256 ; CHECK-SSE41-NEXT:    retq
2257 ;
2258 ; CHECK-AVX1-LABEL: test_srem_odd_allones_and_poweroftwo_and_one:
2259 ; CHECK-AVX1:       # %bb.0:
2260 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2261 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2262 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2263 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2264 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
2265 ; CHECK-AVX1-NEXT:    vpsrlq $32, %xmm0, %xmm0
2266 ; CHECK-AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
2267 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2268 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2269 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2270 ; CHECK-AVX1-NEXT:    retq
2271 ;
2272 ; CHECK-AVX2-LABEL: test_srem_odd_allones_and_poweroftwo_and_one:
2273 ; CHECK-AVX2:       # %bb.0:
2274 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2275 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2276 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2277 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2278 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
2279 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2280 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2281 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2282 ; CHECK-AVX2-NEXT:    retq
2283 ;
2284 ; CHECK-AVX512VL-LABEL: test_srem_odd_allones_and_poweroftwo_and_one:
2285 ; CHECK-AVX512VL:       # %bb.0:
2286 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2287 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2288 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2289 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2290 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2291 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2292 ; CHECK-AVX512VL-NEXT:    retq
2293   %srem = srem <4 x i32> %X, <i32 5, i32 4294967295, i32 16, i32 1>
2294   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
2295   %ret = zext <4 x i1> %cmp to <4 x i32>
2296   ret <4 x i32> %ret
2297 }
2298
2299 define <4 x i32> @test_srem_even_allones_and_poweroftwo_and_one(<4 x i32> %X) nounwind {
2300 ; CHECK-SSE2-LABEL: test_srem_even_allones_and_poweroftwo_and_one:
2301 ; CHECK-SSE2:       # %bb.0:
2302 ; CHECK-SSE2-NEXT:    pxor %xmm1, %xmm1
2303 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
2304 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2305 ; CHECK-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2306 ; CHECK-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2307 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
2308 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
2309 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
2310 ; CHECK-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
2311 ; CHECK-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
2312 ; CHECK-SSE2-NEXT:    por %xmm3, %xmm0
2313 ; CHECK-SSE2-NEXT:    pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2314 ; CHECK-SSE2-NEXT:    pcmpgtd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2315 ; CHECK-SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2316 ; CHECK-SSE2-NEXT:    retq
2317 ;
2318 ; CHECK-SSE41-LABEL: test_srem_even_allones_and_poweroftwo_and_one:
2319 ; CHECK-SSE41:       # %bb.0:
2320 ; CHECK-SSE41-NEXT:    pmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2321 ; CHECK-SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2322 ; CHECK-SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2323 ; CHECK-SSE41-NEXT:    pxor %xmm1, %xmm1
2324 ; CHECK-SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
2325 ; CHECK-SSE41-NEXT:    psrlq $32, %xmm0
2326 ; CHECK-SSE41-NEXT:    por %xmm1, %xmm0
2327 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [306783378,4294967295,268435454,4294967295]
2328 ; CHECK-SSE41-NEXT:    pminud %xmm0, %xmm1
2329 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm1, %xmm0
2330 ; CHECK-SSE41-NEXT:    psrld $31, %xmm0
2331 ; CHECK-SSE41-NEXT:    retq
2332 ;
2333 ; CHECK-AVX1-LABEL: test_srem_even_allones_and_poweroftwo_and_one:
2334 ; CHECK-AVX1:       # %bb.0:
2335 ; CHECK-AVX1-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2336 ; CHECK-AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2337 ; CHECK-AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2338 ; CHECK-AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2339 ; CHECK-AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
2340 ; CHECK-AVX1-NEXT:    vpsrlq $32, %xmm0, %xmm0
2341 ; CHECK-AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
2342 ; CHECK-AVX1-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2343 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2344 ; CHECK-AVX1-NEXT:    vpsrld $31, %xmm0, %xmm0
2345 ; CHECK-AVX1-NEXT:    retq
2346 ;
2347 ; CHECK-AVX2-LABEL: test_srem_even_allones_and_poweroftwo_and_one:
2348 ; CHECK-AVX2:       # %bb.0:
2349 ; CHECK-AVX2-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2350 ; CHECK-AVX2-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2351 ; CHECK-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2352 ; CHECK-AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2353 ; CHECK-AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
2354 ; CHECK-AVX2-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2355 ; CHECK-AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2356 ; CHECK-AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
2357 ; CHECK-AVX2-NEXT:    retq
2358 ;
2359 ; CHECK-AVX512VL-LABEL: test_srem_even_allones_and_poweroftwo_and_one:
2360 ; CHECK-AVX512VL:       # %bb.0:
2361 ; CHECK-AVX512VL-NEXT:    vpmulld {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2362 ; CHECK-AVX512VL-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2363 ; CHECK-AVX512VL-NEXT:    vprorvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
2364 ; CHECK-AVX512VL-NEXT:    vpminud {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
2365 ; CHECK-AVX512VL-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
2366 ; CHECK-AVX512VL-NEXT:    vpsrld $31, %xmm0, %xmm0
2367 ; CHECK-AVX512VL-NEXT:    retq
2368   %srem = srem <4 x i32> %X, <i32 14, i32 4294967295, i32 16, i32 1>
2369   %cmp = icmp eq <4 x i32> %srem, <i32 0, i32 0, i32 0, i32 0>
2370   %ret = zext <4 x i1> %cmp to <4 x i32>
2371   ret <4 x i32> %ret
2372 }
2373
2374 ; PR51133: the VSELECT should have i1 element type
2375 define <32 x i1> @pr51133(<32 x i8> %x, <32 x i8> %y) {
2376 ; CHECK-SSE2-LABEL: pr51133:
2377 ; CHECK-SSE2:       # %bb.0:
2378 ; CHECK-SSE2-NEXT:    movq %rdi, %rax
2379 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm4
2380 ; CHECK-SSE2-NEXT:    punpckhbw {{.*#+}} xmm4 = xmm4[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2381 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
2382 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [255,255,255,255,255,255,255,255]
2383 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm4
2384 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm6
2385 ; CHECK-SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
2386 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
2387 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm6
2388 ; CHECK-SSE2-NEXT:    packuswb %xmm4, %xmm6
2389 ; CHECK-SSE2-NEXT:    paddb {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
2390 ; CHECK-SSE2-NEXT:    pxor %xmm8, %xmm8
2391 ; CHECK-SSE2-NEXT:    movdqa %xmm6, %xmm7
2392 ; CHECK-SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8],xmm8[8],xmm7[9],xmm8[9],xmm7[10],xmm8[10],xmm7[11],xmm8[11],xmm7[12],xmm8[12],xmm7[13],xmm8[13],xmm7[14],xmm8[14],xmm7[15],xmm8[15]
2393 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
2394 ; CHECK-SSE2-NEXT:    psrlw $8, %xmm7
2395 ; CHECK-SSE2-NEXT:    movdqa %xmm6, %xmm4
2396 ; CHECK-SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm8[0],xmm4[1],xmm8[1],xmm4[2],xmm8[2],xmm4[3],xmm8[3],xmm4[4],xmm8[4],xmm4[5],xmm8[5],xmm4[6],xmm8[6],xmm4[7],xmm8[7]
2397 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
2398 ; CHECK-SSE2-NEXT:    psrlw $8, %xmm4
2399 ; CHECK-SSE2-NEXT:    packuswb %xmm7, %xmm4
2400 ; CHECK-SSE2-NEXT:    movdqa %xmm6, %xmm7
2401 ; CHECK-SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2402 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
2403 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm7
2404 ; CHECK-SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
2405 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
2406 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm6
2407 ; CHECK-SSE2-NEXT:    packuswb %xmm7, %xmm6
2408 ; CHECK-SSE2-NEXT:    por %xmm4, %xmm6
2409 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [84,2,36,42,2,0,2,4,2,255,4,36,126,30,2,2]
2410 ; CHECK-SSE2-NEXT:    pminub %xmm6, %xmm4
2411 ; CHECK-SSE2-NEXT:    pcmpeqb %xmm6, %xmm4
2412 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
2413 ; CHECK-SSE2-NEXT:    pandn %xmm6, %xmm4
2414 ; CHECK-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
2415 ; CHECK-SSE2-NEXT:    pcmpgtb %xmm8, %xmm1
2416 ; CHECK-SSE2-NEXT:    pandn %xmm1, %xmm6
2417 ; CHECK-SSE2-NEXT:    por %xmm4, %xmm6
2418 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
2419 ; CHECK-SSE2-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2420 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
2421 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm1
2422 ; CHECK-SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
2423 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2424 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm0
2425 ; CHECK-SSE2-NEXT:    packuswb %xmm1, %xmm0
2426 ; CHECK-SSE2-NEXT:    paddb {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2427 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
2428 ; CHECK-SSE2-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm8[8],xmm1[9],xmm8[9],xmm1[10],xmm8[10],xmm1[11],xmm8[11],xmm1[12],xmm8[12],xmm1[13],xmm8[13],xmm1[14],xmm8[14],xmm1[15],xmm8[15]
2429 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
2430 ; CHECK-SSE2-NEXT:    psrlw $8, %xmm1
2431 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm4
2432 ; CHECK-SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm8[0],xmm4[1],xmm8[1],xmm4[2],xmm8[2],xmm4[3],xmm8[3],xmm4[4],xmm8[4],xmm4[5],xmm8[5],xmm4[6],xmm8[6],xmm4[7],xmm8[7]
2433 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
2434 ; CHECK-SSE2-NEXT:    psrlw $8, %xmm4
2435 ; CHECK-SSE2-NEXT:    packuswb %xmm1, %xmm4
2436 ; CHECK-SSE2-NEXT:    movdqa %xmm0, %xmm1
2437 ; CHECK-SSE2-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2438 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
2439 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm1
2440 ; CHECK-SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
2441 ; CHECK-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2442 ; CHECK-SSE2-NEXT:    pand %xmm5, %xmm0
2443 ; CHECK-SSE2-NEXT:    packuswb %xmm1, %xmm0
2444 ; CHECK-SSE2-NEXT:    por %xmm4, %xmm0
2445 ; CHECK-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [19,51,13,7,127,31,127,3,5,5,51,37,3,127,85,5]
2446 ; CHECK-SSE2-NEXT:    pmaxub %xmm0, %xmm1
2447 ; CHECK-SSE2-NEXT:    pcmpeqb %xmm0, %xmm1
2448 ; CHECK-SSE2-NEXT:    pcmpeqb %xmm8, %xmm3
2449 ; CHECK-SSE2-NEXT:    pandn %xmm6, %xmm3
2450 ; CHECK-SSE2-NEXT:    pcmpeqb %xmm8, %xmm2
2451 ; CHECK-SSE2-NEXT:    pandn %xmm1, %xmm2
2452 ; CHECK-SSE2-NEXT:    pmovmskb %xmm2, %ecx
2453 ; CHECK-SSE2-NEXT:    pmovmskb %xmm3, %edx
2454 ; CHECK-SSE2-NEXT:    shll $16, %edx
2455 ; CHECK-SSE2-NEXT:    orl %ecx, %edx
2456 ; CHECK-SSE2-NEXT:    movl %edx, (%rdi)
2457 ; CHECK-SSE2-NEXT:    retq
2458 ;
2459 ; CHECK-SSE41-LABEL: pr51133:
2460 ; CHECK-SSE41:       # %bb.0:
2461 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm4
2462 ; CHECK-SSE41-NEXT:    movq %rdi, %rax
2463 ; CHECK-SSE41-NEXT:    movdqa %xmm1, %xmm5
2464 ; CHECK-SSE41-NEXT:    punpckhbw {{.*#+}} xmm5 = xmm5[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2465 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
2466 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm9 = [255,255,255,255,255,255,255,255]
2467 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm5
2468 ; CHECK-SSE41-NEXT:    pmovzxbw {{.*#+}} xmm0 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
2469 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2470 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm0
2471 ; CHECK-SSE41-NEXT:    packuswb %xmm5, %xmm0
2472 ; CHECK-SSE41-NEXT:    paddb {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2473 ; CHECK-SSE41-NEXT:    pxor %xmm8, %xmm8
2474 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm7
2475 ; CHECK-SSE41-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8],xmm8[8],xmm7[9],xmm8[9],xmm7[10],xmm8[10],xmm7[11],xmm8[11],xmm7[12],xmm8[12],xmm7[13],xmm8[13],xmm7[14],xmm8[14],xmm7[15],xmm8[15]
2476 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
2477 ; CHECK-SSE41-NEXT:    psrlw $8, %xmm7
2478 ; CHECK-SSE41-NEXT:    pmovzxbw {{.*#+}} xmm5 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2479 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm6 = [256,256,256,128,64,2,256,32]
2480 ; CHECK-SSE41-NEXT:    pmullw %xmm5, %xmm6
2481 ; CHECK-SSE41-NEXT:    psrlw $8, %xmm6
2482 ; CHECK-SSE41-NEXT:    packuswb %xmm7, %xmm6
2483 ; CHECK-SSE41-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2484 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2485 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm0
2486 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
2487 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm5
2488 ; CHECK-SSE41-NEXT:    packuswb %xmm0, %xmm5
2489 ; CHECK-SSE41-NEXT:    por %xmm6, %xmm5
2490 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [84,2,36,42,2,0,2,4,2,255,4,36,126,30,2,2]
2491 ; CHECK-SSE41-NEXT:    pminub %xmm5, %xmm0
2492 ; CHECK-SSE41-NEXT:    pcmpeqb %xmm5, %xmm0
2493 ; CHECK-SSE41-NEXT:    pcmpeqd %xmm5, %xmm5
2494 ; CHECK-SSE41-NEXT:    pxor %xmm0, %xmm5
2495 ; CHECK-SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
2496 ; CHECK-SSE41-NEXT:    pcmpgtb %xmm8, %xmm1
2497 ; CHECK-SSE41-NEXT:    movaps {{.*#+}} xmm0 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
2498 ; CHECK-SSE41-NEXT:    pblendvb %xmm0, %xmm5, %xmm1
2499 ; CHECK-SSE41-NEXT:    pmovzxbw {{.*#+}} xmm0 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero
2500 ; CHECK-SSE41-NEXT:    punpckhbw {{.*#+}} xmm4 = xmm4[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2501 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
2502 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm4
2503 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2504 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm0
2505 ; CHECK-SSE41-NEXT:    packuswb %xmm4, %xmm0
2506 ; CHECK-SSE41-NEXT:    paddb {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2507 ; CHECK-SSE41-NEXT:    movdqa %xmm0, %xmm4
2508 ; CHECK-SSE41-NEXT:    punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm8[8],xmm4[9],xmm8[9],xmm4[10],xmm8[10],xmm4[11],xmm8[11],xmm4[12],xmm8[12],xmm4[13],xmm8[13],xmm4[14],xmm8[14],xmm4[15],xmm8[15]
2509 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
2510 ; CHECK-SSE41-NEXT:    psrlw $8, %xmm4
2511 ; CHECK-SSE41-NEXT:    pmovzxbw {{.*#+}} xmm5 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2512 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm6 = [256,256,256,128,128,32,128,32]
2513 ; CHECK-SSE41-NEXT:    pmullw %xmm5, %xmm6
2514 ; CHECK-SSE41-NEXT:    psrlw $8, %xmm6
2515 ; CHECK-SSE41-NEXT:    packuswb %xmm4, %xmm6
2516 ; CHECK-SSE41-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2517 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
2518 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm0
2519 ; CHECK-SSE41-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
2520 ; CHECK-SSE41-NEXT:    pand %xmm9, %xmm5
2521 ; CHECK-SSE41-NEXT:    packuswb %xmm0, %xmm5
2522 ; CHECK-SSE41-NEXT:    por %xmm6, %xmm5
2523 ; CHECK-SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [19,51,13,7,127,31,127,3,5,5,51,37,3,127,85,5]
2524 ; CHECK-SSE41-NEXT:    pmaxub %xmm5, %xmm0
2525 ; CHECK-SSE41-NEXT:    pcmpeqb %xmm5, %xmm0
2526 ; CHECK-SSE41-NEXT:    pcmpeqb %xmm8, %xmm3
2527 ; CHECK-SSE41-NEXT:    pandn %xmm1, %xmm3
2528 ; CHECK-SSE41-NEXT:    pcmpeqb %xmm8, %xmm2
2529 ; CHECK-SSE41-NEXT:    pandn %xmm0, %xmm2
2530 ; CHECK-SSE41-NEXT:    pmovmskb %xmm2, %ecx
2531 ; CHECK-SSE41-NEXT:    pmovmskb %xmm3, %edx
2532 ; CHECK-SSE41-NEXT:    shll $16, %edx
2533 ; CHECK-SSE41-NEXT:    orl %ecx, %edx
2534 ; CHECK-SSE41-NEXT:    movl %edx, (%rdi)
2535 ; CHECK-SSE41-NEXT:    retq
2536 ;
2537 ; CHECK-AVX1-LABEL: pr51133:
2538 ; CHECK-AVX1:       # %bb.0:
2539 ; CHECK-AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2540 ; CHECK-AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
2541 ; CHECK-AVX1-NEXT:    vpmulhw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3, %xmm3
2542 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm3, %xmm3
2543 ; CHECK-AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm4 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
2544 ; CHECK-AVX1-NEXT:    vpmulhw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4, %xmm4
2545 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm4, %xmm4
2546 ; CHECK-AVX1-NEXT:    vpackuswb %xmm3, %xmm4, %xmm3
2547 ; CHECK-AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm4
2548 ; CHECK-AVX1-NEXT:    vpaddb %xmm4, %xmm3, %xmm3
2549 ; CHECK-AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm4 = xmm3[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2550 ; CHECK-AVX1-NEXT:    vpsraw $8, %xmm4, %xmm4
2551 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4, %xmm4
2552 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm4, %xmm4
2553 ; CHECK-AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm5 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
2554 ; CHECK-AVX1-NEXT:    vpsraw $8, %xmm5, %xmm5
2555 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5, %xmm5
2556 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm5, %xmm5
2557 ; CHECK-AVX1-NEXT:    vpackuswb %xmm4, %xmm5, %xmm4
2558 ; CHECK-AVX1-NEXT:    vpsrlw $7, %xmm3, %xmm3
2559 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm8 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
2560 ; CHECK-AVX1-NEXT:    vpand %xmm3, %xmm8, %xmm3
2561 ; CHECK-AVX1-NEXT:    vpaddb %xmm3, %xmm4, %xmm4
2562 ; CHECK-AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm4[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2563 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3, %xmm6
2564 ; CHECK-AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [255,255,255,255,255,255,255,255]
2565 ; CHECK-AVX1-NEXT:    vpand %xmm3, %xmm6, %xmm6
2566 ; CHECK-AVX1-NEXT:    vpmovzxbw {{.*#+}} xmm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero
2567 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4, %xmm4
2568 ; CHECK-AVX1-NEXT:    vpand %xmm3, %xmm4, %xmm4
2569 ; CHECK-AVX1-NEXT:    vpackuswb %xmm6, %xmm4, %xmm4
2570 ; CHECK-AVX1-NEXT:    vpsubb %xmm4, %xmm0, %xmm4
2571 ; CHECK-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
2572 ; CHECK-AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm6 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
2573 ; CHECK-AVX1-NEXT:    vpmulhw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6, %xmm6
2574 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm6, %xmm6
2575 ; CHECK-AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm7 = xmm2[0],xmm0[0],xmm2[1],xmm0[1],xmm2[2],xmm0[2],xmm2[3],xmm0[3],xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
2576 ; CHECK-AVX1-NEXT:    vpmulhw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7, %xmm7
2577 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm7, %xmm7
2578 ; CHECK-AVX1-NEXT:    vpackuswb %xmm6, %xmm7, %xmm6
2579 ; CHECK-AVX1-NEXT:    vpmovzxbw {{.*#+}} xmm7 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2580 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7, %xmm7
2581 ; CHECK-AVX1-NEXT:    vpand %xmm3, %xmm7, %xmm7
2582 ; CHECK-AVX1-NEXT:    vpshufb {{.*#+}} xmm5 = zero,zero,xmm0[9],zero,zero,zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,zero,zero,xmm0[15],zero
2583 ; CHECK-AVX1-NEXT:    vpackuswb %xmm5, %xmm7, %xmm5
2584 ; CHECK-AVX1-NEXT:    vpaddb %xmm5, %xmm6, %xmm5
2585 ; CHECK-AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm6 = xmm5[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2586 ; CHECK-AVX1-NEXT:    vpsraw $8, %xmm6, %xmm6
2587 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6, %xmm6
2588 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm6, %xmm6
2589 ; CHECK-AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm7 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
2590 ; CHECK-AVX1-NEXT:    vpsraw $8, %xmm7, %xmm7
2591 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7, %xmm7
2592 ; CHECK-AVX1-NEXT:    vpsrlw $8, %xmm7, %xmm7
2593 ; CHECK-AVX1-NEXT:    vpackuswb %xmm6, %xmm7, %xmm6
2594 ; CHECK-AVX1-NEXT:    vpsrlw $7, %xmm5, %xmm5
2595 ; CHECK-AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5, %xmm5
2596 ; CHECK-AVX1-NEXT:    vpand %xmm5, %xmm8, %xmm5
2597 ; CHECK-AVX1-NEXT:    vpaddb %xmm5, %xmm6, %xmm5
2598 ; CHECK-AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm6 = xmm5[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
2599 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6, %xmm6
2600 ; CHECK-AVX1-NEXT:    vpand %xmm3, %xmm6, %xmm6
2601 ; CHECK-AVX1-NEXT:    vpmovzxbw {{.*#+}} xmm5 = xmm5[0],zero,xmm5[1],zero,xmm5[2],zero,xmm5[3],zero,xmm5[4],zero,xmm5[5],zero,xmm5[6],zero,xmm5[7],zero
2602 ; CHECK-AVX1-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5, %xmm5
2603 ; CHECK-AVX1-NEXT:    vpand %xmm3, %xmm5, %xmm3
2604 ; CHECK-AVX1-NEXT:    vpackuswb %xmm6, %xmm3, %xmm3
2605 ; CHECK-AVX1-NEXT:    vpsubb %xmm3, %xmm0, %xmm0
2606 ; CHECK-AVX1-NEXT:    vpcmpeqb %xmm2, %xmm0, %xmm0
2607 ; CHECK-AVX1-NEXT:    vpcmpeqd %xmm3, %xmm3, %xmm3
2608 ; CHECK-AVX1-NEXT:    vpxor %xmm3, %xmm0, %xmm0
2609 ; CHECK-AVX1-NEXT:    vpcmpeqb %xmm2, %xmm4, %xmm4
2610 ; CHECK-AVX1-NEXT:    vpxor %xmm3, %xmm4, %xmm3
2611 ; CHECK-AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm3, %ymm0
2612 ; CHECK-AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
2613 ; CHECK-AVX1-NEXT:    vpcmpeqb %xmm2, %xmm3, %xmm3
2614 ; CHECK-AVX1-NEXT:    vpcmpeqb %xmm2, %xmm1, %xmm1
2615 ; CHECK-AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
2616 ; CHECK-AVX1-NEXT:    vandnps %ymm0, %ymm1, %ymm0
2617 ; CHECK-AVX1-NEXT:    retq
2618 ;
2619 ; CHECK-AVX2-LABEL: pr51133:
2620 ; CHECK-AVX2:       # %bb.0:
2621 ; CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2622 ; CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
2623 ; CHECK-AVX2-NEXT:    vpmulhw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm3, %ymm3
2624 ; CHECK-AVX2-NEXT:    vpsrlw $8, %ymm3, %ymm3
2625 ; CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
2626 ; CHECK-AVX2-NEXT:    vpmulhw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm4, %ymm4
2627 ; CHECK-AVX2-NEXT:    vpsrlw $8, %ymm4, %ymm4
2628 ; CHECK-AVX2-NEXT:    vpackuswb %ymm3, %ymm4, %ymm3
2629 ; CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
2630 ; CHECK-AVX2-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm4, %ymm4
2631 ; CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} ymm5 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
2632 ; CHECK-AVX2-NEXT:    vpand %ymm5, %ymm4, %ymm4
2633 ; CHECK-AVX2-NEXT:    vpshufb {{.*#+}} ymm6 = ymm0[8],zero,ymm0[9],zero,zero,zero,ymm0[11],zero,zero,zero,ymm0[13],zero,zero,zero,ymm0[15],zero,zero,zero,ymm0[25],zero,zero,zero,ymm0[27],zero,ymm0[28],zero,ymm0[29],zero,zero,zero,ymm0[31],zero
2634 ; CHECK-AVX2-NEXT:    vpackuswb %ymm6, %ymm4, %ymm4
2635 ; CHECK-AVX2-NEXT:    vpaddb %ymm4, %ymm3, %ymm3
2636 ; CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm3[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
2637 ; CHECK-AVX2-NEXT:    vpsraw $8, %ymm4, %ymm4
2638 ; CHECK-AVX2-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm4, %ymm4
2639 ; CHECK-AVX2-NEXT:    vpsrlw $8, %ymm4, %ymm4
2640 ; CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm6 = ymm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
2641 ; CHECK-AVX2-NEXT:    vpsraw $8, %ymm6, %ymm6
2642 ; CHECK-AVX2-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm6, %ymm6
2643 ; CHECK-AVX2-NEXT:    vpsrlw $8, %ymm6, %ymm6
2644 ; CHECK-AVX2-NEXT:    vpackuswb %ymm4, %ymm6, %ymm4
2645 ; CHECK-AVX2-NEXT:    vpsrlw $7, %ymm3, %ymm3
2646 ; CHECK-AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm3, %ymm3
2647 ; CHECK-AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm3, %ymm3
2648 ; CHECK-AVX2-NEXT:    vpaddb %ymm3, %ymm4, %ymm3
2649 ; CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm3[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
2650 ; CHECK-AVX2-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm4, %ymm4
2651 ; CHECK-AVX2-NEXT:    vpand %ymm5, %ymm4, %ymm4
2652 ; CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
2653 ; CHECK-AVX2-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm3, %ymm3
2654 ; CHECK-AVX2-NEXT:    vpand %ymm5, %ymm3, %ymm3
2655 ; CHECK-AVX2-NEXT:    vpackuswb %ymm4, %ymm3, %ymm3
2656 ; CHECK-AVX2-NEXT:    vpsubb %ymm3, %ymm0, %ymm0
2657 ; CHECK-AVX2-NEXT:    vpcmpeqb %ymm2, %ymm0, %ymm0
2658 ; CHECK-AVX2-NEXT:    vpcmpeqd %ymm3, %ymm3, %ymm3
2659 ; CHECK-AVX2-NEXT:    vpxor %ymm3, %ymm0, %ymm0
2660 ; CHECK-AVX2-NEXT:    vpcmpeqb %ymm2, %ymm1, %ymm1
2661 ; CHECK-AVX2-NEXT:    vpandn %ymm0, %ymm1, %ymm0
2662 ; CHECK-AVX2-NEXT:    retq
2663 ;
2664 ; CHECK-AVX512VL-LABEL: pr51133:
2665 ; CHECK-AVX512VL:       # %bb.0:
2666 ; CHECK-AVX512VL-NEXT:    vpunpckhbw {{.*#+}} ymm2 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
2667 ; CHECK-AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm2, %ymm2
2668 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm3 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
2669 ; CHECK-AVX512VL-NEXT:    vpand %ymm3, %ymm2, %ymm2
2670 ; CHECK-AVX512VL-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
2671 ; CHECK-AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm4, %ymm4
2672 ; CHECK-AVX512VL-NEXT:    vpand %ymm3, %ymm4, %ymm3
2673 ; CHECK-AVX512VL-NEXT:    vpackuswb %ymm2, %ymm3, %ymm2
2674 ; CHECK-AVX512VL-NEXT:    vpaddb {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm2, %ymm2
2675 ; CHECK-AVX512VL-NEXT:    vpsllw $4, %ymm2, %ymm3
2676 ; CHECK-AVX512VL-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm3, %ymm3
2677 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm4 = [0,57344,41184,41184,57568,0,57344,49152,0,57344,8384,40960,224,224,41184,0]
2678 ; CHECK-AVX512VL-NEXT:    vpblendvb %ymm4, %ymm3, %ymm2, %ymm3
2679 ; CHECK-AVX512VL-NEXT:    vpsllw $2, %ymm3, %ymm5
2680 ; CHECK-AVX512VL-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm5, %ymm5
2681 ; CHECK-AVX512VL-NEXT:    vpaddb %ymm4, %ymm4, %ymm4
2682 ; CHECK-AVX512VL-NEXT:    vpblendvb %ymm4, %ymm5, %ymm3, %ymm3
2683 ; CHECK-AVX512VL-NEXT:    vpaddb %ymm3, %ymm3, %ymm5
2684 ; CHECK-AVX512VL-NEXT:    vpaddb %ymm4, %ymm4, %ymm4
2685 ; CHECK-AVX512VL-NEXT:    vpblendvb %ymm4, %ymm5, %ymm3, %ymm3
2686 ; CHECK-AVX512VL-NEXT:    vpxor %xmm4, %xmm4, %xmm4
2687 ; CHECK-AVX512VL-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm2[8],ymm4[8],ymm2[9],ymm4[9],ymm2[10],ymm4[10],ymm2[11],ymm4[11],ymm2[12],ymm4[12],ymm2[13],ymm4[13],ymm2[14],ymm4[14],ymm2[15],ymm4[15],ymm2[24],ymm4[24],ymm2[25],ymm4[25],ymm2[26],ymm4[26],ymm2[27],ymm4[27],ymm2[28],ymm4[28],ymm2[29],ymm4[29],ymm2[30],ymm4[30],ymm2[31],ymm4[31]
2688 ; CHECK-AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm5, %ymm5
2689 ; CHECK-AVX512VL-NEXT:    vpsrlw $8, %ymm5, %ymm5
2690 ; CHECK-AVX512VL-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm4[0],ymm2[1],ymm4[1],ymm2[2],ymm4[2],ymm2[3],ymm4[3],ymm2[4],ymm4[4],ymm2[5],ymm4[5],ymm2[6],ymm4[6],ymm2[7],ymm4[7],ymm2[16],ymm4[16],ymm2[17],ymm4[17],ymm2[18],ymm4[18],ymm2[19],ymm4[19],ymm2[20],ymm4[20],ymm2[21],ymm4[21],ymm2[22],ymm4[22],ymm2[23],ymm4[23]
2691 ; CHECK-AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm2, %ymm2
2692 ; CHECK-AVX512VL-NEXT:    vpsrlw $8, %ymm2, %ymm2
2693 ; CHECK-AVX512VL-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
2694 ; CHECK-AVX512VL-NEXT:    vpor %ymm2, %ymm3, %ymm2
2695 ; CHECK-AVX512VL-NEXT:    vpminub {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm2, %ymm3
2696 ; CHECK-AVX512VL-NEXT:    vpcmpeqb %ymm3, %ymm2, %ymm2
2697 ; CHECK-AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm3 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
2698 ; CHECK-AVX512VL-NEXT:    vpandn %ymm3, %ymm2, %ymm2
2699 ; CHECK-AVX512VL-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
2700 ; CHECK-AVX512VL-NEXT:    vpcmpgtb %ymm4, %ymm0, %ymm0
2701 ; CHECK-AVX512VL-NEXT:    vpandn %ymm0, %ymm3, %ymm3
2702 ; CHECK-AVX512VL-NEXT:    vpcmpeqb %ymm4, %ymm1, %ymm0
2703 ; CHECK-AVX512VL-NEXT:    vpternlogq $14, %ymm3, %ymm2, %ymm0
2704 ; CHECK-AVX512VL-NEXT:    retq
2705   %rem = srem <32 x i8> %x, <i8 13, i8 5, i8 19, i8 34, i8 2, i8 8, i8 2, i8 88, i8 62, i8 62, i8 5, i8 7, i8 97, i8 2, i8 3, i8 60, i8 3, i8 87, i8 7, i8 6, i8 84, i8 -128, i8 127, i8 56, i8 114, i8 1, i8 50, i8 7, i8 2, i8 8, i8 97, i8 117>
2706   %cmp = icmp ne <32 x i8> %rem, zeroinitializer
2707   %cmp4 = icmp ne <32 x i8> %y, zeroinitializer
2708   %cmpres = and <32 x i1> %cmp4, %cmp
2709   ret <32 x i1> %cmpres
2710 }