test/CodeGen/X86/vector-idiv-udiv-512.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f | FileCheck %s --check-prefix=AVX --check-prefix=AVX512 --check-prefix=AVX512F
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw | FileCheck %s --check-prefix=AVX --check-prefix=AVX512 --check-prefix=AVX512BW
   4
   5 ;
   6 ; udiv by 7
   7 ;
   8
   9 define <8 x i64> @test_div7_8i64(<8 x i64> %a) nounwind {
  10 ; AVX-LABEL: test_div7_8i64:
  11 ; AVX:       # %bb.0:
  12 ; AVX-NEXT:    vextracti32x4 $3, %zmm0, %xmm1
  13 ; AVX-NEXT:    vpextrq $1, %xmm1, %rcx
  14 ; AVX-NEXT:    movabsq $2635249153387078803, %rsi # imm = 0x2492492492492493
  15 ; AVX-NEXT:    movq %rcx, %rax
  16 ; AVX-NEXT:    mulq %rsi
  17 ; AVX-NEXT:    subq %rdx, %rcx
  18 ; AVX-NEXT:    shrq %rcx
  19 ; AVX-NEXT:    addq %rdx, %rcx
  20 ; AVX-NEXT:    shrq $2, %rcx
  21 ; AVX-NEXT:    vmovq %rcx, %xmm2
  22 ; AVX-NEXT:    vmovq %xmm1, %rcx
  23 ; AVX-NEXT:    movq %rcx, %rax
  24 ; AVX-NEXT:    mulq %rsi
  25 ; AVX-NEXT:    subq %rdx, %rcx
  26 ; AVX-NEXT:    shrq %rcx
  27 ; AVX-NEXT:    addq %rdx, %rcx
  28 ; AVX-NEXT:    shrq $2, %rcx
  29 ; AVX-NEXT:    vmovq %rcx, %xmm1
  30 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]
  31 ; AVX-NEXT:    vextracti32x4 $2, %zmm0, %xmm2
  32 ; AVX-NEXT:    vpextrq $1, %xmm2, %rcx
  33 ; AVX-NEXT:    movq %rcx, %rax
  34 ; AVX-NEXT:    mulq %rsi
  35 ; AVX-NEXT:    subq %rdx, %rcx
  36 ; AVX-NEXT:    shrq %rcx
  37 ; AVX-NEXT:    addq %rdx, %rcx
  38 ; AVX-NEXT:    shrq $2, %rcx
  39 ; AVX-NEXT:    vmovq %rcx, %xmm3
  40 ; AVX-NEXT:    vmovq %xmm2, %rcx
  41 ; AVX-NEXT:    movq %rcx, %rax
  42 ; AVX-NEXT:    mulq %rsi
  43 ; AVX-NEXT:    subq %rdx, %rcx
  44 ; AVX-NEXT:    shrq %rcx
  45 ; AVX-NEXT:    addq %rdx, %rcx
  46 ; AVX-NEXT:    shrq $2, %rcx
  47 ; AVX-NEXT:    vmovq %rcx, %xmm2
  48 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
  49 ; AVX-NEXT:    vinserti128 $1, %xmm1, %ymm2, %ymm1
  50 ; AVX-NEXT:    vextracti128 $1, %ymm0, %xmm2
  51 ; AVX-NEXT:    vpextrq $1, %xmm2, %rcx
  52 ; AVX-NEXT:    movq %rcx, %rax
  53 ; AVX-NEXT:    mulq %rsi
  54 ; AVX-NEXT:    subq %rdx, %rcx
  55 ; AVX-NEXT:    shrq %rcx
  56 ; AVX-NEXT:    addq %rdx, %rcx
  57 ; AVX-NEXT:    shrq $2, %rcx
  58 ; AVX-NEXT:    vmovq %rcx, %xmm3
  59 ; AVX-NEXT:    vmovq %xmm2, %rcx
  60 ; AVX-NEXT:    movq %rcx, %rax
  61 ; AVX-NEXT:    mulq %rsi
  62 ; AVX-NEXT:    subq %rdx, %rcx
  63 ; AVX-NEXT:    shrq %rcx
  64 ; AVX-NEXT:    addq %rdx, %rcx
  65 ; AVX-NEXT:    shrq $2, %rcx
  66 ; AVX-NEXT:    vmovq %rcx, %xmm2
  67 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
  68 ; AVX-NEXT:    vpextrq $1, %xmm0, %rcx
  69 ; AVX-NEXT:    movq %rcx, %rax
  70 ; AVX-NEXT:    mulq %rsi
  71 ; AVX-NEXT:    subq %rdx, %rcx
  72 ; AVX-NEXT:    shrq %rcx
  73 ; AVX-NEXT:    addq %rdx, %rcx
  74 ; AVX-NEXT:    shrq $2, %rcx
  75 ; AVX-NEXT:    vmovq %rcx, %xmm3
  76 ; AVX-NEXT:    vmovq %xmm0, %rcx
  77 ; AVX-NEXT:    movq %rcx, %rax
  78 ; AVX-NEXT:    mulq %rsi
  79 ; AVX-NEXT:    subq %rdx, %rcx
  80 ; AVX-NEXT:    shrq %rcx
  81 ; AVX-NEXT:    addq %rdx, %rcx
  82 ; AVX-NEXT:    shrq $2, %rcx
  83 ; AVX-NEXT:    vmovq %rcx, %xmm0
  84 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
  85 ; AVX-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
  86 ; AVX-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
  87 ; AVX-NEXT:    retq
  88   %res = udiv <8 x i64> %a, <i64 7, i64 7, i64 7, i64 7, i64 7, i64 7, i64 7, i64 7>
  89   ret <8 x i64> %res
  90 }
  91
  92 define <16 x i32> @test_div7_16i32(<16 x i32> %a) nounwind {
  93 ; AVX-LABEL: test_div7_16i32:
  94 ; AVX:       # %bb.0:
  95 ; AVX-NEXT:    vpbroadcastd {{.*#+}} zmm1 = [613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757]
  96 ; AVX-NEXT:    vpmuludq %zmm1, %zmm0, %zmm2
  97 ; AVX-NEXT:    vpshufd {{.*#+}} zmm3 = zmm0[1,1,3,3,5,5,7,7,9,9,11,11,13,13,15,15]
  98 ; AVX-NEXT:    vpmuludq %zmm1, %zmm3, %zmm1
  99 ; AVX-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,17,3,19,5,21,7,23,9,25,11,27,13,29,15,31]
 100 ; AVX-NEXT:    vpermi2d %zmm1, %zmm2, %zmm3
 101 ; AVX-NEXT:    vpsubd %zmm3, %zmm0, %zmm0
 102 ; AVX-NEXT:    vpsrld $1, %zmm0, %zmm0
 103 ; AVX-NEXT:    vpaddd %zmm3, %zmm0, %zmm0
 104 ; AVX-NEXT:    vpsrld $2, %zmm0, %zmm0
 105 ; AVX-NEXT:    retq
 106   %res = udiv <16 x i32> %a, <i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7>
 107   ret <16 x i32> %res
 108 }
 109
 110 define <32 x i16> @test_div7_32i16(<32 x i16> %a) nounwind {
 111 ; AVX512F-LABEL: test_div7_32i16:
 112 ; AVX512F:       # %bb.0:
 113 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm2 = [9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363]
 114 ; AVX512F-NEXT:    vpmulhuw %ymm2, %ymm0, %ymm3
 115 ; AVX512F-NEXT:    vpsubw %ymm3, %ymm0, %ymm0
 116 ; AVX512F-NEXT:    vpsrlw $1, %ymm0, %ymm0
 117 ; AVX512F-NEXT:    vpaddw %ymm3, %ymm0, %ymm0
 118 ; AVX512F-NEXT:    vpsrlw $2, %ymm0, %ymm0
 119 ; AVX512F-NEXT:    vpmulhuw %ymm2, %ymm1, %ymm2
 120 ; AVX512F-NEXT:    vpsubw %ymm2, %ymm1, %ymm1
 121 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 122 ; AVX512F-NEXT:    vpaddw %ymm2, %ymm1, %ymm1
 123 ; AVX512F-NEXT:    vpsrlw $2, %ymm1, %ymm1
 124 ; AVX512F-NEXT:    retq
 125 ;
 126 ; AVX512BW-LABEL: test_div7_32i16:
 127 ; AVX512BW:       # %bb.0:
 128 ; AVX512BW-NEXT:    vpmulhuw {{.*}}(%rip), %zmm0, %zmm1
 129 ; AVX512BW-NEXT:    vpsubw %zmm1, %zmm0, %zmm0
 130 ; AVX512BW-NEXT:    vpsrlw $1, %zmm0, %zmm0
 131 ; AVX512BW-NEXT:    vpaddw %zmm1, %zmm0, %zmm0
 132 ; AVX512BW-NEXT:    vpsrlw $2, %zmm0, %zmm0
 133 ; AVX512BW-NEXT:    retq
 134   %res = udiv <32 x i16> %a, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
 135   ret <32 x i16> %res
 136 }
 137
 138 define <64 x i8> @test_div7_64i8(<64 x i8> %a) nounwind {
 139 ; AVX512F-LABEL: test_div7_64i8:
 140 ; AVX512F:       # %bb.0:
 141 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 142 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15],ymm0[24],ymm2[24],ymm0[25],ymm2[25],ymm0[26],ymm2[26],ymm0[27],ymm2[27],ymm0[28],ymm2[28],ymm0[29],ymm2[29],ymm0[30],ymm2[30],ymm0[31],ymm2[31]
 143 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm4 = [37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37]
 144 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 145 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 146 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[16],ymm2[16],ymm0[17],ymm2[17],ymm0[18],ymm2[18],ymm0[19],ymm2[19],ymm0[20],ymm2[20],ymm0[21],ymm2[21],ymm0[22],ymm2[22],ymm0[23],ymm2[23]
 147 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm5, %ymm5
 148 ; AVX512F-NEXT:    vpsrlw $8, %ymm5, %ymm5
 149 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm5, %ymm3
 150 ; AVX512F-NEXT:    vpsubb %ymm3, %ymm0, %ymm0
 151 ; AVX512F-NEXT:    vpsrlw $1, %ymm0, %ymm0
 152 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 153 ; AVX512F-NEXT:    vpand %ymm5, %ymm0, %ymm0
 154 ; AVX512F-NEXT:    vpaddb %ymm3, %ymm0, %ymm0
 155 ; AVX512F-NEXT:    vpsrlw $2, %ymm0, %ymm0
 156 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm3 = [63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63]
 157 ; AVX512F-NEXT:    vpand %ymm3, %ymm0, %ymm0
 158 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15],ymm1[24],ymm2[24],ymm1[25],ymm2[25],ymm1[26],ymm2[26],ymm1[27],ymm2[27],ymm1[28],ymm2[28],ymm1[29],ymm2[29],ymm1[30],ymm2[30],ymm1[31],ymm2[31]
 159 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm6, %ymm6
 160 ; AVX512F-NEXT:    vpsrlw $8, %ymm6, %ymm6
 161 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[16],ymm2[16],ymm1[17],ymm2[17],ymm1[18],ymm2[18],ymm1[19],ymm2[19],ymm1[20],ymm2[20],ymm1[21],ymm2[21],ymm1[22],ymm2[22],ymm1[23],ymm2[23]
 162 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 163 ; AVX512F-NEXT:    vpsrlw $8, %ymm2, %ymm2
 164 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm2, %ymm2
 165 ; AVX512F-NEXT:    vpsubb %ymm2, %ymm1, %ymm1
 166 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 167 ; AVX512F-NEXT:    vpand %ymm5, %ymm1, %ymm1
 168 ; AVX512F-NEXT:    vpaddb %ymm2, %ymm1, %ymm1
 169 ; AVX512F-NEXT:    vpsrlw $2, %ymm1, %ymm1
 170 ; AVX512F-NEXT:    vpand %ymm3, %ymm1, %ymm1
 171 ; AVX512F-NEXT:    retq
 172 ;
 173 ; AVX512BW-LABEL: test_div7_64i8:
 174 ; AVX512BW:       # %bb.0:
 175 ; AVX512BW-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 176 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[12],zmm1[12],zmm0[13],zmm1[13],zmm0[14],zmm1[14],zmm0[15],zmm1[15],zmm0[24],zmm1[24],zmm0[25],zmm1[25],zmm0[26],zmm1[26],zmm0[27],zmm1[27],zmm0[28],zmm1[28],zmm0[29],zmm1[29],zmm0[30],zmm1[30],zmm0[31],zmm1[31],zmm0[40],zmm1[40],zmm0[41],zmm1[41],zmm0[42],zmm1[42],zmm0[43],zmm1[43],zmm0[44],zmm1[44],zmm0[45],zmm1[45],zmm0[46],zmm1[46],zmm0[47],zmm1[47],zmm0[56],zmm1[56],zmm0[57],zmm1[57],zmm0[58],zmm1[58],zmm0[59],zmm1[59],zmm0[60],zmm1[60],zmm0[61],zmm1[61],zmm0[62],zmm1[62],zmm0[63],zmm1[63]
 177 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37]
 178 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm2, %zmm2
 179 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 180 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[16],zmm1[16],zmm0[17],zmm1[17],zmm0[18],zmm1[18],zmm0[19],zmm1[19],zmm0[20],zmm1[20],zmm0[21],zmm1[21],zmm0[22],zmm1[22],zmm0[23],zmm1[23],zmm0[32],zmm1[32],zmm0[33],zmm1[33],zmm0[34],zmm1[34],zmm0[35],zmm1[35],zmm0[36],zmm1[36],zmm0[37],zmm1[37],zmm0[38],zmm1[38],zmm0[39],zmm1[39],zmm0[48],zmm1[48],zmm0[49],zmm1[49],zmm0[50],zmm1[50],zmm0[51],zmm1[51],zmm0[52],zmm1[52],zmm0[53],zmm1[53],zmm0[54],zmm1[54],zmm0[55],zmm1[55]
 181 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 182 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 183 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
 184 ; AVX512BW-NEXT:    vpsubb %zmm1, %zmm0, %zmm0
 185 ; AVX512BW-NEXT:    vpsrlw $1, %zmm0, %zmm0
 186 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm0, %zmm0
 187 ; AVX512BW-NEXT:    vpaddb %zmm1, %zmm0, %zmm0
 188 ; AVX512BW-NEXT:    vpsrlw $2, %zmm0, %zmm0
 189 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm0, %zmm0
 190 ; AVX512BW-NEXT:    retq
 191   %res = udiv <64 x i8> %a, <i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7>
 192   ret <64 x i8> %res
 193 }
 194
 195 ;
 196 ; udiv by non-splat constant
 197 ;
 198
 199 define <64 x i8> @test_divconstant_64i8(<64 x i8> %a) nounwind {
 200 ; AVX512F-LABEL: test_divconstant_64i8:
 201 ; AVX512F:       # %bb.0:
 202 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 203 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15],ymm0[24],ymm2[24],ymm0[25],ymm2[25],ymm0[26],ymm2[26],ymm0[27],ymm2[27],ymm0[28],ymm2[28],ymm0[29],ymm2[29],ymm0[30],ymm2[30],ymm0[31],ymm2[31]
 204 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 205 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 206 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 207 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 208 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[16],ymm2[16],ymm0[17],ymm2[17],ymm0[18],ymm2[18],ymm0[19],ymm2[19],ymm0[20],ymm2[20],ymm0[21],ymm2[21],ymm0[22],ymm2[22],ymm0[23],ymm2[23]
 209 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 210 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 211 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 212 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 213 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm4, %ymm3
 214 ; AVX512F-NEXT:    vpsubb %ymm3, %ymm0, %ymm0
 215 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15],ymm0[24],ymm2[24],ymm0[25],ymm2[25],ymm0[26],ymm2[26],ymm0[27],ymm2[27],ymm0[28],ymm2[28],ymm0[29],ymm2[29],ymm0[30],ymm2[30],ymm0[31],ymm2[31]
 216 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 217 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 218 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[16],ymm2[16],ymm0[17],ymm2[17],ymm0[18],ymm2[18],ymm0[19],ymm2[19],ymm0[20],ymm2[20],ymm0[21],ymm2[21],ymm0[22],ymm2[22],ymm0[23],ymm2[23]
 219 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm0, %ymm0
 220 ; AVX512F-NEXT:    vpsrlw $8, %ymm0, %ymm0
 221 ; AVX512F-NEXT:    vpackuswb %ymm4, %ymm0, %ymm0
 222 ; AVX512F-NEXT:    vpaddb %ymm3, %ymm0, %ymm0
 223 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15],ymm0[24],ymm2[24],ymm0[25],ymm2[25],ymm0[26],ymm2[26],ymm0[27],ymm2[27],ymm0[28],ymm2[28],ymm0[29],ymm2[29],ymm0[30],ymm2[30],ymm0[31],ymm2[31]
 224 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 225 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 226 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[16],ymm2[16],ymm0[17],ymm2[17],ymm0[18],ymm2[18],ymm0[19],ymm2[19],ymm0[20],ymm2[20],ymm0[21],ymm2[21],ymm0[22],ymm2[22],ymm0[23],ymm2[23]
 227 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm0, %ymm0
 228 ; AVX512F-NEXT:    vpsrlw $8, %ymm0, %ymm0
 229 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm0, %ymm0
 230 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15],ymm1[24],ymm2[24],ymm1[25],ymm2[25],ymm1[26],ymm2[26],ymm1[27],ymm2[27],ymm1[28],ymm2[28],ymm1[29],ymm2[29],ymm1[30],ymm2[30],ymm1[31],ymm2[31]
 231 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 232 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 233 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 234 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 235 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[16],ymm2[16],ymm1[17],ymm2[17],ymm1[18],ymm2[18],ymm1[19],ymm2[19],ymm1[20],ymm2[20],ymm1[21],ymm2[21],ymm1[22],ymm2[22],ymm1[23],ymm2[23]
 236 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 237 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 238 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 239 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 240 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm4, %ymm3
 241 ; AVX512F-NEXT:    vpsubb %ymm3, %ymm1, %ymm1
 242 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15],ymm1[24],ymm2[24],ymm1[25],ymm2[25],ymm1[26],ymm2[26],ymm1[27],ymm2[27],ymm1[28],ymm2[28],ymm1[29],ymm2[29],ymm1[30],ymm2[30],ymm1[31],ymm2[31]
 243 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 244 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 245 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[16],ymm2[16],ymm1[17],ymm2[17],ymm1[18],ymm2[18],ymm1[19],ymm2[19],ymm1[20],ymm2[20],ymm1[21],ymm2[21],ymm1[22],ymm2[22],ymm1[23],ymm2[23]
 246 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm1, %ymm1
 247 ; AVX512F-NEXT:    vpsrlw $8, %ymm1, %ymm1
 248 ; AVX512F-NEXT:    vpackuswb %ymm4, %ymm1, %ymm1
 249 ; AVX512F-NEXT:    vpaddb %ymm3, %ymm1, %ymm1
 250 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15],ymm1[24],ymm2[24],ymm1[25],ymm2[25],ymm1[26],ymm2[26],ymm1[27],ymm2[27],ymm1[28],ymm2[28],ymm1[29],ymm2[29],ymm1[30],ymm2[30],ymm1[31],ymm2[31]
 251 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 252 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 253 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[16],ymm2[16],ymm1[17],ymm2[17],ymm1[18],ymm2[18],ymm1[19],ymm2[19],ymm1[20],ymm2[20],ymm1[21],ymm2[21],ymm1[22],ymm2[22],ymm1[23],ymm2[23]
 254 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm1, %ymm1
 255 ; AVX512F-NEXT:    vpsrlw $8, %ymm1, %ymm1
 256 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm1, %ymm1
 257 ; AVX512F-NEXT:    retq
 258 ;
 259 ; AVX512BW-LABEL: test_divconstant_64i8:
 260 ; AVX512BW:       # %bb.0:
 261 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm1 = zmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31,40,40,41,41,42,42,43,43,44,44,45,45,46,46,47,47,56,56,57,57,58,58,59,59,60,60,61,61,62,62,63,63]
 262 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 263 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm1, %zmm1
 264 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 265 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm2 = zmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23,32,32,33,33,34,34,35,35,36,36,37,37,38,38,39,39,48,48,49,49,50,50,51,51,52,52,53,53,54,54,55,55]
 266 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 267 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm2, %zmm2
 268 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 269 ; AVX512BW-NEXT:    vpackuswb %zmm1, %zmm2, %zmm1
 270 ; AVX512BW-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 271 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm3 = zmm1[8],zmm2[8],zmm1[9],zmm2[9],zmm1[10],zmm2[10],zmm1[11],zmm2[11],zmm1[12],zmm2[12],zmm1[13],zmm2[13],zmm1[14],zmm2[14],zmm1[15],zmm2[15],zmm1[24],zmm2[24],zmm1[25],zmm2[25],zmm1[26],zmm2[26],zmm1[27],zmm2[27],zmm1[28],zmm2[28],zmm1[29],zmm2[29],zmm1[30],zmm2[30],zmm1[31],zmm2[31],zmm1[40],zmm2[40],zmm1[41],zmm2[41],zmm1[42],zmm2[42],zmm1[43],zmm2[43],zmm1[44],zmm2[44],zmm1[45],zmm2[45],zmm1[46],zmm2[46],zmm1[47],zmm2[47],zmm1[56],zmm2[56],zmm1[57],zmm2[57],zmm1[58],zmm2[58],zmm1[59],zmm2[59],zmm1[60],zmm2[60],zmm1[61],zmm2[61],zmm1[62],zmm2[62],zmm1[63],zmm2[63]
 272 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm3, %zmm3
 273 ; AVX512BW-NEXT:    vpsrlw $8, %zmm3, %zmm3
 274 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm2[0],zmm1[1],zmm2[1],zmm1[2],zmm2[2],zmm1[3],zmm2[3],zmm1[4],zmm2[4],zmm1[5],zmm2[5],zmm1[6],zmm2[6],zmm1[7],zmm2[7],zmm1[16],zmm2[16],zmm1[17],zmm2[17],zmm1[18],zmm2[18],zmm1[19],zmm2[19],zmm1[20],zmm2[20],zmm1[21],zmm2[21],zmm1[22],zmm2[22],zmm1[23],zmm2[23],zmm1[32],zmm2[32],zmm1[33],zmm2[33],zmm1[34],zmm2[34],zmm1[35],zmm2[35],zmm1[36],zmm2[36],zmm1[37],zmm2[37],zmm1[38],zmm2[38],zmm1[39],zmm2[39],zmm1[48],zmm2[48],zmm1[49],zmm2[49],zmm1[50],zmm2[50],zmm1[51],zmm2[51],zmm1[52],zmm2[52],zmm1[53],zmm2[53],zmm1[54],zmm2[54],zmm1[55],zmm2[55]
 275 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm1, %zmm1
 276 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 277 ; AVX512BW-NEXT:    vpackuswb %zmm3, %zmm1, %zmm1
 278 ; AVX512BW-NEXT:    vpsubb %zmm1, %zmm0, %zmm0
 279 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm3 = zmm0[8],zmm2[8],zmm0[9],zmm2[9],zmm0[10],zmm2[10],zmm0[11],zmm2[11],zmm0[12],zmm2[12],zmm0[13],zmm2[13],zmm0[14],zmm2[14],zmm0[15],zmm2[15],zmm0[24],zmm2[24],zmm0[25],zmm2[25],zmm0[26],zmm2[26],zmm0[27],zmm2[27],zmm0[28],zmm2[28],zmm0[29],zmm2[29],zmm0[30],zmm2[30],zmm0[31],zmm2[31],zmm0[40],zmm2[40],zmm0[41],zmm2[41],zmm0[42],zmm2[42],zmm0[43],zmm2[43],zmm0[44],zmm2[44],zmm0[45],zmm2[45],zmm0[46],zmm2[46],zmm0[47],zmm2[47],zmm0[56],zmm2[56],zmm0[57],zmm2[57],zmm0[58],zmm2[58],zmm0[59],zmm2[59],zmm0[60],zmm2[60],zmm0[61],zmm2[61],zmm0[62],zmm2[62],zmm0[63],zmm2[63]
 280 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm3, %zmm3
 281 ; AVX512BW-NEXT:    vpsrlw $8, %zmm3, %zmm3
 282 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm0 = zmm0[0],zmm2[0],zmm0[1],zmm2[1],zmm0[2],zmm2[2],zmm0[3],zmm2[3],zmm0[4],zmm2[4],zmm0[5],zmm2[5],zmm0[6],zmm2[6],zmm0[7],zmm2[7],zmm0[16],zmm2[16],zmm0[17],zmm2[17],zmm0[18],zmm2[18],zmm0[19],zmm2[19],zmm0[20],zmm2[20],zmm0[21],zmm2[21],zmm0[22],zmm2[22],zmm0[23],zmm2[23],zmm0[32],zmm2[32],zmm0[33],zmm2[33],zmm0[34],zmm2[34],zmm0[35],zmm2[35],zmm0[36],zmm2[36],zmm0[37],zmm2[37],zmm0[38],zmm2[38],zmm0[39],zmm2[39],zmm0[48],zmm2[48],zmm0[49],zmm2[49],zmm0[50],zmm2[50],zmm0[51],zmm2[51],zmm0[52],zmm2[52],zmm0[53],zmm2[53],zmm0[54],zmm2[54],zmm0[55],zmm2[55]
 283 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm0, %zmm0
 284 ; AVX512BW-NEXT:    vpsrlw $8, %zmm0, %zmm0
 285 ; AVX512BW-NEXT:    vpackuswb %zmm3, %zmm0, %zmm0
 286 ; AVX512BW-NEXT:    vpaddb %zmm1, %zmm0, %zmm0
 287 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm1 = zmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31,40,40,41,41,42,42,43,43,44,44,45,45,46,46,47,47,56,56,57,57,58,58,59,59,60,60,61,61,62,62,63,63]
 288 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 289 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm1, %zmm1
 290 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 291 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm0 = zmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23,32,32,33,33,34,34,35,35,36,36,37,37,38,38,39,39,48,48,49,49,50,50,51,51,52,52,53,53,54,54,55,55]
 292 ; AVX512BW-NEXT:    vpsrlw $8, %zmm0, %zmm0
 293 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm0, %zmm0
 294 ; AVX512BW-NEXT:    vpsrlw $8, %zmm0, %zmm0
 295 ; AVX512BW-NEXT:    vpackuswb %zmm1, %zmm0, %zmm0
 296 ; AVX512BW-NEXT:    retq
 297   %res = udiv <64 x i8> %a, <i8 7, i8 8, i8 9, i8 10, i8 11, i8 12, i8 13, i8 14, i8 15, i8 16, i8 17, i8 18, i8 19, i8 20, i8 21, i8 22, i8 23, i8 24, i8 25, i8 26, i8 27, i8 28, i8 29, i8 30, i8 31, i8 32, i8 33, i8 34, i8 35, i8 36, i8 37, i8 38, i8 38, i8 37, i8 36, i8 35, i8 34, i8 33, i8 32, i8 31, i8 30, i8 29, i8 28, i8 27, i8 26, i8 25, i8 24, i8 23, i8 22, i8 21, i8 20, i8 19, i8 18, i8 17, i8 16, i8 15, i8 14, i8 13, i8 12, i8 11, i8 10, i8 9, i8 8, i8 7>
 298   ret <64 x i8> %res
 299 }
 300
 301 ;
 302 ; urem by 7
 303 ;
 304
 305 define <8 x i64> @test_rem7_8i64(<8 x i64> %a) nounwind {
 306 ; AVX-LABEL: test_rem7_8i64:
 307 ; AVX:       # %bb.0:
 308 ; AVX-NEXT:    vextracti32x4 $3, %zmm0, %xmm1
 309 ; AVX-NEXT:    vpextrq $1, %xmm1, %rcx
 310 ; AVX-NEXT:    movabsq $2635249153387078803, %rsi # imm = 0x2492492492492493
 311 ; AVX-NEXT:    movq %rcx, %rax
 312 ; AVX-NEXT:    mulq %rsi
 313 ; AVX-NEXT:    movq %rcx, %rax
 314 ; AVX-NEXT:    subq %rdx, %rax
 315 ; AVX-NEXT:    shrq %rax
 316 ; AVX-NEXT:    addq %rdx, %rax
 317 ; AVX-NEXT:    shrq $2, %rax
 318 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 319 ; AVX-NEXT:    subq %rdx, %rax
 320 ; AVX-NEXT:    addq %rcx, %rax
 321 ; AVX-NEXT:    vmovq %rax, %xmm2
 322 ; AVX-NEXT:    vmovq %xmm1, %rcx
 323 ; AVX-NEXT:    movq %rcx, %rax
 324 ; AVX-NEXT:    mulq %rsi
 325 ; AVX-NEXT:    movq %rcx, %rax
 326 ; AVX-NEXT:    subq %rdx, %rax
 327 ; AVX-NEXT:    shrq %rax
 328 ; AVX-NEXT:    addq %rdx, %rax
 329 ; AVX-NEXT:    shrq $2, %rax
 330 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 331 ; AVX-NEXT:    subq %rdx, %rax
 332 ; AVX-NEXT:    addq %rcx, %rax
 333 ; AVX-NEXT:    vmovq %rax, %xmm1
 334 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]
 335 ; AVX-NEXT:    vextracti32x4 $2, %zmm0, %xmm2
 336 ; AVX-NEXT:    vpextrq $1, %xmm2, %rcx
 337 ; AVX-NEXT:    movq %rcx, %rax
 338 ; AVX-NEXT:    mulq %rsi
 339 ; AVX-NEXT:    movq %rcx, %rax
 340 ; AVX-NEXT:    subq %rdx, %rax
 341 ; AVX-NEXT:    shrq %rax
 342 ; AVX-NEXT:    addq %rdx, %rax
 343 ; AVX-NEXT:    shrq $2, %rax
 344 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 345 ; AVX-NEXT:    subq %rdx, %rax
 346 ; AVX-NEXT:    addq %rcx, %rax
 347 ; AVX-NEXT:    vmovq %rax, %xmm3
 348 ; AVX-NEXT:    vmovq %xmm2, %rcx
 349 ; AVX-NEXT:    movq %rcx, %rax
 350 ; AVX-NEXT:    mulq %rsi
 351 ; AVX-NEXT:    movq %rcx, %rax
 352 ; AVX-NEXT:    subq %rdx, %rax
 353 ; AVX-NEXT:    shrq %rax
 354 ; AVX-NEXT:    addq %rdx, %rax
 355 ; AVX-NEXT:    shrq $2, %rax
 356 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 357 ; AVX-NEXT:    subq %rdx, %rax
 358 ; AVX-NEXT:    addq %rcx, %rax
 359 ; AVX-NEXT:    vmovq %rax, %xmm2
 360 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
 361 ; AVX-NEXT:    vinserti128 $1, %xmm1, %ymm2, %ymm1
 362 ; AVX-NEXT:    vextracti128 $1, %ymm0, %xmm2
 363 ; AVX-NEXT:    vpextrq $1, %xmm2, %rcx
 364 ; AVX-NEXT:    movq %rcx, %rax
 365 ; AVX-NEXT:    mulq %rsi
 366 ; AVX-NEXT:    movq %rcx, %rax
 367 ; AVX-NEXT:    subq %rdx, %rax
 368 ; AVX-NEXT:    shrq %rax
 369 ; AVX-NEXT:    addq %rdx, %rax
 370 ; AVX-NEXT:    shrq $2, %rax
 371 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 372 ; AVX-NEXT:    subq %rdx, %rax
 373 ; AVX-NEXT:    addq %rcx, %rax
 374 ; AVX-NEXT:    vmovq %rax, %xmm3
 375 ; AVX-NEXT:    vmovq %xmm2, %rcx
 376 ; AVX-NEXT:    movq %rcx, %rax
 377 ; AVX-NEXT:    mulq %rsi
 378 ; AVX-NEXT:    movq %rcx, %rax
 379 ; AVX-NEXT:    subq %rdx, %rax
 380 ; AVX-NEXT:    shrq %rax
 381 ; AVX-NEXT:    addq %rdx, %rax
 382 ; AVX-NEXT:    shrq $2, %rax
 383 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 384 ; AVX-NEXT:    subq %rdx, %rax
 385 ; AVX-NEXT:    addq %rcx, %rax
 386 ; AVX-NEXT:    vmovq %rax, %xmm2
 387 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
 388 ; AVX-NEXT:    vpextrq $1, %xmm0, %rcx
 389 ; AVX-NEXT:    movq %rcx, %rax
 390 ; AVX-NEXT:    mulq %rsi
 391 ; AVX-NEXT:    movq %rcx, %rax
 392 ; AVX-NEXT:    subq %rdx, %rax
 393 ; AVX-NEXT:    shrq %rax
 394 ; AVX-NEXT:    addq %rdx, %rax
 395 ; AVX-NEXT:    shrq $2, %rax
 396 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 397 ; AVX-NEXT:    subq %rdx, %rax
 398 ; AVX-NEXT:    addq %rcx, %rax
 399 ; AVX-NEXT:    vmovq %rax, %xmm3
 400 ; AVX-NEXT:    vmovq %xmm0, %rcx
 401 ; AVX-NEXT:    movq %rcx, %rax
 402 ; AVX-NEXT:    mulq %rsi
 403 ; AVX-NEXT:    movq %rcx, %rax
 404 ; AVX-NEXT:    subq %rdx, %rax
 405 ; AVX-NEXT:    shrq %rax
 406 ; AVX-NEXT:    addq %rdx, %rax
 407 ; AVX-NEXT:    shrq $2, %rax
 408 ; AVX-NEXT:    leaq (,%rax,8), %rdx
 409 ; AVX-NEXT:    subq %rdx, %rax
 410 ; AVX-NEXT:    addq %rcx, %rax
 411 ; AVX-NEXT:    vmovq %rax, %xmm0
 412 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
 413 ; AVX-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
 414 ; AVX-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
 415 ; AVX-NEXT:    retq
 416   %res = urem <8 x i64> %a, <i64 7, i64 7, i64 7, i64 7, i64 7, i64 7, i64 7, i64 7>
 417   ret <8 x i64> %res
 418 }
 419
 420 define <16 x i32> @test_rem7_16i32(<16 x i32> %a) nounwind {
 421 ; AVX-LABEL: test_rem7_16i32:
 422 ; AVX:       # %bb.0:
 423 ; AVX-NEXT:    vpbroadcastd {{.*#+}} zmm1 = [613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757,613566757]
 424 ; AVX-NEXT:    vpmuludq %zmm1, %zmm0, %zmm2
 425 ; AVX-NEXT:    vpshufd {{.*#+}} zmm3 = zmm0[1,1,3,3,5,5,7,7,9,9,11,11,13,13,15,15]
 426 ; AVX-NEXT:    vpmuludq %zmm1, %zmm3, %zmm1
 427 ; AVX-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,17,3,19,5,21,7,23,9,25,11,27,13,29,15,31]
 428 ; AVX-NEXT:    vpermi2d %zmm1, %zmm2, %zmm3
 429 ; AVX-NEXT:    vpsubd %zmm3, %zmm0, %zmm1
 430 ; AVX-NEXT:    vpsrld $1, %zmm1, %zmm1
 431 ; AVX-NEXT:    vpaddd %zmm3, %zmm1, %zmm1
 432 ; AVX-NEXT:    vpsrld $2, %zmm1, %zmm1
 433 ; AVX-NEXT:    vpmulld {{.*}}(%rip){1to16}, %zmm1, %zmm1
 434 ; AVX-NEXT:    vpsubd %zmm1, %zmm0, %zmm0
 435 ; AVX-NEXT:    retq
 436   %res = urem <16 x i32> %a, <i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7>
 437   ret <16 x i32> %res
 438 }
 439
 440 define <32 x i16> @test_rem7_32i16(<32 x i16> %a) nounwind {
 441 ; AVX512F-LABEL: test_rem7_32i16:
 442 ; AVX512F:       # %bb.0:
 443 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm2 = [9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363,9363]
 444 ; AVX512F-NEXT:    vpmulhuw %ymm2, %ymm0, %ymm3
 445 ; AVX512F-NEXT:    vpsubw %ymm3, %ymm0, %ymm4
 446 ; AVX512F-NEXT:    vpsrlw $1, %ymm4, %ymm4
 447 ; AVX512F-NEXT:    vpaddw %ymm3, %ymm4, %ymm3
 448 ; AVX512F-NEXT:    vpsrlw $2, %ymm3, %ymm3
 449 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm4 = [7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7]
 450 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 451 ; AVX512F-NEXT:    vpsubw %ymm3, %ymm0, %ymm0
 452 ; AVX512F-NEXT:    vpmulhuw %ymm2, %ymm1, %ymm2
 453 ; AVX512F-NEXT:    vpsubw %ymm2, %ymm1, %ymm3
 454 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 455 ; AVX512F-NEXT:    vpaddw %ymm2, %ymm3, %ymm2
 456 ; AVX512F-NEXT:    vpsrlw $2, %ymm2, %ymm2
 457 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 458 ; AVX512F-NEXT:    vpsubw %ymm2, %ymm1, %ymm1
 459 ; AVX512F-NEXT:    retq
 460 ;
 461 ; AVX512BW-LABEL: test_rem7_32i16:
 462 ; AVX512BW:       # %bb.0:
 463 ; AVX512BW-NEXT:    vpmulhuw {{.*}}(%rip), %zmm0, %zmm1
 464 ; AVX512BW-NEXT:    vpsubw %zmm1, %zmm0, %zmm2
 465 ; AVX512BW-NEXT:    vpsrlw $1, %zmm2, %zmm2
 466 ; AVX512BW-NEXT:    vpaddw %zmm1, %zmm2, %zmm1
 467 ; AVX512BW-NEXT:    vpsrlw $2, %zmm1, %zmm1
 468 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm1, %zmm1
 469 ; AVX512BW-NEXT:    vpsubw %zmm1, %zmm0, %zmm0
 470 ; AVX512BW-NEXT:    retq
 471   %res = urem <32 x i16> %a, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
 472   ret <32 x i16> %res
 473 }
 474
 475 define <64 x i8> @test_rem7_64i8(<64 x i8> %a) nounwind {
 476 ; AVX512F-LABEL: test_rem7_64i8:
 477 ; AVX512F:       # %bb.0:
 478 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 479 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15],ymm0[24],ymm2[24],ymm0[25],ymm2[25],ymm0[26],ymm2[26],ymm0[27],ymm2[27],ymm0[28],ymm2[28],ymm0[29],ymm2[29],ymm0[30],ymm2[30],ymm0[31],ymm2[31]
 480 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm4 = [37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37]
 481 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 482 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 483 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[16],ymm2[16],ymm0[17],ymm2[17],ymm0[18],ymm2[18],ymm0[19],ymm2[19],ymm0[20],ymm2[20],ymm0[21],ymm2[21],ymm0[22],ymm2[22],ymm0[23],ymm2[23]
 484 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm5, %ymm5
 485 ; AVX512F-NEXT:    vpsrlw $8, %ymm5, %ymm5
 486 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm5, %ymm3
 487 ; AVX512F-NEXT:    vpsubb %ymm3, %ymm0, %ymm5
 488 ; AVX512F-NEXT:    vpsrlw $1, %ymm5, %ymm5
 489 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 490 ; AVX512F-NEXT:    vpand %ymm6, %ymm5, %ymm5
 491 ; AVX512F-NEXT:    vpaddb %ymm3, %ymm5, %ymm3
 492 ; AVX512F-NEXT:    vpsrlw $2, %ymm3, %ymm3
 493 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63]
 494 ; AVX512F-NEXT:    vpand %ymm5, %ymm3, %ymm3
 495 ; AVX512F-NEXT:    vpsllw $3, %ymm3, %ymm7
 496 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm8 = [248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248,248]
 497 ; AVX512F-NEXT:    vpand %ymm8, %ymm7, %ymm7
 498 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
 499 ; AVX512F-NEXT:    vpaddb %ymm3, %ymm0, %ymm0
 500 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15],ymm1[24],ymm2[24],ymm1[25],ymm2[25],ymm1[26],ymm2[26],ymm1[27],ymm2[27],ymm1[28],ymm2[28],ymm1[29],ymm2[29],ymm1[30],ymm2[30],ymm1[31],ymm2[31]
 501 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 502 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 503 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[16],ymm2[16],ymm1[17],ymm2[17],ymm1[18],ymm2[18],ymm1[19],ymm2[19],ymm1[20],ymm2[20],ymm1[21],ymm2[21],ymm1[22],ymm2[22],ymm1[23],ymm2[23]
 504 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 505 ; AVX512F-NEXT:    vpsrlw $8, %ymm2, %ymm2
 506 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm2, %ymm2
 507 ; AVX512F-NEXT:    vpsubb %ymm2, %ymm1, %ymm3
 508 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 509 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
 510 ; AVX512F-NEXT:    vpaddb %ymm2, %ymm3, %ymm2
 511 ; AVX512F-NEXT:    vpsrlw $2, %ymm2, %ymm2
 512 ; AVX512F-NEXT:    vpand %ymm5, %ymm2, %ymm2
 513 ; AVX512F-NEXT:    vpsllw $3, %ymm2, %ymm3
 514 ; AVX512F-NEXT:    vpand %ymm8, %ymm3, %ymm3
 515 ; AVX512F-NEXT:    vpsubb %ymm3, %ymm2, %ymm2
 516 ; AVX512F-NEXT:    vpaddb %ymm2, %ymm1, %ymm1
 517 ; AVX512F-NEXT:    retq
 518 ;
 519 ; AVX512BW-LABEL: test_rem7_64i8:
 520 ; AVX512BW:       # %bb.0:
 521 ; AVX512BW-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 522 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[12],zmm1[12],zmm0[13],zmm1[13],zmm0[14],zmm1[14],zmm0[15],zmm1[15],zmm0[24],zmm1[24],zmm0[25],zmm1[25],zmm0[26],zmm1[26],zmm0[27],zmm1[27],zmm0[28],zmm1[28],zmm0[29],zmm1[29],zmm0[30],zmm1[30],zmm0[31],zmm1[31],zmm0[40],zmm1[40],zmm0[41],zmm1[41],zmm0[42],zmm1[42],zmm0[43],zmm1[43],zmm0[44],zmm1[44],zmm0[45],zmm1[45],zmm0[46],zmm1[46],zmm0[47],zmm1[47],zmm0[56],zmm1[56],zmm0[57],zmm1[57],zmm0[58],zmm1[58],zmm0[59],zmm1[59],zmm0[60],zmm1[60],zmm0[61],zmm1[61],zmm0[62],zmm1[62],zmm0[63],zmm1[63]
 523 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37,37]
 524 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm2, %zmm2
 525 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 526 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[16],zmm1[16],zmm0[17],zmm1[17],zmm0[18],zmm1[18],zmm0[19],zmm1[19],zmm0[20],zmm1[20],zmm0[21],zmm1[21],zmm0[22],zmm1[22],zmm0[23],zmm1[23],zmm0[32],zmm1[32],zmm0[33],zmm1[33],zmm0[34],zmm1[34],zmm0[35],zmm1[35],zmm0[36],zmm1[36],zmm0[37],zmm1[37],zmm0[38],zmm1[38],zmm0[39],zmm1[39],zmm0[48],zmm1[48],zmm0[49],zmm1[49],zmm0[50],zmm1[50],zmm0[51],zmm1[51],zmm0[52],zmm1[52],zmm0[53],zmm1[53],zmm0[54],zmm1[54],zmm0[55],zmm1[55]
 527 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 528 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 529 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
 530 ; AVX512BW-NEXT:    vpsubb %zmm1, %zmm0, %zmm2
 531 ; AVX512BW-NEXT:    vpsrlw $1, %zmm2, %zmm2
 532 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm2, %zmm2
 533 ; AVX512BW-NEXT:    vpaddb %zmm1, %zmm2, %zmm1
 534 ; AVX512BW-NEXT:    vpsrlw $2, %zmm1, %zmm1
 535 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
 536 ; AVX512BW-NEXT:    vpsllw $3, %zmm1, %zmm2
 537 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm2, %zmm2
 538 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
 539 ; AVX512BW-NEXT:    vpaddb %zmm1, %zmm0, %zmm0
 540 ; AVX512BW-NEXT:    retq
 541   %res = urem <64 x i8> %a, <i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7,i8 7, i8 7, i8 7, i8 7>
 542   ret <64 x i8> %res
 543 }
 544
 545 ;
 546 ; urem by non-splat constant
 547 ;
 548
 549 define <64 x i8> @test_remconstant_64i8(<64 x i8> %a) nounwind {
 550 ; AVX512F-LABEL: test_remconstant_64i8:
 551 ; AVX512F:       # %bb.0:
 552 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 553 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15],ymm0[24],ymm2[24],ymm0[25],ymm2[25],ymm0[26],ymm2[26],ymm0[27],ymm2[27],ymm0[28],ymm2[28],ymm0[29],ymm2[29],ymm0[30],ymm2[30],ymm0[31],ymm2[31]
 554 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 555 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 556 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 557 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 558 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[16],ymm2[16],ymm0[17],ymm2[17],ymm0[18],ymm2[18],ymm0[19],ymm2[19],ymm0[20],ymm2[20],ymm0[21],ymm2[21],ymm0[22],ymm2[22],ymm0[23],ymm2[23]
 559 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 560 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 561 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 562 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 563 ; AVX512F-NEXT:    vpackuswb %ymm3, %ymm4, %ymm3
 564 ; AVX512F-NEXT:    vpsubb %ymm3, %ymm0, %ymm4
 565 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm4[8],ymm2[8],ymm4[9],ymm2[9],ymm4[10],ymm2[10],ymm4[11],ymm2[11],ymm4[12],ymm2[12],ymm4[13],ymm2[13],ymm4[14],ymm2[14],ymm4[15],ymm2[15],ymm4[24],ymm2[24],ymm4[25],ymm2[25],ymm4[26],ymm2[26],ymm4[27],ymm2[27],ymm4[28],ymm2[28],ymm4[29],ymm2[29],ymm4[30],ymm2[30],ymm4[31],ymm2[31]
 566 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm5, %ymm5
 567 ; AVX512F-NEXT:    vpsrlw $8, %ymm5, %ymm5
 568 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm2[0],ymm4[1],ymm2[1],ymm4[2],ymm2[2],ymm4[3],ymm2[3],ymm4[4],ymm2[4],ymm4[5],ymm2[5],ymm4[6],ymm2[6],ymm4[7],ymm2[7],ymm4[16],ymm2[16],ymm4[17],ymm2[17],ymm4[18],ymm2[18],ymm4[19],ymm2[19],ymm4[20],ymm2[20],ymm4[21],ymm2[21],ymm4[22],ymm2[22],ymm4[23],ymm2[23]
 569 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 570 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 571 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm4, %ymm4
 572 ; AVX512F-NEXT:    vpaddb %ymm3, %ymm4, %ymm4
 573 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm4[8],ymm2[8],ymm4[9],ymm2[9],ymm4[10],ymm2[10],ymm4[11],ymm2[11],ymm4[12],ymm2[12],ymm4[13],ymm2[13],ymm4[14],ymm2[14],ymm4[15],ymm2[15],ymm4[24],ymm2[24],ymm4[25],ymm2[25],ymm4[26],ymm2[26],ymm4[27],ymm2[27],ymm4[28],ymm2[28],ymm4[29],ymm2[29],ymm4[30],ymm2[30],ymm4[31],ymm2[31]
 574 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm3
 575 ; AVX512F-NEXT:    vpsrlw $8, %ymm3, %ymm3
 576 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm3, %ymm5
 577 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm3 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 578 ; AVX512F-NEXT:    vpand %ymm3, %ymm5, %ymm5
 579 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm2[0],ymm4[1],ymm2[1],ymm4[2],ymm2[2],ymm4[3],ymm2[3],ymm4[4],ymm2[4],ymm4[5],ymm2[5],ymm4[6],ymm2[6],ymm4[7],ymm2[7],ymm4[16],ymm2[16],ymm4[17],ymm2[17],ymm4[18],ymm2[18],ymm4[19],ymm2[19],ymm4[20],ymm2[20],ymm4[21],ymm2[21],ymm4[22],ymm2[22],ymm4[23],ymm2[23]
 580 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 581 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 582 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 583 ; AVX512F-NEXT:    vpand %ymm3, %ymm4, %ymm4
 584 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm4, %ymm4
 585 ; AVX512F-NEXT:    vpsubb %ymm4, %ymm0, %ymm0
 586 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15],ymm1[24],ymm2[24],ymm1[25],ymm2[25],ymm1[26],ymm2[26],ymm1[27],ymm2[27],ymm1[28],ymm2[28],ymm1[29],ymm2[29],ymm1[30],ymm2[30],ymm1[31],ymm2[31]
 587 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 588 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 589 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm4, %ymm4
 590 ; AVX512F-NEXT:    vpsrlw $8, %ymm4, %ymm4
 591 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[16],ymm2[16],ymm1[17],ymm2[17],ymm1[18],ymm2[18],ymm1[19],ymm2[19],ymm1[20],ymm2[20],ymm1[21],ymm2[21],ymm1[22],ymm2[22],ymm1[23],ymm2[23]
 592 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm5, %ymm5
 593 ; AVX512F-NEXT:    vpsrlw $8, %ymm5, %ymm5
 594 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm5, %ymm5
 595 ; AVX512F-NEXT:    vpsrlw $8, %ymm5, %ymm5
 596 ; AVX512F-NEXT:    vpackuswb %ymm4, %ymm5, %ymm4
 597 ; AVX512F-NEXT:    vpsubb %ymm4, %ymm1, %ymm5
 598 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm5[8],ymm2[8],ymm5[9],ymm2[9],ymm5[10],ymm2[10],ymm5[11],ymm2[11],ymm5[12],ymm2[12],ymm5[13],ymm2[13],ymm5[14],ymm2[14],ymm5[15],ymm2[15],ymm5[24],ymm2[24],ymm5[25],ymm2[25],ymm5[26],ymm2[26],ymm5[27],ymm2[27],ymm5[28],ymm2[28],ymm5[29],ymm2[29],ymm5[30],ymm2[30],ymm5[31],ymm2[31]
 599 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm6, %ymm6
 600 ; AVX512F-NEXT:    vpsrlw $8, %ymm6, %ymm6
 601 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm2[0],ymm5[1],ymm2[1],ymm5[2],ymm2[2],ymm5[3],ymm2[3],ymm5[4],ymm2[4],ymm5[5],ymm2[5],ymm5[6],ymm2[6],ymm5[7],ymm2[7],ymm5[16],ymm2[16],ymm5[17],ymm2[17],ymm5[18],ymm2[18],ymm5[19],ymm2[19],ymm5[20],ymm2[20],ymm5[21],ymm2[21],ymm5[22],ymm2[22],ymm5[23],ymm2[23]
 602 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm5, %ymm5
 603 ; AVX512F-NEXT:    vpsrlw $8, %ymm5, %ymm5
 604 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm5, %ymm5
 605 ; AVX512F-NEXT:    vpaddb %ymm4, %ymm5, %ymm4
 606 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm4[8],ymm2[8],ymm4[9],ymm2[9],ymm4[10],ymm2[10],ymm4[11],ymm2[11],ymm4[12],ymm2[12],ymm4[13],ymm2[13],ymm4[14],ymm2[14],ymm4[15],ymm2[15],ymm4[24],ymm2[24],ymm4[25],ymm2[25],ymm4[26],ymm2[26],ymm4[27],ymm2[27],ymm4[28],ymm2[28],ymm4[29],ymm2[29],ymm4[30],ymm2[30],ymm4[31],ymm2[31]
 607 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm5, %ymm5
 608 ; AVX512F-NEXT:    vpsrlw $8, %ymm5, %ymm5
 609 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm5, %ymm5
 610 ; AVX512F-NEXT:    vpand %ymm3, %ymm5, %ymm5
 611 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm4[0],ymm2[0],ymm4[1],ymm2[1],ymm4[2],ymm2[2],ymm4[3],ymm2[3],ymm4[4],ymm2[4],ymm4[5],ymm2[5],ymm4[6],ymm2[6],ymm4[7],ymm2[7],ymm4[16],ymm2[16],ymm4[17],ymm2[17],ymm4[18],ymm2[18],ymm4[19],ymm2[19],ymm4[20],ymm2[20],ymm4[21],ymm2[21],ymm4[22],ymm2[22],ymm4[23],ymm2[23]
 612 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm2, %ymm2
 613 ; AVX512F-NEXT:    vpsrlw $8, %ymm2, %ymm2
 614 ; AVX512F-NEXT:    vpmullw {{.*}}(%rip), %ymm2, %ymm2
 615 ; AVX512F-NEXT:    vpand %ymm3, %ymm2, %ymm2
 616 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
 617 ; AVX512F-NEXT:    vpsubb %ymm2, %ymm1, %ymm1
 618 ; AVX512F-NEXT:    retq
 619 ;
 620 ; AVX512BW-LABEL: test_remconstant_64i8:
 621 ; AVX512BW:       # %bb.0:
 622 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm1 = zmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31,40,40,41,41,42,42,43,43,44,44,45,45,46,46,47,47,56,56,57,57,58,58,59,59,60,60,61,61,62,62,63,63]
 623 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 624 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm1, %zmm1
 625 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 626 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm2 = zmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23,32,32,33,33,34,34,35,35,36,36,37,37,38,38,39,39,48,48,49,49,50,50,51,51,52,52,53,53,54,54,55,55]
 627 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 628 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm2, %zmm2
 629 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 630 ; AVX512BW-NEXT:    vpackuswb %zmm1, %zmm2, %zmm1
 631 ; AVX512BW-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 632 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm3 = zmm1[8],zmm2[8],zmm1[9],zmm2[9],zmm1[10],zmm2[10],zmm1[11],zmm2[11],zmm1[12],zmm2[12],zmm1[13],zmm2[13],zmm1[14],zmm2[14],zmm1[15],zmm2[15],zmm1[24],zmm2[24],zmm1[25],zmm2[25],zmm1[26],zmm2[26],zmm1[27],zmm2[27],zmm1[28],zmm2[28],zmm1[29],zmm2[29],zmm1[30],zmm2[30],zmm1[31],zmm2[31],zmm1[40],zmm2[40],zmm1[41],zmm2[41],zmm1[42],zmm2[42],zmm1[43],zmm2[43],zmm1[44],zmm2[44],zmm1[45],zmm2[45],zmm1[46],zmm2[46],zmm1[47],zmm2[47],zmm1[56],zmm2[56],zmm1[57],zmm2[57],zmm1[58],zmm2[58],zmm1[59],zmm2[59],zmm1[60],zmm2[60],zmm1[61],zmm2[61],zmm1[62],zmm2[62],zmm1[63],zmm2[63]
 633 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm3, %zmm3
 634 ; AVX512BW-NEXT:    vpsrlw $8, %zmm3, %zmm3
 635 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm2[0],zmm1[1],zmm2[1],zmm1[2],zmm2[2],zmm1[3],zmm2[3],zmm1[4],zmm2[4],zmm1[5],zmm2[5],zmm1[6],zmm2[6],zmm1[7],zmm2[7],zmm1[16],zmm2[16],zmm1[17],zmm2[17],zmm1[18],zmm2[18],zmm1[19],zmm2[19],zmm1[20],zmm2[20],zmm1[21],zmm2[21],zmm1[22],zmm2[22],zmm1[23],zmm2[23],zmm1[32],zmm2[32],zmm1[33],zmm2[33],zmm1[34],zmm2[34],zmm1[35],zmm2[35],zmm1[36],zmm2[36],zmm1[37],zmm2[37],zmm1[38],zmm2[38],zmm1[39],zmm2[39],zmm1[48],zmm2[48],zmm1[49],zmm2[49],zmm1[50],zmm2[50],zmm1[51],zmm2[51],zmm1[52],zmm2[52],zmm1[53],zmm2[53],zmm1[54],zmm2[54],zmm1[55],zmm2[55]
 636 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm1, %zmm1
 637 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 638 ; AVX512BW-NEXT:    vpackuswb %zmm3, %zmm1, %zmm1
 639 ; AVX512BW-NEXT:    vpsubb %zmm1, %zmm0, %zmm3
 640 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm2[8],zmm3[9],zmm2[9],zmm3[10],zmm2[10],zmm3[11],zmm2[11],zmm3[12],zmm2[12],zmm3[13],zmm2[13],zmm3[14],zmm2[14],zmm3[15],zmm2[15],zmm3[24],zmm2[24],zmm3[25],zmm2[25],zmm3[26],zmm2[26],zmm3[27],zmm2[27],zmm3[28],zmm2[28],zmm3[29],zmm2[29],zmm3[30],zmm2[30],zmm3[31],zmm2[31],zmm3[40],zmm2[40],zmm3[41],zmm2[41],zmm3[42],zmm2[42],zmm3[43],zmm2[43],zmm3[44],zmm2[44],zmm3[45],zmm2[45],zmm3[46],zmm2[46],zmm3[47],zmm2[47],zmm3[56],zmm2[56],zmm3[57],zmm2[57],zmm3[58],zmm2[58],zmm3[59],zmm2[59],zmm3[60],zmm2[60],zmm3[61],zmm2[61],zmm3[62],zmm2[62],zmm3[63],zmm2[63]
 641 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm4, %zmm4
 642 ; AVX512BW-NEXT:    vpsrlw $8, %zmm4, %zmm4
 643 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm2 = zmm3[0],zmm2[0],zmm3[1],zmm2[1],zmm3[2],zmm2[2],zmm3[3],zmm2[3],zmm3[4],zmm2[4],zmm3[5],zmm2[5],zmm3[6],zmm2[6],zmm3[7],zmm2[7],zmm3[16],zmm2[16],zmm3[17],zmm2[17],zmm3[18],zmm2[18],zmm3[19],zmm2[19],zmm3[20],zmm2[20],zmm3[21],zmm2[21],zmm3[22],zmm2[22],zmm3[23],zmm2[23],zmm3[32],zmm2[32],zmm3[33],zmm2[33],zmm3[34],zmm2[34],zmm3[35],zmm2[35],zmm3[36],zmm2[36],zmm3[37],zmm2[37],zmm3[38],zmm2[38],zmm3[39],zmm2[39],zmm3[48],zmm2[48],zmm3[49],zmm2[49],zmm3[50],zmm2[50],zmm3[51],zmm2[51],zmm3[52],zmm2[52],zmm3[53],zmm2[53],zmm3[54],zmm2[54],zmm3[55],zmm2[55]
 644 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm2, %zmm2
 645 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 646 ; AVX512BW-NEXT:    vpackuswb %zmm4, %zmm2, %zmm2
 647 ; AVX512BW-NEXT:    vpaddb %zmm1, %zmm2, %zmm1
 648 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31,40,40,41,41,42,42,43,43,44,44,45,45,46,46,47,47,56,56,57,57,58,58,59,59,60,60,61,61,62,62,63,63]
 649 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 650 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm2, %zmm2
 651 ; AVX512BW-NEXT:    vpsrlw $8, %zmm2, %zmm2
 652 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm2, %zmm2
 653 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 654 ; AVX512BW-NEXT:    vpandq %zmm3, %zmm2, %zmm2
 655 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23,32,32,33,33,34,34,35,35,36,36,37,37,38,38,39,39,48,48,49,49,50,50,51,51,52,52,53,53,54,54,55,55]
 656 ; AVX512BW-NEXT:    vpsrlw $8, %zmm1, %zmm1
 657 ; AVX512BW-NEXT:    vpsllvw {{.*}}(%rip), %zmm1, %zmm1
 658 ; AVX512BW-NEXT:    vpshufb {{.*#+}} zmm1 = zmm1[1,u,3,u,5,u,7,u,9,u,11,u,13,u,15,u,17,u,19,u,21,u,23,u,25,u,27,u,29,u,31,u,33,u,35,u,37,u,39,u,41,u,43,u,45,u,47,u,49,u,51,u,53,u,55,u,57,u,59,u,61,u,63,u]
 659 ; AVX512BW-NEXT:    vpmullw {{.*}}(%rip), %zmm1, %zmm1
 660 ; AVX512BW-NEXT:    vpandq %zmm3, %zmm1, %zmm1
 661 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
 662 ; AVX512BW-NEXT:    vpsubb %zmm1, %zmm0, %zmm0
 663 ; AVX512BW-NEXT:    retq
 664   %res = urem <64 x i8> %a, <i8 7, i8 8, i8 9, i8 10, i8 11, i8 12, i8 13, i8 14, i8 15, i8 16, i8 17, i8 18, i8 19, i8 20, i8 21, i8 22, i8 23, i8 24, i8 25, i8 26, i8 27, i8 28, i8 29, i8 30, i8 31, i8 32, i8 33, i8 34, i8 35, i8 36, i8 37, i8 38, i8 38, i8 37, i8 36, i8 35, i8 34, i8 33, i8 32, i8 31, i8 30, i8 29, i8 28, i8 27, i8 26, i8 25, i8 24, i8 23, i8 22, i8 21, i8 20, i8 19, i8 18, i8 17, i8 16, i8 15, i8 14, i8 13, i8 12, i8 11, i8 10, i8 9, i8 8, i8 7>
 665   ret <64 x i8> %res
 666 }