test/CodeGen/X86/midpoint-int-vec-512.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f | FileCheck %s --check-prefixes=ALL,AVX512,AVX512F
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl | FileCheck %s --check-prefixes=ALL,AVX512,AVX512VL,AVX512VL-FALLBACK
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw | FileCheck %s --check-prefixes=ALL,AVX512,AVX512BW,AVX512BW-FALLBACK
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl,+avx512bw | FileCheck %s --check-prefixes=ALL,AVX512,AVX512VL,AVX512BW,AVX512VLBW
   6
   7 ; These test cases are inspired by C++2a std::midpoint().
   8 ; See https://bugs.llvm.org/show_bug.cgi?id=40965
   9
  10 ; Using 512-bit vector regs.
  11
  12 ; ---------------------------------------------------------------------------- ;
  13 ; 32-bit width. 512 / 32 = 16 elts.
  14 ; ---------------------------------------------------------------------------- ;
  15
  16 ; Values come from regs
  17
  18 define <16 x i32> @vec512_i32_signed_reg_reg(<16 x i32> %a1, <16 x i32> %a2) nounwind {
  19 ; ALL-LABEL: vec512_i32_signed_reg_reg:
  20 ; ALL:       # %bb.0:
  21 ; ALL-NEXT:    vpminsd %zmm1, %zmm0, %zmm2
  22 ; ALL-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm1
  23 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
  24 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
  25 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
  26 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
  27 ; ALL-NEXT:    retq
  28   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
  29   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  30   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
  31   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
  32   %t7 = sub <16 x i32> %t6, %t5
  33   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  34   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
  35   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
  36   ret <16 x i32> %a10
  37 }
  38
  39 define <16 x i32> @vec512_i32_unsigned_reg_reg(<16 x i32> %a1, <16 x i32> %a2) nounwind {
  40 ; ALL-LABEL: vec512_i32_unsigned_reg_reg:
  41 ; ALL:       # %bb.0:
  42 ; ALL-NEXT:    vpminud %zmm1, %zmm0, %zmm2
  43 ; ALL-NEXT:    vpmaxud %zmm1, %zmm0, %zmm1
  44 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
  45 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
  46 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
  47 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
  48 ; ALL-NEXT:    retq
  49   %t3 = icmp ugt <16 x i32> %a1, %a2
  50   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  51   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
  52   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
  53   %t7 = sub <16 x i32> %t6, %t5
  54   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  55   %t9 = mul <16 x i32> %t16, %t16
  56   %a10 = add <16 x i32> %t9, %a1
  57   ret <16 x i32> %a10
  58 }
  59
  60 ; Values are loaded. Only check signed case.
  61
  62 define <16 x i32> @vec512_i32_signed_mem_reg(<16 x i32>* %a1_addr, <16 x i32> %a2) nounwind {
  63 ; ALL-LABEL: vec512_i32_signed_mem_reg:
  64 ; ALL:       # %bb.0:
  65 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
  66 ; ALL-NEXT:    vpminsd %zmm0, %zmm1, %zmm2
  67 ; ALL-NEXT:    vpmaxsd %zmm0, %zmm1, %zmm0
  68 ; ALL-NEXT:    vpsubd %zmm2, %zmm0, %zmm0
  69 ; ALL-NEXT:    vpsrld $1, %zmm0, %zmm0
  70 ; ALL-NEXT:    vpmulld %zmm0, %zmm0, %zmm0
  71 ; ALL-NEXT:    vpaddd %zmm1, %zmm0, %zmm0
  72 ; ALL-NEXT:    retq
  73   %a1 = load <16 x i32>, <16 x i32>* %a1_addr
  74   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
  75   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  76   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
  77   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
  78   %t7 = sub <16 x i32> %t6, %t5
  79   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  80   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
  81   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
  82   ret <16 x i32> %a10
  83 }
  84
  85 define <16 x i32> @vec512_i32_signed_reg_mem(<16 x i32> %a1, <16 x i32>* %a2_addr) nounwind {
  86 ; ALL-LABEL: vec512_i32_signed_reg_mem:
  87 ; ALL:       # %bb.0:
  88 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
  89 ; ALL-NEXT:    vpminsd %zmm1, %zmm0, %zmm2
  90 ; ALL-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm1
  91 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
  92 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
  93 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
  94 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
  95 ; ALL-NEXT:    retq
  96   %a2 = load <16 x i32>, <16 x i32>* %a2_addr
  97   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
  98   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  99   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
 100   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
 101   %t7 = sub <16 x i32> %t6, %t5
 102   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
 103   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
 104   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
 105   ret <16 x i32> %a10
 106 }
 107
 108 define <16 x i32> @vec512_i32_signed_mem_mem(<16 x i32>* %a1_addr, <16 x i32>* %a2_addr) nounwind {
 109 ; ALL-LABEL: vec512_i32_signed_mem_mem:
 110 ; ALL:       # %bb.0:
 111 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm0
 112 ; ALL-NEXT:    vmovdqa64 (%rsi), %zmm1
 113 ; ALL-NEXT:    vpminsd %zmm1, %zmm0, %zmm2
 114 ; ALL-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm1
 115 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
 116 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
 117 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
 118 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
 119 ; ALL-NEXT:    retq
 120   %a1 = load <16 x i32>, <16 x i32>* %a1_addr
 121   %a2 = load <16 x i32>, <16 x i32>* %a2_addr
 122   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
 123   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
 124   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
 125   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
 126   %t7 = sub <16 x i32> %t6, %t5
 127   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
 128   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
 129   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
 130   ret <16 x i32> %a10
 131 }
 132
 133 ; ---------------------------------------------------------------------------- ;
 134 ; 64-bit width. 512 / 64 = 8 elts.
 135 ; ---------------------------------------------------------------------------- ;
 136
 137 ; Values come from regs
 138
 139 define <8 x i64> @vec512_i64_signed_reg_reg(<8 x i64> %a1, <8 x i64> %a2) nounwind {
 140 ; ALL-LABEL: vec512_i64_signed_reg_reg:
 141 ; ALL:       # %bb.0:
 142 ; ALL-NEXT:    vpcmpgtq %zmm1, %zmm0, %k1
 143 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 144 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 145 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 146 ; ALL-NEXT:    vpminsq %zmm1, %zmm0, %zmm2
 147 ; ALL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm1
 148 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 149 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 150 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 151 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 152 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 153 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 154 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 155 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 156 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 157 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 158 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 159 ; ALL-NEXT:    retq
 160   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 161   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 162   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 163   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 164   %t7 = sub <8 x i64> %t6, %t5
 165   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 166   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 167   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 168   ret <8 x i64> %a10
 169 }
 170
 171 define <8 x i64> @vec512_i64_unsigned_reg_reg(<8 x i64> %a1, <8 x i64> %a2) nounwind {
 172 ; ALL-LABEL: vec512_i64_unsigned_reg_reg:
 173 ; ALL:       # %bb.0:
 174 ; ALL-NEXT:    vpcmpnleuq %zmm1, %zmm0, %k1
 175 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 176 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 177 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 178 ; ALL-NEXT:    vpminuq %zmm1, %zmm0, %zmm2
 179 ; ALL-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm1
 180 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 181 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 182 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 183 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 184 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 185 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 186 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 187 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 188 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 189 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 190 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 191 ; ALL-NEXT:    retq
 192   %t3 = icmp ugt <8 x i64> %a1, %a2
 193   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 194   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 195   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 196   %t7 = sub <8 x i64> %t6, %t5
 197   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 198   %t9 = mul <8 x i64> %t8, %t4
 199   %a10 = add <8 x i64> %t9, %a1
 200   ret <8 x i64> %a10
 201 }
 202
 203 ; Values are loaded. Only check signed case.
 204
 205 define <8 x i64> @vec512_i64_signed_mem_reg(<8 x i64>* %a1_addr, <8 x i64> %a2) nounwind {
 206 ; ALL-LABEL: vec512_i64_signed_mem_reg:
 207 ; ALL:       # %bb.0:
 208 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
 209 ; ALL-NEXT:    vpcmpgtq %zmm0, %zmm1, %k1
 210 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 211 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 212 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 213 ; ALL-NEXT:    vpminsq %zmm0, %zmm1, %zmm2
 214 ; ALL-NEXT:    vpmaxsq %zmm0, %zmm1, %zmm0
 215 ; ALL-NEXT:    vpsubq %zmm2, %zmm0, %zmm0
 216 ; ALL-NEXT:    vpsrlq $1, %zmm0, %zmm0
 217 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 218 ; ALL-NEXT:    vpmuludq %zmm2, %zmm0, %zmm2
 219 ; ALL-NEXT:    vpsrlq $32, %zmm0, %zmm4
 220 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 221 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 222 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 223 ; ALL-NEXT:    vpmuludq %zmm3, %zmm0, %zmm0
 224 ; ALL-NEXT:    vpaddq %zmm1, %zmm2, %zmm1
 225 ; ALL-NEXT:    vpaddq %zmm1, %zmm0, %zmm0
 226 ; ALL-NEXT:    retq
 227   %a1 = load <8 x i64>, <8 x i64>* %a1_addr
 228   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 229   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 230   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 231   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 232   %t7 = sub <8 x i64> %t6, %t5
 233   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 234   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 235   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 236   ret <8 x i64> %a10
 237 }
 238
 239 define <8 x i64> @vec512_i64_signed_reg_mem(<8 x i64> %a1, <8 x i64>* %a2_addr) nounwind {
 240 ; ALL-LABEL: vec512_i64_signed_reg_mem:
 241 ; ALL:       # %bb.0:
 242 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
 243 ; ALL-NEXT:    vpcmpgtq %zmm1, %zmm0, %k1
 244 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 245 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 246 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 247 ; ALL-NEXT:    vpminsq %zmm1, %zmm0, %zmm2
 248 ; ALL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm1
 249 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 250 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 251 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 252 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 253 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 254 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 255 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 256 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 257 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 258 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 259 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 260 ; ALL-NEXT:    retq
 261   %a2 = load <8 x i64>, <8 x i64>* %a2_addr
 262   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 263   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 264   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 265   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 266   %t7 = sub <8 x i64> %t6, %t5
 267   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 268   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 269   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 270   ret <8 x i64> %a10
 271 }
 272
 273 define <8 x i64> @vec512_i64_signed_mem_mem(<8 x i64>* %a1_addr, <8 x i64>* %a2_addr) nounwind {
 274 ; ALL-LABEL: vec512_i64_signed_mem_mem:
 275 ; ALL:       # %bb.0:
 276 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm0
 277 ; ALL-NEXT:    vmovdqa64 (%rsi), %zmm1
 278 ; ALL-NEXT:    vpcmpgtq %zmm1, %zmm0, %k1
 279 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 280 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 281 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 282 ; ALL-NEXT:    vpminsq %zmm1, %zmm0, %zmm2
 283 ; ALL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm1
 284 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 285 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 286 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 287 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 288 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 289 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 290 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 291 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 292 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 293 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 294 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 295 ; ALL-NEXT:    retq
 296   %a1 = load <8 x i64>, <8 x i64>* %a1_addr
 297   %a2 = load <8 x i64>, <8 x i64>* %a2_addr
 298   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 299   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 300   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 301   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 302   %t7 = sub <8 x i64> %t6, %t5
 303   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 304   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 305   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 306   ret <8 x i64> %a10
 307 }
 308
 309 ; ---------------------------------------------------------------------------- ;
 310 ; 16-bit width. 512 / 16 = 32 elts.
 311 ; ---------------------------------------------------------------------------- ;
 312
 313 ; Values come from regs
 314
 315 define <32 x i16> @vec512_i16_signed_reg_reg(<32 x i16> %a1, <32 x i16> %a2) nounwind {
 316 ; AVX512F-LABEL: vec512_i16_signed_reg_reg:
 317 ; AVX512F:       # %bb.0:
 318 ; AVX512F-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm4
 319 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 320 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 321 ; AVX512F-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm6
 322 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 323 ; AVX512F-NEXT:    vpminsw %ymm2, %ymm0, %ymm6
 324 ; AVX512F-NEXT:    vpminsw %ymm3, %ymm1, %ymm7
 325 ; AVX512F-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 326 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 327 ; AVX512F-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 328 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 329 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 330 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 331 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 332 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 333 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 334 ; AVX512F-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 335 ; AVX512F-NEXT:    retq
 336 ;
 337 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_reg_reg:
 338 ; AVX512VL-FALLBACK:       # %bb.0:
 339 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm4
 340 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 341 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 342 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm6
 343 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 344 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm2, %ymm0, %ymm6
 345 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm3, %ymm1, %ymm7
 346 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 347 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 348 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 349 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 350 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 351 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 352 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 353 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 354 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 355 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 356 ; AVX512VL-FALLBACK-NEXT:    retq
 357 ;
 358 ; AVX512BW-LABEL: vec512_i16_signed_reg_reg:
 359 ; AVX512BW:       # %bb.0:
 360 ; AVX512BW-NEXT:    vpcmpgtw %zmm1, %zmm0, %k1
 361 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 362 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 363 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 364 ; AVX512BW-NEXT:    vpminsw %zmm1, %zmm0, %zmm2
 365 ; AVX512BW-NEXT:    vpmaxsw %zmm1, %zmm0, %zmm1
 366 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 367 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 368 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 369 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 370 ; AVX512BW-NEXT:    retq
 371   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 372   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 373   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 374   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 375   %t7 = sub <32 x i16> %t6, %t5
 376   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 377   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 378   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 379   ret <32 x i16> %a10
 380 }
 381
 382 define <32 x i16> @vec512_i16_unsigned_reg_reg(<32 x i16> %a1, <32 x i16> %a2) nounwind {
 383 ; AVX512F-LABEL: vec512_i16_unsigned_reg_reg:
 384 ; AVX512F:       # %bb.0:
 385 ; AVX512F-NEXT:    vpminuw %ymm2, %ymm0, %ymm4
 386 ; AVX512F-NEXT:    vpcmpeqw %ymm4, %ymm0, %ymm5
 387 ; AVX512F-NEXT:    vpternlogq $15, %zmm5, %zmm5, %zmm5
 388 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 389 ; AVX512F-NEXT:    vpor %ymm6, %ymm5, %ymm5
 390 ; AVX512F-NEXT:    vpminuw %ymm3, %ymm1, %ymm7
 391 ; AVX512F-NEXT:    vpcmpeqw %ymm7, %ymm1, %ymm8
 392 ; AVX512F-NEXT:    vpternlogq $15, %zmm8, %zmm8, %zmm8
 393 ; AVX512F-NEXT:    vpor %ymm6, %ymm8, %ymm6
 394 ; AVX512F-NEXT:    vpmaxuw %ymm2, %ymm0, %ymm2
 395 ; AVX512F-NEXT:    vpmaxuw %ymm3, %ymm1, %ymm3
 396 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 397 ; AVX512F-NEXT:    vpsubw %ymm4, %ymm2, %ymm2
 398 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 399 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 400 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 401 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm3, %ymm3
 402 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 403 ; AVX512F-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 404 ; AVX512F-NEXT:    retq
 405 ;
 406 ; AVX512VL-FALLBACK-LABEL: vec512_i16_unsigned_reg_reg:
 407 ; AVX512VL-FALLBACK:       # %bb.0:
 408 ; AVX512VL-FALLBACK-NEXT:    vpminuw %ymm2, %ymm0, %ymm4
 409 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqw %ymm4, %ymm0, %ymm5
 410 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm5, %ymm5, %ymm5
 411 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 412 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm5, %ymm5
 413 ; AVX512VL-FALLBACK-NEXT:    vpminuw %ymm3, %ymm1, %ymm7
 414 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqw %ymm7, %ymm1, %ymm8
 415 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm8, %ymm8, %ymm8
 416 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm8, %ymm6
 417 ; AVX512VL-FALLBACK-NEXT:    vpmaxuw %ymm2, %ymm0, %ymm2
 418 ; AVX512VL-FALLBACK-NEXT:    vpmaxuw %ymm3, %ymm1, %ymm3
 419 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 420 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm4, %ymm2, %ymm2
 421 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 422 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 423 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 424 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm3, %ymm3
 425 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 426 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 427 ; AVX512VL-FALLBACK-NEXT:    retq
 428 ;
 429 ; AVX512BW-LABEL: vec512_i16_unsigned_reg_reg:
 430 ; AVX512BW:       # %bb.0:
 431 ; AVX512BW-NEXT:    vpcmpnleuw %zmm1, %zmm0, %k1
 432 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 433 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 434 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 435 ; AVX512BW-NEXT:    vpminuw %zmm1, %zmm0, %zmm2
 436 ; AVX512BW-NEXT:    vpmaxuw %zmm1, %zmm0, %zmm1
 437 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 438 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 439 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 440 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 441 ; AVX512BW-NEXT:    retq
 442   %t3 = icmp ugt <32 x i16> %a1, %a2
 443   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 444   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 445   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 446   %t7 = sub <32 x i16> %t6, %t5
 447   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 448   %t9 = mul <32 x i16> %t16, %t4
 449   %a10 = add <32 x i16> %t9, %a1
 450   ret <32 x i16> %a10
 451 }
 452
 453 ; Values are loaded. Only check signed case.
 454
 455 define <32 x i16> @vec512_i16_signed_mem_reg(<32 x i16>* %a1_addr, <32 x i16> %a2) nounwind {
 456 ; AVX512F-LABEL: vec512_i16_signed_mem_reg:
 457 ; AVX512F:       # %bb.0:
 458 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm2
 459 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm3
 460 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm4
 461 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 462 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 463 ; AVX512F-NEXT:    vpcmpgtw %ymm1, %ymm3, %ymm6
 464 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 465 ; AVX512F-NEXT:    vpminsw %ymm0, %ymm2, %ymm6
 466 ; AVX512F-NEXT:    vpminsw %ymm1, %ymm3, %ymm7
 467 ; AVX512F-NEXT:    vpmaxsw %ymm0, %ymm2, %ymm0
 468 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm0, %ymm0
 469 ; AVX512F-NEXT:    vpmaxsw %ymm1, %ymm3, %ymm1
 470 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm1, %ymm1
 471 ; AVX512F-NEXT:    vpsrlw $1, %ymm0, %ymm0
 472 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm0, %ymm0
 473 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 474 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 475 ; AVX512F-NEXT:    vpaddw %ymm2, %ymm0, %ymm0
 476 ; AVX512F-NEXT:    vpaddw %ymm3, %ymm1, %ymm1
 477 ; AVX512F-NEXT:    retq
 478 ;
 479 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_mem_reg:
 480 ; AVX512VL-FALLBACK:       # %bb.0:
 481 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm2
 482 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm3
 483 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm4
 484 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 485 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 486 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm1, %ymm3, %ymm6
 487 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 488 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm0, %ymm2, %ymm6
 489 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm1, %ymm3, %ymm7
 490 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm0, %ymm2, %ymm0
 491 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm0, %ymm0
 492 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm1, %ymm3, %ymm1
 493 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm1, %ymm1
 494 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm0, %ymm0
 495 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm0, %ymm0
 496 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm1, %ymm1
 497 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 498 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm2, %ymm0, %ymm0
 499 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm3, %ymm1, %ymm1
 500 ; AVX512VL-FALLBACK-NEXT:    retq
 501 ;
 502 ; AVX512BW-LABEL: vec512_i16_signed_mem_reg:
 503 ; AVX512BW:       # %bb.0:
 504 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
 505 ; AVX512BW-NEXT:    vpcmpgtw %zmm0, %zmm1, %k1
 506 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 507 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 508 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 509 ; AVX512BW-NEXT:    vpminsw %zmm0, %zmm1, %zmm2
 510 ; AVX512BW-NEXT:    vpmaxsw %zmm0, %zmm1, %zmm0
 511 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm0, %zmm0
 512 ; AVX512BW-NEXT:    vpsrlw $1, %zmm0, %zmm0
 513 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm0, %zmm0
 514 ; AVX512BW-NEXT:    vpaddw %zmm1, %zmm0, %zmm0
 515 ; AVX512BW-NEXT:    retq
 516   %a1 = load <32 x i16>, <32 x i16>* %a1_addr
 517   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 518   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 519   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 520   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 521   %t7 = sub <32 x i16> %t6, %t5
 522   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 523   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 524   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 525   ret <32 x i16> %a10
 526 }
 527
 528 define <32 x i16> @vec512_i16_signed_reg_mem(<32 x i16> %a1, <32 x i16>* %a2_addr) nounwind {
 529 ; AVX512F-LABEL: vec512_i16_signed_reg_mem:
 530 ; AVX512F:       # %bb.0:
 531 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm2
 532 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm3
 533 ; AVX512F-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm4
 534 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 535 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 536 ; AVX512F-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm6
 537 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 538 ; AVX512F-NEXT:    vpminsw %ymm2, %ymm0, %ymm6
 539 ; AVX512F-NEXT:    vpminsw %ymm3, %ymm1, %ymm7
 540 ; AVX512F-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 541 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 542 ; AVX512F-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 543 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 544 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 545 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 546 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 547 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 548 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 549 ; AVX512F-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 550 ; AVX512F-NEXT:    retq
 551 ;
 552 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_reg_mem:
 553 ; AVX512VL-FALLBACK:       # %bb.0:
 554 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm2
 555 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm3
 556 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm4
 557 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 558 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 559 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm6
 560 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 561 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm2, %ymm0, %ymm6
 562 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm3, %ymm1, %ymm7
 563 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 564 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 565 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 566 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 567 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 568 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 569 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 570 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 571 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 572 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 573 ; AVX512VL-FALLBACK-NEXT:    retq
 574 ;
 575 ; AVX512BW-LABEL: vec512_i16_signed_reg_mem:
 576 ; AVX512BW:       # %bb.0:
 577 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
 578 ; AVX512BW-NEXT:    vpcmpgtw %zmm1, %zmm0, %k1
 579 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 580 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 581 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 582 ; AVX512BW-NEXT:    vpminsw %zmm1, %zmm0, %zmm2
 583 ; AVX512BW-NEXT:    vpmaxsw %zmm1, %zmm0, %zmm1
 584 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 585 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 586 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 587 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 588 ; AVX512BW-NEXT:    retq
 589   %a2 = load <32 x i16>, <32 x i16>* %a2_addr
 590   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 591   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 592   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 593   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 594   %t7 = sub <32 x i16> %t6, %t5
 595   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 596   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 597   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 598   ret <32 x i16> %a10
 599 }
 600
 601 define <32 x i16> @vec512_i16_signed_mem_mem(<32 x i16>* %a1_addr, <32 x i16>* %a2_addr) nounwind {
 602 ; AVX512F-LABEL: vec512_i16_signed_mem_mem:
 603 ; AVX512F:       # %bb.0:
 604 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm0
 605 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm1
 606 ; AVX512F-NEXT:    vmovdqa (%rsi), %ymm2
 607 ; AVX512F-NEXT:    vmovdqa 32(%rsi), %ymm3
 608 ; AVX512F-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm4
 609 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 610 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 611 ; AVX512F-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm6
 612 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 613 ; AVX512F-NEXT:    vpminsw %ymm2, %ymm0, %ymm6
 614 ; AVX512F-NEXT:    vpminsw %ymm3, %ymm1, %ymm7
 615 ; AVX512F-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 616 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 617 ; AVX512F-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 618 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 619 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 620 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 621 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 622 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 623 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 624 ; AVX512F-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 625 ; AVX512F-NEXT:    retq
 626 ;
 627 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_mem_mem:
 628 ; AVX512VL-FALLBACK:       # %bb.0:
 629 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm0
 630 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm1
 631 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rsi), %ymm2
 632 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rsi), %ymm3
 633 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm4
 634 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 635 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 636 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm6
 637 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 638 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm2, %ymm0, %ymm6
 639 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm3, %ymm1, %ymm7
 640 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 641 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 642 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 643 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm3, %ymm3
 644 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 645 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 646 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 647 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 648 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 649 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 650 ; AVX512VL-FALLBACK-NEXT:    retq
 651 ;
 652 ; AVX512BW-LABEL: vec512_i16_signed_mem_mem:
 653 ; AVX512BW:       # %bb.0:
 654 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm0
 655 ; AVX512BW-NEXT:    vmovdqa64 (%rsi), %zmm1
 656 ; AVX512BW-NEXT:    vpcmpgtw %zmm1, %zmm0, %k1
 657 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 658 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 659 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 660 ; AVX512BW-NEXT:    vpminsw %zmm1, %zmm0, %zmm2
 661 ; AVX512BW-NEXT:    vpmaxsw %zmm1, %zmm0, %zmm1
 662 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 663 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 664 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 665 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 666 ; AVX512BW-NEXT:    retq
 667   %a1 = load <32 x i16>, <32 x i16>* %a1_addr
 668   %a2 = load <32 x i16>, <32 x i16>* %a2_addr
 669   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 670   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 671   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 672   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 673   %t7 = sub <32 x i16> %t6, %t5
 674   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 675   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 676   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 677   ret <32 x i16> %a10
 678 }
 679
 680 ; ---------------------------------------------------------------------------- ;
 681 ; 8-bit width. 512 / 8 = 64 elts.
 682 ; ---------------------------------------------------------------------------- ;
 683
 684 ; Values come from regs
 685
 686 define <64 x i8> @vec512_i8_signed_reg_reg(<64 x i8> %a1, <64 x i8> %a2) nounwind {
 687 ; AVX512F-LABEL: vec512_i8_signed_reg_reg:
 688 ; AVX512F:       # %bb.0:
 689 ; AVX512F-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm4
 690 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 691 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 692 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm6
 693 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 694 ; AVX512F-NEXT:    vpminsb %ymm2, %ymm0, %ymm6
 695 ; AVX512F-NEXT:    vpminsb %ymm3, %ymm1, %ymm7
 696 ; AVX512F-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
 697 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm2, %ymm2
 698 ; AVX512F-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
 699 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
 700 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 701 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 702 ; AVX512F-NEXT:    vpand %ymm6, %ymm2, %ymm2
 703 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 704 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
 705 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 706 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 707 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
 708 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 709 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
 710 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 711 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 712 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 713 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
 714 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm3, %ymm3
 715 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
 716 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
 717 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
 718 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
 719 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
 720 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
 721 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 722 ; AVX512F-NEXT:    vpand %ymm7, %ymm2, %ymm2
 723 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
 724 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
 725 ; AVX512F-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
 726 ; AVX512F-NEXT:    retq
 727 ;
 728 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_reg_reg:
 729 ; AVX512VL-FALLBACK:       # %bb.0:
 730 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm4
 731 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 732 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 733 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm6
 734 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 735 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm2, %ymm0, %ymm6
 736 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm3, %ymm1, %ymm7
 737 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
 738 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm2, %ymm2
 739 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
 740 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
 741 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 742 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 743 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm2, %ymm2
 744 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 745 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm3, %ymm3
 746 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 747 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 748 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
 749 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 750 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
 751 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 752 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 753 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 754 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
 755 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm3, %ymm3
 756 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
 757 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
 758 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
 759 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
 760 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
 761 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
 762 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 763 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm2, %ymm2
 764 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
 765 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
 766 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
 767 ; AVX512VL-FALLBACK-NEXT:    retq
 768 ;
 769 ; AVX512BW-LABEL: vec512_i8_signed_reg_reg:
 770 ; AVX512BW:       # %bb.0:
 771 ; AVX512BW-NEXT:    vpcmpgtb %zmm1, %zmm0, %k1
 772 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 773 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 774 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
 775 ; AVX512BW-NEXT:    vpminsb %zmm1, %zmm0, %zmm2
 776 ; AVX512BW-NEXT:    vpmaxsb %zmm1, %zmm0, %zmm1
 777 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
 778 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 779 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
 780 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
 781 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
 782 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
 783 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 784 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
 785 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
 786 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
 787 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 788 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
 789 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
 790 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
 791 ; AVX512BW-NEXT:    retq
 792   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
 793   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 794   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
 795   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
 796   %t7 = sub <64 x i8> %t6, %t5
 797   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 798   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
 799   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
 800   ret <64 x i8> %a10
 801 }
 802
 803 define <64 x i8> @vec512_i8_unsigned_reg_reg(<64 x i8> %a1, <64 x i8> %a2) nounwind {
 804 ; AVX512F-LABEL: vec512_i8_unsigned_reg_reg:
 805 ; AVX512F:       # %bb.0:
 806 ; AVX512F-NEXT:    vpminub %ymm2, %ymm0, %ymm4
 807 ; AVX512F-NEXT:    vpcmpeqb %ymm4, %ymm0, %ymm5
 808 ; AVX512F-NEXT:    vpternlogq $15, %zmm5, %zmm5, %zmm5
 809 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 810 ; AVX512F-NEXT:    vpor %ymm6, %ymm5, %ymm5
 811 ; AVX512F-NEXT:    vpminub %ymm3, %ymm1, %ymm7
 812 ; AVX512F-NEXT:    vpcmpeqb %ymm7, %ymm1, %ymm8
 813 ; AVX512F-NEXT:    vpternlogq $15, %zmm8, %zmm8, %zmm8
 814 ; AVX512F-NEXT:    vpor %ymm6, %ymm8, %ymm6
 815 ; AVX512F-NEXT:    vpmaxub %ymm2, %ymm0, %ymm2
 816 ; AVX512F-NEXT:    vpmaxub %ymm3, %ymm1, %ymm3
 817 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
 818 ; AVX512F-NEXT:    vpsubb %ymm4, %ymm2, %ymm2
 819 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 820 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm4 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 821 ; AVX512F-NEXT:    vpand %ymm4, %ymm2, %ymm2
 822 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 823 ; AVX512F-NEXT:    vpand %ymm4, %ymm3, %ymm3
 824 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 825 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm6[8],ymm0[8],ymm6[9],ymm0[9],ymm6[10],ymm0[10],ymm6[11],ymm0[11],ymm6[12],ymm0[12],ymm6[13],ymm0[13],ymm6[14],ymm0[14],ymm6[15],ymm0[15],ymm6[24],ymm0[24],ymm6[25],ymm0[25],ymm6[26],ymm0[26],ymm6[27],ymm0[27],ymm6[28],ymm0[28],ymm6[29],ymm0[29],ymm6[30],ymm0[30],ymm6[31],ymm0[31]
 826 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm4, %ymm4
 827 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 828 ; AVX512F-NEXT:    vpand %ymm7, %ymm4, %ymm4
 829 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 830 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm6 = ymm6[0],ymm0[0],ymm6[1],ymm0[1],ymm6[2],ymm0[2],ymm6[3],ymm0[3],ymm6[4],ymm0[4],ymm6[5],ymm0[5],ymm6[6],ymm0[6],ymm6[7],ymm0[7],ymm6[16],ymm0[16],ymm6[17],ymm0[17],ymm6[18],ymm0[18],ymm6[19],ymm0[19],ymm6[20],ymm0[20],ymm6[21],ymm0[21],ymm6[22],ymm0[22],ymm6[23],ymm0[23]
 831 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm3, %ymm3
 832 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
 833 ; AVX512F-NEXT:    vpackuswb %ymm4, %ymm3, %ymm3
 834 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
 835 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 836 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm4, %ymm4
 837 ; AVX512F-NEXT:    vpand %ymm7, %ymm4, %ymm4
 838 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
 839 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 840 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 841 ; AVX512F-NEXT:    vpand %ymm7, %ymm2, %ymm2
 842 ; AVX512F-NEXT:    vpackuswb %ymm4, %ymm2, %ymm2
 843 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
 844 ; AVX512F-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
 845 ; AVX512F-NEXT:    retq
 846 ;
 847 ; AVX512VL-FALLBACK-LABEL: vec512_i8_unsigned_reg_reg:
 848 ; AVX512VL-FALLBACK:       # %bb.0:
 849 ; AVX512VL-FALLBACK-NEXT:    vpminub %ymm2, %ymm0, %ymm4
 850 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqb %ymm4, %ymm0, %ymm5
 851 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm5, %ymm5, %ymm5
 852 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 853 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm5, %ymm5
 854 ; AVX512VL-FALLBACK-NEXT:    vpminub %ymm3, %ymm1, %ymm7
 855 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqb %ymm7, %ymm1, %ymm8
 856 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm8, %ymm8, %ymm8
 857 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm8, %ymm6
 858 ; AVX512VL-FALLBACK-NEXT:    vpmaxub %ymm2, %ymm0, %ymm2
 859 ; AVX512VL-FALLBACK-NEXT:    vpmaxub %ymm3, %ymm1, %ymm3
 860 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
 861 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm4, %ymm2, %ymm2
 862 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 863 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm4 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 864 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm4, %ymm2, %ymm2
 865 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 866 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm4, %ymm3, %ymm3
 867 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 868 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm6[8],ymm0[8],ymm6[9],ymm0[9],ymm6[10],ymm0[10],ymm6[11],ymm0[11],ymm6[12],ymm0[12],ymm6[13],ymm0[13],ymm6[14],ymm0[14],ymm6[15],ymm0[15],ymm6[24],ymm0[24],ymm6[25],ymm0[25],ymm6[26],ymm0[26],ymm6[27],ymm0[27],ymm6[28],ymm0[28],ymm6[29],ymm0[29],ymm6[30],ymm0[30],ymm6[31],ymm0[31]
 869 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm4, %ymm4
 870 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 871 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm4, %ymm4
 872 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 873 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm6 = ymm6[0],ymm0[0],ymm6[1],ymm0[1],ymm6[2],ymm0[2],ymm6[3],ymm0[3],ymm6[4],ymm0[4],ymm6[5],ymm0[5],ymm6[6],ymm0[6],ymm6[7],ymm0[7],ymm6[16],ymm0[16],ymm6[17],ymm0[17],ymm6[18],ymm0[18],ymm6[19],ymm0[19],ymm6[20],ymm0[20],ymm6[21],ymm0[21],ymm6[22],ymm0[22],ymm6[23],ymm0[23]
 874 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm3, %ymm3
 875 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
 876 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm4, %ymm3, %ymm3
 877 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
 878 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 879 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm4, %ymm4
 880 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm4, %ymm4
 881 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
 882 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 883 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 884 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm2, %ymm2
 885 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm4, %ymm2, %ymm2
 886 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
 887 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
 888 ; AVX512VL-FALLBACK-NEXT:    retq
 889 ;
 890 ; AVX512BW-LABEL: vec512_i8_unsigned_reg_reg:
 891 ; AVX512BW:       # %bb.0:
 892 ; AVX512BW-NEXT:    vpcmpnleub %zmm1, %zmm0, %k1
 893 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 894 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 895 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
 896 ; AVX512BW-NEXT:    vpminub %zmm1, %zmm0, %zmm2
 897 ; AVX512BW-NEXT:    vpmaxub %zmm1, %zmm0, %zmm1
 898 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
 899 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 900 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
 901 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
 902 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
 903 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
 904 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 905 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
 906 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
 907 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
 908 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 909 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
 910 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
 911 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
 912 ; AVX512BW-NEXT:    retq
 913   %t3 = icmp ugt <64 x i8> %a1, %a2
 914   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 915   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
 916   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
 917   %t7 = sub <64 x i8> %t6, %t5
 918   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 919   %t9 = mul <64 x i8> %t8, %t4
 920   %a10 = add <64 x i8> %t9, %a1
 921   ret <64 x i8> %a10
 922 }
 923
 924 ; Values are loaded. Only check signed case.
 925
 926 define <64 x i8> @vec512_i8_signed_mem_reg(<64 x i8>* %a1_addr, <64 x i8> %a2) nounwind {
 927 ; AVX512F-LABEL: vec512_i8_signed_mem_reg:
 928 ; AVX512F:       # %bb.0:
 929 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm2
 930 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm3
 931 ; AVX512F-NEXT:    vpcmpgtb %ymm0, %ymm2, %ymm4
 932 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 933 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 934 ; AVX512F-NEXT:    vpcmpgtb %ymm1, %ymm3, %ymm6
 935 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 936 ; AVX512F-NEXT:    vpminsb %ymm0, %ymm2, %ymm6
 937 ; AVX512F-NEXT:    vpminsb %ymm1, %ymm3, %ymm7
 938 ; AVX512F-NEXT:    vpmaxsb %ymm0, %ymm2, %ymm0
 939 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm0, %ymm0
 940 ; AVX512F-NEXT:    vpmaxsb %ymm1, %ymm3, %ymm1
 941 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm1, %ymm1
 942 ; AVX512F-NEXT:    vpsrlw $1, %ymm0, %ymm0
 943 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 944 ; AVX512F-NEXT:    vpand %ymm6, %ymm0, %ymm0
 945 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 946 ; AVX512F-NEXT:    vpand %ymm6, %ymm1, %ymm1
 947 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm1[8],ymm0[8],ymm1[9],ymm0[9],ymm1[10],ymm0[10],ymm1[11],ymm0[11],ymm1[12],ymm0[12],ymm1[13],ymm0[13],ymm1[14],ymm0[14],ymm1[15],ymm0[15],ymm1[24],ymm0[24],ymm1[25],ymm0[25],ymm1[26],ymm0[26],ymm1[27],ymm0[27],ymm1[28],ymm0[28],ymm1[29],ymm0[29],ymm1[30],ymm0[30],ymm1[31],ymm0[31]
 948 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 949 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
 950 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 951 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
 952 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm0[0],ymm1[1],ymm0[1],ymm1[2],ymm0[2],ymm1[3],ymm0[3],ymm1[4],ymm0[4],ymm1[5],ymm0[5],ymm1[6],ymm0[6],ymm1[7],ymm0[7],ymm1[16],ymm0[16],ymm1[17],ymm0[17],ymm1[18],ymm0[18],ymm1[19],ymm0[19],ymm1[20],ymm0[20],ymm1[21],ymm0[21],ymm1[22],ymm0[22],ymm1[23],ymm0[23]
 953 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 954 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 955 ; AVX512F-NEXT:    vpand %ymm7, %ymm1, %ymm1
 956 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm1, %ymm1
 957 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
 958 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
 959 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
 960 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
 961 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
 962 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
 963 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm0, %ymm0
 964 ; AVX512F-NEXT:    vpand %ymm7, %ymm0, %ymm0
 965 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm0, %ymm0
 966 ; AVX512F-NEXT:    vpaddb %ymm2, %ymm0, %ymm0
 967 ; AVX512F-NEXT:    vpaddb %ymm3, %ymm1, %ymm1
 968 ; AVX512F-NEXT:    retq
 969 ;
 970 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_mem_reg:
 971 ; AVX512VL-FALLBACK:       # %bb.0:
 972 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm2
 973 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm3
 974 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm0, %ymm2, %ymm4
 975 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 976 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 977 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm1, %ymm3, %ymm6
 978 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 979 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm0, %ymm2, %ymm6
 980 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm1, %ymm3, %ymm7
 981 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm0, %ymm2, %ymm0
 982 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm0, %ymm0
 983 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm1, %ymm3, %ymm1
 984 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm1, %ymm1
 985 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm0, %ymm0
 986 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 987 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm0, %ymm0
 988 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm1, %ymm1
 989 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm1, %ymm1
 990 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm1[8],ymm0[8],ymm1[9],ymm0[9],ymm1[10],ymm0[10],ymm1[11],ymm0[11],ymm1[12],ymm0[12],ymm1[13],ymm0[13],ymm1[14],ymm0[14],ymm1[15],ymm0[15],ymm1[24],ymm0[24],ymm1[25],ymm0[25],ymm1[26],ymm0[26],ymm1[27],ymm0[27],ymm1[28],ymm0[28],ymm1[29],ymm0[29],ymm1[30],ymm0[30],ymm1[31],ymm0[31]
 991 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 992 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
 993 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 994 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
 995 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm0[0],ymm1[1],ymm0[1],ymm1[2],ymm0[2],ymm1[3],ymm0[3],ymm1[4],ymm0[4],ymm1[5],ymm0[5],ymm1[6],ymm0[6],ymm1[7],ymm0[7],ymm1[16],ymm0[16],ymm1[17],ymm0[17],ymm1[18],ymm0[18],ymm1[19],ymm0[19],ymm1[20],ymm0[20],ymm1[21],ymm0[21],ymm1[22],ymm0[22],ymm1[23],ymm0[23]
 996 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 997 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 998 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm1, %ymm1
 999 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm1, %ymm1
1000 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
1001 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1002 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1003 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
1004 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
1005 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1006 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm0, %ymm0
1007 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm0, %ymm0
1008 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm0, %ymm0
1009 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm2, %ymm0, %ymm0
1010 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm3, %ymm1, %ymm1
1011 ; AVX512VL-FALLBACK-NEXT:    retq
1012 ;
1013 ; AVX512BW-LABEL: vec512_i8_signed_mem_reg:
1014 ; AVX512BW:       # %bb.0:
1015 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
1016 ; AVX512BW-NEXT:    vpcmpgtb %zmm0, %zmm1, %k1
1017 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
1018 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1019 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
1020 ; AVX512BW-NEXT:    vpminsb %zmm0, %zmm1, %zmm2
1021 ; AVX512BW-NEXT:    vpmaxsb %zmm0, %zmm1, %zmm0
1022 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm0, %zmm0
1023 ; AVX512BW-NEXT:    vpsrlw $1, %zmm0, %zmm0
1024 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm0, %zmm0
1025 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31,40,40,41,41,42,42,43,43,44,44,45,45,46,46,47,47,56,56,57,57,58,58,59,59,60,60,61,61,62,62,63,63]
1026 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
1027 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
1028 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1029 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
1030 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm0 = zmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23,32,32,33,33,34,34,35,35,36,36,37,37,38,38,39,39,48,48,49,49,50,50,51,51,52,52,53,53,54,54,55,55]
1031 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
1032 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm0, %zmm0
1033 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm0, %zmm0
1034 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm0, %zmm0
1035 ; AVX512BW-NEXT:    vpaddb %zmm1, %zmm0, %zmm0
1036 ; AVX512BW-NEXT:    retq
1037   %a1 = load <64 x i8>, <64 x i8>* %a1_addr
1038   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
1039   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1040   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
1041   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
1042   %t7 = sub <64 x i8> %t6, %t5
1043   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1044   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
1045   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
1046   ret <64 x i8> %a10
1047 }
1048
1049 define <64 x i8> @vec512_i8_signed_reg_mem(<64 x i8> %a1, <64 x i8>* %a2_addr) nounwind {
1050 ; AVX512F-LABEL: vec512_i8_signed_reg_mem:
1051 ; AVX512F:       # %bb.0:
1052 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm2
1053 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm3
1054 ; AVX512F-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm4
1055 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1056 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
1057 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm6
1058 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
1059 ; AVX512F-NEXT:    vpminsb %ymm2, %ymm0, %ymm6
1060 ; AVX512F-NEXT:    vpminsb %ymm3, %ymm1, %ymm7
1061 ; AVX512F-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1062 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm2, %ymm2
1063 ; AVX512F-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1064 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
1065 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
1066 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1067 ; AVX512F-NEXT:    vpand %ymm6, %ymm2, %ymm2
1068 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
1069 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
1070 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1071 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1072 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1073 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1074 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
1075 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1076 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1077 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
1078 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
1079 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm3, %ymm3
1080 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1081 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1082 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1083 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
1084 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1085 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1086 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
1087 ; AVX512F-NEXT:    vpand %ymm7, %ymm2, %ymm2
1088 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
1089 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1090 ; AVX512F-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1091 ; AVX512F-NEXT:    retq
1092 ;
1093 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_reg_mem:
1094 ; AVX512VL-FALLBACK:       # %bb.0:
1095 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm2
1096 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm3
1097 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm4
1098 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1099 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
1100 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm6
1101 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
1102 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm2, %ymm0, %ymm6
1103 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm3, %ymm1, %ymm7
1104 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1105 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm2, %ymm2
1106 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1107 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
1108 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
1109 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1110 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm2, %ymm2
1111 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
1112 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm3, %ymm3
1113 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1114 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1115 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1116 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1117 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
1118 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1119 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1120 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
1121 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
1122 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm3, %ymm3
1123 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1124 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1125 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1126 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
1127 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1128 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1129 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
1130 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm2, %ymm2
1131 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
1132 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1133 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1134 ; AVX512VL-FALLBACK-NEXT:    retq
1135 ;
1136 ; AVX512BW-LABEL: vec512_i8_signed_reg_mem:
1137 ; AVX512BW:       # %bb.0:
1138 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
1139 ; AVX512BW-NEXT:    vpcmpgtb %zmm1, %zmm0, %k1
1140 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
1141 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1142 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
1143 ; AVX512BW-NEXT:    vpminsb %zmm1, %zmm0, %zmm2
1144 ; AVX512BW-NEXT:    vpmaxsb %zmm1, %zmm0, %zmm1
1145 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
1146 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
1147 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
1148 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
1149 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
1150 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
1151 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1152 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
1153 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
1154 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
1155 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
1156 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
1157 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
1158 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
1159 ; AVX512BW-NEXT:    retq
1160   %a2 = load <64 x i8>, <64 x i8>* %a2_addr
1161   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
1162   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1163   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
1164   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
1165   %t7 = sub <64 x i8> %t6, %t5
1166   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1167   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
1168   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
1169   ret <64 x i8> %a10
1170 }
1171
1172 define <64 x i8> @vec512_i8_signed_mem_mem(<64 x i8>* %a1_addr, <64 x i8>* %a2_addr) nounwind {
1173 ; AVX512F-LABEL: vec512_i8_signed_mem_mem:
1174 ; AVX512F:       # %bb.0:
1175 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm0
1176 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm1
1177 ; AVX512F-NEXT:    vmovdqa (%rsi), %ymm2
1178 ; AVX512F-NEXT:    vmovdqa 32(%rsi), %ymm3
1179 ; AVX512F-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm4
1180 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1181 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
1182 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm6
1183 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
1184 ; AVX512F-NEXT:    vpminsb %ymm2, %ymm0, %ymm6
1185 ; AVX512F-NEXT:    vpminsb %ymm3, %ymm1, %ymm7
1186 ; AVX512F-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1187 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm2, %ymm2
1188 ; AVX512F-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1189 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
1190 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
1191 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1192 ; AVX512F-NEXT:    vpand %ymm6, %ymm2, %ymm2
1193 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
1194 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
1195 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1196 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1197 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1198 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1199 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
1200 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1201 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1202 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
1203 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
1204 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm3, %ymm3
1205 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1206 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1207 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1208 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
1209 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1210 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1211 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
1212 ; AVX512F-NEXT:    vpand %ymm7, %ymm2, %ymm2
1213 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
1214 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1215 ; AVX512F-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1216 ; AVX512F-NEXT:    retq
1217 ;
1218 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_mem_mem:
1219 ; AVX512VL-FALLBACK:       # %bb.0:
1220 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm0
1221 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm1
1222 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rsi), %ymm2
1223 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rsi), %ymm3
1224 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm4
1225 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1226 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
1227 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm6
1228 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
1229 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm2, %ymm0, %ymm6
1230 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm3, %ymm1, %ymm7
1231 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1232 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm2, %ymm2
1233 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1234 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm3, %ymm3
1235 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
1236 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1237 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm2, %ymm2
1238 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
1239 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm3, %ymm3
1240 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1241 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1242 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1243 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1244 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
1245 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1246 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1247 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
1248 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
1249 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm3, %ymm3
1250 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1251 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1252 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1253 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
1254 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1255 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1256 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
1257 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm2, %ymm2
1258 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm2, %ymm2
1259 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1260 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1261 ; AVX512VL-FALLBACK-NEXT:    retq
1262 ;
1263 ; AVX512BW-LABEL: vec512_i8_signed_mem_mem:
1264 ; AVX512BW:       # %bb.0:
1265 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm0
1266 ; AVX512BW-NEXT:    vmovdqa64 (%rsi), %zmm1
1267 ; AVX512BW-NEXT:    vpcmpgtb %zmm1, %zmm0, %k1
1268 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
1269 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1270 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
1271 ; AVX512BW-NEXT:    vpminsb %zmm1, %zmm0, %zmm2
1272 ; AVX512BW-NEXT:    vpmaxsb %zmm1, %zmm0, %zmm1
1273 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
1274 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
1275 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
1276 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
1277 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
1278 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
1279 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1280 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
1281 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
1282 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
1283 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
1284 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
1285 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
1286 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
1287 ; AVX512BW-NEXT:    retq
1288   %a1 = load <64 x i8>, <64 x i8>* %a1_addr
1289   %a2 = load <64 x i8>, <64 x i8>* %a2_addr
1290   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
1291   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1292   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
1293   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
1294   %t7 = sub <64 x i8> %t6, %t5
1295   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1296   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
1297   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
1298   ret <64 x i8> %a10
1299 }