test/CodeGen/X86/midpoint-int-vec-512.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f | FileCheck %s --check-prefixes=ALL,AVX512,AVX512F
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl | FileCheck %s --check-prefixes=ALL,AVX512,AVX512VL,AVX512VL-FALLBACK
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw | FileCheck %s --check-prefixes=ALL,AVX512,AVX512BW,AVX512BW-FALLBACK
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl,+avx512bw | FileCheck %s --check-prefixes=ALL,AVX512,AVX512VL,AVX512BW,AVX512VLBW
   6
   7 ; These test cases are inspired by C++2a std::midpoint().
   8 ; See https://bugs.llvm.org/show_bug.cgi?id=40965
   9
  10 ; Using 512-bit vector regs.
  11
  12 ; ---------------------------------------------------------------------------- ;
  13 ; 32-bit width. 512 / 32 = 16 elts.
  14 ; ---------------------------------------------------------------------------- ;
  15
  16 ; Values come from regs
  17
  18 define <16 x i32> @vec512_i32_signed_reg_reg(<16 x i32> %a1, <16 x i32> %a2) nounwind {
  19 ; ALL-LABEL: vec512_i32_signed_reg_reg:
  20 ; ALL:       # %bb.0:
  21 ; ALL-NEXT:    vpminsd %zmm1, %zmm0, %zmm2
  22 ; ALL-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm1
  23 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
  24 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
  25 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
  26 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
  27 ; ALL-NEXT:    retq
  28   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
  29   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  30   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
  31   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
  32   %t7 = sub <16 x i32> %t6, %t5
  33   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  34   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
  35   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
  36   ret <16 x i32> %a10
  37 }
  38
  39 define <16 x i32> @vec512_i32_unsigned_reg_reg(<16 x i32> %a1, <16 x i32> %a2) nounwind {
  40 ; ALL-LABEL: vec512_i32_unsigned_reg_reg:
  41 ; ALL:       # %bb.0:
  42 ; ALL-NEXT:    vpminud %zmm1, %zmm0, %zmm2
  43 ; ALL-NEXT:    vpmaxud %zmm1, %zmm0, %zmm1
  44 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
  45 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
  46 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
  47 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
  48 ; ALL-NEXT:    retq
  49   %t3 = icmp ugt <16 x i32> %a1, %a2
  50   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  51   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
  52   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
  53   %t7 = sub <16 x i32> %t6, %t5
  54   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  55   %t9 = mul <16 x i32> %t16, %t16
  56   %a10 = add <16 x i32> %t9, %a1
  57   ret <16 x i32> %a10
  58 }
  59
  60 ; Values are loaded. Only check signed case.
  61
  62 define <16 x i32> @vec512_i32_signed_mem_reg(<16 x i32>* %a1_addr, <16 x i32> %a2) nounwind {
  63 ; ALL-LABEL: vec512_i32_signed_mem_reg:
  64 ; ALL:       # %bb.0:
  65 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
  66 ; ALL-NEXT:    vpminsd %zmm0, %zmm1, %zmm2
  67 ; ALL-NEXT:    vpmaxsd %zmm0, %zmm1, %zmm0
  68 ; ALL-NEXT:    vpsubd %zmm2, %zmm0, %zmm0
  69 ; ALL-NEXT:    vpsrld $1, %zmm0, %zmm0
  70 ; ALL-NEXT:    vpmulld %zmm0, %zmm0, %zmm0
  71 ; ALL-NEXT:    vpaddd %zmm1, %zmm0, %zmm0
  72 ; ALL-NEXT:    retq
  73   %a1 = load <16 x i32>, <16 x i32>* %a1_addr
  74   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
  75   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  76   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
  77   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
  78   %t7 = sub <16 x i32> %t6, %t5
  79   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  80   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
  81   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
  82   ret <16 x i32> %a10
  83 }
  84
  85 define <16 x i32> @vec512_i32_signed_reg_mem(<16 x i32> %a1, <16 x i32>* %a2_addr) nounwind {
  86 ; ALL-LABEL: vec512_i32_signed_reg_mem:
  87 ; ALL:       # %bb.0:
  88 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
  89 ; ALL-NEXT:    vpminsd %zmm1, %zmm0, %zmm2
  90 ; ALL-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm1
  91 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
  92 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
  93 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
  94 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
  95 ; ALL-NEXT:    retq
  96   %a2 = load <16 x i32>, <16 x i32>* %a2_addr
  97   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
  98   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
  99   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
 100   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
 101   %t7 = sub <16 x i32> %t6, %t5
 102   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
 103   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
 104   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
 105   ret <16 x i32> %a10
 106 }
 107
 108 define <16 x i32> @vec512_i32_signed_mem_mem(<16 x i32>* %a1_addr, <16 x i32>* %a2_addr) nounwind {
 109 ; ALL-LABEL: vec512_i32_signed_mem_mem:
 110 ; ALL:       # %bb.0:
 111 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm0
 112 ; ALL-NEXT:    vmovdqa64 (%rsi), %zmm1
 113 ; ALL-NEXT:    vpminsd %zmm1, %zmm0, %zmm2
 114 ; ALL-NEXT:    vpmaxsd %zmm1, %zmm0, %zmm1
 115 ; ALL-NEXT:    vpsubd %zmm2, %zmm1, %zmm1
 116 ; ALL-NEXT:    vpsrld $1, %zmm1, %zmm1
 117 ; ALL-NEXT:    vpmulld %zmm1, %zmm1, %zmm1
 118 ; ALL-NEXT:    vpaddd %zmm0, %zmm1, %zmm0
 119 ; ALL-NEXT:    retq
 120   %a1 = load <16 x i32>, <16 x i32>* %a1_addr
 121   %a2 = load <16 x i32>, <16 x i32>* %a2_addr
 122   %t3 = icmp sgt <16 x i32> %a1, %a2 ; signed
 123   %t4 = select <16 x i1> %t3, <16 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>, <16 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
 124   %t5 = select <16 x i1> %t3, <16 x i32> %a2, <16 x i32> %a1
 125   %t6 = select <16 x i1> %t3, <16 x i32> %a1, <16 x i32> %a2
 126   %t7 = sub <16 x i32> %t6, %t5
 127   %t16 = lshr <16 x i32> %t7, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
 128   %t9 = mul nsw <16 x i32> %t16, %t16 ; signed
 129   %a10 = add nsw <16 x i32> %t9, %a1 ; signed
 130   ret <16 x i32> %a10
 131 }
 132
 133 ; ---------------------------------------------------------------------------- ;
 134 ; 64-bit width. 512 / 64 = 8 elts.
 135 ; ---------------------------------------------------------------------------- ;
 136
 137 ; Values come from regs
 138
 139 define <8 x i64> @vec512_i64_signed_reg_reg(<8 x i64> %a1, <8 x i64> %a2) nounwind {
 140 ; ALL-LABEL: vec512_i64_signed_reg_reg:
 141 ; ALL:       # %bb.0:
 142 ; ALL-NEXT:    vpcmpgtq %zmm1, %zmm0, %k1
 143 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 144 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 145 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 146 ; ALL-NEXT:    vpminsq %zmm1, %zmm0, %zmm2
 147 ; ALL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm1
 148 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 149 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 150 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 151 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 152 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 153 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 154 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 155 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 156 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 157 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 158 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 159 ; ALL-NEXT:    retq
 160   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 161   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 162   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 163   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 164   %t7 = sub <8 x i64> %t6, %t5
 165   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 166   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 167   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 168   ret <8 x i64> %a10
 169 }
 170
 171 define <8 x i64> @vec512_i64_unsigned_reg_reg(<8 x i64> %a1, <8 x i64> %a2) nounwind {
 172 ; ALL-LABEL: vec512_i64_unsigned_reg_reg:
 173 ; ALL:       # %bb.0:
 174 ; ALL-NEXT:    vpcmpnleuq %zmm1, %zmm0, %k1
 175 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 176 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 177 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 178 ; ALL-NEXT:    vpminuq %zmm1, %zmm0, %zmm2
 179 ; ALL-NEXT:    vpmaxuq %zmm1, %zmm0, %zmm1
 180 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 181 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 182 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 183 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 184 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 185 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 186 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 187 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 188 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 189 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 190 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 191 ; ALL-NEXT:    retq
 192   %t3 = icmp ugt <8 x i64> %a1, %a2
 193   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 194   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 195   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 196   %t7 = sub <8 x i64> %t6, %t5
 197   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 198   %t9 = mul <8 x i64> %t8, %t4
 199   %a10 = add <8 x i64> %t9, %a1
 200   ret <8 x i64> %a10
 201 }
 202
 203 ; Values are loaded. Only check signed case.
 204
 205 define <8 x i64> @vec512_i64_signed_mem_reg(<8 x i64>* %a1_addr, <8 x i64> %a2) nounwind {
 206 ; ALL-LABEL: vec512_i64_signed_mem_reg:
 207 ; ALL:       # %bb.0:
 208 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
 209 ; ALL-NEXT:    vpcmpgtq %zmm0, %zmm1, %k1
 210 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 211 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 212 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 213 ; ALL-NEXT:    vpminsq %zmm0, %zmm1, %zmm2
 214 ; ALL-NEXT:    vpmaxsq %zmm0, %zmm1, %zmm0
 215 ; ALL-NEXT:    vpsubq %zmm2, %zmm0, %zmm0
 216 ; ALL-NEXT:    vpsrlq $1, %zmm0, %zmm0
 217 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 218 ; ALL-NEXT:    vpmuludq %zmm2, %zmm0, %zmm2
 219 ; ALL-NEXT:    vpsrlq $32, %zmm0, %zmm4
 220 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 221 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 222 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 223 ; ALL-NEXT:    vpmuludq %zmm3, %zmm0, %zmm0
 224 ; ALL-NEXT:    vpaddq %zmm1, %zmm2, %zmm1
 225 ; ALL-NEXT:    vpaddq %zmm1, %zmm0, %zmm0
 226 ; ALL-NEXT:    retq
 227   %a1 = load <8 x i64>, <8 x i64>* %a1_addr
 228   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 229   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 230   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 231   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 232   %t7 = sub <8 x i64> %t6, %t5
 233   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 234   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 235   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 236   ret <8 x i64> %a10
 237 }
 238
 239 define <8 x i64> @vec512_i64_signed_reg_mem(<8 x i64> %a1, <8 x i64>* %a2_addr) nounwind {
 240 ; ALL-LABEL: vec512_i64_signed_reg_mem:
 241 ; ALL:       # %bb.0:
 242 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm1
 243 ; ALL-NEXT:    vpcmpgtq %zmm1, %zmm0, %k1
 244 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 245 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 246 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 247 ; ALL-NEXT:    vpminsq %zmm1, %zmm0, %zmm2
 248 ; ALL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm1
 249 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 250 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 251 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 252 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 253 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 254 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 255 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 256 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 257 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 258 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 259 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 260 ; ALL-NEXT:    retq
 261   %a2 = load <8 x i64>, <8 x i64>* %a2_addr
 262   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 263   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 264   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 265   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 266   %t7 = sub <8 x i64> %t6, %t5
 267   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 268   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 269   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 270   ret <8 x i64> %a10
 271 }
 272
 273 define <8 x i64> @vec512_i64_signed_mem_mem(<8 x i64>* %a1_addr, <8 x i64>* %a2_addr) nounwind {
 274 ; ALL-LABEL: vec512_i64_signed_mem_mem:
 275 ; ALL:       # %bb.0:
 276 ; ALL-NEXT:    vmovdqa64 (%rdi), %zmm0
 277 ; ALL-NEXT:    vmovdqa64 (%rsi), %zmm1
 278 ; ALL-NEXT:    vpcmpgtq %zmm1, %zmm0, %k1
 279 ; ALL-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 280 ; ALL-NEXT:    vpbroadcastq {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1]
 281 ; ALL-NEXT:    vmovdqa64 %zmm2, %zmm3 {%k1}
 282 ; ALL-NEXT:    vpminsq %zmm1, %zmm0, %zmm2
 283 ; ALL-NEXT:    vpmaxsq %zmm1, %zmm0, %zmm1
 284 ; ALL-NEXT:    vpsubq %zmm2, %zmm1, %zmm1
 285 ; ALL-NEXT:    vpsrlq $1, %zmm1, %zmm1
 286 ; ALL-NEXT:    vpsrlq $32, %zmm3, %zmm2
 287 ; ALL-NEXT:    vpmuludq %zmm2, %zmm1, %zmm2
 288 ; ALL-NEXT:    vpsrlq $32, %zmm1, %zmm4
 289 ; ALL-NEXT:    vpmuludq %zmm3, %zmm4, %zmm4
 290 ; ALL-NEXT:    vpaddq %zmm4, %zmm2, %zmm2
 291 ; ALL-NEXT:    vpsllq $32, %zmm2, %zmm2
 292 ; ALL-NEXT:    vpmuludq %zmm3, %zmm1, %zmm1
 293 ; ALL-NEXT:    vpaddq %zmm0, %zmm2, %zmm0
 294 ; ALL-NEXT:    vpaddq %zmm0, %zmm1, %zmm0
 295 ; ALL-NEXT:    retq
 296   %a1 = load <8 x i64>, <8 x i64>* %a1_addr
 297   %a2 = load <8 x i64>, <8 x i64>* %a2_addr
 298   %t3 = icmp sgt <8 x i64> %a1, %a2 ; signed
 299   %t4 = select <8 x i1> %t3, <8 x i64> <i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1, i64 -1>, <8 x i64> <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 300   %t5 = select <8 x i1> %t3, <8 x i64> %a2, <8 x i64> %a1
 301   %t6 = select <8 x i1> %t3, <8 x i64> %a1, <8 x i64> %a2
 302   %t7 = sub <8 x i64> %t6, %t5
 303   %t8 = lshr <8 x i64> %t7, <i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1, i64 1>
 304   %t9 = mul nsw <8 x i64> %t8, %t4 ; signed
 305   %a10 = add nsw <8 x i64> %t9, %a1 ; signed
 306   ret <8 x i64> %a10
 307 }
 308
 309 ; ---------------------------------------------------------------------------- ;
 310 ; 16-bit width. 512 / 16 = 32 elts.
 311 ; ---------------------------------------------------------------------------- ;
 312
 313 ; Values come from regs
 314
 315 define <32 x i16> @vec512_i16_signed_reg_reg(<32 x i16> %a1, <32 x i16> %a2) nounwind {
 316 ; AVX512F-LABEL: vec512_i16_signed_reg_reg:
 317 ; AVX512F:       # %bb.0:
 318 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm1, %ymm2
 319 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm3
 320 ; AVX512F-NEXT:    vpcmpgtw %ymm2, %ymm3, %ymm4
 321 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 322 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 323 ; AVX512F-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm6
 324 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 325 ; AVX512F-NEXT:    vpminsw %ymm2, %ymm3, %ymm6
 326 ; AVX512F-NEXT:    vpminsw %ymm1, %ymm0, %ymm7
 327 ; AVX512F-NEXT:    vpmaxsw %ymm2, %ymm3, %ymm2
 328 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 329 ; AVX512F-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm1
 330 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm1, %ymm1
 331 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 332 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 333 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 334 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 335 ; AVX512F-NEXT:    vpaddw %ymm3, %ymm2, %ymm2
 336 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm1, %ymm0
 337 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 338 ; AVX512F-NEXT:    retq
 339 ;
 340 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_reg_reg:
 341 ; AVX512VL-FALLBACK:       # %bb.0:
 342 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm1, %ymm2
 343 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm3
 344 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm2, %ymm3, %ymm4
 345 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 346 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 347 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm6
 348 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 349 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm2, %ymm3, %ymm6
 350 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm1, %ymm0, %ymm7
 351 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm2, %ymm3, %ymm2
 352 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm2, %ymm2
 353 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm1
 354 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm1, %ymm1
 355 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 356 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm2, %ymm2
 357 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm1, %ymm1
 358 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 359 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm3, %ymm2, %ymm2
 360 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm1, %ymm0
 361 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 362 ; AVX512VL-FALLBACK-NEXT:    retq
 363 ;
 364 ; AVX512BW-LABEL: vec512_i16_signed_reg_reg:
 365 ; AVX512BW:       # %bb.0:
 366 ; AVX512BW-NEXT:    vpcmpgtw %zmm1, %zmm0, %k1
 367 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 368 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 369 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 370 ; AVX512BW-NEXT:    vpminsw %zmm1, %zmm0, %zmm2
 371 ; AVX512BW-NEXT:    vpmaxsw %zmm1, %zmm0, %zmm1
 372 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 373 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 374 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 375 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 376 ; AVX512BW-NEXT:    retq
 377   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 378   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 379   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 380   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 381   %t7 = sub <32 x i16> %t6, %t5
 382   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 383   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 384   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 385   ret <32 x i16> %a10
 386 }
 387
 388 define <32 x i16> @vec512_i16_unsigned_reg_reg(<32 x i16> %a1, <32 x i16> %a2) nounwind {
 389 ; AVX512F-LABEL: vec512_i16_unsigned_reg_reg:
 390 ; AVX512F:       # %bb.0:
 391 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm1, %ymm2
 392 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm3
 393 ; AVX512F-NEXT:    vpminuw %ymm2, %ymm3, %ymm4
 394 ; AVX512F-NEXT:    vpcmpeqw %ymm4, %ymm3, %ymm5
 395 ; AVX512F-NEXT:    vpternlogq $15, %zmm5, %zmm5, %zmm5
 396 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 397 ; AVX512F-NEXT:    vpor %ymm6, %ymm5, %ymm5
 398 ; AVX512F-NEXT:    vpminuw %ymm1, %ymm0, %ymm7
 399 ; AVX512F-NEXT:    vpcmpeqw %ymm7, %ymm0, %ymm8
 400 ; AVX512F-NEXT:    vpternlogq $15, %zmm8, %zmm8, %zmm8
 401 ; AVX512F-NEXT:    vpor %ymm6, %ymm8, %ymm6
 402 ; AVX512F-NEXT:    vpmaxuw %ymm2, %ymm3, %ymm2
 403 ; AVX512F-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm1
 404 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm1, %ymm1
 405 ; AVX512F-NEXT:    vpsubw %ymm4, %ymm2, %ymm2
 406 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 407 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 408 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 409 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm1, %ymm1
 410 ; AVX512F-NEXT:    vpaddw %ymm3, %ymm2, %ymm2
 411 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm1, %ymm0
 412 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 413 ; AVX512F-NEXT:    retq
 414 ;
 415 ; AVX512VL-FALLBACK-LABEL: vec512_i16_unsigned_reg_reg:
 416 ; AVX512VL-FALLBACK:       # %bb.0:
 417 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm1, %ymm2
 418 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm3
 419 ; AVX512VL-FALLBACK-NEXT:    vpminuw %ymm2, %ymm3, %ymm4
 420 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqw %ymm4, %ymm3, %ymm5
 421 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm5, %ymm5, %ymm5
 422 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 423 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm5, %ymm5
 424 ; AVX512VL-FALLBACK-NEXT:    vpminuw %ymm1, %ymm0, %ymm7
 425 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqw %ymm7, %ymm0, %ymm8
 426 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm8, %ymm8, %ymm8
 427 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm8, %ymm6
 428 ; AVX512VL-FALLBACK-NEXT:    vpmaxuw %ymm2, %ymm3, %ymm2
 429 ; AVX512VL-FALLBACK-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm1
 430 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm1, %ymm1
 431 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm4, %ymm2, %ymm2
 432 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 433 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 434 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm1, %ymm1
 435 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm1, %ymm1
 436 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm3, %ymm2, %ymm2
 437 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm1, %ymm0
 438 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 439 ; AVX512VL-FALLBACK-NEXT:    retq
 440 ;
 441 ; AVX512BW-LABEL: vec512_i16_unsigned_reg_reg:
 442 ; AVX512BW:       # %bb.0:
 443 ; AVX512BW-NEXT:    vpcmpnleuw %zmm1, %zmm0, %k1
 444 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 445 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 446 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 447 ; AVX512BW-NEXT:    vpminuw %zmm1, %zmm0, %zmm2
 448 ; AVX512BW-NEXT:    vpmaxuw %zmm1, %zmm0, %zmm1
 449 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 450 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 451 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 452 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 453 ; AVX512BW-NEXT:    retq
 454   %t3 = icmp ugt <32 x i16> %a1, %a2
 455   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 456   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 457   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 458   %t7 = sub <32 x i16> %t6, %t5
 459   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 460   %t9 = mul <32 x i16> %t16, %t4
 461   %a10 = add <32 x i16> %t9, %a1
 462   ret <32 x i16> %a10
 463 }
 464
 465 ; Values are loaded. Only check signed case.
 466
 467 define <32 x i16> @vec512_i16_signed_mem_reg(<32 x i16>* %a1_addr, <32 x i16> %a2) nounwind {
 468 ; AVX512F-LABEL: vec512_i16_signed_mem_reg:
 469 ; AVX512F:       # %bb.0:
 470 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 471 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm2
 472 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm3
 473 ; AVX512F-NEXT:    vpcmpgtw %ymm1, %ymm3, %ymm4
 474 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 475 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 476 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm6
 477 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 478 ; AVX512F-NEXT:    vpminsw %ymm1, %ymm3, %ymm6
 479 ; AVX512F-NEXT:    vpminsw %ymm0, %ymm2, %ymm7
 480 ; AVX512F-NEXT:    vpmaxsw %ymm1, %ymm3, %ymm1
 481 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm1, %ymm1
 482 ; AVX512F-NEXT:    vpmaxsw %ymm0, %ymm2, %ymm0
 483 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm0, %ymm0
 484 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 485 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm1, %ymm1
 486 ; AVX512F-NEXT:    vpsrlw $1, %ymm0, %ymm0
 487 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm0, %ymm0
 488 ; AVX512F-NEXT:    vpaddw %ymm3, %ymm1, %ymm1
 489 ; AVX512F-NEXT:    vpaddw %ymm2, %ymm0, %ymm0
 490 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
 491 ; AVX512F-NEXT:    retq
 492 ;
 493 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_mem_reg:
 494 ; AVX512VL-FALLBACK:       # %bb.0:
 495 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 496 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm2
 497 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm3
 498 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm1, %ymm3, %ymm4
 499 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 500 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 501 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm6
 502 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 503 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm1, %ymm3, %ymm6
 504 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm0, %ymm2, %ymm7
 505 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm1, %ymm3, %ymm1
 506 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm1, %ymm1
 507 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm0, %ymm2, %ymm0
 508 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm0, %ymm0
 509 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm1, %ymm1
 510 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm1, %ymm1
 511 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm0, %ymm0
 512 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm0, %ymm0
 513 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm3, %ymm1, %ymm1
 514 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm2, %ymm0, %ymm0
 515 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
 516 ; AVX512VL-FALLBACK-NEXT:    retq
 517 ;
 518 ; AVX512BW-LABEL: vec512_i16_signed_mem_reg:
 519 ; AVX512BW:       # %bb.0:
 520 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
 521 ; AVX512BW-NEXT:    vpcmpgtw %zmm0, %zmm1, %k1
 522 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 523 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 524 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 525 ; AVX512BW-NEXT:    vpminsw %zmm0, %zmm1, %zmm2
 526 ; AVX512BW-NEXT:    vpmaxsw %zmm0, %zmm1, %zmm0
 527 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm0, %zmm0
 528 ; AVX512BW-NEXT:    vpsrlw $1, %zmm0, %zmm0
 529 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm0, %zmm0
 530 ; AVX512BW-NEXT:    vpaddw %zmm1, %zmm0, %zmm0
 531 ; AVX512BW-NEXT:    retq
 532   %a1 = load <32 x i16>, <32 x i16>* %a1_addr
 533   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 534   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 535   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 536   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 537   %t7 = sub <32 x i16> %t6, %t5
 538   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 539   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 540   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 541   ret <32 x i16> %a10
 542 }
 543
 544 define <32 x i16> @vec512_i16_signed_reg_mem(<32 x i16> %a1, <32 x i16>* %a2_addr) nounwind {
 545 ; AVX512F-LABEL: vec512_i16_signed_reg_mem:
 546 ; AVX512F:       # %bb.0:
 547 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 548 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm2
 549 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm3
 550 ; AVX512F-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm4
 551 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 552 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 553 ; AVX512F-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm6
 554 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 555 ; AVX512F-NEXT:    vpminsw %ymm3, %ymm1, %ymm6
 556 ; AVX512F-NEXT:    vpminsw %ymm2, %ymm0, %ymm7
 557 ; AVX512F-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 558 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm3, %ymm3
 559 ; AVX512F-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 560 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm2, %ymm2
 561 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 562 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 563 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 564 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 565 ; AVX512F-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 566 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 567 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
 568 ; AVX512F-NEXT:    retq
 569 ;
 570 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_reg_mem:
 571 ; AVX512VL-FALLBACK:       # %bb.0:
 572 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
 573 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm2
 574 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm3
 575 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm4
 576 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 577 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 578 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm6
 579 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 580 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm3, %ymm1, %ymm6
 581 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm2, %ymm0, %ymm7
 582 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 583 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm3, %ymm3
 584 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 585 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm2, %ymm2
 586 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 587 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 588 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 589 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 590 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 591 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 592 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
 593 ; AVX512VL-FALLBACK-NEXT:    retq
 594 ;
 595 ; AVX512BW-LABEL: vec512_i16_signed_reg_mem:
 596 ; AVX512BW:       # %bb.0:
 597 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
 598 ; AVX512BW-NEXT:    vpcmpgtw %zmm1, %zmm0, %k1
 599 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 600 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 601 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 602 ; AVX512BW-NEXT:    vpminsw %zmm1, %zmm0, %zmm2
 603 ; AVX512BW-NEXT:    vpmaxsw %zmm1, %zmm0, %zmm1
 604 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 605 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 606 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 607 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 608 ; AVX512BW-NEXT:    retq
 609   %a2 = load <32 x i16>, <32 x i16>* %a2_addr
 610   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 611   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 612   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 613   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 614   %t7 = sub <32 x i16> %t6, %t5
 615   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 616   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 617   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 618   ret <32 x i16> %a10
 619 }
 620
 621 define <32 x i16> @vec512_i16_signed_mem_mem(<32 x i16>* %a1_addr, <32 x i16>* %a2_addr) nounwind {
 622 ; AVX512F-LABEL: vec512_i16_signed_mem_mem:
 623 ; AVX512F:       # %bb.0:
 624 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm0
 625 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm1
 626 ; AVX512F-NEXT:    vmovdqa (%rsi), %ymm2
 627 ; AVX512F-NEXT:    vmovdqa 32(%rsi), %ymm3
 628 ; AVX512F-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm4
 629 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 630 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 631 ; AVX512F-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm6
 632 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 633 ; AVX512F-NEXT:    vpminsw %ymm3, %ymm1, %ymm6
 634 ; AVX512F-NEXT:    vpminsw %ymm2, %ymm0, %ymm7
 635 ; AVX512F-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 636 ; AVX512F-NEXT:    vpsubw %ymm6, %ymm3, %ymm3
 637 ; AVX512F-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 638 ; AVX512F-NEXT:    vpsubw %ymm7, %ymm2, %ymm2
 639 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 640 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 641 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
 642 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 643 ; AVX512F-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 644 ; AVX512F-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 645 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
 646 ; AVX512F-NEXT:    retq
 647 ;
 648 ; AVX512VL-FALLBACK-LABEL: vec512_i16_signed_mem_mem:
 649 ; AVX512VL-FALLBACK:       # %bb.0:
 650 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm0
 651 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm1
 652 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rsi), %ymm2
 653 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rsi), %ymm3
 654 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm3, %ymm1, %ymm4
 655 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 656 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 657 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtw %ymm2, %ymm0, %ymm6
 658 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 659 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm3, %ymm1, %ymm6
 660 ; AVX512VL-FALLBACK-NEXT:    vpminsw %ymm2, %ymm0, %ymm7
 661 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm3, %ymm1, %ymm3
 662 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm6, %ymm3, %ymm3
 663 ; AVX512VL-FALLBACK-NEXT:    vpmaxsw %ymm2, %ymm0, %ymm2
 664 ; AVX512VL-FALLBACK-NEXT:    vpsubw %ymm7, %ymm2, %ymm2
 665 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 666 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 667 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
 668 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
 669 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm1, %ymm3, %ymm1
 670 ; AVX512VL-FALLBACK-NEXT:    vpaddw %ymm0, %ymm2, %ymm0
 671 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
 672 ; AVX512VL-FALLBACK-NEXT:    retq
 673 ;
 674 ; AVX512BW-LABEL: vec512_i16_signed_mem_mem:
 675 ; AVX512BW:       # %bb.0:
 676 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm0
 677 ; AVX512BW-NEXT:    vmovdqa64 (%rsi), %zmm1
 678 ; AVX512BW-NEXT:    vpcmpgtw %zmm1, %zmm0, %k1
 679 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 680 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 681 ; AVX512BW-NEXT:    vmovdqu16 %zmm2, %zmm3 {%k1}
 682 ; AVX512BW-NEXT:    vpminsw %zmm1, %zmm0, %zmm2
 683 ; AVX512BW-NEXT:    vpmaxsw %zmm1, %zmm0, %zmm1
 684 ; AVX512BW-NEXT:    vpsubw %zmm2, %zmm1, %zmm1
 685 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 686 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 687 ; AVX512BW-NEXT:    vpaddw %zmm0, %zmm1, %zmm0
 688 ; AVX512BW-NEXT:    retq
 689   %a1 = load <32 x i16>, <32 x i16>* %a1_addr
 690   %a2 = load <32 x i16>, <32 x i16>* %a2_addr
 691   %t3 = icmp sgt <32 x i16> %a1, %a2 ; signed
 692   %t4 = select <32 x i1> %t3, <32 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <32 x i16> <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 693   %t5 = select <32 x i1> %t3, <32 x i16> %a2, <32 x i16> %a1
 694   %t6 = select <32 x i1> %t3, <32 x i16> %a1, <32 x i16> %a2
 695   %t7 = sub <32 x i16> %t6, %t5
 696   %t16 = lshr <32 x i16> %t7, <i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1, i16 1>
 697   %t9 = mul nsw <32 x i16> %t16, %t4 ; signed
 698   %a10 = add nsw <32 x i16> %t9, %a1 ; signed
 699   ret <32 x i16> %a10
 700 }
 701
 702 ; ---------------------------------------------------------------------------- ;
 703 ; 8-bit width. 512 / 8 = 64 elts.
 704 ; ---------------------------------------------------------------------------- ;
 705
 706 ; Values come from regs
 707
 708 define <64 x i8> @vec512_i8_signed_reg_reg(<64 x i8> %a1, <64 x i8> %a2) nounwind {
 709 ; AVX512F-LABEL: vec512_i8_signed_reg_reg:
 710 ; AVX512F:       # %bb.0:
 711 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm1, %ymm3
 712 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm2
 713 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm2, %ymm4
 714 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 715 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 716 ; AVX512F-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm6
 717 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 718 ; AVX512F-NEXT:    vpminsb %ymm3, %ymm2, %ymm6
 719 ; AVX512F-NEXT:    vpminsb %ymm1, %ymm0, %ymm7
 720 ; AVX512F-NEXT:    vpmaxsb %ymm3, %ymm2, %ymm3
 721 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
 722 ; AVX512F-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm1
 723 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm1, %ymm1
 724 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 725 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 726 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
 727 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 728 ; AVX512F-NEXT:    vpand %ymm6, %ymm1, %ymm1
 729 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm1[8],ymm0[8],ymm1[9],ymm0[9],ymm1[10],ymm0[10],ymm1[11],ymm0[11],ymm1[12],ymm0[12],ymm1[13],ymm0[13],ymm1[14],ymm0[14],ymm1[15],ymm0[15],ymm1[24],ymm0[24],ymm1[25],ymm0[25],ymm1[26],ymm0[26],ymm1[27],ymm0[27],ymm1[28],ymm0[28],ymm1[29],ymm0[29],ymm1[30],ymm0[30],ymm1[31],ymm0[31]
 730 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 731 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
 732 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 733 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
 734 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm0[0],ymm1[1],ymm0[1],ymm1[2],ymm0[2],ymm1[3],ymm0[3],ymm1[4],ymm0[4],ymm1[5],ymm0[5],ymm1[6],ymm0[6],ymm1[7],ymm0[7],ymm1[16],ymm0[16],ymm1[17],ymm0[17],ymm1[18],ymm0[18],ymm1[19],ymm0[19],ymm1[20],ymm0[20],ymm1[21],ymm0[21],ymm1[22],ymm0[22],ymm1[23],ymm0[23]
 735 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 736 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 737 ; AVX512F-NEXT:    vpand %ymm7, %ymm1, %ymm1
 738 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm1, %ymm1
 739 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 740 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
 741 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
 742 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
 743 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 744 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
 745 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 746 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
 747 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
 748 ; AVX512F-NEXT:    vpaddb %ymm2, %ymm3, %ymm2
 749 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm1, %ymm0
 750 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 751 ; AVX512F-NEXT:    retq
 752 ;
 753 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_reg_reg:
 754 ; AVX512VL-FALLBACK:       # %bb.0:
 755 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm1, %ymm3
 756 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm2
 757 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm3, %ymm2, %ymm4
 758 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 759 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
 760 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm6
 761 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
 762 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm3, %ymm2, %ymm6
 763 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm1, %ymm0, %ymm7
 764 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm3, %ymm2, %ymm3
 765 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
 766 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm1
 767 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm1, %ymm1
 768 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 769 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 770 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm3, %ymm3
 771 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm1, %ymm1
 772 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm1, %ymm1
 773 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm1[8],ymm0[8],ymm1[9],ymm0[9],ymm1[10],ymm0[10],ymm1[11],ymm0[11],ymm1[12],ymm0[12],ymm1[13],ymm0[13],ymm1[14],ymm0[14],ymm1[15],ymm0[15],ymm1[24],ymm0[24],ymm1[25],ymm0[25],ymm1[26],ymm0[26],ymm1[27],ymm0[27],ymm1[28],ymm0[28],ymm1[29],ymm0[29],ymm1[30],ymm0[30],ymm1[31],ymm0[31]
 774 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 775 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
 776 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 777 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
 778 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm0[0],ymm1[1],ymm0[1],ymm1[2],ymm0[2],ymm1[3],ymm0[3],ymm1[4],ymm0[4],ymm1[5],ymm0[5],ymm1[6],ymm0[6],ymm1[7],ymm0[7],ymm1[16],ymm0[16],ymm1[17],ymm0[17],ymm1[18],ymm0[18],ymm1[19],ymm0[19],ymm1[20],ymm0[20],ymm1[21],ymm0[21],ymm1[22],ymm0[22],ymm1[23],ymm0[23]
 779 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 780 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm1, %ymm1
 781 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm1, %ymm1
 782 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm1, %ymm1
 783 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 784 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
 785 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
 786 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
 787 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 788 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
 789 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 790 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
 791 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
 792 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm2, %ymm3, %ymm2
 793 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm1, %ymm0
 794 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 795 ; AVX512VL-FALLBACK-NEXT:    retq
 796 ;
 797 ; AVX512BW-LABEL: vec512_i8_signed_reg_reg:
 798 ; AVX512BW:       # %bb.0:
 799 ; AVX512BW-NEXT:    vpcmpgtb %zmm1, %zmm0, %k1
 800 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 801 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 802 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
 803 ; AVX512BW-NEXT:    vpminsb %zmm1, %zmm0, %zmm2
 804 ; AVX512BW-NEXT:    vpmaxsb %zmm1, %zmm0, %zmm1
 805 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
 806 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 807 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
 808 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
 809 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
 810 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
 811 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 812 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
 813 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
 814 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
 815 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 816 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
 817 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
 818 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
 819 ; AVX512BW-NEXT:    retq
 820   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
 821   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 822   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
 823   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
 824   %t7 = sub <64 x i8> %t6, %t5
 825   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 826   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
 827   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
 828   ret <64 x i8> %a10
 829 }
 830
 831 define <64 x i8> @vec512_i8_unsigned_reg_reg(<64 x i8> %a1, <64 x i8> %a2) nounwind {
 832 ; AVX512F-LABEL: vec512_i8_unsigned_reg_reg:
 833 ; AVX512F:       # %bb.0:
 834 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm1, %ymm3
 835 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm2
 836 ; AVX512F-NEXT:    vpminub %ymm3, %ymm2, %ymm4
 837 ; AVX512F-NEXT:    vpcmpeqb %ymm4, %ymm2, %ymm5
 838 ; AVX512F-NEXT:    vpternlogq $15, %zmm5, %zmm5, %zmm5
 839 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 840 ; AVX512F-NEXT:    vpor %ymm6, %ymm5, %ymm5
 841 ; AVX512F-NEXT:    vpminub %ymm1, %ymm0, %ymm7
 842 ; AVX512F-NEXT:    vpcmpeqb %ymm7, %ymm0, %ymm8
 843 ; AVX512F-NEXT:    vpternlogq $15, %zmm8, %zmm8, %zmm8
 844 ; AVX512F-NEXT:    vpor %ymm6, %ymm8, %ymm6
 845 ; AVX512F-NEXT:    vpmaxub %ymm3, %ymm2, %ymm3
 846 ; AVX512F-NEXT:    vpmaxub %ymm1, %ymm0, %ymm1
 847 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm1, %ymm1
 848 ; AVX512F-NEXT:    vpsubb %ymm4, %ymm3, %ymm3
 849 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 850 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm4 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 851 ; AVX512F-NEXT:    vpand %ymm4, %ymm3, %ymm3
 852 ; AVX512F-NEXT:    vpsrlw $1, %ymm1, %ymm1
 853 ; AVX512F-NEXT:    vpand %ymm4, %ymm1, %ymm1
 854 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm1[8],ymm0[8],ymm1[9],ymm0[9],ymm1[10],ymm0[10],ymm1[11],ymm0[11],ymm1[12],ymm0[12],ymm1[13],ymm0[13],ymm1[14],ymm0[14],ymm1[15],ymm0[15],ymm1[24],ymm0[24],ymm1[25],ymm0[25],ymm1[26],ymm0[26],ymm1[27],ymm0[27],ymm1[28],ymm0[28],ymm1[29],ymm0[29],ymm1[30],ymm0[30],ymm1[31],ymm0[31]
 855 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm6[8],ymm0[8],ymm6[9],ymm0[9],ymm6[10],ymm0[10],ymm6[11],ymm0[11],ymm6[12],ymm0[12],ymm6[13],ymm0[13],ymm6[14],ymm0[14],ymm6[15],ymm0[15],ymm6[24],ymm0[24],ymm6[25],ymm0[25],ymm6[26],ymm0[26],ymm6[27],ymm0[27],ymm6[28],ymm0[28],ymm6[29],ymm0[29],ymm6[30],ymm0[30],ymm6[31],ymm0[31]
 856 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm4, %ymm4
 857 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 858 ; AVX512F-NEXT:    vpand %ymm7, %ymm4, %ymm4
 859 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm0[0],ymm1[1],ymm0[1],ymm1[2],ymm0[2],ymm1[3],ymm0[3],ymm1[4],ymm0[4],ymm1[5],ymm0[5],ymm1[6],ymm0[6],ymm1[7],ymm0[7],ymm1[16],ymm0[16],ymm1[17],ymm0[17],ymm1[18],ymm0[18],ymm1[19],ymm0[19],ymm1[20],ymm0[20],ymm1[21],ymm0[21],ymm1[22],ymm0[22],ymm1[23],ymm0[23]
 860 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm6 = ymm6[0],ymm0[0],ymm6[1],ymm0[1],ymm6[2],ymm0[2],ymm6[3],ymm0[3],ymm6[4],ymm0[4],ymm6[5],ymm0[5],ymm6[6],ymm0[6],ymm6[7],ymm0[7],ymm6[16],ymm0[16],ymm6[17],ymm0[17],ymm6[18],ymm0[18],ymm6[19],ymm0[19],ymm6[20],ymm0[20],ymm6[21],ymm0[21],ymm6[22],ymm0[22],ymm6[23],ymm0[23]
 861 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm1, %ymm1
 862 ; AVX512F-NEXT:    vpand %ymm7, %ymm1, %ymm1
 863 ; AVX512F-NEXT:    vpackuswb %ymm4, %ymm1, %ymm1
 864 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 865 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 866 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm4, %ymm4
 867 ; AVX512F-NEXT:    vpand %ymm7, %ymm4, %ymm4
 868 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 869 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 870 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 871 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
 872 ; AVX512F-NEXT:    vpackuswb %ymm4, %ymm3, %ymm3
 873 ; AVX512F-NEXT:    vpaddb %ymm2, %ymm3, %ymm2
 874 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm1, %ymm0
 875 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 876 ; AVX512F-NEXT:    retq
 877 ;
 878 ; AVX512VL-FALLBACK-LABEL: vec512_i8_unsigned_reg_reg:
 879 ; AVX512VL-FALLBACK:       # %bb.0:
 880 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm1, %ymm3
 881 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm2
 882 ; AVX512VL-FALLBACK-NEXT:    vpminub %ymm3, %ymm2, %ymm4
 883 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqb %ymm4, %ymm2, %ymm5
 884 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm5, %ymm5, %ymm5
 885 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 886 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm5, %ymm5
 887 ; AVX512VL-FALLBACK-NEXT:    vpminub %ymm1, %ymm0, %ymm7
 888 ; AVX512VL-FALLBACK-NEXT:    vpcmpeqb %ymm7, %ymm0, %ymm8
 889 ; AVX512VL-FALLBACK-NEXT:    vpternlogq $15, %ymm8, %ymm8, %ymm8
 890 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm6, %ymm8, %ymm6
 891 ; AVX512VL-FALLBACK-NEXT:    vpmaxub %ymm3, %ymm2, %ymm3
 892 ; AVX512VL-FALLBACK-NEXT:    vpmaxub %ymm1, %ymm0, %ymm1
 893 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm1, %ymm1
 894 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm4, %ymm3, %ymm3
 895 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
 896 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm4 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 897 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm4, %ymm3, %ymm3
 898 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm1, %ymm1
 899 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm4, %ymm1, %ymm1
 900 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm1[8],ymm0[8],ymm1[9],ymm0[9],ymm1[10],ymm0[10],ymm1[11],ymm0[11],ymm1[12],ymm0[12],ymm1[13],ymm0[13],ymm1[14],ymm0[14],ymm1[15],ymm0[15],ymm1[24],ymm0[24],ymm1[25],ymm0[25],ymm1[26],ymm0[26],ymm1[27],ymm0[27],ymm1[28],ymm0[28],ymm1[29],ymm0[29],ymm1[30],ymm0[30],ymm1[31],ymm0[31]
 901 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm6[8],ymm0[8],ymm6[9],ymm0[9],ymm6[10],ymm0[10],ymm6[11],ymm0[11],ymm6[12],ymm0[12],ymm6[13],ymm0[13],ymm6[14],ymm0[14],ymm6[15],ymm0[15],ymm6[24],ymm0[24],ymm6[25],ymm0[25],ymm6[26],ymm0[26],ymm6[27],ymm0[27],ymm6[28],ymm0[28],ymm6[29],ymm0[29],ymm6[30],ymm0[30],ymm6[31],ymm0[31]
 902 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm4, %ymm4
 903 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 904 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm4, %ymm4
 905 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm1[0],ymm0[0],ymm1[1],ymm0[1],ymm1[2],ymm0[2],ymm1[3],ymm0[3],ymm1[4],ymm0[4],ymm1[5],ymm0[5],ymm1[6],ymm0[6],ymm1[7],ymm0[7],ymm1[16],ymm0[16],ymm1[17],ymm0[17],ymm1[18],ymm0[18],ymm1[19],ymm0[19],ymm1[20],ymm0[20],ymm1[21],ymm0[21],ymm1[22],ymm0[22],ymm1[23],ymm0[23]
 906 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm6 = ymm6[0],ymm0[0],ymm6[1],ymm0[1],ymm6[2],ymm0[2],ymm6[3],ymm0[3],ymm6[4],ymm0[4],ymm6[5],ymm0[5],ymm6[6],ymm0[6],ymm6[7],ymm0[7],ymm6[16],ymm0[16],ymm6[17],ymm0[17],ymm6[18],ymm0[18],ymm6[19],ymm0[19],ymm6[20],ymm0[20],ymm6[21],ymm0[21],ymm6[22],ymm0[22],ymm6[23],ymm0[23]
 907 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm1, %ymm1
 908 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm1, %ymm1
 909 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm4, %ymm1, %ymm1
 910 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm4 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 911 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 912 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm4, %ymm4
 913 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm4, %ymm4
 914 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 915 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 916 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm3, %ymm3
 917 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
 918 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm4, %ymm3, %ymm3
 919 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm2, %ymm3, %ymm2
 920 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm1, %ymm0
 921 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
 922 ; AVX512VL-FALLBACK-NEXT:    retq
 923 ;
 924 ; AVX512BW-LABEL: vec512_i8_unsigned_reg_reg:
 925 ; AVX512BW:       # %bb.0:
 926 ; AVX512BW-NEXT:    vpcmpnleub %zmm1, %zmm0, %k1
 927 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
 928 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 929 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
 930 ; AVX512BW-NEXT:    vpminub %zmm1, %zmm0, %zmm2
 931 ; AVX512BW-NEXT:    vpmaxub %zmm1, %zmm0, %zmm1
 932 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
 933 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
 934 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
 935 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
 936 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
 937 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
 938 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 939 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
 940 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
 941 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
 942 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
 943 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
 944 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
 945 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
 946 ; AVX512BW-NEXT:    retq
 947   %t3 = icmp ugt <64 x i8> %a1, %a2
 948   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 949   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
 950   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
 951   %t7 = sub <64 x i8> %t6, %t5
 952   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 953   %t9 = mul <64 x i8> %t8, %t4
 954   %a10 = add <64 x i8> %t9, %a1
 955   ret <64 x i8> %a10
 956 }
 957
 958 ; Values are loaded. Only check signed case.
 959
 960 define <64 x i8> @vec512_i8_signed_mem_reg(<64 x i8>* %a1_addr, <64 x i8> %a2) nounwind {
 961 ; AVX512F-LABEL: vec512_i8_signed_mem_reg:
 962 ; AVX512F:       # %bb.0:
 963 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm3
 964 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm1
 965 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm2
 966 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm2, %ymm4
 967 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
 968 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
 969 ; AVX512F-NEXT:    vpcmpgtb %ymm0, %ymm1, %ymm6
 970 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
 971 ; AVX512F-NEXT:    vpminsb %ymm3, %ymm2, %ymm6
 972 ; AVX512F-NEXT:    vpminsb %ymm0, %ymm1, %ymm7
 973 ; AVX512F-NEXT:    vpmaxsb %ymm3, %ymm2, %ymm3
 974 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
 975 ; AVX512F-NEXT:    vpmaxsb %ymm0, %ymm1, %ymm0
 976 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm0, %ymm0
 977 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
 978 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
 979 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
 980 ; AVX512F-NEXT:    vpsrlw $1, %ymm0, %ymm0
 981 ; AVX512F-NEXT:    vpand %ymm6, %ymm0, %ymm0
 982 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
 983 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
 984 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
 985 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
 986 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
 987 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
 988 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
 989 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm0, %ymm0
 990 ; AVX512F-NEXT:    vpand %ymm7, %ymm0, %ymm0
 991 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm0, %ymm0
 992 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
 993 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
 994 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
 995 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
 996 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
 997 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
 998 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
 999 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
1000 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
1001 ; AVX512F-NEXT:    vpaddb %ymm2, %ymm3, %ymm2
1002 ; AVX512F-NEXT:    vpaddb %ymm1, %ymm0, %ymm0
1003 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
1004 ; AVX512F-NEXT:    retq
1005 ;
1006 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_mem_reg:
1007 ; AVX512VL-FALLBACK:       # %bb.0:
1008 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm3
1009 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm1
1010 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm2
1011 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm3, %ymm2, %ymm4
1012 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1013 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
1014 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm0, %ymm1, %ymm6
1015 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
1016 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm3, %ymm2, %ymm6
1017 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm0, %ymm1, %ymm7
1018 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm3, %ymm2, %ymm3
1019 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
1020 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm0, %ymm1, %ymm0
1021 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm0, %ymm0
1022 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
1023 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1024 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm3, %ymm3
1025 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm0, %ymm0
1026 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm0, %ymm0
1027 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
1028 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1029 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1030 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1031 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
1032 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
1033 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1034 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm0, %ymm0
1035 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm0, %ymm0
1036 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm0, %ymm0
1037 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1038 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1039 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1040 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
1041 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1042 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1043 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
1044 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
1045 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
1046 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm2, %ymm3, %ymm2
1047 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm1, %ymm0, %ymm0
1048 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm2, %zmm0, %zmm0
1049 ; AVX512VL-FALLBACK-NEXT:    retq
1050 ;
1051 ; AVX512BW-LABEL: vec512_i8_signed_mem_reg:
1052 ; AVX512BW:       # %bb.0:
1053 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
1054 ; AVX512BW-NEXT:    vpcmpgtb %zmm0, %zmm1, %k1
1055 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
1056 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1057 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
1058 ; AVX512BW-NEXT:    vpminsb %zmm0, %zmm1, %zmm2
1059 ; AVX512BW-NEXT:    vpmaxsb %zmm0, %zmm1, %zmm0
1060 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm0, %zmm0
1061 ; AVX512BW-NEXT:    vpsrlw $1, %zmm0, %zmm0
1062 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm0, %zmm0
1063 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31,40,40,41,41,42,42,43,43,44,44,45,45,46,46,47,47,56,56,57,57,58,58,59,59,60,60,61,61,62,62,63,63]
1064 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
1065 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
1066 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1067 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
1068 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm0 = zmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23,32,32,33,33,34,34,35,35,36,36,37,37,38,38,39,39,48,48,49,49,50,50,51,51,52,52,53,53,54,54,55,55]
1069 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
1070 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm0, %zmm0
1071 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm0, %zmm0
1072 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm0, %zmm0
1073 ; AVX512BW-NEXT:    vpaddb %zmm1, %zmm0, %zmm0
1074 ; AVX512BW-NEXT:    retq
1075   %a1 = load <64 x i8>, <64 x i8>* %a1_addr
1076   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
1077   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1078   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
1079   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
1080   %t7 = sub <64 x i8> %t6, %t5
1081   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1082   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
1083   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
1084   ret <64 x i8> %a10
1085 }
1086
1087 define <64 x i8> @vec512_i8_signed_reg_mem(<64 x i8> %a1, <64 x i8>* %a2_addr) nounwind {
1088 ; AVX512F-LABEL: vec512_i8_signed_reg_mem:
1089 ; AVX512F:       # %bb.0:
1090 ; AVX512F-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1091 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm2
1092 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm3
1093 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm4
1094 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1095 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
1096 ; AVX512F-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm6
1097 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
1098 ; AVX512F-NEXT:    vpminsb %ymm3, %ymm1, %ymm6
1099 ; AVX512F-NEXT:    vpminsb %ymm2, %ymm0, %ymm7
1100 ; AVX512F-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1101 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
1102 ; AVX512F-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1103 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm2, %ymm2
1104 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
1105 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1106 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
1107 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
1108 ; AVX512F-NEXT:    vpand %ymm6, %ymm2, %ymm2
1109 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1110 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1111 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1112 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1113 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
1114 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1115 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1116 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
1117 ; AVX512F-NEXT:    vpand %ymm7, %ymm2, %ymm2
1118 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm2, %ymm2
1119 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1120 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1121 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1122 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
1123 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1124 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1125 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
1126 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
1127 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
1128 ; AVX512F-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1129 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1130 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
1131 ; AVX512F-NEXT:    retq
1132 ;
1133 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_reg_mem:
1134 ; AVX512VL-FALLBACK:       # %bb.0:
1135 ; AVX512VL-FALLBACK-NEXT:    vextracti64x4 $1, %zmm0, %ymm1
1136 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm2
1137 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm3
1138 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm4
1139 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1140 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
1141 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm6
1142 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
1143 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm3, %ymm1, %ymm6
1144 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm2, %ymm0, %ymm7
1145 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1146 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
1147 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1148 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm2, %ymm2
1149 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
1150 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1151 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm3, %ymm3
1152 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
1153 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm2, %ymm2
1154 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1155 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1156 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1157 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1158 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
1159 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1160 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1161 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
1162 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm2, %ymm2
1163 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm2, %ymm2
1164 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1165 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1166 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1167 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
1168 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1169 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1170 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
1171 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
1172 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
1173 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1174 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1175 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
1176 ; AVX512VL-FALLBACK-NEXT:    retq
1177 ;
1178 ; AVX512BW-LABEL: vec512_i8_signed_reg_mem:
1179 ; AVX512BW:       # %bb.0:
1180 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm1
1181 ; AVX512BW-NEXT:    vpcmpgtb %zmm1, %zmm0, %k1
1182 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
1183 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1184 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
1185 ; AVX512BW-NEXT:    vpminsb %zmm1, %zmm0, %zmm2
1186 ; AVX512BW-NEXT:    vpmaxsb %zmm1, %zmm0, %zmm1
1187 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
1188 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
1189 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
1190 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
1191 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
1192 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
1193 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1194 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
1195 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
1196 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
1197 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
1198 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
1199 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
1200 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
1201 ; AVX512BW-NEXT:    retq
1202   %a2 = load <64 x i8>, <64 x i8>* %a2_addr
1203   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
1204   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1205   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
1206   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
1207   %t7 = sub <64 x i8> %t6, %t5
1208   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1209   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
1210   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
1211   ret <64 x i8> %a10
1212 }
1213
1214 define <64 x i8> @vec512_i8_signed_mem_mem(<64 x i8>* %a1_addr, <64 x i8>* %a2_addr) nounwind {
1215 ; AVX512F-LABEL: vec512_i8_signed_mem_mem:
1216 ; AVX512F:       # %bb.0:
1217 ; AVX512F-NEXT:    vmovdqa (%rdi), %ymm0
1218 ; AVX512F-NEXT:    vmovdqa 32(%rdi), %ymm1
1219 ; AVX512F-NEXT:    vmovdqa (%rsi), %ymm2
1220 ; AVX512F-NEXT:    vmovdqa 32(%rsi), %ymm3
1221 ; AVX512F-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm4
1222 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1223 ; AVX512F-NEXT:    vpor %ymm5, %ymm4, %ymm4
1224 ; AVX512F-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm6
1225 ; AVX512F-NEXT:    vpor %ymm5, %ymm6, %ymm5
1226 ; AVX512F-NEXT:    vpminsb %ymm3, %ymm1, %ymm6
1227 ; AVX512F-NEXT:    vpminsb %ymm2, %ymm0, %ymm7
1228 ; AVX512F-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1229 ; AVX512F-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
1230 ; AVX512F-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1231 ; AVX512F-NEXT:    vpsubb %ymm7, %ymm2, %ymm2
1232 ; AVX512F-NEXT:    vpsrlw $1, %ymm3, %ymm3
1233 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1234 ; AVX512F-NEXT:    vpand %ymm6, %ymm3, %ymm3
1235 ; AVX512F-NEXT:    vpsrlw $1, %ymm2, %ymm2
1236 ; AVX512F-NEXT:    vpand %ymm6, %ymm2, %ymm2
1237 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1238 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1239 ; AVX512F-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1240 ; AVX512F-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1241 ; AVX512F-NEXT:    vpand %ymm7, %ymm6, %ymm6
1242 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1243 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1244 ; AVX512F-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
1245 ; AVX512F-NEXT:    vpand %ymm7, %ymm2, %ymm2
1246 ; AVX512F-NEXT:    vpackuswb %ymm6, %ymm2, %ymm2
1247 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1248 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1249 ; AVX512F-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1250 ; AVX512F-NEXT:    vpand %ymm7, %ymm5, %ymm5
1251 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1252 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1253 ; AVX512F-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
1254 ; AVX512F-NEXT:    vpand %ymm7, %ymm3, %ymm3
1255 ; AVX512F-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
1256 ; AVX512F-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1257 ; AVX512F-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1258 ; AVX512F-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
1259 ; AVX512F-NEXT:    retq
1260 ;
1261 ; AVX512VL-FALLBACK-LABEL: vec512_i8_signed_mem_mem:
1262 ; AVX512VL-FALLBACK:       # %bb.0:
1263 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rdi), %ymm0
1264 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rdi), %ymm1
1265 ; AVX512VL-FALLBACK-NEXT:    vmovdqa (%rsi), %ymm2
1266 ; AVX512VL-FALLBACK-NEXT:    vmovdqa 32(%rsi), %ymm3
1267 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm3, %ymm1, %ymm4
1268 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1269 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm4, %ymm4
1270 ; AVX512VL-FALLBACK-NEXT:    vpcmpgtb %ymm2, %ymm0, %ymm6
1271 ; AVX512VL-FALLBACK-NEXT:    vpor %ymm5, %ymm6, %ymm5
1272 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm3, %ymm1, %ymm6
1273 ; AVX512VL-FALLBACK-NEXT:    vpminsb %ymm2, %ymm0, %ymm7
1274 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm3, %ymm1, %ymm3
1275 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm6, %ymm3, %ymm3
1276 ; AVX512VL-FALLBACK-NEXT:    vpmaxsb %ymm2, %ymm0, %ymm2
1277 ; AVX512VL-FALLBACK-NEXT:    vpsubb %ymm7, %ymm2, %ymm2
1278 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm3, %ymm3
1279 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
1280 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm3, %ymm3
1281 ; AVX512VL-FALLBACK-NEXT:    vpsrlw $1, %ymm2, %ymm2
1282 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm6, %ymm2, %ymm2
1283 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15],ymm2[24],ymm0[24],ymm2[25],ymm0[25],ymm2[26],ymm0[26],ymm2[27],ymm0[27],ymm2[28],ymm0[28],ymm2[29],ymm0[29],ymm2[30],ymm0[30],ymm2[31],ymm0[31]
1284 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm7 = ymm5[8],ymm0[8],ymm5[9],ymm0[9],ymm5[10],ymm0[10],ymm5[11],ymm0[11],ymm5[12],ymm0[12],ymm5[13],ymm0[13],ymm5[14],ymm0[14],ymm5[15],ymm0[15],ymm5[24],ymm0[24],ymm5[25],ymm0[25],ymm5[26],ymm0[26],ymm5[27],ymm0[27],ymm5[28],ymm0[28],ymm5[29],ymm0[29],ymm5[30],ymm0[30],ymm5[31],ymm0[31]
1285 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm7, %ymm6, %ymm6
1286 ; AVX512VL-FALLBACK-NEXT:    vmovdqa {{.*#+}} ymm7 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1287 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm6, %ymm6
1288 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm2 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[16],ymm0[16],ymm2[17],ymm0[17],ymm2[18],ymm0[18],ymm2[19],ymm0[19],ymm2[20],ymm0[20],ymm2[21],ymm0[21],ymm2[22],ymm0[22],ymm2[23],ymm0[23]
1289 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm5 = ymm5[0],ymm0[0],ymm5[1],ymm0[1],ymm5[2],ymm0[2],ymm5[3],ymm0[3],ymm5[4],ymm0[4],ymm5[5],ymm0[5],ymm5[6],ymm0[6],ymm5[7],ymm0[7],ymm5[16],ymm0[16],ymm5[17],ymm0[17],ymm5[18],ymm0[18],ymm5[19],ymm0[19],ymm5[20],ymm0[20],ymm5[21],ymm0[21],ymm5[22],ymm0[22],ymm5[23],ymm0[23]
1290 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm5, %ymm2, %ymm2
1291 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm2, %ymm2
1292 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm6, %ymm2, %ymm2
1293 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm5 = ymm3[8],ymm0[8],ymm3[9],ymm0[9],ymm3[10],ymm0[10],ymm3[11],ymm0[11],ymm3[12],ymm0[12],ymm3[13],ymm0[13],ymm3[14],ymm0[14],ymm3[15],ymm0[15],ymm3[24],ymm0[24],ymm3[25],ymm0[25],ymm3[26],ymm0[26],ymm3[27],ymm0[27],ymm3[28],ymm0[28],ymm3[29],ymm0[29],ymm3[30],ymm0[30],ymm3[31],ymm0[31]
1294 ; AVX512VL-FALLBACK-NEXT:    vpunpckhbw {{.*#+}} ymm6 = ymm4[8],ymm0[8],ymm4[9],ymm0[9],ymm4[10],ymm0[10],ymm4[11],ymm0[11],ymm4[12],ymm0[12],ymm4[13],ymm0[13],ymm4[14],ymm0[14],ymm4[15],ymm0[15],ymm4[24],ymm0[24],ymm4[25],ymm0[25],ymm4[26],ymm0[26],ymm4[27],ymm0[27],ymm4[28],ymm0[28],ymm4[29],ymm0[29],ymm4[30],ymm0[30],ymm4[31],ymm0[31]
1295 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm6, %ymm5, %ymm5
1296 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm5, %ymm5
1297 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm3 = ymm3[0],ymm0[0],ymm3[1],ymm0[1],ymm3[2],ymm0[2],ymm3[3],ymm0[3],ymm3[4],ymm0[4],ymm3[5],ymm0[5],ymm3[6],ymm0[6],ymm3[7],ymm0[7],ymm3[16],ymm0[16],ymm3[17],ymm0[17],ymm3[18],ymm0[18],ymm3[19],ymm0[19],ymm3[20],ymm0[20],ymm3[21],ymm0[21],ymm3[22],ymm0[22],ymm3[23],ymm0[23]
1298 ; AVX512VL-FALLBACK-NEXT:    vpunpcklbw {{.*#+}} ymm4 = ymm4[0],ymm0[0],ymm4[1],ymm0[1],ymm4[2],ymm0[2],ymm4[3],ymm0[3],ymm4[4],ymm0[4],ymm4[5],ymm0[5],ymm4[6],ymm0[6],ymm4[7],ymm0[7],ymm4[16],ymm0[16],ymm4[17],ymm0[17],ymm4[18],ymm0[18],ymm4[19],ymm0[19],ymm4[20],ymm0[20],ymm4[21],ymm0[21],ymm4[22],ymm0[22],ymm4[23],ymm0[23]
1299 ; AVX512VL-FALLBACK-NEXT:    vpmullw %ymm4, %ymm3, %ymm3
1300 ; AVX512VL-FALLBACK-NEXT:    vpand %ymm7, %ymm3, %ymm3
1301 ; AVX512VL-FALLBACK-NEXT:    vpackuswb %ymm5, %ymm3, %ymm3
1302 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm1, %ymm3, %ymm1
1303 ; AVX512VL-FALLBACK-NEXT:    vpaddb %ymm0, %ymm2, %ymm0
1304 ; AVX512VL-FALLBACK-NEXT:    vinserti64x4 $1, %ymm1, %zmm0, %zmm0
1305 ; AVX512VL-FALLBACK-NEXT:    retq
1306 ;
1307 ; AVX512BW-LABEL: vec512_i8_signed_mem_mem:
1308 ; AVX512BW:       # %bb.0:
1309 ; AVX512BW-NEXT:    vmovdqa64 (%rdi), %zmm0
1310 ; AVX512BW-NEXT:    vmovdqa64 (%rsi), %zmm1
1311 ; AVX512BW-NEXT:    vpcmpgtb %zmm1, %zmm0, %k1
1312 ; AVX512BW-NEXT:    vpternlogd $255, %zmm2, %zmm2, %zmm2
1313 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm3 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
1314 ; AVX512BW-NEXT:    vmovdqu8 %zmm2, %zmm3 {%k1}
1315 ; AVX512BW-NEXT:    vpminsb %zmm1, %zmm0, %zmm2
1316 ; AVX512BW-NEXT:    vpmaxsb %zmm1, %zmm0, %zmm1
1317 ; AVX512BW-NEXT:    vpsubb %zmm2, %zmm1, %zmm1
1318 ; AVX512BW-NEXT:    vpsrlw $1, %zmm1, %zmm1
1319 ; AVX512BW-NEXT:    vpandq {{.*}}(%rip), %zmm1, %zmm1
1320 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm2 = zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[10],zmm0[10],zmm1[11],zmm0[11],zmm1[12],zmm0[12],zmm1[13],zmm0[13],zmm1[14],zmm0[14],zmm1[15],zmm0[15],zmm1[24],zmm0[24],zmm1[25],zmm0[25],zmm1[26],zmm0[26],zmm1[27],zmm0[27],zmm1[28],zmm0[28],zmm1[29],zmm0[29],zmm1[30],zmm0[30],zmm1[31],zmm0[31],zmm1[40],zmm0[40],zmm1[41],zmm0[41],zmm1[42],zmm0[42],zmm1[43],zmm0[43],zmm1[44],zmm0[44],zmm1[45],zmm0[45],zmm1[46],zmm0[46],zmm1[47],zmm0[47],zmm1[56],zmm0[56],zmm1[57],zmm0[57],zmm1[58],zmm0[58],zmm1[59],zmm0[59],zmm1[60],zmm0[60],zmm1[61],zmm0[61],zmm1[62],zmm0[62],zmm1[63],zmm0[63]
1321 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} zmm4 = zmm3[8],zmm0[8],zmm3[9],zmm0[9],zmm3[10],zmm0[10],zmm3[11],zmm0[11],zmm3[12],zmm0[12],zmm3[13],zmm0[13],zmm3[14],zmm0[14],zmm3[15],zmm0[15],zmm3[24],zmm0[24],zmm3[25],zmm0[25],zmm3[26],zmm0[26],zmm3[27],zmm0[27],zmm3[28],zmm0[28],zmm3[29],zmm0[29],zmm3[30],zmm0[30],zmm3[31],zmm0[31],zmm3[40],zmm0[40],zmm3[41],zmm0[41],zmm3[42],zmm0[42],zmm3[43],zmm0[43],zmm3[44],zmm0[44],zmm3[45],zmm0[45],zmm3[46],zmm0[46],zmm3[47],zmm0[47],zmm3[56],zmm0[56],zmm3[57],zmm0[57],zmm3[58],zmm0[58],zmm3[59],zmm0[59],zmm3[60],zmm0[60],zmm3[61],zmm0[61],zmm3[62],zmm0[62],zmm3[63],zmm0[63]
1322 ; AVX512BW-NEXT:    vpmullw %zmm4, %zmm2, %zmm2
1323 ; AVX512BW-NEXT:    vmovdqa64 {{.*#+}} zmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
1324 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm2, %zmm2
1325 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm1 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[2],zmm0[2],zmm1[3],zmm0[3],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[6],zmm0[6],zmm1[7],zmm0[7],zmm1[16],zmm0[16],zmm1[17],zmm0[17],zmm1[18],zmm0[18],zmm1[19],zmm0[19],zmm1[20],zmm0[20],zmm1[21],zmm0[21],zmm1[22],zmm0[22],zmm1[23],zmm0[23],zmm1[32],zmm0[32],zmm1[33],zmm0[33],zmm1[34],zmm0[34],zmm1[35],zmm0[35],zmm1[36],zmm0[36],zmm1[37],zmm0[37],zmm1[38],zmm0[38],zmm1[39],zmm0[39],zmm1[48],zmm0[48],zmm1[49],zmm0[49],zmm1[50],zmm0[50],zmm1[51],zmm0[51],zmm1[52],zmm0[52],zmm1[53],zmm0[53],zmm1[54],zmm0[54],zmm1[55],zmm0[55]
1326 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} zmm3 = zmm3[0],zmm0[0],zmm3[1],zmm0[1],zmm3[2],zmm0[2],zmm3[3],zmm0[3],zmm3[4],zmm0[4],zmm3[5],zmm0[5],zmm3[6],zmm0[6],zmm3[7],zmm0[7],zmm3[16],zmm0[16],zmm3[17],zmm0[17],zmm3[18],zmm0[18],zmm3[19],zmm0[19],zmm3[20],zmm0[20],zmm3[21],zmm0[21],zmm3[22],zmm0[22],zmm3[23],zmm0[23],zmm3[32],zmm0[32],zmm3[33],zmm0[33],zmm3[34],zmm0[34],zmm3[35],zmm0[35],zmm3[36],zmm0[36],zmm3[37],zmm0[37],zmm3[38],zmm0[38],zmm3[39],zmm0[39],zmm3[48],zmm0[48],zmm3[49],zmm0[49],zmm3[50],zmm0[50],zmm3[51],zmm0[51],zmm3[52],zmm0[52],zmm3[53],zmm0[53],zmm3[54],zmm0[54],zmm3[55],zmm0[55]
1327 ; AVX512BW-NEXT:    vpmullw %zmm3, %zmm1, %zmm1
1328 ; AVX512BW-NEXT:    vpandq %zmm4, %zmm1, %zmm1
1329 ; AVX512BW-NEXT:    vpackuswb %zmm2, %zmm1, %zmm1
1330 ; AVX512BW-NEXT:    vpaddb %zmm0, %zmm1, %zmm0
1331 ; AVX512BW-NEXT:    retq
1332   %a1 = load <64 x i8>, <64 x i8>* %a1_addr
1333   %a2 = load <64 x i8>, <64 x i8>* %a2_addr
1334   %t3 = icmp sgt <64 x i8> %a1, %a2 ; signed
1335   %t4 = select <64 x i1> %t3, <64 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <64 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1336   %t5 = select <64 x i1> %t3, <64 x i8> %a2, <64 x i8> %a1
1337   %t6 = select <64 x i1> %t3, <64 x i8> %a1, <64 x i8> %a2
1338   %t7 = sub <64 x i8> %t6, %t5
1339   %t8 = lshr <64 x i8> %t7, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
1340   %t9 = mul nsw <64 x i8> %t8, %t4 ; signed
1341   %a10 = add nsw <64 x i8> %t9, %a1 ; signed
1342   ret <64 x i8> %a10
1343 }