test/CodeGen/X86/sadd_sat_vec.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefixes=SSE,SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+ssse3 | FileCheck %s --check-prefixes=SSE,SSSE3
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=SSE,SSE41
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=AVX,AVX1
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=AVX,AVX2
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+avx512vl,+fast-variable-shuffle | FileCheck %s --check-prefixes=AVX,AVX512
   8
   9 declare <1 x i8> @llvm.sadd.sat.v1i8(<1 x i8>, <1 x i8>)
  10 declare <2 x i8> @llvm.sadd.sat.v2i8(<2 x i8>, <2 x i8>)
  11 declare <4 x i8> @llvm.sadd.sat.v4i8(<4 x i8>, <4 x i8>)
  12 declare <8 x i8> @llvm.sadd.sat.v8i8(<8 x i8>, <8 x i8>)
  13 declare <12 x i8> @llvm.sadd.sat.v12i8(<12 x i8>, <12 x i8>)
  14 declare <16 x i8> @llvm.sadd.sat.v16i8(<16 x i8>, <16 x i8>)
  15 declare <32 x i8> @llvm.sadd.sat.v32i8(<32 x i8>, <32 x i8>)
  16 declare <64 x i8> @llvm.sadd.sat.v64i8(<64 x i8>, <64 x i8>)
  17
  18 declare <1 x i16> @llvm.sadd.sat.v1i16(<1 x i16>, <1 x i16>)
  19 declare <2 x i16> @llvm.sadd.sat.v2i16(<2 x i16>, <2 x i16>)
  20 declare <4 x i16> @llvm.sadd.sat.v4i16(<4 x i16>, <4 x i16>)
  21 declare <8 x i16> @llvm.sadd.sat.v8i16(<8 x i16>, <8 x i16>)
  22 declare <12 x i16> @llvm.sadd.sat.v12i16(<12 x i16>, <12 x i16>)
  23 declare <16 x i16> @llvm.sadd.sat.v16i16(<16 x i16>, <16 x i16>)
  24 declare <32 x i16> @llvm.sadd.sat.v32i16(<32 x i16>, <32 x i16>)
  25
  26 declare <16 x i1> @llvm.sadd.sat.v16i1(<16 x i1>, <16 x i1>)
  27 declare <16 x i4> @llvm.sadd.sat.v16i4(<16 x i4>, <16 x i4>)
  28
  29 declare <4 x i32> @llvm.sadd.sat.v4i32(<4 x i32>, <4 x i32>)
  30 declare <2 x i32> @llvm.sadd.sat.v2i32(<2 x i32>, <2 x i32>)
  31 declare <4 x i24> @llvm.sadd.sat.v4i24(<4 x i24>, <4 x i24>)
  32 declare <2 x i128> @llvm.sadd.sat.v2i128(<2 x i128>, <2 x i128>)
  33
  34 ; Legal types, depending on architecture.
  35
  36 define <16 x i8> @v16i8(<16 x i8> %x, <16 x i8> %y) nounwind {
  37 ; SSE-LABEL: v16i8:
  38 ; SSE:       # %bb.0:
  39 ; SSE-NEXT:    paddsb %xmm1, %xmm0
  40 ; SSE-NEXT:    retq
  41 ;
  42 ; AVX-LABEL: v16i8:
  43 ; AVX:       # %bb.0:
  44 ; AVX-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
  45 ; AVX-NEXT:    retq
  46   %z = call <16 x i8> @llvm.sadd.sat.v16i8(<16 x i8> %x, <16 x i8> %y)
  47   ret <16 x i8> %z
  48 }
  49
  50 define <32 x i8> @v32i8(<32 x i8> %x, <32 x i8> %y) nounwind {
  51 ; SSE-LABEL: v32i8:
  52 ; SSE:       # %bb.0:
  53 ; SSE-NEXT:    paddsb %xmm2, %xmm0
  54 ; SSE-NEXT:    paddsb %xmm3, %xmm1
  55 ; SSE-NEXT:    retq
  56 ;
  57 ; AVX1-LABEL: v32i8:
  58 ; AVX1:       # %bb.0:
  59 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
  60 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
  61 ; AVX1-NEXT:    vpaddsb %xmm2, %xmm3, %xmm2
  62 ; AVX1-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
  63 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
  64 ; AVX1-NEXT:    retq
  65 ;
  66 ; AVX2-LABEL: v32i8:
  67 ; AVX2:       # %bb.0:
  68 ; AVX2-NEXT:    vpaddsb %ymm1, %ymm0, %ymm0
  69 ; AVX2-NEXT:    retq
  70 ;
  71 ; AVX512-LABEL: v32i8:
  72 ; AVX512:       # %bb.0:
  73 ; AVX512-NEXT:    vpaddsb %ymm1, %ymm0, %ymm0
  74 ; AVX512-NEXT:    retq
  75   %z = call <32 x i8> @llvm.sadd.sat.v32i8(<32 x i8> %x, <32 x i8> %y)
  76   ret <32 x i8> %z
  77 }
  78
  79 define <64 x i8> @v64i8(<64 x i8> %x, <64 x i8> %y) nounwind {
  80 ; SSE-LABEL: v64i8:
  81 ; SSE:       # %bb.0:
  82 ; SSE-NEXT:    paddsb %xmm4, %xmm0
  83 ; SSE-NEXT:    paddsb %xmm5, %xmm1
  84 ; SSE-NEXT:    paddsb %xmm6, %xmm2
  85 ; SSE-NEXT:    paddsb %xmm7, %xmm3
  86 ; SSE-NEXT:    retq
  87 ;
  88 ; AVX1-LABEL: v64i8:
  89 ; AVX1:       # %bb.0:
  90 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm4
  91 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
  92 ; AVX1-NEXT:    vpaddsb %xmm4, %xmm5, %xmm4
  93 ; AVX1-NEXT:    vpaddsb %xmm2, %xmm0, %xmm0
  94 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm0, %ymm0
  95 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm2
  96 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
  97 ; AVX1-NEXT:    vpaddsb %xmm2, %xmm4, %xmm2
  98 ; AVX1-NEXT:    vpaddsb %xmm3, %xmm1, %xmm1
  99 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
 100 ; AVX1-NEXT:    retq
 101 ;
 102 ; AVX2-LABEL: v64i8:
 103 ; AVX2:       # %bb.0:
 104 ; AVX2-NEXT:    vpaddsb %ymm2, %ymm0, %ymm0
 105 ; AVX2-NEXT:    vpaddsb %ymm3, %ymm1, %ymm1
 106 ; AVX2-NEXT:    retq
 107 ;
 108 ; AVX512-LABEL: v64i8:
 109 ; AVX512:       # %bb.0:
 110 ; AVX512-NEXT:    vpaddsb %zmm1, %zmm0, %zmm0
 111 ; AVX512-NEXT:    retq
 112   %z = call <64 x i8> @llvm.sadd.sat.v64i8(<64 x i8> %x, <64 x i8> %y)
 113   ret <64 x i8> %z
 114 }
 115
 116 define <8 x i16> @v8i16(<8 x i16> %x, <8 x i16> %y) nounwind {
 117 ; SSE-LABEL: v8i16:
 118 ; SSE:       # %bb.0:
 119 ; SSE-NEXT:    paddsw %xmm1, %xmm0
 120 ; SSE-NEXT:    retq
 121 ;
 122 ; AVX-LABEL: v8i16:
 123 ; AVX:       # %bb.0:
 124 ; AVX-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 125 ; AVX-NEXT:    retq
 126   %z = call <8 x i16> @llvm.sadd.sat.v8i16(<8 x i16> %x, <8 x i16> %y)
 127   ret <8 x i16> %z
 128 }
 129
 130 define <16 x i16> @v16i16(<16 x i16> %x, <16 x i16> %y) nounwind {
 131 ; SSE-LABEL: v16i16:
 132 ; SSE:       # %bb.0:
 133 ; SSE-NEXT:    paddsw %xmm2, %xmm0
 134 ; SSE-NEXT:    paddsw %xmm3, %xmm1
 135 ; SSE-NEXT:    retq
 136 ;
 137 ; AVX1-LABEL: v16i16:
 138 ; AVX1:       # %bb.0:
 139 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 140 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 141 ; AVX1-NEXT:    vpaddsw %xmm2, %xmm3, %xmm2
 142 ; AVX1-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 143 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 144 ; AVX1-NEXT:    retq
 145 ;
 146 ; AVX2-LABEL: v16i16:
 147 ; AVX2:       # %bb.0:
 148 ; AVX2-NEXT:    vpaddsw %ymm1, %ymm0, %ymm0
 149 ; AVX2-NEXT:    retq
 150 ;
 151 ; AVX512-LABEL: v16i16:
 152 ; AVX512:       # %bb.0:
 153 ; AVX512-NEXT:    vpaddsw %ymm1, %ymm0, %ymm0
 154 ; AVX512-NEXT:    retq
 155   %z = call <16 x i16> @llvm.sadd.sat.v16i16(<16 x i16> %x, <16 x i16> %y)
 156   ret <16 x i16> %z
 157 }
 158
 159 define <32 x i16> @v32i16(<32 x i16> %x, <32 x i16> %y) nounwind {
 160 ; SSE-LABEL: v32i16:
 161 ; SSE:       # %bb.0:
 162 ; SSE-NEXT:    paddsw %xmm4, %xmm0
 163 ; SSE-NEXT:    paddsw %xmm5, %xmm1
 164 ; SSE-NEXT:    paddsw %xmm6, %xmm2
 165 ; SSE-NEXT:    paddsw %xmm7, %xmm3
 166 ; SSE-NEXT:    retq
 167 ;
 168 ; AVX1-LABEL: v32i16:
 169 ; AVX1:       # %bb.0:
 170 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm4
 171 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
 172 ; AVX1-NEXT:    vpaddsw %xmm4, %xmm5, %xmm4
 173 ; AVX1-NEXT:    vpaddsw %xmm2, %xmm0, %xmm0
 174 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm0, %ymm0
 175 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm2
 176 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
 177 ; AVX1-NEXT:    vpaddsw %xmm2, %xmm4, %xmm2
 178 ; AVX1-NEXT:    vpaddsw %xmm3, %xmm1, %xmm1
 179 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
 180 ; AVX1-NEXT:    retq
 181 ;
 182 ; AVX2-LABEL: v32i16:
 183 ; AVX2:       # %bb.0:
 184 ; AVX2-NEXT:    vpaddsw %ymm2, %ymm0, %ymm0
 185 ; AVX2-NEXT:    vpaddsw %ymm3, %ymm1, %ymm1
 186 ; AVX2-NEXT:    retq
 187 ;
 188 ; AVX512-LABEL: v32i16:
 189 ; AVX512:       # %bb.0:
 190 ; AVX512-NEXT:    vpaddsw %zmm1, %zmm0, %zmm0
 191 ; AVX512-NEXT:    retq
 192   %z = call <32 x i16> @llvm.sadd.sat.v32i16(<32 x i16> %x, <32 x i16> %y)
 193   ret <32 x i16> %z
 194 }
 195
 196 ; Too narrow vectors, legalized by widening.
 197
 198 define void @v8i8(<8 x i8>* %px, <8 x i8>* %py, <8 x i8>* %pz) nounwind {
 199 ; SSE-LABEL: v8i8:
 200 ; SSE:       # %bb.0:
 201 ; SSE-NEXT:    movq {{.*#+}} xmm0 = mem[0],zero
 202 ; SSE-NEXT:    movq {{.*#+}} xmm1 = mem[0],zero
 203 ; SSE-NEXT:    paddsb %xmm0, %xmm1
 204 ; SSE-NEXT:    movq %xmm1, (%rdx)
 205 ; SSE-NEXT:    retq
 206 ;
 207 ; AVX1-LABEL: v8i8:
 208 ; AVX1:       # %bb.0:
 209 ; AVX1-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero
 210 ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
 211 ; AVX1-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 212 ; AVX1-NEXT:    vmovq %xmm0, (%rdx)
 213 ; AVX1-NEXT:    retq
 214 ;
 215 ; AVX2-LABEL: v8i8:
 216 ; AVX2:       # %bb.0:
 217 ; AVX2-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero
 218 ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
 219 ; AVX2-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 220 ; AVX2-NEXT:    vmovq %xmm0, (%rdx)
 221 ; AVX2-NEXT:    retq
 222 ;
 223 ; AVX512-LABEL: v8i8:
 224 ; AVX512:       # %bb.0:
 225 ; AVX512-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero
 226 ; AVX512-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
 227 ; AVX512-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 228 ; AVX512-NEXT:    vpmovzxbw {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
 229 ; AVX512-NEXT:    vpmovwb %xmm0, (%rdx)
 230 ; AVX512-NEXT:    retq
 231   %x = load <8 x i8>, <8 x i8>* %px
 232   %y = load <8 x i8>, <8 x i8>* %py
 233   %z = call <8 x i8> @llvm.sadd.sat.v8i8(<8 x i8> %x, <8 x i8> %y)
 234   store <8 x i8> %z, <8 x i8>* %pz
 235   ret void
 236 }
 237
 238 define void @v4i8(<4 x i8>* %px, <4 x i8>* %py, <4 x i8>* %pz) nounwind {
 239 ; SSE-LABEL: v4i8:
 240 ; SSE:       # %bb.0:
 241 ; SSE-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 242 ; SSE-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 243 ; SSE-NEXT:    paddsb %xmm0, %xmm1
 244 ; SSE-NEXT:    movd %xmm1, (%rdx)
 245 ; SSE-NEXT:    retq
 246 ;
 247 ; AVX1-LABEL: v4i8:
 248 ; AVX1:       # %bb.0:
 249 ; AVX1-NEXT:    vmovd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 250 ; AVX1-NEXT:    vmovd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 251 ; AVX1-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 252 ; AVX1-NEXT:    vmovd %xmm0, (%rdx)
 253 ; AVX1-NEXT:    retq
 254 ;
 255 ; AVX2-LABEL: v4i8:
 256 ; AVX2:       # %bb.0:
 257 ; AVX2-NEXT:    vmovd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 258 ; AVX2-NEXT:    vmovd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 259 ; AVX2-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 260 ; AVX2-NEXT:    vmovd %xmm0, (%rdx)
 261 ; AVX2-NEXT:    retq
 262 ;
 263 ; AVX512-LABEL: v4i8:
 264 ; AVX512:       # %bb.0:
 265 ; AVX512-NEXT:    vmovd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 266 ; AVX512-NEXT:    vmovd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 267 ; AVX512-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 268 ; AVX512-NEXT:    vpmovzxbd {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero
 269 ; AVX512-NEXT:    vpmovdb %xmm0, (%rdx)
 270 ; AVX512-NEXT:    retq
 271   %x = load <4 x i8>, <4 x i8>* %px
 272   %y = load <4 x i8>, <4 x i8>* %py
 273   %z = call <4 x i8> @llvm.sadd.sat.v4i8(<4 x i8> %x, <4 x i8> %y)
 274   store <4 x i8> %z, <4 x i8>* %pz
 275   ret void
 276 }
 277
 278 define void @v2i8(<2 x i8>* %px, <2 x i8>* %py, <2 x i8>* %pz) nounwind {
 279 ; SSE2-LABEL: v2i8:
 280 ; SSE2:       # %bb.0:
 281 ; SSE2-NEXT:    movzwl (%rdi), %eax
 282 ; SSE2-NEXT:    movd %eax, %xmm0
 283 ; SSE2-NEXT:    movzwl (%rsi), %eax
 284 ; SSE2-NEXT:    movd %eax, %xmm1
 285 ; SSE2-NEXT:    paddsb %xmm0, %xmm1
 286 ; SSE2-NEXT:    movd %xmm1, %eax
 287 ; SSE2-NEXT:    movw %ax, (%rdx)
 288 ; SSE2-NEXT:    retq
 289 ;
 290 ; SSSE3-LABEL: v2i8:
 291 ; SSSE3:       # %bb.0:
 292 ; SSSE3-NEXT:    movzwl (%rdi), %eax
 293 ; SSSE3-NEXT:    movd %eax, %xmm0
 294 ; SSSE3-NEXT:    movzwl (%rsi), %eax
 295 ; SSSE3-NEXT:    movd %eax, %xmm1
 296 ; SSSE3-NEXT:    paddsb %xmm0, %xmm1
 297 ; SSSE3-NEXT:    movd %xmm1, %eax
 298 ; SSSE3-NEXT:    movw %ax, (%rdx)
 299 ; SSSE3-NEXT:    retq
 300 ;
 301 ; SSE41-LABEL: v2i8:
 302 ; SSE41:       # %bb.0:
 303 ; SSE41-NEXT:    movzwl (%rdi), %eax
 304 ; SSE41-NEXT:    movd %eax, %xmm0
 305 ; SSE41-NEXT:    movzwl (%rsi), %eax
 306 ; SSE41-NEXT:    movd %eax, %xmm1
 307 ; SSE41-NEXT:    paddsb %xmm0, %xmm1
 308 ; SSE41-NEXT:    pextrw $0, %xmm1, (%rdx)
 309 ; SSE41-NEXT:    retq
 310 ;
 311 ; AVX1-LABEL: v2i8:
 312 ; AVX1:       # %bb.0:
 313 ; AVX1-NEXT:    movzwl (%rdi), %eax
 314 ; AVX1-NEXT:    vmovd %eax, %xmm0
 315 ; AVX1-NEXT:    movzwl (%rsi), %eax
 316 ; AVX1-NEXT:    vmovd %eax, %xmm1
 317 ; AVX1-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 318 ; AVX1-NEXT:    vpextrw $0, %xmm0, (%rdx)
 319 ; AVX1-NEXT:    retq
 320 ;
 321 ; AVX2-LABEL: v2i8:
 322 ; AVX2:       # %bb.0:
 323 ; AVX2-NEXT:    movzwl (%rdi), %eax
 324 ; AVX2-NEXT:    vmovd %eax, %xmm0
 325 ; AVX2-NEXT:    movzwl (%rsi), %eax
 326 ; AVX2-NEXT:    vmovd %eax, %xmm1
 327 ; AVX2-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 328 ; AVX2-NEXT:    vpextrw $0, %xmm0, (%rdx)
 329 ; AVX2-NEXT:    retq
 330 ;
 331 ; AVX512-LABEL: v2i8:
 332 ; AVX512:       # %bb.0:
 333 ; AVX512-NEXT:    movzwl (%rdi), %eax
 334 ; AVX512-NEXT:    vmovd %eax, %xmm0
 335 ; AVX512-NEXT:    movzwl (%rsi), %eax
 336 ; AVX512-NEXT:    vmovd %eax, %xmm1
 337 ; AVX512-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 338 ; AVX512-NEXT:    vpmovzxbq {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,zero,zero,zero,zero,xmm0[1],zero,zero,zero,zero,zero,zero,zero
 339 ; AVX512-NEXT:    vpmovqb %xmm0, (%rdx)
 340 ; AVX512-NEXT:    retq
 341   %x = load <2 x i8>, <2 x i8>* %px
 342   %y = load <2 x i8>, <2 x i8>* %py
 343   %z = call <2 x i8> @llvm.sadd.sat.v2i8(<2 x i8> %x, <2 x i8> %y)
 344   store <2 x i8> %z, <2 x i8>* %pz
 345   ret void
 346 }
 347
 348 define void @v4i16(<4 x i16>* %px, <4 x i16>* %py, <4 x i16>* %pz) nounwind {
 349 ; SSE-LABEL: v4i16:
 350 ; SSE:       # %bb.0:
 351 ; SSE-NEXT:    movq {{.*#+}} xmm0 = mem[0],zero
 352 ; SSE-NEXT:    movq {{.*#+}} xmm1 = mem[0],zero
 353 ; SSE-NEXT:    paddsw %xmm0, %xmm1
 354 ; SSE-NEXT:    movq %xmm1, (%rdx)
 355 ; SSE-NEXT:    retq
 356 ;
 357 ; AVX1-LABEL: v4i16:
 358 ; AVX1:       # %bb.0:
 359 ; AVX1-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero
 360 ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
 361 ; AVX1-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 362 ; AVX1-NEXT:    vmovq %xmm0, (%rdx)
 363 ; AVX1-NEXT:    retq
 364 ;
 365 ; AVX2-LABEL: v4i16:
 366 ; AVX2:       # %bb.0:
 367 ; AVX2-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero
 368 ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
 369 ; AVX2-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 370 ; AVX2-NEXT:    vmovq %xmm0, (%rdx)
 371 ; AVX2-NEXT:    retq
 372 ;
 373 ; AVX512-LABEL: v4i16:
 374 ; AVX512:       # %bb.0:
 375 ; AVX512-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero
 376 ; AVX512-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
 377 ; AVX512-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 378 ; AVX512-NEXT:    vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
 379 ; AVX512-NEXT:    vpmovdw %xmm0, (%rdx)
 380 ; AVX512-NEXT:    retq
 381   %x = load <4 x i16>, <4 x i16>* %px
 382   %y = load <4 x i16>, <4 x i16>* %py
 383   %z = call <4 x i16> @llvm.sadd.sat.v4i16(<4 x i16> %x, <4 x i16> %y)
 384   store <4 x i16> %z, <4 x i16>* %pz
 385   ret void
 386 }
 387
 388 define void @v2i16(<2 x i16>* %px, <2 x i16>* %py, <2 x i16>* %pz) nounwind {
 389 ; SSE-LABEL: v2i16:
 390 ; SSE:       # %bb.0:
 391 ; SSE-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 392 ; SSE-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 393 ; SSE-NEXT:    paddsw %xmm0, %xmm1
 394 ; SSE-NEXT:    movd %xmm1, (%rdx)
 395 ; SSE-NEXT:    retq
 396 ;
 397 ; AVX1-LABEL: v2i16:
 398 ; AVX1:       # %bb.0:
 399 ; AVX1-NEXT:    vmovd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 400 ; AVX1-NEXT:    vmovd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 401 ; AVX1-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 402 ; AVX1-NEXT:    vmovd %xmm0, (%rdx)
 403 ; AVX1-NEXT:    retq
 404 ;
 405 ; AVX2-LABEL: v2i16:
 406 ; AVX2:       # %bb.0:
 407 ; AVX2-NEXT:    vmovd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 408 ; AVX2-NEXT:    vmovd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 409 ; AVX2-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 410 ; AVX2-NEXT:    vmovd %xmm0, (%rdx)
 411 ; AVX2-NEXT:    retq
 412 ;
 413 ; AVX512-LABEL: v2i16:
 414 ; AVX512:       # %bb.0:
 415 ; AVX512-NEXT:    vmovd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 416 ; AVX512-NEXT:    vmovd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 417 ; AVX512-NEXT:    vpaddsw %xmm1, %xmm0, %xmm0
 418 ; AVX512-NEXT:    vpmovzxwq {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero
 419 ; AVX512-NEXT:    vpmovqw %xmm0, (%rdx)
 420 ; AVX512-NEXT:    retq
 421   %x = load <2 x i16>, <2 x i16>* %px
 422   %y = load <2 x i16>, <2 x i16>* %py
 423   %z = call <2 x i16> @llvm.sadd.sat.v2i16(<2 x i16> %x, <2 x i16> %y)
 424   store <2 x i16> %z, <2 x i16>* %pz
 425   ret void
 426 }
 427
 428 define <12 x i8> @v12i8(<12 x i8> %x, <12 x i8> %y) nounwind {
 429 ; SSE-LABEL: v12i8:
 430 ; SSE:       # %bb.0:
 431 ; SSE-NEXT:    paddsb %xmm1, %xmm0
 432 ; SSE-NEXT:    retq
 433 ;
 434 ; AVX-LABEL: v12i8:
 435 ; AVX:       # %bb.0:
 436 ; AVX-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 437 ; AVX-NEXT:    retq
 438   %z = call <12 x i8> @llvm.sadd.sat.v12i8(<12 x i8> %x, <12 x i8> %y)
 439   ret <12 x i8> %z
 440 }
 441
 442 define void @v12i16(<12 x i16>* %px, <12 x i16>* %py, <12 x i16>* %pz) nounwind {
 443 ; SSE-LABEL: v12i16:
 444 ; SSE:       # %bb.0:
 445 ; SSE-NEXT:    movdqa (%rdi), %xmm0
 446 ; SSE-NEXT:    movdqa 16(%rdi), %xmm1
 447 ; SSE-NEXT:    paddsw (%rsi), %xmm0
 448 ; SSE-NEXT:    paddsw 16(%rsi), %xmm1
 449 ; SSE-NEXT:    movq %xmm1, 16(%rdx)
 450 ; SSE-NEXT:    movdqa %xmm0, (%rdx)
 451 ; SSE-NEXT:    retq
 452 ;
 453 ; AVX1-LABEL: v12i16:
 454 ; AVX1:       # %bb.0:
 455 ; AVX1-NEXT:    vmovdqa (%rdi), %xmm0
 456 ; AVX1-NEXT:    vmovdqa 16(%rdi), %xmm1
 457 ; AVX1-NEXT:    vpaddsw (%rsi), %xmm0, %xmm0
 458 ; AVX1-NEXT:    vpaddsw 16(%rsi), %xmm1, %xmm1
 459 ; AVX1-NEXT:    vmovq %xmm1, 16(%rdx)
 460 ; AVX1-NEXT:    vmovdqa %xmm0, (%rdx)
 461 ; AVX1-NEXT:    retq
 462 ;
 463 ; AVX2-LABEL: v12i16:
 464 ; AVX2:       # %bb.0:
 465 ; AVX2-NEXT:    vmovdqa (%rdi), %ymm0
 466 ; AVX2-NEXT:    vpaddsw (%rsi), %ymm0, %ymm0
 467 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
 468 ; AVX2-NEXT:    vmovq %xmm1, 16(%rdx)
 469 ; AVX2-NEXT:    vmovdqa %xmm0, (%rdx)
 470 ; AVX2-NEXT:    vzeroupper
 471 ; AVX2-NEXT:    retq
 472 ;
 473 ; AVX512-LABEL: v12i16:
 474 ; AVX512:       # %bb.0:
 475 ; AVX512-NEXT:    vmovdqa (%rdi), %ymm0
 476 ; AVX512-NEXT:    vpaddsw (%rsi), %ymm0, %ymm0
 477 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
 478 ; AVX512-NEXT:    vmovq %xmm1, 16(%rdx)
 479 ; AVX512-NEXT:    vmovdqa %xmm0, (%rdx)
 480 ; AVX512-NEXT:    vzeroupper
 481 ; AVX512-NEXT:    retq
 482   %x = load <12 x i16>, <12 x i16>* %px
 483   %y = load <12 x i16>, <12 x i16>* %py
 484   %z = call <12 x i16> @llvm.sadd.sat.v12i16(<12 x i16> %x, <12 x i16> %y)
 485   store <12 x i16> %z, <12 x i16>* %pz
 486   ret void
 487 }
 488
 489 ; Scalarization
 490
 491 define void @v1i8(<1 x i8>* %px, <1 x i8>* %py, <1 x i8>* %pz) nounwind {
 492 ; SSE-LABEL: v1i8:
 493 ; SSE:       # %bb.0:
 494 ; SSE-NEXT:    movb (%rdi), %cl
 495 ; SSE-NEXT:    movb (%rsi), %dil
 496 ; SSE-NEXT:    movl %ecx, %eax
 497 ; SSE-NEXT:    addb %dil, %al
 498 ; SSE-NEXT:    setns %sil
 499 ; SSE-NEXT:    addb %dil, %cl
 500 ; SSE-NEXT:    jno .LBB13_2
 501 ; SSE-NEXT:  # %bb.1:
 502 ; SSE-NEXT:    addb $127, %sil
 503 ; SSE-NEXT:    movl %esi, %ecx
 504 ; SSE-NEXT:  .LBB13_2:
 505 ; SSE-NEXT:    movb %cl, (%rdx)
 506 ; SSE-NEXT:    retq
 507 ;
 508 ; AVX-LABEL: v1i8:
 509 ; AVX:       # %bb.0:
 510 ; AVX-NEXT:    movb (%rdi), %cl
 511 ; AVX-NEXT:    movb (%rsi), %dil
 512 ; AVX-NEXT:    movl %ecx, %eax
 513 ; AVX-NEXT:    addb %dil, %al
 514 ; AVX-NEXT:    setns %sil
 515 ; AVX-NEXT:    addb %dil, %cl
 516 ; AVX-NEXT:    jno .LBB13_2
 517 ; AVX-NEXT:  # %bb.1:
 518 ; AVX-NEXT:    addb $127, %sil
 519 ; AVX-NEXT:    movl %esi, %ecx
 520 ; AVX-NEXT:  .LBB13_2:
 521 ; AVX-NEXT:    movb %cl, (%rdx)
 522 ; AVX-NEXT:    retq
 523   %x = load <1 x i8>, <1 x i8>* %px
 524   %y = load <1 x i8>, <1 x i8>* %py
 525   %z = call <1 x i8> @llvm.sadd.sat.v1i8(<1 x i8> %x, <1 x i8> %y)
 526   store <1 x i8> %z, <1 x i8>* %pz
 527   ret void
 528 }
 529
 530 define void @v1i16(<1 x i16>* %px, <1 x i16>* %py, <1 x i16>* %pz) nounwind {
 531 ; SSE-LABEL: v1i16:
 532 ; SSE:       # %bb.0:
 533 ; SSE-NEXT:    movzwl (%rdi), %eax
 534 ; SSE-NEXT:    movzwl (%rsi), %ecx
 535 ; SSE-NEXT:    xorl %esi, %esi
 536 ; SSE-NEXT:    movl %eax, %edi
 537 ; SSE-NEXT:    addw %cx, %di
 538 ; SSE-NEXT:    setns %sil
 539 ; SSE-NEXT:    addl $32767, %esi # imm = 0x7FFF
 540 ; SSE-NEXT:    addw %cx, %ax
 541 ; SSE-NEXT:    cmovol %esi, %eax
 542 ; SSE-NEXT:    movw %ax, (%rdx)
 543 ; SSE-NEXT:    retq
 544 ;
 545 ; AVX-LABEL: v1i16:
 546 ; AVX:       # %bb.0:
 547 ; AVX-NEXT:    movzwl (%rdi), %eax
 548 ; AVX-NEXT:    movzwl (%rsi), %ecx
 549 ; AVX-NEXT:    xorl %esi, %esi
 550 ; AVX-NEXT:    movl %eax, %edi
 551 ; AVX-NEXT:    addw %cx, %di
 552 ; AVX-NEXT:    setns %sil
 553 ; AVX-NEXT:    addl $32767, %esi # imm = 0x7FFF
 554 ; AVX-NEXT:    addw %cx, %ax
 555 ; AVX-NEXT:    cmovol %esi, %eax
 556 ; AVX-NEXT:    movw %ax, (%rdx)
 557 ; AVX-NEXT:    retq
 558   %x = load <1 x i16>, <1 x i16>* %px
 559   %y = load <1 x i16>, <1 x i16>* %py
 560   %z = call <1 x i16> @llvm.sadd.sat.v1i16(<1 x i16> %x, <1 x i16> %y)
 561   store <1 x i16> %z, <1 x i16>* %pz
 562   ret void
 563 }
 564
 565 ; Promotion
 566
 567 define <16 x i4> @v16i4(<16 x i4> %x, <16 x i4> %y) nounwind {
 568 ; SSE-LABEL: v16i4:
 569 ; SSE:       # %bb.0:
 570 ; SSE-NEXT:    psllw $4, %xmm1
 571 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240]
 572 ; SSE-NEXT:    pand %xmm2, %xmm1
 573 ; SSE-NEXT:    psllw $4, %xmm0
 574 ; SSE-NEXT:    pand %xmm2, %xmm0
 575 ; SSE-NEXT:    paddsb %xmm1, %xmm0
 576 ; SSE-NEXT:    psrlw $4, %xmm0
 577 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
 578 ; SSE-NEXT:    movdqa {{.*#+}} xmm1 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
 579 ; SSE-NEXT:    pxor %xmm1, %xmm0
 580 ; SSE-NEXT:    psubb %xmm1, %xmm0
 581 ; SSE-NEXT:    retq
 582 ;
 583 ; AVX-LABEL: v16i4:
 584 ; AVX:       # %bb.0:
 585 ; AVX-NEXT:    vpsllw $4, %xmm1, %xmm1
 586 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240]
 587 ; AVX-NEXT:    vpand %xmm2, %xmm1, %xmm1
 588 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm0
 589 ; AVX-NEXT:    vpand %xmm2, %xmm0, %xmm0
 590 ; AVX-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 591 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm0
 592 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
 593 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
 594 ; AVX-NEXT:    vpxor %xmm1, %xmm0, %xmm0
 595 ; AVX-NEXT:    vpsubb %xmm1, %xmm0, %xmm0
 596 ; AVX-NEXT:    retq
 597   %z = call <16 x i4> @llvm.sadd.sat.v16i4(<16 x i4> %x, <16 x i4> %y)
 598   ret <16 x i4> %z
 599 }
 600
 601 define <16 x i1> @v16i1(<16 x i1> %x, <16 x i1> %y) nounwind {
 602 ; SSE-LABEL: v16i1:
 603 ; SSE:       # %bb.0:
 604 ; SSE-NEXT:    psllw $7, %xmm1
 605 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128]
 606 ; SSE-NEXT:    pand %xmm2, %xmm1
 607 ; SSE-NEXT:    psllw $7, %xmm0
 608 ; SSE-NEXT:    pand %xmm2, %xmm0
 609 ; SSE-NEXT:    paddsb %xmm1, %xmm0
 610 ; SSE-NEXT:    pxor %xmm1, %xmm1
 611 ; SSE-NEXT:    pcmpgtb %xmm0, %xmm1
 612 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 613 ; SSE-NEXT:    retq
 614 ;
 615 ; AVX1-LABEL: v16i1:
 616 ; AVX1:       # %bb.0:
 617 ; AVX1-NEXT:    vpsllw $7, %xmm1, %xmm1
 618 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128]
 619 ; AVX1-NEXT:    vpand %xmm2, %xmm1, %xmm1
 620 ; AVX1-NEXT:    vpsllw $7, %xmm0, %xmm0
 621 ; AVX1-NEXT:    vpand %xmm2, %xmm0, %xmm0
 622 ; AVX1-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 623 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 624 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
 625 ; AVX1-NEXT:    retq
 626 ;
 627 ; AVX2-LABEL: v16i1:
 628 ; AVX2:       # %bb.0:
 629 ; AVX2-NEXT:    vpsllw $7, %xmm1, %xmm1
 630 ; AVX2-NEXT:    vmovdqa {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128]
 631 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm1
 632 ; AVX2-NEXT:    vpsllw $7, %xmm0, %xmm0
 633 ; AVX2-NEXT:    vpand %xmm2, %xmm0, %xmm0
 634 ; AVX2-NEXT:    vpaddsb %xmm1, %xmm0, %xmm0
 635 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 636 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
 637 ; AVX2-NEXT:    retq
 638 ;
 639 ; AVX512-LABEL: v16i1:
 640 ; AVX512:       # %bb.0:
 641 ; AVX512-NEXT:    vpsllw $7, %xmm1, %xmm1
 642 ; AVX512-NEXT:    vpmovb2m %xmm1, %k0
 643 ; AVX512-NEXT:    vpsllw $7, %xmm0, %xmm0
 644 ; AVX512-NEXT:    vpmovb2m %xmm0, %k1
 645 ; AVX512-NEXT:    korw %k0, %k1, %k0
 646 ; AVX512-NEXT:    vpmovm2b %k0, %xmm0
 647 ; AVX512-NEXT:    retq
 648   %z = call <16 x i1> @llvm.sadd.sat.v16i1(<16 x i1> %x, <16 x i1> %y)
 649   ret <16 x i1> %z
 650 }
 651
 652 ; Expanded
 653
 654 define <4 x i32> @v4i32(<4 x i32> %x, <4 x i32> %y) nounwind {
 655 ; SSE2-LABEL: v4i32:
 656 ; SSE2:       # %bb.0:
 657 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,2,3]
 658 ; SSE2-NEXT:    movd %xmm2, %ecx
 659 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
 660 ; SSE2-NEXT:    movd %xmm2, %r8d
 661 ; SSE2-NEXT:    xorl %edx, %edx
 662 ; SSE2-NEXT:    movl %r8d, %esi
 663 ; SSE2-NEXT:    addl %ecx, %esi
 664 ; SSE2-NEXT:    setns %dl
 665 ; SSE2-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
 666 ; SSE2-NEXT:    addl %ecx, %r8d
 667 ; SSE2-NEXT:    cmovol %edx, %r8d
 668 ; SSE2-NEXT:    movd %xmm1, %edx
 669 ; SSE2-NEXT:    movd %xmm0, %ecx
 670 ; SSE2-NEXT:    xorl %esi, %esi
 671 ; SSE2-NEXT:    movl %ecx, %edi
 672 ; SSE2-NEXT:    addl %edx, %edi
 673 ; SSE2-NEXT:    setns %sil
 674 ; SSE2-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
 675 ; SSE2-NEXT:    addl %edx, %ecx
 676 ; SSE2-NEXT:    cmovol %esi, %ecx
 677 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
 678 ; SSE2-NEXT:    movd %xmm2, %edx
 679 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
 680 ; SSE2-NEXT:    movd %xmm2, %eax
 681 ; SSE2-NEXT:    xorl %edi, %edi
 682 ; SSE2-NEXT:    movl %eax, %esi
 683 ; SSE2-NEXT:    addl %edx, %esi
 684 ; SSE2-NEXT:    setns %dil
 685 ; SSE2-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
 686 ; SSE2-NEXT:    addl %edx, %eax
 687 ; SSE2-NEXT:    cmovol %edi, %eax
 688 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[3,1,2,3]
 689 ; SSE2-NEXT:    movd %xmm1, %r9d
 690 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,3]
 691 ; SSE2-NEXT:    movd %xmm0, %edx
 692 ; SSE2-NEXT:    xorl %edi, %edi
 693 ; SSE2-NEXT:    movl %edx, %esi
 694 ; SSE2-NEXT:    addl %r9d, %esi
 695 ; SSE2-NEXT:    setns %dil
 696 ; SSE2-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
 697 ; SSE2-NEXT:    addl %r9d, %edx
 698 ; SSE2-NEXT:    cmovol %edi, %edx
 699 ; SSE2-NEXT:    movd %edx, %xmm0
 700 ; SSE2-NEXT:    movd %eax, %xmm1
 701 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
 702 ; SSE2-NEXT:    movd %ecx, %xmm0
 703 ; SSE2-NEXT:    movd %r8d, %xmm2
 704 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
 705 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 706 ; SSE2-NEXT:    retq
 707 ;
 708 ; SSSE3-LABEL: v4i32:
 709 ; SSSE3:       # %bb.0:
 710 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,2,3]
 711 ; SSSE3-NEXT:    movd %xmm2, %ecx
 712 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
 713 ; SSSE3-NEXT:    movd %xmm2, %r8d
 714 ; SSSE3-NEXT:    xorl %edx, %edx
 715 ; SSSE3-NEXT:    movl %r8d, %esi
 716 ; SSSE3-NEXT:    addl %ecx, %esi
 717 ; SSSE3-NEXT:    setns %dl
 718 ; SSSE3-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
 719 ; SSSE3-NEXT:    addl %ecx, %r8d
 720 ; SSSE3-NEXT:    cmovol %edx, %r8d
 721 ; SSSE3-NEXT:    movd %xmm1, %edx
 722 ; SSSE3-NEXT:    movd %xmm0, %ecx
 723 ; SSSE3-NEXT:    xorl %esi, %esi
 724 ; SSSE3-NEXT:    movl %ecx, %edi
 725 ; SSSE3-NEXT:    addl %edx, %edi
 726 ; SSSE3-NEXT:    setns %sil
 727 ; SSSE3-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
 728 ; SSSE3-NEXT:    addl %edx, %ecx
 729 ; SSSE3-NEXT:    cmovol %esi, %ecx
 730 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
 731 ; SSSE3-NEXT:    movd %xmm2, %edx
 732 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
 733 ; SSSE3-NEXT:    movd %xmm2, %eax
 734 ; SSSE3-NEXT:    xorl %edi, %edi
 735 ; SSSE3-NEXT:    movl %eax, %esi
 736 ; SSSE3-NEXT:    addl %edx, %esi
 737 ; SSSE3-NEXT:    setns %dil
 738 ; SSSE3-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
 739 ; SSSE3-NEXT:    addl %edx, %eax
 740 ; SSSE3-NEXT:    cmovol %edi, %eax
 741 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[3,1,2,3]
 742 ; SSSE3-NEXT:    movd %xmm1, %r9d
 743 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,3]
 744 ; SSSE3-NEXT:    movd %xmm0, %edx
 745 ; SSSE3-NEXT:    xorl %edi, %edi
 746 ; SSSE3-NEXT:    movl %edx, %esi
 747 ; SSSE3-NEXT:    addl %r9d, %esi
 748 ; SSSE3-NEXT:    setns %dil
 749 ; SSSE3-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
 750 ; SSSE3-NEXT:    addl %r9d, %edx
 751 ; SSSE3-NEXT:    cmovol %edi, %edx
 752 ; SSSE3-NEXT:    movd %edx, %xmm0
 753 ; SSSE3-NEXT:    movd %eax, %xmm1
 754 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
 755 ; SSSE3-NEXT:    movd %ecx, %xmm0
 756 ; SSSE3-NEXT:    movd %r8d, %xmm2
 757 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
 758 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 759 ; SSSE3-NEXT:    retq
 760 ;
 761 ; SSE41-LABEL: v4i32:
 762 ; SSE41:       # %bb.0:
 763 ; SSE41-NEXT:    pextrd $3, %xmm1, %ecx
 764 ; SSE41-NEXT:    pextrd $3, %xmm0, %r8d
 765 ; SSE41-NEXT:    xorl %edx, %edx
 766 ; SSE41-NEXT:    movl %r8d, %esi
 767 ; SSE41-NEXT:    addl %ecx, %esi
 768 ; SSE41-NEXT:    setns %dl
 769 ; SSE41-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
 770 ; SSE41-NEXT:    addl %ecx, %r8d
 771 ; SSE41-NEXT:    cmovol %edx, %r8d
 772 ; SSE41-NEXT:    pextrd $2, %xmm1, %edx
 773 ; SSE41-NEXT:    pextrd $2, %xmm0, %ecx
 774 ; SSE41-NEXT:    xorl %esi, %esi
 775 ; SSE41-NEXT:    movl %ecx, %edi
 776 ; SSE41-NEXT:    addl %edx, %edi
 777 ; SSE41-NEXT:    setns %sil
 778 ; SSE41-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
 779 ; SSE41-NEXT:    addl %edx, %ecx
 780 ; SSE41-NEXT:    cmovol %esi, %ecx
 781 ; SSE41-NEXT:    movd %xmm1, %edx
 782 ; SSE41-NEXT:    movd %xmm0, %eax
 783 ; SSE41-NEXT:    xorl %edi, %edi
 784 ; SSE41-NEXT:    movl %eax, %esi
 785 ; SSE41-NEXT:    addl %edx, %esi
 786 ; SSE41-NEXT:    setns %dil
 787 ; SSE41-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
 788 ; SSE41-NEXT:    addl %edx, %eax
 789 ; SSE41-NEXT:    cmovol %edi, %eax
 790 ; SSE41-NEXT:    pextrd $1, %xmm1, %r9d
 791 ; SSE41-NEXT:    pextrd $1, %xmm0, %edx
 792 ; SSE41-NEXT:    xorl %edi, %edi
 793 ; SSE41-NEXT:    movl %edx, %esi
 794 ; SSE41-NEXT:    addl %r9d, %esi
 795 ; SSE41-NEXT:    setns %dil
 796 ; SSE41-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
 797 ; SSE41-NEXT:    addl %r9d, %edx
 798 ; SSE41-NEXT:    cmovol %edi, %edx
 799 ; SSE41-NEXT:    movd %eax, %xmm0
 800 ; SSE41-NEXT:    pinsrd $1, %edx, %xmm0
 801 ; SSE41-NEXT:    pinsrd $2, %ecx, %xmm0
 802 ; SSE41-NEXT:    pinsrd $3, %r8d, %xmm0
 803 ; SSE41-NEXT:    retq
 804 ;
 805 ; AVX-LABEL: v4i32:
 806 ; AVX:       # %bb.0:
 807 ; AVX-NEXT:    vpextrd $3, %xmm1, %ecx
 808 ; AVX-NEXT:    vpextrd $3, %xmm0, %r9d
 809 ; AVX-NEXT:    xorl %edx, %edx
 810 ; AVX-NEXT:    movl %r9d, %esi
 811 ; AVX-NEXT:    addl %ecx, %esi
 812 ; AVX-NEXT:    setns %dl
 813 ; AVX-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
 814 ; AVX-NEXT:    addl %ecx, %r9d
 815 ; AVX-NEXT:    cmovol %edx, %r9d
 816 ; AVX-NEXT:    vpextrd $2, %xmm1, %edx
 817 ; AVX-NEXT:    vpextrd $2, %xmm0, %ecx
 818 ; AVX-NEXT:    xorl %esi, %esi
 819 ; AVX-NEXT:    movl %ecx, %edi
 820 ; AVX-NEXT:    addl %edx, %edi
 821 ; AVX-NEXT:    setns %sil
 822 ; AVX-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
 823 ; AVX-NEXT:    addl %edx, %ecx
 824 ; AVX-NEXT:    cmovol %esi, %ecx
 825 ; AVX-NEXT:    vmovd %xmm1, %r8d
 826 ; AVX-NEXT:    vmovd %xmm0, %edx
 827 ; AVX-NEXT:    xorl %edi, %edi
 828 ; AVX-NEXT:    movl %edx, %esi
 829 ; AVX-NEXT:    addl %r8d, %esi
 830 ; AVX-NEXT:    setns %dil
 831 ; AVX-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
 832 ; AVX-NEXT:    addl %r8d, %edx
 833 ; AVX-NEXT:    cmovol %edi, %edx
 834 ; AVX-NEXT:    vpextrd $1, %xmm1, %r8d
 835 ; AVX-NEXT:    vpextrd $1, %xmm0, %eax
 836 ; AVX-NEXT:    xorl %esi, %esi
 837 ; AVX-NEXT:    movl %eax, %edi
 838 ; AVX-NEXT:    addl %r8d, %edi
 839 ; AVX-NEXT:    setns %sil
 840 ; AVX-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
 841 ; AVX-NEXT:    addl %r8d, %eax
 842 ; AVX-NEXT:    cmovol %esi, %eax
 843 ; AVX-NEXT:    vmovd %edx, %xmm0
 844 ; AVX-NEXT:    vpinsrd $1, %eax, %xmm0, %xmm0
 845 ; AVX-NEXT:    vpinsrd $2, %ecx, %xmm0, %xmm0
 846 ; AVX-NEXT:    vpinsrd $3, %r9d, %xmm0, %xmm0
 847 ; AVX-NEXT:    retq
 848   %z = call <4 x i32> @llvm.sadd.sat.v4i32(<4 x i32> %x, <4 x i32> %y)
 849   ret <4 x i32> %z
 850 }
 851
 852 define <2 x i32> @v2i32(<2 x i32> %x, <2 x i32> %y) nounwind {
 853 ; SSE2-LABEL: v2i32:
 854 ; SSE2:       # %bb.0:
 855 ; SSE2-NEXT:    psllq $32, %xmm1
 856 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
 857 ; SSE2-NEXT:    movq %xmm2, %rax
 858 ; SSE2-NEXT:    psllq $32, %xmm0
 859 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
 860 ; SSE2-NEXT:    movq %xmm2, %rcx
 861 ; SSE2-NEXT:    xorl %edx, %edx
 862 ; SSE2-NEXT:    movq %rcx, %rsi
 863 ; SSE2-NEXT:    addq %rax, %rsi
 864 ; SSE2-NEXT:    setns %dl
 865 ; SSE2-NEXT:    movabsq $9223372036854775807, %r8 # imm = 0x7FFFFFFFFFFFFFFF
 866 ; SSE2-NEXT:    addq %r8, %rdx
 867 ; SSE2-NEXT:    addq %rax, %rcx
 868 ; SSE2-NEXT:    cmovoq %rdx, %rcx
 869 ; SSE2-NEXT:    movq %xmm1, %rax
 870 ; SSE2-NEXT:    movq %xmm0, %rsi
 871 ; SSE2-NEXT:    xorl %edi, %edi
 872 ; SSE2-NEXT:    movq %rsi, %rdx
 873 ; SSE2-NEXT:    addq %rax, %rdx
 874 ; SSE2-NEXT:    setns %dil
 875 ; SSE2-NEXT:    addq %r8, %rdi
 876 ; SSE2-NEXT:    addq %rax, %rsi
 877 ; SSE2-NEXT:    cmovoq %rdi, %rsi
 878 ; SSE2-NEXT:    movq %rsi, %xmm1
 879 ; SSE2-NEXT:    movq %rcx, %xmm0
 880 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 881 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,3,2,3]
 882 ; SSE2-NEXT:    psrad $31, %xmm1
 883 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 884 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 885 ; SSE2-NEXT:    retq
 886 ;
 887 ; SSSE3-LABEL: v2i32:
 888 ; SSSE3:       # %bb.0:
 889 ; SSSE3-NEXT:    psllq $32, %xmm1
 890 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
 891 ; SSSE3-NEXT:    movq %xmm2, %rax
 892 ; SSSE3-NEXT:    psllq $32, %xmm0
 893 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
 894 ; SSSE3-NEXT:    movq %xmm2, %rcx
 895 ; SSSE3-NEXT:    xorl %edx, %edx
 896 ; SSSE3-NEXT:    movq %rcx, %rsi
 897 ; SSSE3-NEXT:    addq %rax, %rsi
 898 ; SSSE3-NEXT:    setns %dl
 899 ; SSSE3-NEXT:    movabsq $9223372036854775807, %r8 # imm = 0x7FFFFFFFFFFFFFFF
 900 ; SSSE3-NEXT:    addq %r8, %rdx
 901 ; SSSE3-NEXT:    addq %rax, %rcx
 902 ; SSSE3-NEXT:    cmovoq %rdx, %rcx
 903 ; SSSE3-NEXT:    movq %xmm1, %rax
 904 ; SSSE3-NEXT:    movq %xmm0, %rsi
 905 ; SSSE3-NEXT:    xorl %edi, %edi
 906 ; SSSE3-NEXT:    movq %rsi, %rdx
 907 ; SSSE3-NEXT:    addq %rax, %rdx
 908 ; SSSE3-NEXT:    setns %dil
 909 ; SSSE3-NEXT:    addq %r8, %rdi
 910 ; SSSE3-NEXT:    addq %rax, %rsi
 911 ; SSSE3-NEXT:    cmovoq %rdi, %rsi
 912 ; SSSE3-NEXT:    movq %rsi, %xmm1
 913 ; SSSE3-NEXT:    movq %rcx, %xmm0
 914 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 915 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,3,2,3]
 916 ; SSSE3-NEXT:    psrad $31, %xmm1
 917 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 918 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 919 ; SSSE3-NEXT:    retq
 920 ;
 921 ; SSE41-LABEL: v2i32:
 922 ; SSE41:       # %bb.0:
 923 ; SSE41-NEXT:    psllq $32, %xmm1
 924 ; SSE41-NEXT:    movq %xmm1, %rax
 925 ; SSE41-NEXT:    psllq $32, %xmm0
 926 ; SSE41-NEXT:    movq %xmm0, %rcx
 927 ; SSE41-NEXT:    xorl %edx, %edx
 928 ; SSE41-NEXT:    movq %rcx, %rsi
 929 ; SSE41-NEXT:    addq %rax, %rsi
 930 ; SSE41-NEXT:    setns %dl
 931 ; SSE41-NEXT:    movabsq $9223372036854775807, %r8 # imm = 0x7FFFFFFFFFFFFFFF
 932 ; SSE41-NEXT:    addq %r8, %rdx
 933 ; SSE41-NEXT:    addq %rax, %rcx
 934 ; SSE41-NEXT:    cmovoq %rdx, %rcx
 935 ; SSE41-NEXT:    pextrq $1, %xmm1, %rax
 936 ; SSE41-NEXT:    pextrq $1, %xmm0, %rsi
 937 ; SSE41-NEXT:    xorl %edi, %edi
 938 ; SSE41-NEXT:    movq %rsi, %rdx
 939 ; SSE41-NEXT:    addq %rax, %rdx
 940 ; SSE41-NEXT:    setns %dil
 941 ; SSE41-NEXT:    addq %r8, %rdi
 942 ; SSE41-NEXT:    addq %rax, %rsi
 943 ; SSE41-NEXT:    cmovoq %rdi, %rsi
 944 ; SSE41-NEXT:    movq %rsi, %xmm1
 945 ; SSE41-NEXT:    movq %rcx, %xmm0
 946 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 947 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 948 ; SSE41-NEXT:    psrad $31, %xmm0
 949 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3],xmm1[4,5],xmm0[6,7]
 950 ; SSE41-NEXT:    retq
 951 ;
 952 ; AVX1-LABEL: v2i32:
 953 ; AVX1:       # %bb.0:
 954 ; AVX1-NEXT:    vpsllq $32, %xmm1, %xmm1
 955 ; AVX1-NEXT:    vmovq %xmm1, %rax
 956 ; AVX1-NEXT:    vpsllq $32, %xmm0, %xmm0
 957 ; AVX1-NEXT:    vmovq %xmm0, %rcx
 958 ; AVX1-NEXT:    xorl %edx, %edx
 959 ; AVX1-NEXT:    movq %rcx, %rsi
 960 ; AVX1-NEXT:    addq %rax, %rsi
 961 ; AVX1-NEXT:    setns %dl
 962 ; AVX1-NEXT:    movabsq $9223372036854775807, %r8 # imm = 0x7FFFFFFFFFFFFFFF
 963 ; AVX1-NEXT:    addq %r8, %rdx
 964 ; AVX1-NEXT:    addq %rax, %rcx
 965 ; AVX1-NEXT:    cmovoq %rdx, %rcx
 966 ; AVX1-NEXT:    vpextrq $1, %xmm1, %rax
 967 ; AVX1-NEXT:    vpextrq $1, %xmm0, %rsi
 968 ; AVX1-NEXT:    xorl %edi, %edi
 969 ; AVX1-NEXT:    movq %rsi, %rdx
 970 ; AVX1-NEXT:    addq %rax, %rdx
 971 ; AVX1-NEXT:    setns %dil
 972 ; AVX1-NEXT:    addq %r8, %rdi
 973 ; AVX1-NEXT:    addq %rax, %rsi
 974 ; AVX1-NEXT:    cmovoq %rdi, %rsi
 975 ; AVX1-NEXT:    vmovq %rsi, %xmm0
 976 ; AVX1-NEXT:    vmovq %rcx, %xmm1
 977 ; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
 978 ; AVX1-NEXT:    vpsrad $31, %xmm0, %xmm1
 979 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
 980 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 981 ; AVX1-NEXT:    retq
 982 ;
 983 ; AVX2-LABEL: v2i32:
 984 ; AVX2:       # %bb.0:
 985 ; AVX2-NEXT:    vpsllq $32, %xmm1, %xmm1
 986 ; AVX2-NEXT:    vmovq %xmm1, %rax
 987 ; AVX2-NEXT:    vpsllq $32, %xmm0, %xmm0
 988 ; AVX2-NEXT:    vmovq %xmm0, %rcx
 989 ; AVX2-NEXT:    xorl %edx, %edx
 990 ; AVX2-NEXT:    movq %rcx, %rsi
 991 ; AVX2-NEXT:    addq %rax, %rsi
 992 ; AVX2-NEXT:    setns %dl
 993 ; AVX2-NEXT:    movabsq $9223372036854775807, %r8 # imm = 0x7FFFFFFFFFFFFFFF
 994 ; AVX2-NEXT:    addq %r8, %rdx
 995 ; AVX2-NEXT:    addq %rax, %rcx
 996 ; AVX2-NEXT:    cmovoq %rdx, %rcx
 997 ; AVX2-NEXT:    vpextrq $1, %xmm1, %rax
 998 ; AVX2-NEXT:    vpextrq $1, %xmm0, %rsi
 999 ; AVX2-NEXT:    xorl %edi, %edi
1000 ; AVX2-NEXT:    movq %rsi, %rdx
1001 ; AVX2-NEXT:    addq %rax, %rdx
1002 ; AVX2-NEXT:    setns %dil
1003 ; AVX2-NEXT:    addq %r8, %rdi
1004 ; AVX2-NEXT:    addq %rax, %rsi
1005 ; AVX2-NEXT:    cmovoq %rdi, %rsi
1006 ; AVX2-NEXT:    vmovq %rsi, %xmm0
1007 ; AVX2-NEXT:    vmovq %rcx, %xmm1
1008 ; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
1009 ; AVX2-NEXT:    vpsrad $31, %xmm0, %xmm1
1010 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
1011 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
1012 ; AVX2-NEXT:    retq
1013 ;
1014 ; AVX512-LABEL: v2i32:
1015 ; AVX512:       # %bb.0:
1016 ; AVX512-NEXT:    vpsllq $32, %xmm1, %xmm1
1017 ; AVX512-NEXT:    vmovq %xmm1, %rax
1018 ; AVX512-NEXT:    vpsllq $32, %xmm0, %xmm0
1019 ; AVX512-NEXT:    vmovq %xmm0, %rcx
1020 ; AVX512-NEXT:    xorl %edx, %edx
1021 ; AVX512-NEXT:    movq %rcx, %rsi
1022 ; AVX512-NEXT:    addq %rax, %rsi
1023 ; AVX512-NEXT:    setns %dl
1024 ; AVX512-NEXT:    movabsq $9223372036854775807, %r8 # imm = 0x7FFFFFFFFFFFFFFF
1025 ; AVX512-NEXT:    addq %r8, %rdx
1026 ; AVX512-NEXT:    addq %rax, %rcx
1027 ; AVX512-NEXT:    cmovoq %rdx, %rcx
1028 ; AVX512-NEXT:    vpextrq $1, %xmm1, %rax
1029 ; AVX512-NEXT:    vpextrq $1, %xmm0, %rsi
1030 ; AVX512-NEXT:    xorl %edi, %edi
1031 ; AVX512-NEXT:    movq %rsi, %rdx
1032 ; AVX512-NEXT:    addq %rax, %rdx
1033 ; AVX512-NEXT:    setns %dil
1034 ; AVX512-NEXT:    addq %r8, %rdi
1035 ; AVX512-NEXT:    addq %rax, %rsi
1036 ; AVX512-NEXT:    cmovoq %rdi, %rsi
1037 ; AVX512-NEXT:    vmovq %rsi, %xmm0
1038 ; AVX512-NEXT:    vmovq %rcx, %xmm1
1039 ; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
1040 ; AVX512-NEXT:    vpsraq $32, %xmm0, %xmm0
1041 ; AVX512-NEXT:    retq
1042   %z = call <2 x i32> @llvm.sadd.sat.v2i32(<2 x i32> %x, <2 x i32> %y)
1043   ret <2 x i32> %z
1044 }
1045
1046 define <4 x i24> @v4i24(<4 x i24> %x, <4 x i24> %y) nounwind {
1047 ; SSE2-LABEL: v4i24:
1048 ; SSE2:       # %bb.0:
1049 ; SSE2-NEXT:    pslld $8, %xmm1
1050 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,2,3]
1051 ; SSE2-NEXT:    movd %xmm2, %ecx
1052 ; SSE2-NEXT:    pslld $8, %xmm0
1053 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
1054 ; SSE2-NEXT:    movd %xmm2, %r8d
1055 ; SSE2-NEXT:    xorl %edx, %edx
1056 ; SSE2-NEXT:    movl %r8d, %esi
1057 ; SSE2-NEXT:    addl %ecx, %esi
1058 ; SSE2-NEXT:    setns %dl
1059 ; SSE2-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
1060 ; SSE2-NEXT:    addl %ecx, %r8d
1061 ; SSE2-NEXT:    cmovol %edx, %r8d
1062 ; SSE2-NEXT:    movd %xmm1, %edx
1063 ; SSE2-NEXT:    movd %xmm0, %ecx
1064 ; SSE2-NEXT:    xorl %esi, %esi
1065 ; SSE2-NEXT:    movl %ecx, %edi
1066 ; SSE2-NEXT:    addl %edx, %edi
1067 ; SSE2-NEXT:    setns %sil
1068 ; SSE2-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
1069 ; SSE2-NEXT:    addl %edx, %ecx
1070 ; SSE2-NEXT:    cmovol %esi, %ecx
1071 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
1072 ; SSE2-NEXT:    movd %xmm2, %edx
1073 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
1074 ; SSE2-NEXT:    movd %xmm2, %eax
1075 ; SSE2-NEXT:    xorl %edi, %edi
1076 ; SSE2-NEXT:    movl %eax, %esi
1077 ; SSE2-NEXT:    addl %edx, %esi
1078 ; SSE2-NEXT:    setns %dil
1079 ; SSE2-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
1080 ; SSE2-NEXT:    addl %edx, %eax
1081 ; SSE2-NEXT:    cmovol %edi, %eax
1082 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[3,1,2,3]
1083 ; SSE2-NEXT:    movd %xmm1, %r9d
1084 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,3]
1085 ; SSE2-NEXT:    movd %xmm0, %edx
1086 ; SSE2-NEXT:    xorl %edi, %edi
1087 ; SSE2-NEXT:    movl %edx, %esi
1088 ; SSE2-NEXT:    addl %r9d, %esi
1089 ; SSE2-NEXT:    setns %dil
1090 ; SSE2-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
1091 ; SSE2-NEXT:    addl %r9d, %edx
1092 ; SSE2-NEXT:    cmovol %edi, %edx
1093 ; SSE2-NEXT:    movd %edx, %xmm0
1094 ; SSE2-NEXT:    movd %eax, %xmm1
1095 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
1096 ; SSE2-NEXT:    movd %ecx, %xmm0
1097 ; SSE2-NEXT:    movd %r8d, %xmm2
1098 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
1099 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1100 ; SSE2-NEXT:    psrad $8, %xmm0
1101 ; SSE2-NEXT:    retq
1102 ;
1103 ; SSSE3-LABEL: v4i24:
1104 ; SSSE3:       # %bb.0:
1105 ; SSSE3-NEXT:    pslld $8, %xmm1
1106 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,2,3]
1107 ; SSSE3-NEXT:    movd %xmm2, %ecx
1108 ; SSSE3-NEXT:    pslld $8, %xmm0
1109 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,2,3]
1110 ; SSSE3-NEXT:    movd %xmm2, %r8d
1111 ; SSSE3-NEXT:    xorl %edx, %edx
1112 ; SSSE3-NEXT:    movl %r8d, %esi
1113 ; SSSE3-NEXT:    addl %ecx, %esi
1114 ; SSSE3-NEXT:    setns %dl
1115 ; SSSE3-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
1116 ; SSSE3-NEXT:    addl %ecx, %r8d
1117 ; SSSE3-NEXT:    cmovol %edx, %r8d
1118 ; SSSE3-NEXT:    movd %xmm1, %edx
1119 ; SSSE3-NEXT:    movd %xmm0, %ecx
1120 ; SSSE3-NEXT:    xorl %esi, %esi
1121 ; SSSE3-NEXT:    movl %ecx, %edi
1122 ; SSSE3-NEXT:    addl %edx, %edi
1123 ; SSSE3-NEXT:    setns %sil
1124 ; SSSE3-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
1125 ; SSSE3-NEXT:    addl %edx, %ecx
1126 ; SSSE3-NEXT:    cmovol %esi, %ecx
1127 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
1128 ; SSSE3-NEXT:    movd %xmm2, %edx
1129 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
1130 ; SSSE3-NEXT:    movd %xmm2, %eax
1131 ; SSSE3-NEXT:    xorl %edi, %edi
1132 ; SSSE3-NEXT:    movl %eax, %esi
1133 ; SSSE3-NEXT:    addl %edx, %esi
1134 ; SSSE3-NEXT:    setns %dil
1135 ; SSSE3-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
1136 ; SSSE3-NEXT:    addl %edx, %eax
1137 ; SSSE3-NEXT:    cmovol %edi, %eax
1138 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[3,1,2,3]
1139 ; SSSE3-NEXT:    movd %xmm1, %r9d
1140 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,3]
1141 ; SSSE3-NEXT:    movd %xmm0, %edx
1142 ; SSSE3-NEXT:    xorl %edi, %edi
1143 ; SSSE3-NEXT:    movl %edx, %esi
1144 ; SSSE3-NEXT:    addl %r9d, %esi
1145 ; SSSE3-NEXT:    setns %dil
1146 ; SSSE3-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
1147 ; SSSE3-NEXT:    addl %r9d, %edx
1148 ; SSSE3-NEXT:    cmovol %edi, %edx
1149 ; SSSE3-NEXT:    movd %edx, %xmm0
1150 ; SSSE3-NEXT:    movd %eax, %xmm1
1151 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
1152 ; SSSE3-NEXT:    movd %ecx, %xmm0
1153 ; SSSE3-NEXT:    movd %r8d, %xmm2
1154 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
1155 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1156 ; SSSE3-NEXT:    psrad $8, %xmm0
1157 ; SSSE3-NEXT:    retq
1158 ;
1159 ; SSE41-LABEL: v4i24:
1160 ; SSE41:       # %bb.0:
1161 ; SSE41-NEXT:    pslld $8, %xmm1
1162 ; SSE41-NEXT:    pextrd $3, %xmm1, %ecx
1163 ; SSE41-NEXT:    pslld $8, %xmm0
1164 ; SSE41-NEXT:    pextrd $3, %xmm0, %r8d
1165 ; SSE41-NEXT:    xorl %edx, %edx
1166 ; SSE41-NEXT:    movl %r8d, %esi
1167 ; SSE41-NEXT:    addl %ecx, %esi
1168 ; SSE41-NEXT:    setns %dl
1169 ; SSE41-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
1170 ; SSE41-NEXT:    addl %ecx, %r8d
1171 ; SSE41-NEXT:    cmovol %edx, %r8d
1172 ; SSE41-NEXT:    pextrd $2, %xmm1, %edx
1173 ; SSE41-NEXT:    pextrd $2, %xmm0, %ecx
1174 ; SSE41-NEXT:    xorl %esi, %esi
1175 ; SSE41-NEXT:    movl %ecx, %edi
1176 ; SSE41-NEXT:    addl %edx, %edi
1177 ; SSE41-NEXT:    setns %sil
1178 ; SSE41-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
1179 ; SSE41-NEXT:    addl %edx, %ecx
1180 ; SSE41-NEXT:    cmovol %esi, %ecx
1181 ; SSE41-NEXT:    movd %xmm1, %edx
1182 ; SSE41-NEXT:    movd %xmm0, %eax
1183 ; SSE41-NEXT:    xorl %edi, %edi
1184 ; SSE41-NEXT:    movl %eax, %esi
1185 ; SSE41-NEXT:    addl %edx, %esi
1186 ; SSE41-NEXT:    setns %dil
1187 ; SSE41-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
1188 ; SSE41-NEXT:    addl %edx, %eax
1189 ; SSE41-NEXT:    cmovol %edi, %eax
1190 ; SSE41-NEXT:    pextrd $1, %xmm1, %r9d
1191 ; SSE41-NEXT:    pextrd $1, %xmm0, %edx
1192 ; SSE41-NEXT:    xorl %edi, %edi
1193 ; SSE41-NEXT:    movl %edx, %esi
1194 ; SSE41-NEXT:    addl %r9d, %esi
1195 ; SSE41-NEXT:    setns %dil
1196 ; SSE41-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
1197 ; SSE41-NEXT:    addl %r9d, %edx
1198 ; SSE41-NEXT:    cmovol %edi, %edx
1199 ; SSE41-NEXT:    movd %eax, %xmm0
1200 ; SSE41-NEXT:    pinsrd $1, %edx, %xmm0
1201 ; SSE41-NEXT:    pinsrd $2, %ecx, %xmm0
1202 ; SSE41-NEXT:    pinsrd $3, %r8d, %xmm0
1203 ; SSE41-NEXT:    psrad $8, %xmm0
1204 ; SSE41-NEXT:    retq
1205 ;
1206 ; AVX-LABEL: v4i24:
1207 ; AVX:       # %bb.0:
1208 ; AVX-NEXT:    vpslld $8, %xmm1, %xmm1
1209 ; AVX-NEXT:    vpextrd $3, %xmm1, %ecx
1210 ; AVX-NEXT:    vpslld $8, %xmm0, %xmm0
1211 ; AVX-NEXT:    vpextrd $3, %xmm0, %r9d
1212 ; AVX-NEXT:    xorl %edx, %edx
1213 ; AVX-NEXT:    movl %r9d, %esi
1214 ; AVX-NEXT:    addl %ecx, %esi
1215 ; AVX-NEXT:    setns %dl
1216 ; AVX-NEXT:    addl $2147483647, %edx # imm = 0x7FFFFFFF
1217 ; AVX-NEXT:    addl %ecx, %r9d
1218 ; AVX-NEXT:    cmovol %edx, %r9d
1219 ; AVX-NEXT:    vpextrd $2, %xmm1, %edx
1220 ; AVX-NEXT:    vpextrd $2, %xmm0, %ecx
1221 ; AVX-NEXT:    xorl %esi, %esi
1222 ; AVX-NEXT:    movl %ecx, %edi
1223 ; AVX-NEXT:    addl %edx, %edi
1224 ; AVX-NEXT:    setns %sil
1225 ; AVX-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
1226 ; AVX-NEXT:    addl %edx, %ecx
1227 ; AVX-NEXT:    cmovol %esi, %ecx
1228 ; AVX-NEXT:    vmovd %xmm1, %r8d
1229 ; AVX-NEXT:    vmovd %xmm0, %edx
1230 ; AVX-NEXT:    xorl %edi, %edi
1231 ; AVX-NEXT:    movl %edx, %esi
1232 ; AVX-NEXT:    addl %r8d, %esi
1233 ; AVX-NEXT:    setns %dil
1234 ; AVX-NEXT:    addl $2147483647, %edi # imm = 0x7FFFFFFF
1235 ; AVX-NEXT:    addl %r8d, %edx
1236 ; AVX-NEXT:    cmovol %edi, %edx
1237 ; AVX-NEXT:    vpextrd $1, %xmm1, %r8d
1238 ; AVX-NEXT:    vpextrd $1, %xmm0, %eax
1239 ; AVX-NEXT:    xorl %esi, %esi
1240 ; AVX-NEXT:    movl %eax, %edi
1241 ; AVX-NEXT:    addl %r8d, %edi
1242 ; AVX-NEXT:    setns %sil
1243 ; AVX-NEXT:    addl $2147483647, %esi # imm = 0x7FFFFFFF
1244 ; AVX-NEXT:    addl %r8d, %eax
1245 ; AVX-NEXT:    cmovol %esi, %eax
1246 ; AVX-NEXT:    vmovd %edx, %xmm0
1247 ; AVX-NEXT:    vpinsrd $1, %eax, %xmm0, %xmm0
1248 ; AVX-NEXT:    vpinsrd $2, %ecx, %xmm0, %xmm0
1249 ; AVX-NEXT:    vpinsrd $3, %r9d, %xmm0, %xmm0
1250 ; AVX-NEXT:    vpsrad $8, %xmm0, %xmm0
1251 ; AVX-NEXT:    retq
1252   %z = call <4 x i24> @llvm.sadd.sat.v4i24(<4 x i24> %x, <4 x i24> %y)
1253   ret <4 x i24> %z
1254 }
1255
1256 define <2 x i128> @v2i128(<2 x i128> %x, <2 x i128> %y) nounwind {
1257 ; SSE-LABEL: v2i128:
1258 ; SSE:       # %bb.0:
1259 ; SSE-NEXT:    pushq %r15
1260 ; SSE-NEXT:    pushq %r14
1261 ; SSE-NEXT:    pushq %r13
1262 ; SSE-NEXT:    pushq %r12
1263 ; SSE-NEXT:    pushq %rbx
1264 ; SSE-NEXT:    movq %rdi, %rax
1265 ; SSE-NEXT:    movq {{[0-9]+}}(%rsp), %r11
1266 ; SSE-NEXT:    movq {{[0-9]+}}(%rsp), %r14
1267 ; SSE-NEXT:    addq {{[0-9]+}}(%rsp), %rcx
1268 ; SSE-NEXT:    movq %r8, %r13
1269 ; SSE-NEXT:    adcq %r14, %r13
1270 ; SSE-NEXT:    movq %r13, %r10
1271 ; SSE-NEXT:    sarq $63, %r10
1272 ; SSE-NEXT:    xorl %edi, %edi
1273 ; SSE-NEXT:    testq %r13, %r13
1274 ; SSE-NEXT:    setns %dil
1275 ; SSE-NEXT:    movabsq $9223372036854775807, %r12 # imm = 0x7FFFFFFFFFFFFFFF
1276 ; SSE-NEXT:    leaq (%rdi,%r12), %r15
1277 ; SSE-NEXT:    testq %r8, %r8
1278 ; SSE-NEXT:    setns %r8b
1279 ; SSE-NEXT:    cmpb %dil, %r8b
1280 ; SSE-NEXT:    setne %dil
1281 ; SSE-NEXT:    testq %r14, %r14
1282 ; SSE-NEXT:    setns %bl
1283 ; SSE-NEXT:    cmpb %bl, %r8b
1284 ; SSE-NEXT:    sete %bl
1285 ; SSE-NEXT:    testb %dil, %bl
1286 ; SSE-NEXT:    cmoveq %r13, %r15
1287 ; SSE-NEXT:    cmoveq %rcx, %r10
1288 ; SSE-NEXT:    addq %r9, %rsi
1289 ; SSE-NEXT:    movq %rdx, %rdi
1290 ; SSE-NEXT:    adcq %r11, %rdi
1291 ; SSE-NEXT:    setns %bl
1292 ; SSE-NEXT:    movzbl %bl, %ebx
1293 ; SSE-NEXT:    addq %rbx, %r12
1294 ; SSE-NEXT:    movq %rdi, %rcx
1295 ; SSE-NEXT:    sarq $63, %rcx
1296 ; SSE-NEXT:    testq %r11, %r11
1297 ; SSE-NEXT:    setns %r8b
1298 ; SSE-NEXT:    testq %rdx, %rdx
1299 ; SSE-NEXT:    setns %dl
1300 ; SSE-NEXT:    cmpb %r8b, %dl
1301 ; SSE-NEXT:    sete %r8b
1302 ; SSE-NEXT:    cmpb %bl, %dl
1303 ; SSE-NEXT:    setne %dl
1304 ; SSE-NEXT:    testb %dl, %r8b
1305 ; SSE-NEXT:    cmoveq %rsi, %rcx
1306 ; SSE-NEXT:    cmoveq %rdi, %r12
1307 ; SSE-NEXT:    movq %r15, 24(%rax)
1308 ; SSE-NEXT:    movq %r10, 16(%rax)
1309 ; SSE-NEXT:    movq %r12, 8(%rax)
1310 ; SSE-NEXT:    movq %rcx, (%rax)
1311 ; SSE-NEXT:    popq %rbx
1312 ; SSE-NEXT:    popq %r12
1313 ; SSE-NEXT:    popq %r13
1314 ; SSE-NEXT:    popq %r14
1315 ; SSE-NEXT:    popq %r15
1316 ; SSE-NEXT:    retq
1317 ;
1318 ; AVX-LABEL: v2i128:
1319 ; AVX:       # %bb.0:
1320 ; AVX-NEXT:    pushq %r15
1321 ; AVX-NEXT:    pushq %r14
1322 ; AVX-NEXT:    pushq %r13
1323 ; AVX-NEXT:    pushq %r12
1324 ; AVX-NEXT:    pushq %rbx
1325 ; AVX-NEXT:    movq %rdi, %rax
1326 ; AVX-NEXT:    movq {{[0-9]+}}(%rsp), %r11
1327 ; AVX-NEXT:    movq {{[0-9]+}}(%rsp), %r14
1328 ; AVX-NEXT:    addq {{[0-9]+}}(%rsp), %rcx
1329 ; AVX-NEXT:    movq %r8, %r13
1330 ; AVX-NEXT:    adcq %r14, %r13
1331 ; AVX-NEXT:    movq %r13, %r10
1332 ; AVX-NEXT:    sarq $63, %r10
1333 ; AVX-NEXT:    xorl %edi, %edi
1334 ; AVX-NEXT:    testq %r13, %r13
1335 ; AVX-NEXT:    setns %dil
1336 ; AVX-NEXT:    movabsq $9223372036854775807, %r12 # imm = 0x7FFFFFFFFFFFFFFF
1337 ; AVX-NEXT:    leaq (%rdi,%r12), %r15
1338 ; AVX-NEXT:    testq %r8, %r8
1339 ; AVX-NEXT:    setns %r8b
1340 ; AVX-NEXT:    cmpb %dil, %r8b
1341 ; AVX-NEXT:    setne %dil
1342 ; AVX-NEXT:    testq %r14, %r14
1343 ; AVX-NEXT:    setns %bl
1344 ; AVX-NEXT:    cmpb %bl, %r8b
1345 ; AVX-NEXT:    sete %bl
1346 ; AVX-NEXT:    testb %dil, %bl
1347 ; AVX-NEXT:    cmoveq %r13, %r15
1348 ; AVX-NEXT:    cmoveq %rcx, %r10
1349 ; AVX-NEXT:    addq %r9, %rsi
1350 ; AVX-NEXT:    movq %rdx, %rdi
1351 ; AVX-NEXT:    adcq %r11, %rdi
1352 ; AVX-NEXT:    setns %bl
1353 ; AVX-NEXT:    movzbl %bl, %ebx
1354 ; AVX-NEXT:    addq %rbx, %r12
1355 ; AVX-NEXT:    movq %rdi, %rcx
1356 ; AVX-NEXT:    sarq $63, %rcx
1357 ; AVX-NEXT:    testq %r11, %r11
1358 ; AVX-NEXT:    setns %r8b
1359 ; AVX-NEXT:    testq %rdx, %rdx
1360 ; AVX-NEXT:    setns %dl
1361 ; AVX-NEXT:    cmpb %r8b, %dl
1362 ; AVX-NEXT:    sete %r8b
1363 ; AVX-NEXT:    cmpb %bl, %dl
1364 ; AVX-NEXT:    setne %dl
1365 ; AVX-NEXT:    testb %dl, %r8b
1366 ; AVX-NEXT:    cmoveq %rsi, %rcx
1367 ; AVX-NEXT:    cmoveq %rdi, %r12
1368 ; AVX-NEXT:    movq %r15, 24(%rax)
1369 ; AVX-NEXT:    movq %r10, 16(%rax)
1370 ; AVX-NEXT:    movq %r12, 8(%rax)
1371 ; AVX-NEXT:    movq %rcx, (%rax)
1372 ; AVX-NEXT:    popq %rbx
1373 ; AVX-NEXT:    popq %r12
1374 ; AVX-NEXT:    popq %r13
1375 ; AVX-NEXT:    popq %r14
1376 ; AVX-NEXT:    popq %r15
1377 ; AVX-NEXT:    retq
1378   %z = call <2 x i128> @llvm.sadd.sat.v2i128(<2 x i128> %x, <2 x i128> %y)
1379   ret <2 x i128> %z
1380 }