test/CodeGen/AArch64/sadd_sat_vec.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=aarch64-- | FileCheck %s
   3
   4 declare <1 x i8> @llvm.sadd.sat.v1i8(<1 x i8>, <1 x i8>)
   5 declare <2 x i8> @llvm.sadd.sat.v2i8(<2 x i8>, <2 x i8>)
   6 declare <4 x i8> @llvm.sadd.sat.v4i8(<4 x i8>, <4 x i8>)
   7 declare <8 x i8> @llvm.sadd.sat.v8i8(<8 x i8>, <8 x i8>)
   8 declare <12 x i8> @llvm.sadd.sat.v12i8(<12 x i8>, <12 x i8>)
   9 declare <16 x i8> @llvm.sadd.sat.v16i8(<16 x i8>, <16 x i8>)
  10 declare <32 x i8> @llvm.sadd.sat.v32i8(<32 x i8>, <32 x i8>)
  11 declare <64 x i8> @llvm.sadd.sat.v64i8(<64 x i8>, <64 x i8>)
  12
  13 declare <1 x i16> @llvm.sadd.sat.v1i16(<1 x i16>, <1 x i16>)
  14 declare <2 x i16> @llvm.sadd.sat.v2i16(<2 x i16>, <2 x i16>)
  15 declare <4 x i16> @llvm.sadd.sat.v4i16(<4 x i16>, <4 x i16>)
  16 declare <8 x i16> @llvm.sadd.sat.v8i16(<8 x i16>, <8 x i16>)
  17 declare <12 x i16> @llvm.sadd.sat.v12i16(<12 x i16>, <12 x i16>)
  18 declare <16 x i16> @llvm.sadd.sat.v16i16(<16 x i16>, <16 x i16>)
  19 declare <32 x i16> @llvm.sadd.sat.v32i16(<32 x i16>, <32 x i16>)
  20
  21 declare <16 x i1> @llvm.sadd.sat.v16i1(<16 x i1>, <16 x i1>)
  22 declare <16 x i4> @llvm.sadd.sat.v16i4(<16 x i4>, <16 x i4>)
  23
  24 declare <2 x i32> @llvm.sadd.sat.v2i32(<2 x i32>, <2 x i32>)
  25 declare <4 x i32> @llvm.sadd.sat.v4i32(<4 x i32>, <4 x i32>)
  26 declare <8 x i32> @llvm.sadd.sat.v8i32(<8 x i32>, <8 x i32>)
  27 declare <16 x i32> @llvm.sadd.sat.v16i32(<16 x i32>, <16 x i32>)
  28 declare <2 x i64> @llvm.sadd.sat.v2i64(<2 x i64>, <2 x i64>)
  29 declare <4 x i64> @llvm.sadd.sat.v4i64(<4 x i64>, <4 x i64>)
  30 declare <8 x i64> @llvm.sadd.sat.v8i64(<8 x i64>, <8 x i64>)
  31
  32 declare <4 x i24> @llvm.sadd.sat.v4i24(<4 x i24>, <4 x i24>)
  33 declare <2 x i128> @llvm.sadd.sat.v2i128(<2 x i128>, <2 x i128>)
  34
  35 define <16 x i8> @v16i8(<16 x i8> %x, <16 x i8> %y) nounwind {
  36 ; CHECK-LABEL: v16i8:
  37 ; CHECK:       // %bb.0:
  38 ; CHECK-NEXT:    add v2.16b, v0.16b, v1.16b
  39 ; CHECK-NEXT:    cmge v1.16b, v1.16b, #0
  40 ; CHECK-NEXT:    cmge v0.16b, v0.16b, #0
  41 ; CHECK-NEXT:    cmge v5.16b, v2.16b, #0
  42 ; CHECK-NEXT:    cmlt v4.16b, v2.16b, #0
  43 ; CHECK-NEXT:    cmeq v1.16b, v0.16b, v1.16b
  44 ; CHECK-NEXT:    cmeq v0.16b, v0.16b, v5.16b
  45 ; CHECK-NEXT:    movi v3.16b, #127
  46 ; CHECK-NEXT:    mvn v5.16b, v4.16b
  47 ; CHECK-NEXT:    mvn v0.16b, v0.16b
  48 ; CHECK-NEXT:    bsl v3.16b, v4.16b, v5.16b
  49 ; CHECK-NEXT:    and v0.16b, v1.16b, v0.16b
  50 ; CHECK-NEXT:    bsl v0.16b, v3.16b, v2.16b
  51 ; CHECK-NEXT:    ret
  52   %z = call <16 x i8> @llvm.sadd.sat.v16i8(<16 x i8> %x, <16 x i8> %y)
  53   ret <16 x i8> %z
  54 }
  55
  56 define <32 x i8> @v32i8(<32 x i8> %x, <32 x i8> %y) nounwind {
  57 ; CHECK-LABEL: v32i8:
  58 ; CHECK:       // %bb.0:
  59 ; CHECK-NEXT:    add v4.16b, v0.16b, v2.16b
  60 ; CHECK-NEXT:    cmlt v16.16b, v4.16b, #0
  61 ; CHECK-NEXT:    movi v6.16b, #127
  62 ; CHECK-NEXT:    add v7.16b, v1.16b, v3.16b
  63 ; CHECK-NEXT:    mvn v17.16b, v16.16b
  64 ; CHECK-NEXT:    bsl v6.16b, v16.16b, v17.16b
  65 ; CHECK-NEXT:    cmlt v16.16b, v7.16b, #0
  66 ; CHECK-NEXT:    movi v5.16b, #127
  67 ; CHECK-NEXT:    mvn v17.16b, v16.16b
  68 ; CHECK-NEXT:    bsl v5.16b, v16.16b, v17.16b
  69 ; CHECK-NEXT:    cmge v2.16b, v2.16b, #0
  70 ; CHECK-NEXT:    cmge v0.16b, v0.16b, #0
  71 ; CHECK-NEXT:    cmge v16.16b, v4.16b, #0
  72 ; CHECK-NEXT:    cmge v3.16b, v3.16b, #0
  73 ; CHECK-NEXT:    cmge v1.16b, v1.16b, #0
  74 ; CHECK-NEXT:    cmeq v2.16b, v0.16b, v2.16b
  75 ; CHECK-NEXT:    cmeq v0.16b, v0.16b, v16.16b
  76 ; CHECK-NEXT:    cmge v16.16b, v7.16b, #0
  77 ; CHECK-NEXT:    cmeq v3.16b, v1.16b, v3.16b
  78 ; CHECK-NEXT:    cmeq v1.16b, v1.16b, v16.16b
  79 ; CHECK-NEXT:    mvn v0.16b, v0.16b
  80 ; CHECK-NEXT:    mvn v1.16b, v1.16b
  81 ; CHECK-NEXT:    and v0.16b, v2.16b, v0.16b
  82 ; CHECK-NEXT:    and v1.16b, v3.16b, v1.16b
  83 ; CHECK-NEXT:    bsl v0.16b, v6.16b, v4.16b
  84 ; CHECK-NEXT:    bsl v1.16b, v5.16b, v7.16b
  85 ; CHECK-NEXT:    ret
  86   %z = call <32 x i8> @llvm.sadd.sat.v32i8(<32 x i8> %x, <32 x i8> %y)
  87   ret <32 x i8> %z
  88 }
  89
  90 define <64 x i8> @v64i8(<64 x i8> %x, <64 x i8> %y) nounwind {
  91 ; CHECK-LABEL: v64i8:
  92 ; CHECK:       // %bb.0:
  93 ; CHECK-NEXT:    add v16.16b, v0.16b, v4.16b
  94 ; CHECK-NEXT:    cmlt v24.16b, v16.16b, #0
  95 ; CHECK-NEXT:    movi v18.16b, #127
  96 ; CHECK-NEXT:    add v19.16b, v1.16b, v5.16b
  97 ; CHECK-NEXT:    mvn v25.16b, v24.16b
  98 ; CHECK-NEXT:    bsl v18.16b, v24.16b, v25.16b
  99 ; CHECK-NEXT:    cmlt v24.16b, v19.16b, #0
 100 ; CHECK-NEXT:    movi v20.16b, #127
 101 ; CHECK-NEXT:    add v21.16b, v2.16b, v6.16b
 102 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 103 ; CHECK-NEXT:    bsl v20.16b, v24.16b, v25.16b
 104 ; CHECK-NEXT:    cmlt v24.16b, v21.16b, #0
 105 ; CHECK-NEXT:    movi v22.16b, #127
 106 ; CHECK-NEXT:    add v23.16b, v3.16b, v7.16b
 107 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 108 ; CHECK-NEXT:    bsl v22.16b, v24.16b, v25.16b
 109 ; CHECK-NEXT:    cmlt v24.16b, v23.16b, #0
 110 ; CHECK-NEXT:    movi v17.16b, #127
 111 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 112 ; CHECK-NEXT:    bsl v17.16b, v24.16b, v25.16b
 113 ; CHECK-NEXT:    cmge v4.16b, v4.16b, #0
 114 ; CHECK-NEXT:    cmge v0.16b, v0.16b, #0
 115 ; CHECK-NEXT:    cmge v24.16b, v16.16b, #0
 116 ; CHECK-NEXT:    cmge v5.16b, v5.16b, #0
 117 ; CHECK-NEXT:    cmge v1.16b, v1.16b, #0
 118 ; CHECK-NEXT:    cmeq v4.16b, v0.16b, v4.16b
 119 ; CHECK-NEXT:    cmeq v0.16b, v0.16b, v24.16b
 120 ; CHECK-NEXT:    cmge v24.16b, v19.16b, #0
 121 ; CHECK-NEXT:    cmge v6.16b, v6.16b, #0
 122 ; CHECK-NEXT:    cmge v2.16b, v2.16b, #0
 123 ; CHECK-NEXT:    cmeq v5.16b, v1.16b, v5.16b
 124 ; CHECK-NEXT:    cmeq v1.16b, v1.16b, v24.16b
 125 ; CHECK-NEXT:    cmge v24.16b, v21.16b, #0
 126 ; CHECK-NEXT:    cmge v7.16b, v7.16b, #0
 127 ; CHECK-NEXT:    cmge v3.16b, v3.16b, #0
 128 ; CHECK-NEXT:    cmeq v6.16b, v2.16b, v6.16b
 129 ; CHECK-NEXT:    cmeq v2.16b, v2.16b, v24.16b
 130 ; CHECK-NEXT:    cmge v24.16b, v23.16b, #0
 131 ; CHECK-NEXT:    cmeq v7.16b, v3.16b, v7.16b
 132 ; CHECK-NEXT:    cmeq v3.16b, v3.16b, v24.16b
 133 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 134 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 135 ; CHECK-NEXT:    mvn v2.16b, v2.16b
 136 ; CHECK-NEXT:    mvn v3.16b, v3.16b
 137 ; CHECK-NEXT:    and v0.16b, v4.16b, v0.16b
 138 ; CHECK-NEXT:    and v1.16b, v5.16b, v1.16b
 139 ; CHECK-NEXT:    and v2.16b, v6.16b, v2.16b
 140 ; CHECK-NEXT:    and v3.16b, v7.16b, v3.16b
 141 ; CHECK-NEXT:    bsl v0.16b, v18.16b, v16.16b
 142 ; CHECK-NEXT:    bsl v1.16b, v20.16b, v19.16b
 143 ; CHECK-NEXT:    bsl v2.16b, v22.16b, v21.16b
 144 ; CHECK-NEXT:    bsl v3.16b, v17.16b, v23.16b
 145 ; CHECK-NEXT:    ret
 146   %z = call <64 x i8> @llvm.sadd.sat.v64i8(<64 x i8> %x, <64 x i8> %y)
 147   ret <64 x i8> %z
 148 }
 149
 150 define <8 x i16> @v8i16(<8 x i16> %x, <8 x i16> %y) nounwind {
 151 ; CHECK-LABEL: v8i16:
 152 ; CHECK:       // %bb.0:
 153 ; CHECK-NEXT:    add v2.8h, v0.8h, v1.8h
 154 ; CHECK-NEXT:    cmge v1.8h, v1.8h, #0
 155 ; CHECK-NEXT:    cmge v0.8h, v0.8h, #0
 156 ; CHECK-NEXT:    cmge v5.8h, v2.8h, #0
 157 ; CHECK-NEXT:    cmlt v4.8h, v2.8h, #0
 158 ; CHECK-NEXT:    cmeq v1.8h, v0.8h, v1.8h
 159 ; CHECK-NEXT:    cmeq v0.8h, v0.8h, v5.8h
 160 ; CHECK-NEXT:    mvni v3.8h, #128, lsl #8
 161 ; CHECK-NEXT:    mvn v5.16b, v4.16b
 162 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 163 ; CHECK-NEXT:    bsl v3.16b, v4.16b, v5.16b
 164 ; CHECK-NEXT:    and v0.16b, v1.16b, v0.16b
 165 ; CHECK-NEXT:    bsl v0.16b, v3.16b, v2.16b
 166 ; CHECK-NEXT:    ret
 167   %z = call <8 x i16> @llvm.sadd.sat.v8i16(<8 x i16> %x, <8 x i16> %y)
 168   ret <8 x i16> %z
 169 }
 170
 171 define <16 x i16> @v16i16(<16 x i16> %x, <16 x i16> %y) nounwind {
 172 ; CHECK-LABEL: v16i16:
 173 ; CHECK:       // %bb.0:
 174 ; CHECK-NEXT:    add v4.8h, v0.8h, v2.8h
 175 ; CHECK-NEXT:    cmlt v16.8h, v4.8h, #0
 176 ; CHECK-NEXT:    mvni v6.8h, #128, lsl #8
 177 ; CHECK-NEXT:    add v7.8h, v1.8h, v3.8h
 178 ; CHECK-NEXT:    mvn v17.16b, v16.16b
 179 ; CHECK-NEXT:    bsl v6.16b, v16.16b, v17.16b
 180 ; CHECK-NEXT:    cmlt v16.8h, v7.8h, #0
 181 ; CHECK-NEXT:    mvni v5.8h, #128, lsl #8
 182 ; CHECK-NEXT:    mvn v17.16b, v16.16b
 183 ; CHECK-NEXT:    bsl v5.16b, v16.16b, v17.16b
 184 ; CHECK-NEXT:    cmge v2.8h, v2.8h, #0
 185 ; CHECK-NEXT:    cmge v0.8h, v0.8h, #0
 186 ; CHECK-NEXT:    cmge v16.8h, v4.8h, #0
 187 ; CHECK-NEXT:    cmge v3.8h, v3.8h, #0
 188 ; CHECK-NEXT:    cmge v1.8h, v1.8h, #0
 189 ; CHECK-NEXT:    cmeq v2.8h, v0.8h, v2.8h
 190 ; CHECK-NEXT:    cmeq v0.8h, v0.8h, v16.8h
 191 ; CHECK-NEXT:    cmge v16.8h, v7.8h, #0
 192 ; CHECK-NEXT:    cmeq v3.8h, v1.8h, v3.8h
 193 ; CHECK-NEXT:    cmeq v1.8h, v1.8h, v16.8h
 194 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 195 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 196 ; CHECK-NEXT:    and v0.16b, v2.16b, v0.16b
 197 ; CHECK-NEXT:    and v1.16b, v3.16b, v1.16b
 198 ; CHECK-NEXT:    bsl v0.16b, v6.16b, v4.16b
 199 ; CHECK-NEXT:    bsl v1.16b, v5.16b, v7.16b
 200 ; CHECK-NEXT:    ret
 201   %z = call <16 x i16> @llvm.sadd.sat.v16i16(<16 x i16> %x, <16 x i16> %y)
 202   ret <16 x i16> %z
 203 }
 204
 205 define <32 x i16> @v32i16(<32 x i16> %x, <32 x i16> %y) nounwind {
 206 ; CHECK-LABEL: v32i16:
 207 ; CHECK:       // %bb.0:
 208 ; CHECK-NEXT:    add v16.8h, v0.8h, v4.8h
 209 ; CHECK-NEXT:    cmlt v24.8h, v16.8h, #0
 210 ; CHECK-NEXT:    mvni v18.8h, #128, lsl #8
 211 ; CHECK-NEXT:    add v19.8h, v1.8h, v5.8h
 212 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 213 ; CHECK-NEXT:    bsl v18.16b, v24.16b, v25.16b
 214 ; CHECK-NEXT:    cmlt v24.8h, v19.8h, #0
 215 ; CHECK-NEXT:    mvni v20.8h, #128, lsl #8
 216 ; CHECK-NEXT:    add v21.8h, v2.8h, v6.8h
 217 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 218 ; CHECK-NEXT:    bsl v20.16b, v24.16b, v25.16b
 219 ; CHECK-NEXT:    cmlt v24.8h, v21.8h, #0
 220 ; CHECK-NEXT:    mvni v22.8h, #128, lsl #8
 221 ; CHECK-NEXT:    add v23.8h, v3.8h, v7.8h
 222 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 223 ; CHECK-NEXT:    bsl v22.16b, v24.16b, v25.16b
 224 ; CHECK-NEXT:    cmlt v24.8h, v23.8h, #0
 225 ; CHECK-NEXT:    mvni v17.8h, #128, lsl #8
 226 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 227 ; CHECK-NEXT:    bsl v17.16b, v24.16b, v25.16b
 228 ; CHECK-NEXT:    cmge v4.8h, v4.8h, #0
 229 ; CHECK-NEXT:    cmge v0.8h, v0.8h, #0
 230 ; CHECK-NEXT:    cmge v24.8h, v16.8h, #0
 231 ; CHECK-NEXT:    cmge v5.8h, v5.8h, #0
 232 ; CHECK-NEXT:    cmge v1.8h, v1.8h, #0
 233 ; CHECK-NEXT:    cmeq v4.8h, v0.8h, v4.8h
 234 ; CHECK-NEXT:    cmeq v0.8h, v0.8h, v24.8h
 235 ; CHECK-NEXT:    cmge v24.8h, v19.8h, #0
 236 ; CHECK-NEXT:    cmge v6.8h, v6.8h, #0
 237 ; CHECK-NEXT:    cmge v2.8h, v2.8h, #0
 238 ; CHECK-NEXT:    cmeq v5.8h, v1.8h, v5.8h
 239 ; CHECK-NEXT:    cmeq v1.8h, v1.8h, v24.8h
 240 ; CHECK-NEXT:    cmge v24.8h, v21.8h, #0
 241 ; CHECK-NEXT:    cmge v7.8h, v7.8h, #0
 242 ; CHECK-NEXT:    cmge v3.8h, v3.8h, #0
 243 ; CHECK-NEXT:    cmeq v6.8h, v2.8h, v6.8h
 244 ; CHECK-NEXT:    cmeq v2.8h, v2.8h, v24.8h
 245 ; CHECK-NEXT:    cmge v24.8h, v23.8h, #0
 246 ; CHECK-NEXT:    cmeq v7.8h, v3.8h, v7.8h
 247 ; CHECK-NEXT:    cmeq v3.8h, v3.8h, v24.8h
 248 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 249 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 250 ; CHECK-NEXT:    mvn v2.16b, v2.16b
 251 ; CHECK-NEXT:    mvn v3.16b, v3.16b
 252 ; CHECK-NEXT:    and v0.16b, v4.16b, v0.16b
 253 ; CHECK-NEXT:    and v1.16b, v5.16b, v1.16b
 254 ; CHECK-NEXT:    and v2.16b, v6.16b, v2.16b
 255 ; CHECK-NEXT:    and v3.16b, v7.16b, v3.16b
 256 ; CHECK-NEXT:    bsl v0.16b, v18.16b, v16.16b
 257 ; CHECK-NEXT:    bsl v1.16b, v20.16b, v19.16b
 258 ; CHECK-NEXT:    bsl v2.16b, v22.16b, v21.16b
 259 ; CHECK-NEXT:    bsl v3.16b, v17.16b, v23.16b
 260 ; CHECK-NEXT:    ret
 261   %z = call <32 x i16> @llvm.sadd.sat.v32i16(<32 x i16> %x, <32 x i16> %y)
 262   ret <32 x i16> %z
 263 }
 264
 265 define void @v8i8(<8 x i8>* %px, <8 x i8>* %py, <8 x i8>* %pz) nounwind {
 266 ; CHECK-LABEL: v8i8:
 267 ; CHECK:       // %bb.0:
 268 ; CHECK-NEXT:    ldr d0, [x0]
 269 ; CHECK-NEXT:    ldr d1, [x1]
 270 ; CHECK-NEXT:    movi v2.8b, #127
 271 ; CHECK-NEXT:    add v3.8b, v0.8b, v1.8b
 272 ; CHECK-NEXT:    cmge v1.8b, v1.8b, #0
 273 ; CHECK-NEXT:    cmge v0.8b, v0.8b, #0
 274 ; CHECK-NEXT:    cmge v5.8b, v3.8b, #0
 275 ; CHECK-NEXT:    cmlt v4.8b, v3.8b, #0
 276 ; CHECK-NEXT:    cmeq v1.8b, v0.8b, v1.8b
 277 ; CHECK-NEXT:    cmeq v0.8b, v0.8b, v5.8b
 278 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 279 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 280 ; CHECK-NEXT:    bsl v2.8b, v4.8b, v5.8b
 281 ; CHECK-NEXT:    and v0.8b, v1.8b, v0.8b
 282 ; CHECK-NEXT:    bsl v0.8b, v2.8b, v3.8b
 283 ; CHECK-NEXT:    str d0, [x2]
 284 ; CHECK-NEXT:    ret
 285   %x = load <8 x i8>, <8 x i8>* %px
 286   %y = load <8 x i8>, <8 x i8>* %py
 287   %z = call <8 x i8> @llvm.sadd.sat.v8i8(<8 x i8> %x, <8 x i8> %y)
 288   store <8 x i8> %z, <8 x i8>* %pz
 289   ret void
 290 }
 291
 292 define void @v4i8(<4 x i8>* %px, <4 x i8>* %py, <4 x i8>* %pz) nounwind {
 293 ; CHECK-LABEL: v4i8:
 294 ; CHECK:       // %bb.0:
 295 ; CHECK-NEXT:    ldrb w8, [x0]
 296 ; CHECK-NEXT:    ldrb w9, [x1]
 297 ; CHECK-NEXT:    ldrb w10, [x0, #1]
 298 ; CHECK-NEXT:    ldrb w11, [x1, #1]
 299 ; CHECK-NEXT:    ldrb w12, [x0, #2]
 300 ; CHECK-NEXT:    fmov s0, w8
 301 ; CHECK-NEXT:    ldrb w8, [x1, #2]
 302 ; CHECK-NEXT:    fmov s1, w9
 303 ; CHECK-NEXT:    mov v0.h[1], w10
 304 ; CHECK-NEXT:    ldrb w9, [x0, #3]
 305 ; CHECK-NEXT:    ldrb w10, [x1, #3]
 306 ; CHECK-NEXT:    mov v1.h[1], w11
 307 ; CHECK-NEXT:    mov v0.h[2], w12
 308 ; CHECK-NEXT:    mov v1.h[2], w8
 309 ; CHECK-NEXT:    mov v0.h[3], w9
 310 ; CHECK-NEXT:    mov v1.h[3], w10
 311 ; CHECK-NEXT:    shl v1.4h, v1.4h, #8
 312 ; CHECK-NEXT:    shl v0.4h, v0.4h, #8
 313 ; CHECK-NEXT:    add v3.4h, v0.4h, v1.4h
 314 ; CHECK-NEXT:    cmge v1.4h, v1.4h, #0
 315 ; CHECK-NEXT:    cmge v0.4h, v0.4h, #0
 316 ; CHECK-NEXT:    cmge v5.4h, v3.4h, #0
 317 ; CHECK-NEXT:    cmlt v4.4h, v3.4h, #0
 318 ; CHECK-NEXT:    cmeq v1.4h, v0.4h, v1.4h
 319 ; CHECK-NEXT:    cmeq v0.4h, v0.4h, v5.4h
 320 ; CHECK-NEXT:    mvni v2.4h, #128, lsl #8
 321 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 322 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 323 ; CHECK-NEXT:    bsl v2.8b, v4.8b, v5.8b
 324 ; CHECK-NEXT:    and v0.8b, v1.8b, v0.8b
 325 ; CHECK-NEXT:    bsl v0.8b, v2.8b, v3.8b
 326 ; CHECK-NEXT:    sshr v0.4h, v0.4h, #8
 327 ; CHECK-NEXT:    xtn v0.8b, v0.8h
 328 ; CHECK-NEXT:    str s0, [x2]
 329 ; CHECK-NEXT:    ret
 330   %x = load <4 x i8>, <4 x i8>* %px
 331   %y = load <4 x i8>, <4 x i8>* %py
 332   %z = call <4 x i8> @llvm.sadd.sat.v4i8(<4 x i8> %x, <4 x i8> %y)
 333   store <4 x i8> %z, <4 x i8>* %pz
 334   ret void
 335 }
 336
 337 define void @v2i8(<2 x i8>* %px, <2 x i8>* %py, <2 x i8>* %pz) nounwind {
 338 ; CHECK-LABEL: v2i8:
 339 ; CHECK:       // %bb.0:
 340 ; CHECK-NEXT:    ldrb w8, [x0]
 341 ; CHECK-NEXT:    ldrb w9, [x1]
 342 ; CHECK-NEXT:    ldrb w10, [x0, #1]
 343 ; CHECK-NEXT:    ldrb w11, [x1, #1]
 344 ; CHECK-NEXT:    fmov s0, w8
 345 ; CHECK-NEXT:    fmov s2, w9
 346 ; CHECK-NEXT:    mov v0.s[1], w10
 347 ; CHECK-NEXT:    mov v2.s[1], w11
 348 ; CHECK-NEXT:    shl v2.2s, v2.2s, #24
 349 ; CHECK-NEXT:    shl v0.2s, v0.2s, #24
 350 ; CHECK-NEXT:    add v3.2s, v0.2s, v2.2s
 351 ; CHECK-NEXT:    cmge v2.2s, v2.2s, #0
 352 ; CHECK-NEXT:    cmge v0.2s, v0.2s, #0
 353 ; CHECK-NEXT:    cmge v5.2s, v3.2s, #0
 354 ; CHECK-NEXT:    cmlt v4.2s, v3.2s, #0
 355 ; CHECK-NEXT:    cmeq v2.2s, v0.2s, v2.2s
 356 ; CHECK-NEXT:    cmeq v0.2s, v0.2s, v5.2s
 357 ; CHECK-NEXT:    mvni v1.2s, #128, lsl #24
 358 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 359 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 360 ; CHECK-NEXT:    bsl v1.8b, v4.8b, v5.8b
 361 ; CHECK-NEXT:    and v0.8b, v2.8b, v0.8b
 362 ; CHECK-NEXT:    bsl v0.8b, v1.8b, v3.8b
 363 ; CHECK-NEXT:    ushr v0.2s, v0.2s, #24
 364 ; CHECK-NEXT:    mov w8, v0.s[1]
 365 ; CHECK-NEXT:    fmov w9, s0
 366 ; CHECK-NEXT:    strb w8, [x2, #1]
 367 ; CHECK-NEXT:    strb w9, [x2]
 368 ; CHECK-NEXT:    ret
 369   %x = load <2 x i8>, <2 x i8>* %px
 370   %y = load <2 x i8>, <2 x i8>* %py
 371   %z = call <2 x i8> @llvm.sadd.sat.v2i8(<2 x i8> %x, <2 x i8> %y)
 372   store <2 x i8> %z, <2 x i8>* %pz
 373   ret void
 374 }
 375
 376 define void @v4i16(<4 x i16>* %px, <4 x i16>* %py, <4 x i16>* %pz) nounwind {
 377 ; CHECK-LABEL: v4i16:
 378 ; CHECK:       // %bb.0:
 379 ; CHECK-NEXT:    ldr d0, [x0]
 380 ; CHECK-NEXT:    ldr d1, [x1]
 381 ; CHECK-NEXT:    mvni v2.4h, #128, lsl #8
 382 ; CHECK-NEXT:    add v3.4h, v0.4h, v1.4h
 383 ; CHECK-NEXT:    cmge v1.4h, v1.4h, #0
 384 ; CHECK-NEXT:    cmge v0.4h, v0.4h, #0
 385 ; CHECK-NEXT:    cmge v5.4h, v3.4h, #0
 386 ; CHECK-NEXT:    cmlt v4.4h, v3.4h, #0
 387 ; CHECK-NEXT:    cmeq v1.4h, v0.4h, v1.4h
 388 ; CHECK-NEXT:    cmeq v0.4h, v0.4h, v5.4h
 389 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 390 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 391 ; CHECK-NEXT:    bsl v2.8b, v4.8b, v5.8b
 392 ; CHECK-NEXT:    and v0.8b, v1.8b, v0.8b
 393 ; CHECK-NEXT:    bsl v0.8b, v2.8b, v3.8b
 394 ; CHECK-NEXT:    str d0, [x2]
 395 ; CHECK-NEXT:    ret
 396   %x = load <4 x i16>, <4 x i16>* %px
 397   %y = load <4 x i16>, <4 x i16>* %py
 398   %z = call <4 x i16> @llvm.sadd.sat.v4i16(<4 x i16> %x, <4 x i16> %y)
 399   store <4 x i16> %z, <4 x i16>* %pz
 400   ret void
 401 }
 402
 403 define void @v2i16(<2 x i16>* %px, <2 x i16>* %py, <2 x i16>* %pz) nounwind {
 404 ; CHECK-LABEL: v2i16:
 405 ; CHECK:       // %bb.0:
 406 ; CHECK-NEXT:    ldrh w8, [x0]
 407 ; CHECK-NEXT:    ldrh w9, [x1]
 408 ; CHECK-NEXT:    ldrh w10, [x0, #2]
 409 ; CHECK-NEXT:    ldrh w11, [x1, #2]
 410 ; CHECK-NEXT:    fmov s0, w8
 411 ; CHECK-NEXT:    fmov s2, w9
 412 ; CHECK-NEXT:    mov v0.s[1], w10
 413 ; CHECK-NEXT:    mov v2.s[1], w11
 414 ; CHECK-NEXT:    shl v2.2s, v2.2s, #16
 415 ; CHECK-NEXT:    shl v0.2s, v0.2s, #16
 416 ; CHECK-NEXT:    add v3.2s, v0.2s, v2.2s
 417 ; CHECK-NEXT:    cmge v2.2s, v2.2s, #0
 418 ; CHECK-NEXT:    cmge v0.2s, v0.2s, #0
 419 ; CHECK-NEXT:    cmge v5.2s, v3.2s, #0
 420 ; CHECK-NEXT:    cmlt v4.2s, v3.2s, #0
 421 ; CHECK-NEXT:    cmeq v2.2s, v0.2s, v2.2s
 422 ; CHECK-NEXT:    cmeq v0.2s, v0.2s, v5.2s
 423 ; CHECK-NEXT:    mvni v1.2s, #128, lsl #24
 424 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 425 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 426 ; CHECK-NEXT:    bsl v1.8b, v4.8b, v5.8b
 427 ; CHECK-NEXT:    and v0.8b, v2.8b, v0.8b
 428 ; CHECK-NEXT:    bsl v0.8b, v1.8b, v3.8b
 429 ; CHECK-NEXT:    ushr v0.2s, v0.2s, #16
 430 ; CHECK-NEXT:    mov w8, v0.s[1]
 431 ; CHECK-NEXT:    fmov w9, s0
 432 ; CHECK-NEXT:    strh w8, [x2, #2]
 433 ; CHECK-NEXT:    strh w9, [x2]
 434 ; CHECK-NEXT:    ret
 435   %x = load <2 x i16>, <2 x i16>* %px
 436   %y = load <2 x i16>, <2 x i16>* %py
 437   %z = call <2 x i16> @llvm.sadd.sat.v2i16(<2 x i16> %x, <2 x i16> %y)
 438   store <2 x i16> %z, <2 x i16>* %pz
 439   ret void
 440 }
 441
 442 define <12 x i8> @v12i8(<12 x i8> %x, <12 x i8> %y) nounwind {
 443 ; CHECK-LABEL: v12i8:
 444 ; CHECK:       // %bb.0:
 445 ; CHECK-NEXT:    add v2.16b, v0.16b, v1.16b
 446 ; CHECK-NEXT:    cmge v1.16b, v1.16b, #0
 447 ; CHECK-NEXT:    cmge v0.16b, v0.16b, #0
 448 ; CHECK-NEXT:    cmge v5.16b, v2.16b, #0
 449 ; CHECK-NEXT:    cmlt v4.16b, v2.16b, #0
 450 ; CHECK-NEXT:    cmeq v1.16b, v0.16b, v1.16b
 451 ; CHECK-NEXT:    cmeq v0.16b, v0.16b, v5.16b
 452 ; CHECK-NEXT:    movi v3.16b, #127
 453 ; CHECK-NEXT:    mvn v5.16b, v4.16b
 454 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 455 ; CHECK-NEXT:    bsl v3.16b, v4.16b, v5.16b
 456 ; CHECK-NEXT:    and v0.16b, v1.16b, v0.16b
 457 ; CHECK-NEXT:    bsl v0.16b, v3.16b, v2.16b
 458 ; CHECK-NEXT:    ret
 459   %z = call <12 x i8> @llvm.sadd.sat.v12i8(<12 x i8> %x, <12 x i8> %y)
 460   ret <12 x i8> %z
 461 }
 462
 463 define void @v12i16(<12 x i16>* %px, <12 x i16>* %py, <12 x i16>* %pz) nounwind {
 464 ; CHECK-LABEL: v12i16:
 465 ; CHECK:       // %bb.0:
 466 ; CHECK-NEXT:    ldp q0, q1, [x0]
 467 ; CHECK-NEXT:    ldp q3, q2, [x1]
 468 ; CHECK-NEXT:    mvni v5.8h, #128, lsl #8
 469 ; CHECK-NEXT:    mvni v4.8h, #128, lsl #8
 470 ; CHECK-NEXT:    add v6.8h, v1.8h, v2.8h
 471 ; CHECK-NEXT:    cmlt v16.8h, v6.8h, #0
 472 ; CHECK-NEXT:    add v7.8h, v0.8h, v3.8h
 473 ; CHECK-NEXT:    mvn v17.16b, v16.16b
 474 ; CHECK-NEXT:    bsl v5.16b, v16.16b, v17.16b
 475 ; CHECK-NEXT:    cmlt v16.8h, v7.8h, #0
 476 ; CHECK-NEXT:    mvn v17.16b, v16.16b
 477 ; CHECK-NEXT:    bsl v4.16b, v16.16b, v17.16b
 478 ; CHECK-NEXT:    cmge v2.8h, v2.8h, #0
 479 ; CHECK-NEXT:    cmge v1.8h, v1.8h, #0
 480 ; CHECK-NEXT:    cmge v16.8h, v6.8h, #0
 481 ; CHECK-NEXT:    cmge v3.8h, v3.8h, #0
 482 ; CHECK-NEXT:    cmge v0.8h, v0.8h, #0
 483 ; CHECK-NEXT:    cmeq v2.8h, v1.8h, v2.8h
 484 ; CHECK-NEXT:    cmeq v1.8h, v1.8h, v16.8h
 485 ; CHECK-NEXT:    cmge v16.8h, v7.8h, #0
 486 ; CHECK-NEXT:    cmeq v3.8h, v0.8h, v3.8h
 487 ; CHECK-NEXT:    cmeq v0.8h, v0.8h, v16.8h
 488 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 489 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 490 ; CHECK-NEXT:    and v1.16b, v2.16b, v1.16b
 491 ; CHECK-NEXT:    and v0.16b, v3.16b, v0.16b
 492 ; CHECK-NEXT:    bsl v1.16b, v5.16b, v6.16b
 493 ; CHECK-NEXT:    bsl v0.16b, v4.16b, v7.16b
 494 ; CHECK-NEXT:    str q0, [x2]
 495 ; CHECK-NEXT:    str d1, [x2, #16]
 496 ; CHECK-NEXT:    ret
 497   %x = load <12 x i16>, <12 x i16>* %px
 498   %y = load <12 x i16>, <12 x i16>* %py
 499   %z = call <12 x i16> @llvm.sadd.sat.v12i16(<12 x i16> %x, <12 x i16> %y)
 500   store <12 x i16> %z, <12 x i16>* %pz
 501   ret void
 502 }
 503
 504 define void @v1i8(<1 x i8>* %px, <1 x i8>* %py, <1 x i8>* %pz) nounwind {
 505 ; CHECK-LABEL: v1i8:
 506 ; CHECK:       // %bb.0:
 507 ; CHECK-NEXT:    ldr b0, [x0]
 508 ; CHECK-NEXT:    ldr b1, [x1]
 509 ; CHECK-NEXT:    movi v2.8b, #127
 510 ; CHECK-NEXT:    add v3.8b, v0.8b, v1.8b
 511 ; CHECK-NEXT:    cmge v1.8b, v1.8b, #0
 512 ; CHECK-NEXT:    cmge v0.8b, v0.8b, #0
 513 ; CHECK-NEXT:    cmge v5.8b, v3.8b, #0
 514 ; CHECK-NEXT:    cmlt v4.8b, v3.8b, #0
 515 ; CHECK-NEXT:    cmeq v1.8b, v0.8b, v1.8b
 516 ; CHECK-NEXT:    cmeq v0.8b, v0.8b, v5.8b
 517 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 518 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 519 ; CHECK-NEXT:    bsl v2.8b, v4.8b, v5.8b
 520 ; CHECK-NEXT:    and v0.8b, v1.8b, v0.8b
 521 ; CHECK-NEXT:    bsl v0.8b, v2.8b, v3.8b
 522 ; CHECK-NEXT:    st1 { v0.b }[0], [x2]
 523 ; CHECK-NEXT:    ret
 524   %x = load <1 x i8>, <1 x i8>* %px
 525   %y = load <1 x i8>, <1 x i8>* %py
 526   %z = call <1 x i8> @llvm.sadd.sat.v1i8(<1 x i8> %x, <1 x i8> %y)
 527   store <1 x i8> %z, <1 x i8>* %pz
 528   ret void
 529 }
 530
 531 define void @v1i16(<1 x i16>* %px, <1 x i16>* %py, <1 x i16>* %pz) nounwind {
 532 ; CHECK-LABEL: v1i16:
 533 ; CHECK:       // %bb.0:
 534 ; CHECK-NEXT:    ldr h0, [x0]
 535 ; CHECK-NEXT:    ldr h1, [x1]
 536 ; CHECK-NEXT:    mvni v2.4h, #128, lsl #8
 537 ; CHECK-NEXT:    add v3.4h, v0.4h, v1.4h
 538 ; CHECK-NEXT:    cmge v1.4h, v1.4h, #0
 539 ; CHECK-NEXT:    cmge v0.4h, v0.4h, #0
 540 ; CHECK-NEXT:    cmge v5.4h, v3.4h, #0
 541 ; CHECK-NEXT:    cmlt v4.4h, v3.4h, #0
 542 ; CHECK-NEXT:    cmeq v1.4h, v0.4h, v1.4h
 543 ; CHECK-NEXT:    cmeq v0.4h, v0.4h, v5.4h
 544 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 545 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 546 ; CHECK-NEXT:    bsl v2.8b, v4.8b, v5.8b
 547 ; CHECK-NEXT:    and v0.8b, v1.8b, v0.8b
 548 ; CHECK-NEXT:    bsl v0.8b, v2.8b, v3.8b
 549 ; CHECK-NEXT:    str h0, [x2]
 550 ; CHECK-NEXT:    ret
 551   %x = load <1 x i16>, <1 x i16>* %px
 552   %y = load <1 x i16>, <1 x i16>* %py
 553   %z = call <1 x i16> @llvm.sadd.sat.v1i16(<1 x i16> %x, <1 x i16> %y)
 554   store <1 x i16> %z, <1 x i16>* %pz
 555   ret void
 556 }
 557
 558 define <16 x i4> @v16i4(<16 x i4> %x, <16 x i4> %y) nounwind {
 559 ; CHECK-LABEL: v16i4:
 560 ; CHECK:       // %bb.0:
 561 ; CHECK-NEXT:    shl v1.16b, v1.16b, #4
 562 ; CHECK-NEXT:    shl v0.16b, v0.16b, #4
 563 ; CHECK-NEXT:    add v3.16b, v0.16b, v1.16b
 564 ; CHECK-NEXT:    cmge v1.16b, v1.16b, #0
 565 ; CHECK-NEXT:    cmge v0.16b, v0.16b, #0
 566 ; CHECK-NEXT:    cmge v5.16b, v3.16b, #0
 567 ; CHECK-NEXT:    cmlt v4.16b, v3.16b, #0
 568 ; CHECK-NEXT:    cmeq v1.16b, v0.16b, v1.16b
 569 ; CHECK-NEXT:    cmeq v0.16b, v0.16b, v5.16b
 570 ; CHECK-NEXT:    movi v2.16b, #127
 571 ; CHECK-NEXT:    mvn v5.16b, v4.16b
 572 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 573 ; CHECK-NEXT:    bsl v2.16b, v4.16b, v5.16b
 574 ; CHECK-NEXT:    and v0.16b, v1.16b, v0.16b
 575 ; CHECK-NEXT:    bsl v0.16b, v2.16b, v3.16b
 576 ; CHECK-NEXT:    sshr v0.16b, v0.16b, #4
 577 ; CHECK-NEXT:    ret
 578   %z = call <16 x i4> @llvm.sadd.sat.v16i4(<16 x i4> %x, <16 x i4> %y)
 579   ret <16 x i4> %z
 580 }
 581
 582 define <16 x i1> @v16i1(<16 x i1> %x, <16 x i1> %y) nounwind {
 583 ; CHECK-LABEL: v16i1:
 584 ; CHECK:       // %bb.0:
 585 ; CHECK-NEXT:    shl v1.16b, v1.16b, #7
 586 ; CHECK-NEXT:    shl v0.16b, v0.16b, #7
 587 ; CHECK-NEXT:    add v3.16b, v0.16b, v1.16b
 588 ; CHECK-NEXT:    cmge v1.16b, v1.16b, #0
 589 ; CHECK-NEXT:    cmge v0.16b, v0.16b, #0
 590 ; CHECK-NEXT:    cmge v5.16b, v3.16b, #0
 591 ; CHECK-NEXT:    cmlt v4.16b, v3.16b, #0
 592 ; CHECK-NEXT:    cmeq v1.16b, v0.16b, v1.16b
 593 ; CHECK-NEXT:    cmeq v0.16b, v0.16b, v5.16b
 594 ; CHECK-NEXT:    movi v2.16b, #127
 595 ; CHECK-NEXT:    mvn v5.16b, v4.16b
 596 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 597 ; CHECK-NEXT:    bsl v2.16b, v4.16b, v5.16b
 598 ; CHECK-NEXT:    and v0.16b, v1.16b, v0.16b
 599 ; CHECK-NEXT:    bsl v0.16b, v2.16b, v3.16b
 600 ; CHECK-NEXT:    sshr v0.16b, v0.16b, #7
 601 ; CHECK-NEXT:    ret
 602   %z = call <16 x i1> @llvm.sadd.sat.v16i1(<16 x i1> %x, <16 x i1> %y)
 603   ret <16 x i1> %z
 604 }
 605
 606 define <2 x i32> @v2i32(<2 x i32> %x, <2 x i32> %y) nounwind {
 607 ; CHECK-LABEL: v2i32:
 608 ; CHECK:       // %bb.0:
 609 ; CHECK-NEXT:    add v2.2s, v0.2s, v1.2s
 610 ; CHECK-NEXT:    cmge v1.2s, v1.2s, #0
 611 ; CHECK-NEXT:    cmge v0.2s, v0.2s, #0
 612 ; CHECK-NEXT:    cmge v5.2s, v2.2s, #0
 613 ; CHECK-NEXT:    cmlt v4.2s, v2.2s, #0
 614 ; CHECK-NEXT:    cmeq v1.2s, v0.2s, v1.2s
 615 ; CHECK-NEXT:    cmeq v0.2s, v0.2s, v5.2s
 616 ; CHECK-NEXT:    mvni v3.2s, #128, lsl #24
 617 ; CHECK-NEXT:    mvn v5.8b, v4.8b
 618 ; CHECK-NEXT:    mvn v0.8b, v0.8b
 619 ; CHECK-NEXT:    bsl v3.8b, v4.8b, v5.8b
 620 ; CHECK-NEXT:    and v0.8b, v1.8b, v0.8b
 621 ; CHECK-NEXT:    bsl v0.8b, v3.8b, v2.8b
 622 ; CHECK-NEXT:    ret
 623   %z = call <2 x i32> @llvm.sadd.sat.v2i32(<2 x i32> %x, <2 x i32> %y)
 624   ret <2 x i32> %z
 625 }
 626
 627 define <4 x i32> @v4i32(<4 x i32> %x, <4 x i32> %y) nounwind {
 628 ; CHECK-LABEL: v4i32:
 629 ; CHECK:       // %bb.0:
 630 ; CHECK-NEXT:    add v2.4s, v0.4s, v1.4s
 631 ; CHECK-NEXT:    cmge v1.4s, v1.4s, #0
 632 ; CHECK-NEXT:    cmge v0.4s, v0.4s, #0
 633 ; CHECK-NEXT:    cmge v5.4s, v2.4s, #0
 634 ; CHECK-NEXT:    cmlt v4.4s, v2.4s, #0
 635 ; CHECK-NEXT:    cmeq v1.4s, v0.4s, v1.4s
 636 ; CHECK-NEXT:    cmeq v0.4s, v0.4s, v5.4s
 637 ; CHECK-NEXT:    mvni v3.4s, #128, lsl #24
 638 ; CHECK-NEXT:    mvn v5.16b, v4.16b
 639 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 640 ; CHECK-NEXT:    bsl v3.16b, v4.16b, v5.16b
 641 ; CHECK-NEXT:    and v0.16b, v1.16b, v0.16b
 642 ; CHECK-NEXT:    bsl v0.16b, v3.16b, v2.16b
 643 ; CHECK-NEXT:    ret
 644   %z = call <4 x i32> @llvm.sadd.sat.v4i32(<4 x i32> %x, <4 x i32> %y)
 645   ret <4 x i32> %z
 646 }
 647
 648 define <8 x i32> @v8i32(<8 x i32> %x, <8 x i32> %y) nounwind {
 649 ; CHECK-LABEL: v8i32:
 650 ; CHECK:       // %bb.0:
 651 ; CHECK-NEXT:    add v4.4s, v0.4s, v2.4s
 652 ; CHECK-NEXT:    cmlt v16.4s, v4.4s, #0
 653 ; CHECK-NEXT:    mvni v6.4s, #128, lsl #24
 654 ; CHECK-NEXT:    add v7.4s, v1.4s, v3.4s
 655 ; CHECK-NEXT:    mvn v17.16b, v16.16b
 656 ; CHECK-NEXT:    bsl v6.16b, v16.16b, v17.16b
 657 ; CHECK-NEXT:    cmlt v16.4s, v7.4s, #0
 658 ; CHECK-NEXT:    mvni v5.4s, #128, lsl #24
 659 ; CHECK-NEXT:    mvn v17.16b, v16.16b
 660 ; CHECK-NEXT:    bsl v5.16b, v16.16b, v17.16b
 661 ; CHECK-NEXT:    cmge v2.4s, v2.4s, #0
 662 ; CHECK-NEXT:    cmge v0.4s, v0.4s, #0
 663 ; CHECK-NEXT:    cmge v16.4s, v4.4s, #0
 664 ; CHECK-NEXT:    cmge v3.4s, v3.4s, #0
 665 ; CHECK-NEXT:    cmge v1.4s, v1.4s, #0
 666 ; CHECK-NEXT:    cmeq v2.4s, v0.4s, v2.4s
 667 ; CHECK-NEXT:    cmeq v0.4s, v0.4s, v16.4s
 668 ; CHECK-NEXT:    cmge v16.4s, v7.4s, #0
 669 ; CHECK-NEXT:    cmeq v3.4s, v1.4s, v3.4s
 670 ; CHECK-NEXT:    cmeq v1.4s, v1.4s, v16.4s
 671 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 672 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 673 ; CHECK-NEXT:    and v0.16b, v2.16b, v0.16b
 674 ; CHECK-NEXT:    and v1.16b, v3.16b, v1.16b
 675 ; CHECK-NEXT:    bsl v0.16b, v6.16b, v4.16b
 676 ; CHECK-NEXT:    bsl v1.16b, v5.16b, v7.16b
 677 ; CHECK-NEXT:    ret
 678   %z = call <8 x i32> @llvm.sadd.sat.v8i32(<8 x i32> %x, <8 x i32> %y)
 679   ret <8 x i32> %z
 680 }
 681
 682 define <16 x i32> @v16i32(<16 x i32> %x, <16 x i32> %y) nounwind {
 683 ; CHECK-LABEL: v16i32:
 684 ; CHECK:       // %bb.0:
 685 ; CHECK-NEXT:    add v16.4s, v0.4s, v4.4s
 686 ; CHECK-NEXT:    cmlt v24.4s, v16.4s, #0
 687 ; CHECK-NEXT:    mvni v18.4s, #128, lsl #24
 688 ; CHECK-NEXT:    add v19.4s, v1.4s, v5.4s
 689 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 690 ; CHECK-NEXT:    bsl v18.16b, v24.16b, v25.16b
 691 ; CHECK-NEXT:    cmlt v24.4s, v19.4s, #0
 692 ; CHECK-NEXT:    mvni v20.4s, #128, lsl #24
 693 ; CHECK-NEXT:    add v21.4s, v2.4s, v6.4s
 694 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 695 ; CHECK-NEXT:    bsl v20.16b, v24.16b, v25.16b
 696 ; CHECK-NEXT:    cmlt v24.4s, v21.4s, #0
 697 ; CHECK-NEXT:    mvni v22.4s, #128, lsl #24
 698 ; CHECK-NEXT:    add v23.4s, v3.4s, v7.4s
 699 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 700 ; CHECK-NEXT:    bsl v22.16b, v24.16b, v25.16b
 701 ; CHECK-NEXT:    cmlt v24.4s, v23.4s, #0
 702 ; CHECK-NEXT:    mvni v17.4s, #128, lsl #24
 703 ; CHECK-NEXT:    mvn v25.16b, v24.16b
 704 ; CHECK-NEXT:    bsl v17.16b, v24.16b, v25.16b
 705 ; CHECK-NEXT:    cmge v4.4s, v4.4s, #0
 706 ; CHECK-NEXT:    cmge v0.4s, v0.4s, #0
 707 ; CHECK-NEXT:    cmge v24.4s, v16.4s, #0
 708 ; CHECK-NEXT:    cmge v5.4s, v5.4s, #0
 709 ; CHECK-NEXT:    cmge v1.4s, v1.4s, #0
 710 ; CHECK-NEXT:    cmeq v4.4s, v0.4s, v4.4s
 711 ; CHECK-NEXT:    cmeq v0.4s, v0.4s, v24.4s
 712 ; CHECK-NEXT:    cmge v24.4s, v19.4s, #0
 713 ; CHECK-NEXT:    cmge v6.4s, v6.4s, #0
 714 ; CHECK-NEXT:    cmge v2.4s, v2.4s, #0
 715 ; CHECK-NEXT:    cmeq v5.4s, v1.4s, v5.4s
 716 ; CHECK-NEXT:    cmeq v1.4s, v1.4s, v24.4s
 717 ; CHECK-NEXT:    cmge v24.4s, v21.4s, #0
 718 ; CHECK-NEXT:    cmge v7.4s, v7.4s, #0
 719 ; CHECK-NEXT:    cmge v3.4s, v3.4s, #0
 720 ; CHECK-NEXT:    cmeq v6.4s, v2.4s, v6.4s
 721 ; CHECK-NEXT:    cmeq v2.4s, v2.4s, v24.4s
 722 ; CHECK-NEXT:    cmge v24.4s, v23.4s, #0
 723 ; CHECK-NEXT:    cmeq v7.4s, v3.4s, v7.4s
 724 ; CHECK-NEXT:    cmeq v3.4s, v3.4s, v24.4s
 725 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 726 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 727 ; CHECK-NEXT:    mvn v2.16b, v2.16b
 728 ; CHECK-NEXT:    mvn v3.16b, v3.16b
 729 ; CHECK-NEXT:    and v0.16b, v4.16b, v0.16b
 730 ; CHECK-NEXT:    and v1.16b, v5.16b, v1.16b
 731 ; CHECK-NEXT:    and v2.16b, v6.16b, v2.16b
 732 ; CHECK-NEXT:    and v3.16b, v7.16b, v3.16b
 733 ; CHECK-NEXT:    bsl v0.16b, v18.16b, v16.16b
 734 ; CHECK-NEXT:    bsl v1.16b, v20.16b, v19.16b
 735 ; CHECK-NEXT:    bsl v2.16b, v22.16b, v21.16b
 736 ; CHECK-NEXT:    bsl v3.16b, v17.16b, v23.16b
 737 ; CHECK-NEXT:    ret
 738   %z = call <16 x i32> @llvm.sadd.sat.v16i32(<16 x i32> %x, <16 x i32> %y)
 739   ret <16 x i32> %z
 740 }
 741
 742 define <2 x i64> @v2i64(<2 x i64> %x, <2 x i64> %y) nounwind {
 743 ; CHECK-LABEL: v2i64:
 744 ; CHECK:       // %bb.0:
 745 ; CHECK-NEXT:    add v2.2d, v0.2d, v1.2d
 746 ; CHECK-NEXT:    cmge v1.2d, v1.2d, #0
 747 ; CHECK-NEXT:    cmge v0.2d, v0.2d, #0
 748 ; CHECK-NEXT:    cmge v5.2d, v2.2d, #0
 749 ; CHECK-NEXT:    mov x8, #9223372036854775807
 750 ; CHECK-NEXT:    cmlt v3.2d, v2.2d, #0
 751 ; CHECK-NEXT:    cmeq v1.2d, v0.2d, v1.2d
 752 ; CHECK-NEXT:    cmeq v0.2d, v0.2d, v5.2d
 753 ; CHECK-NEXT:    dup v4.2d, x8
 754 ; CHECK-NEXT:    mvn v5.16b, v3.16b
 755 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 756 ; CHECK-NEXT:    bsl v4.16b, v3.16b, v5.16b
 757 ; CHECK-NEXT:    and v0.16b, v1.16b, v0.16b
 758 ; CHECK-NEXT:    bsl v0.16b, v4.16b, v2.16b
 759 ; CHECK-NEXT:    ret
 760   %z = call <2 x i64> @llvm.sadd.sat.v2i64(<2 x i64> %x, <2 x i64> %y)
 761   ret <2 x i64> %z
 762 }
 763
 764 define <4 x i64> @v4i64(<4 x i64> %x, <4 x i64> %y) nounwind {
 765 ; CHECK-LABEL: v4i64:
 766 ; CHECK:       // %bb.0:
 767 ; CHECK-NEXT:    add v4.2d, v0.2d, v2.2d
 768 ; CHECK-NEXT:    mov x8, #9223372036854775807
 769 ; CHECK-NEXT:    cmlt v6.2d, v4.2d, #0
 770 ; CHECK-NEXT:    dup v7.2d, x8
 771 ; CHECK-NEXT:    add v5.2d, v1.2d, v3.2d
 772 ; CHECK-NEXT:    mvn v16.16b, v6.16b
 773 ; CHECK-NEXT:    mov v17.16b, v7.16b
 774 ; CHECK-NEXT:    bsl v17.16b, v6.16b, v16.16b
 775 ; CHECK-NEXT:    cmlt v6.2d, v5.2d, #0
 776 ; CHECK-NEXT:    mvn v16.16b, v6.16b
 777 ; CHECK-NEXT:    bsl v7.16b, v6.16b, v16.16b
 778 ; CHECK-NEXT:    cmge v2.2d, v2.2d, #0
 779 ; CHECK-NEXT:    cmge v0.2d, v0.2d, #0
 780 ; CHECK-NEXT:    cmge v6.2d, v4.2d, #0
 781 ; CHECK-NEXT:    cmge v3.2d, v3.2d, #0
 782 ; CHECK-NEXT:    cmge v1.2d, v1.2d, #0
 783 ; CHECK-NEXT:    cmeq v2.2d, v0.2d, v2.2d
 784 ; CHECK-NEXT:    cmeq v0.2d, v0.2d, v6.2d
 785 ; CHECK-NEXT:    cmge v6.2d, v5.2d, #0
 786 ; CHECK-NEXT:    cmeq v3.2d, v1.2d, v3.2d
 787 ; CHECK-NEXT:    cmeq v1.2d, v1.2d, v6.2d
 788 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 789 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 790 ; CHECK-NEXT:    and v0.16b, v2.16b, v0.16b
 791 ; CHECK-NEXT:    and v1.16b, v3.16b, v1.16b
 792 ; CHECK-NEXT:    bsl v0.16b, v17.16b, v4.16b
 793 ; CHECK-NEXT:    bsl v1.16b, v7.16b, v5.16b
 794 ; CHECK-NEXT:    ret
 795   %z = call <4 x i64> @llvm.sadd.sat.v4i64(<4 x i64> %x, <4 x i64> %y)
 796   ret <4 x i64> %z
 797 }
 798
 799 define <8 x i64> @v8i64(<8 x i64> %x, <8 x i64> %y) nounwind {
 800 ; CHECK-LABEL: v8i64:
 801 ; CHECK:       // %bb.0:
 802 ; CHECK-NEXT:    add v16.2d, v0.2d, v4.2d
 803 ; CHECK-NEXT:    mov x8, #9223372036854775807
 804 ; CHECK-NEXT:    add v17.2d, v1.2d, v5.2d
 805 ; CHECK-NEXT:    cmlt v20.2d, v16.2d, #0
 806 ; CHECK-NEXT:    dup v21.2d, x8
 807 ; CHECK-NEXT:    add v18.2d, v2.2d, v6.2d
 808 ; CHECK-NEXT:    cmlt v22.2d, v17.2d, #0
 809 ; CHECK-NEXT:    mvn v24.16b, v20.16b
 810 ; CHECK-NEXT:    mov v25.16b, v21.16b
 811 ; CHECK-NEXT:    cmlt v23.2d, v18.2d, #0
 812 ; CHECK-NEXT:    bsl v25.16b, v20.16b, v24.16b
 813 ; CHECK-NEXT:    mvn v20.16b, v22.16b
 814 ; CHECK-NEXT:    mov v24.16b, v21.16b
 815 ; CHECK-NEXT:    add v19.2d, v3.2d, v7.2d
 816 ; CHECK-NEXT:    bsl v24.16b, v22.16b, v20.16b
 817 ; CHECK-NEXT:    mvn v20.16b, v23.16b
 818 ; CHECK-NEXT:    mov v22.16b, v21.16b
 819 ; CHECK-NEXT:    bsl v22.16b, v23.16b, v20.16b
 820 ; CHECK-NEXT:    cmlt v20.2d, v19.2d, #0
 821 ; CHECK-NEXT:    mvn v23.16b, v20.16b
 822 ; CHECK-NEXT:    bsl v21.16b, v20.16b, v23.16b
 823 ; CHECK-NEXT:    cmge v4.2d, v4.2d, #0
 824 ; CHECK-NEXT:    cmge v0.2d, v0.2d, #0
 825 ; CHECK-NEXT:    cmge v20.2d, v16.2d, #0
 826 ; CHECK-NEXT:    cmge v5.2d, v5.2d, #0
 827 ; CHECK-NEXT:    cmge v1.2d, v1.2d, #0
 828 ; CHECK-NEXT:    cmeq v4.2d, v0.2d, v4.2d
 829 ; CHECK-NEXT:    cmeq v0.2d, v0.2d, v20.2d
 830 ; CHECK-NEXT:    cmge v20.2d, v17.2d, #0
 831 ; CHECK-NEXT:    cmge v6.2d, v6.2d, #0
 832 ; CHECK-NEXT:    cmge v2.2d, v2.2d, #0
 833 ; CHECK-NEXT:    cmeq v5.2d, v1.2d, v5.2d
 834 ; CHECK-NEXT:    cmeq v1.2d, v1.2d, v20.2d
 835 ; CHECK-NEXT:    cmge v20.2d, v18.2d, #0
 836 ; CHECK-NEXT:    cmge v7.2d, v7.2d, #0
 837 ; CHECK-NEXT:    cmge v3.2d, v3.2d, #0
 838 ; CHECK-NEXT:    cmeq v6.2d, v2.2d, v6.2d
 839 ; CHECK-NEXT:    cmeq v2.2d, v2.2d, v20.2d
 840 ; CHECK-NEXT:    cmge v20.2d, v19.2d, #0
 841 ; CHECK-NEXT:    cmeq v7.2d, v3.2d, v7.2d
 842 ; CHECK-NEXT:    cmeq v3.2d, v3.2d, v20.2d
 843 ; CHECK-NEXT:    mvn v0.16b, v0.16b
 844 ; CHECK-NEXT:    mvn v1.16b, v1.16b
 845 ; CHECK-NEXT:    mvn v2.16b, v2.16b
 846 ; CHECK-NEXT:    mvn v3.16b, v3.16b
 847 ; CHECK-NEXT:    and v0.16b, v4.16b, v0.16b
 848 ; CHECK-NEXT:    and v1.16b, v5.16b, v1.16b
 849 ; CHECK-NEXT:    and v2.16b, v6.16b, v2.16b
 850 ; CHECK-NEXT:    and v3.16b, v7.16b, v3.16b
 851 ; CHECK-NEXT:    bsl v0.16b, v25.16b, v16.16b
 852 ; CHECK-NEXT:    bsl v1.16b, v24.16b, v17.16b
 853 ; CHECK-NEXT:    bsl v2.16b, v22.16b, v18.16b
 854 ; CHECK-NEXT:    bsl v3.16b, v21.16b, v19.16b
 855 ; CHECK-NEXT:    ret
 856   %z = call <8 x i64> @llvm.sadd.sat.v8i64(<8 x i64> %x, <8 x i64> %y)
 857   ret <8 x i64> %z
 858 }
 859
 860 define <2 x i128> @v2i128(<2 x i128> %x, <2 x i128> %y) nounwind {
 861 ; CHECK-LABEL: v2i128:
 862 ; CHECK:       // %bb.0:
 863 ; CHECK-NEXT:    cmp x7, #0 // =0
 864 ; CHECK-NEXT:    cset w9, ge
 865 ; CHECK-NEXT:    csinc w9, w9, wzr, ne
 866 ; CHECK-NEXT:    cmp x3, #0 // =0
 867 ; CHECK-NEXT:    cset w10, ge
 868 ; CHECK-NEXT:    csinc w10, w10, wzr, ne
 869 ; CHECK-NEXT:    cmp w10, w9
 870 ; CHECK-NEXT:    cset w9, eq
 871 ; CHECK-NEXT:    adds x11, x2, x6
 872 ; CHECK-NEXT:    adcs x12, x3, x7
 873 ; CHECK-NEXT:    cmp x12, #0 // =0
 874 ; CHECK-NEXT:    cset w13, ge
 875 ; CHECK-NEXT:    mov x8, #9223372036854775807
 876 ; CHECK-NEXT:    csinc w13, w13, wzr, ne
 877 ; CHECK-NEXT:    cinv x14, x8, ge
 878 ; CHECK-NEXT:    cmp w10, w13
 879 ; CHECK-NEXT:    cset w13, ne
 880 ; CHECK-NEXT:    asr x10, x12, #63
 881 ; CHECK-NEXT:    tst w9, w13
 882 ; CHECK-NEXT:    csel x3, x14, x12, ne
 883 ; CHECK-NEXT:    csel x2, x10, x11, ne
 884 ; CHECK-NEXT:    cmp x5, #0 // =0
 885 ; CHECK-NEXT:    cset w9, ge
 886 ; CHECK-NEXT:    csinc w9, w9, wzr, ne
 887 ; CHECK-NEXT:    cmp x1, #0 // =0
 888 ; CHECK-NEXT:    cset w10, ge
 889 ; CHECK-NEXT:    csinc w10, w10, wzr, ne
 890 ; CHECK-NEXT:    cmp w10, w9
 891 ; CHECK-NEXT:    cset w9, eq
 892 ; CHECK-NEXT:    adds x11, x0, x4
 893 ; CHECK-NEXT:    adcs x12, x1, x5
 894 ; CHECK-NEXT:    cmp x12, #0 // =0
 895 ; CHECK-NEXT:    cset w13, ge
 896 ; CHECK-NEXT:    csinc w13, w13, wzr, ne
 897 ; CHECK-NEXT:    cinv x8, x8, ge
 898 ; CHECK-NEXT:    cmp w10, w13
 899 ; CHECK-NEXT:    cset w10, ne
 900 ; CHECK-NEXT:    tst w9, w10
 901 ; CHECK-NEXT:    asr x9, x12, #63
 902 ; CHECK-NEXT:    csel x9, x9, x11, ne
 903 ; CHECK-NEXT:    csel x1, x8, x12, ne
 904 ; CHECK-NEXT:    fmov d0, x9
 905 ; CHECK-NEXT:    mov v0.d[1], x1
 906 ; CHECK-NEXT:    fmov x0, d0
 907 ; CHECK-NEXT:    ret
 908   %z = call <2 x i128> @llvm.sadd.sat.v2i128(<2 x i128> %x, <2 x i128> %y)
 909   ret <2 x i128> %z
 910 }