test/CodeGen/AArch64/sat-add.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=aarch64-- | FileCheck %s
   3
   4 ; There are at least 3 potential patterns corresponding to an unsigned saturated add: min, cmp with sum, cmp with not.
   5 ; Test each of those patterns with i8/i16/i32/i64.
   6 ; Test each of those with a constant operand and a variable operand.
   7 ; Test each of those with a 128-bit vector type.
   8
   9 define i8 @unsigned_sat_constant_i8_using_min(i8 %x) {
  10 ; CHECK-LABEL: unsigned_sat_constant_i8_using_min:
  11 ; CHECK:       // %bb.0:
  12 ; CHECK-NEXT:    and w8, w0, #0xff
  13 ; CHECK-NEXT:    cmp w8, #213 // =213
  14 ; CHECK-NEXT:    mov w8, #-43
  15 ; CHECK-NEXT:    csel w8, w0, w8, lo
  16 ; CHECK-NEXT:    add w0, w8, #42 // =42
  17 ; CHECK-NEXT:    ret
  18   %c = icmp ult i8 %x, -43
  19   %s = select i1 %c, i8 %x, i8 -43
  20   %r = add i8 %s, 42
  21   ret i8 %r
  22 }
  23
  24 define i8 @unsigned_sat_constant_i8_using_cmp_sum(i8 %x) {
  25 ; CHECK-LABEL: unsigned_sat_constant_i8_using_cmp_sum:
  26 ; CHECK:       // %bb.0:
  27 ; CHECK-NEXT:    and w8, w0, #0xff
  28 ; CHECK-NEXT:    add w8, w8, #42 // =42
  29 ; CHECK-NEXT:    tst w8, #0x100
  30 ; CHECK-NEXT:    csinv w0, w8, wzr, eq
  31 ; CHECK-NEXT:    ret
  32   %a = add i8 %x, 42
  33   %c = icmp ugt i8 %x, %a
  34   %r = select i1 %c, i8 -1, i8 %a
  35   ret i8 %r
  36 }
  37
  38 define i8 @unsigned_sat_constant_i8_using_cmp_notval(i8 %x) {
  39 ; CHECK-LABEL: unsigned_sat_constant_i8_using_cmp_notval:
  40 ; CHECK:       // %bb.0:
  41 ; CHECK-NEXT:    and w8, w0, #0xff
  42 ; CHECK-NEXT:    add w9, w0, #42 // =42
  43 ; CHECK-NEXT:    cmp w8, #213 // =213
  44 ; CHECK-NEXT:    csinv w0, w9, wzr, ls
  45 ; CHECK-NEXT:    ret
  46   %a = add i8 %x, 42
  47   %c = icmp ugt i8 %x, -43
  48   %r = select i1 %c, i8 -1, i8 %a
  49   ret i8 %r
  50 }
  51
  52 define i16 @unsigned_sat_constant_i16_using_min(i16 %x) {
  53 ; CHECK-LABEL: unsigned_sat_constant_i16_using_min:
  54 ; CHECK:       // %bb.0:
  55 ; CHECK-NEXT:    mov w8, #65493
  56 ; CHECK-NEXT:    cmp w8, w0, uxth
  57 ; CHECK-NEXT:    mov w8, #-43
  58 ; CHECK-NEXT:    csel w8, w0, w8, hi
  59 ; CHECK-NEXT:    add w0, w8, #42 // =42
  60 ; CHECK-NEXT:    ret
  61   %c = icmp ult i16 %x, -43
  62   %s = select i1 %c, i16 %x, i16 -43
  63   %r = add i16 %s, 42
  64   ret i16 %r
  65 }
  66
  67 define i16 @unsigned_sat_constant_i16_using_cmp_sum(i16 %x) {
  68 ; CHECK-LABEL: unsigned_sat_constant_i16_using_cmp_sum:
  69 ; CHECK:       // %bb.0:
  70 ; CHECK-NEXT:    and w8, w0, #0xffff
  71 ; CHECK-NEXT:    add w8, w8, #42 // =42
  72 ; CHECK-NEXT:    tst w8, #0x10000
  73 ; CHECK-NEXT:    csinv w0, w8, wzr, eq
  74 ; CHECK-NEXT:    ret
  75   %a = add i16 %x, 42
  76   %c = icmp ugt i16 %x, %a
  77   %r = select i1 %c, i16 -1, i16 %a
  78   ret i16 %r
  79 }
  80
  81 define i16 @unsigned_sat_constant_i16_using_cmp_notval(i16 %x) {
  82 ; CHECK-LABEL: unsigned_sat_constant_i16_using_cmp_notval:
  83 ; CHECK:       // %bb.0:
  84 ; CHECK-NEXT:    mov w9, #65493
  85 ; CHECK-NEXT:    add w8, w0, #42 // =42
  86 ; CHECK-NEXT:    cmp w9, w0, uxth
  87 ; CHECK-NEXT:    csinv w0, w8, wzr, hs
  88 ; CHECK-NEXT:    ret
  89   %a = add i16 %x, 42
  90   %c = icmp ugt i16 %x, -43
  91   %r = select i1 %c, i16 -1, i16 %a
  92   ret i16 %r
  93 }
  94
  95 define i32 @unsigned_sat_constant_i32_using_min(i32 %x) {
  96 ; CHECK-LABEL: unsigned_sat_constant_i32_using_min:
  97 ; CHECK:       // %bb.0:
  98 ; CHECK-NEXT:    cmn w0, #43 // =43
  99 ; CHECK-NEXT:    mov w8, #-43
 100 ; CHECK-NEXT:    csel w8, w0, w8, lo
 101 ; CHECK-NEXT:    add w0, w8, #42 // =42
 102 ; CHECK-NEXT:    ret
 103   %c = icmp ult i32 %x, -43
 104   %s = select i1 %c, i32 %x, i32 -43
 105   %r = add i32 %s, 42
 106   ret i32 %r
 107 }
 108
 109 define i32 @unsigned_sat_constant_i32_using_cmp_sum(i32 %x) {
 110 ; CHECK-LABEL: unsigned_sat_constant_i32_using_cmp_sum:
 111 ; CHECK:       // %bb.0:
 112 ; CHECK-NEXT:    adds w8, w0, #42 // =42
 113 ; CHECK-NEXT:    csinv w0, w8, wzr, lo
 114 ; CHECK-NEXT:    ret
 115   %a = add i32 %x, 42
 116   %c = icmp ugt i32 %x, %a
 117   %r = select i1 %c, i32 -1, i32 %a
 118   ret i32 %r
 119 }
 120
 121 define i32 @unsigned_sat_constant_i32_using_cmp_notval(i32 %x) {
 122 ; CHECK-LABEL: unsigned_sat_constant_i32_using_cmp_notval:
 123 ; CHECK:       // %bb.0:
 124 ; CHECK-NEXT:    adds w8, w0, #42 // =42
 125 ; CHECK-NEXT:    csinv w0, w8, wzr, lo
 126 ; CHECK-NEXT:    ret
 127   %a = add i32 %x, 42
 128   %c = icmp ugt i32 %x, -43
 129   %r = select i1 %c, i32 -1, i32 %a
 130   ret i32 %r
 131 }
 132
 133 define i64 @unsigned_sat_constant_i64_using_min(i64 %x) {
 134 ; CHECK-LABEL: unsigned_sat_constant_i64_using_min:
 135 ; CHECK:       // %bb.0:
 136 ; CHECK-NEXT:    cmn x0, #43 // =43
 137 ; CHECK-NEXT:    mov x8, #-43
 138 ; CHECK-NEXT:    csel x8, x0, x8, lo
 139 ; CHECK-NEXT:    add x0, x8, #42 // =42
 140 ; CHECK-NEXT:    ret
 141   %c = icmp ult i64 %x, -43
 142   %s = select i1 %c, i64 %x, i64 -43
 143   %r = add i64 %s, 42
 144   ret i64 %r
 145 }
 146
 147 define i64 @unsigned_sat_constant_i64_using_cmp_sum(i64 %x) {
 148 ; CHECK-LABEL: unsigned_sat_constant_i64_using_cmp_sum:
 149 ; CHECK:       // %bb.0:
 150 ; CHECK-NEXT:    adds x8, x0, #42 // =42
 151 ; CHECK-NEXT:    csinv x0, x8, xzr, lo
 152 ; CHECK-NEXT:    ret
 153   %a = add i64 %x, 42
 154   %c = icmp ugt i64 %x, %a
 155   %r = select i1 %c, i64 -1, i64 %a
 156   ret i64 %r
 157 }
 158
 159 define i64 @unsigned_sat_constant_i64_using_cmp_notval(i64 %x) {
 160 ; CHECK-LABEL: unsigned_sat_constant_i64_using_cmp_notval:
 161 ; CHECK:       // %bb.0:
 162 ; CHECK-NEXT:    adds x8, x0, #42 // =42
 163 ; CHECK-NEXT:    csinv x0, x8, xzr, lo
 164 ; CHECK-NEXT:    ret
 165   %a = add i64 %x, 42
 166   %c = icmp ugt i64 %x, -43
 167   %r = select i1 %c, i64 -1, i64 %a
 168   ret i64 %r
 169 }
 170
 171 define i8 @unsigned_sat_variable_i8_using_min(i8 %x, i8 %y) {
 172 ; CHECK-LABEL: unsigned_sat_variable_i8_using_min:
 173 ; CHECK:       // %bb.0:
 174 ; CHECK-NEXT:    and w8, w0, #0xff
 175 ; CHECK-NEXT:    mvn w9, w1
 176 ; CHECK-NEXT:    cmp w8, w9, uxtb
 177 ; CHECK-NEXT:    csinv w8, w0, w1, lo
 178 ; CHECK-NEXT:    add w0, w8, w1
 179 ; CHECK-NEXT:    ret
 180   %noty = xor i8 %y, -1
 181   %c = icmp ult i8 %x, %noty
 182   %s = select i1 %c, i8 %x, i8 %noty
 183   %r = add i8 %s, %y
 184   ret i8 %r
 185 }
 186
 187 define i8 @unsigned_sat_variable_i8_using_cmp_sum(i8 %x, i8 %y) {
 188 ; CHECK-LABEL: unsigned_sat_variable_i8_using_cmp_sum:
 189 ; CHECK:       // %bb.0:
 190 ; CHECK-NEXT:    and w8, w0, #0xff
 191 ; CHECK-NEXT:    add w8, w8, w1, uxtb
 192 ; CHECK-NEXT:    tst w8, #0x100
 193 ; CHECK-NEXT:    csinv w0, w8, wzr, eq
 194 ; CHECK-NEXT:    ret
 195   %a = add i8 %x, %y
 196   %c = icmp ugt i8 %x, %a
 197   %r = select i1 %c, i8 -1, i8 %a
 198   ret i8 %r
 199 }
 200
 201 define i8 @unsigned_sat_variable_i8_using_cmp_notval(i8 %x, i8 %y) {
 202 ; CHECK-LABEL: unsigned_sat_variable_i8_using_cmp_notval:
 203 ; CHECK:       // %bb.0:
 204 ; CHECK-NEXT:    and w8, w0, #0xff
 205 ; CHECK-NEXT:    mvn w9, w1
 206 ; CHECK-NEXT:    add w10, w0, w1
 207 ; CHECK-NEXT:    cmp w8, w9, uxtb
 208 ; CHECK-NEXT:    csinv w0, w10, wzr, ls
 209 ; CHECK-NEXT:    ret
 210   %noty = xor i8 %y, -1
 211   %a = add i8 %x, %y
 212   %c = icmp ugt i8 %x, %noty
 213   %r = select i1 %c, i8 -1, i8 %a
 214   ret i8 %r
 215 }
 216
 217 define i16 @unsigned_sat_variable_i16_using_min(i16 %x, i16 %y) {
 218 ; CHECK-LABEL: unsigned_sat_variable_i16_using_min:
 219 ; CHECK:       // %bb.0:
 220 ; CHECK-NEXT:    and w8, w0, #0xffff
 221 ; CHECK-NEXT:    mvn w9, w1
 222 ; CHECK-NEXT:    cmp w8, w9, uxth
 223 ; CHECK-NEXT:    csinv w8, w0, w1, lo
 224 ; CHECK-NEXT:    add w0, w8, w1
 225 ; CHECK-NEXT:    ret
 226   %noty = xor i16 %y, -1
 227   %c = icmp ult i16 %x, %noty
 228   %s = select i1 %c, i16 %x, i16 %noty
 229   %r = add i16 %s, %y
 230   ret i16 %r
 231 }
 232
 233 define i16 @unsigned_sat_variable_i16_using_cmp_sum(i16 %x, i16 %y) {
 234 ; CHECK-LABEL: unsigned_sat_variable_i16_using_cmp_sum:
 235 ; CHECK:       // %bb.0:
 236 ; CHECK-NEXT:    and w8, w0, #0xffff
 237 ; CHECK-NEXT:    add w8, w8, w1, uxth
 238 ; CHECK-NEXT:    tst w8, #0x10000
 239 ; CHECK-NEXT:    csinv w0, w8, wzr, eq
 240 ; CHECK-NEXT:    ret
 241   %a = add i16 %x, %y
 242   %c = icmp ugt i16 %x, %a
 243   %r = select i1 %c, i16 -1, i16 %a
 244   ret i16 %r
 245 }
 246
 247 define i16 @unsigned_sat_variable_i16_using_cmp_notval(i16 %x, i16 %y) {
 248 ; CHECK-LABEL: unsigned_sat_variable_i16_using_cmp_notval:
 249 ; CHECK:       // %bb.0:
 250 ; CHECK-NEXT:    and w8, w0, #0xffff
 251 ; CHECK-NEXT:    mvn w9, w1
 252 ; CHECK-NEXT:    add w10, w0, w1
 253 ; CHECK-NEXT:    cmp w8, w9, uxth
 254 ; CHECK-NEXT:    csinv w0, w10, wzr, ls
 255 ; CHECK-NEXT:    ret
 256   %noty = xor i16 %y, -1
 257   %a = add i16 %x, %y
 258   %c = icmp ugt i16 %x, %noty
 259   %r = select i1 %c, i16 -1, i16 %a
 260   ret i16 %r
 261 }
 262
 263 define i32 @unsigned_sat_variable_i32_using_min(i32 %x, i32 %y) {
 264 ; CHECK-LABEL: unsigned_sat_variable_i32_using_min:
 265 ; CHECK:       // %bb.0:
 266 ; CHECK-NEXT:    mvn w8, w1
 267 ; CHECK-NEXT:    cmp w0, w8
 268 ; CHECK-NEXT:    csinv w8, w0, w1, lo
 269 ; CHECK-NEXT:    add w0, w8, w1
 270 ; CHECK-NEXT:    ret
 271   %noty = xor i32 %y, -1
 272   %c = icmp ult i32 %x, %noty
 273   %s = select i1 %c, i32 %x, i32 %noty
 274   %r = add i32 %s, %y
 275   ret i32 %r
 276 }
 277
 278 define i32 @unsigned_sat_variable_i32_using_cmp_sum(i32 %x, i32 %y) {
 279 ; CHECK-LABEL: unsigned_sat_variable_i32_using_cmp_sum:
 280 ; CHECK:       // %bb.0:
 281 ; CHECK-NEXT:    adds w8, w0, w1
 282 ; CHECK-NEXT:    csinv w0, w8, wzr, lo
 283 ; CHECK-NEXT:    ret
 284   %a = add i32 %x, %y
 285   %c = icmp ugt i32 %x, %a
 286   %r = select i1 %c, i32 -1, i32 %a
 287   ret i32 %r
 288 }
 289
 290 define i32 @unsigned_sat_variable_i32_using_cmp_notval(i32 %x, i32 %y) {
 291 ; CHECK-LABEL: unsigned_sat_variable_i32_using_cmp_notval:
 292 ; CHECK:       // %bb.0:
 293 ; CHECK-NEXT:    mvn w8, w1
 294 ; CHECK-NEXT:    add w9, w0, w1
 295 ; CHECK-NEXT:    cmp w0, w8
 296 ; CHECK-NEXT:    csinv w0, w9, wzr, ls
 297 ; CHECK-NEXT:    ret
 298   %noty = xor i32 %y, -1
 299   %a = add i32 %x, %y
 300   %c = icmp ugt i32 %x, %noty
 301   %r = select i1 %c, i32 -1, i32 %a
 302   ret i32 %r
 303 }
 304
 305 define i64 @unsigned_sat_variable_i64_using_min(i64 %x, i64 %y) {
 306 ; CHECK-LABEL: unsigned_sat_variable_i64_using_min:
 307 ; CHECK:       // %bb.0:
 308 ; CHECK-NEXT:    mvn x8, x1
 309 ; CHECK-NEXT:    cmp x0, x8
 310 ; CHECK-NEXT:    csinv x8, x0, x1, lo
 311 ; CHECK-NEXT:    add x0, x8, x1
 312 ; CHECK-NEXT:    ret
 313   %noty = xor i64 %y, -1
 314   %c = icmp ult i64 %x, %noty
 315   %s = select i1 %c, i64 %x, i64 %noty
 316   %r = add i64 %s, %y
 317   ret i64 %r
 318 }
 319
 320 define i64 @unsigned_sat_variable_i64_using_cmp_sum(i64 %x, i64 %y) {
 321 ; CHECK-LABEL: unsigned_sat_variable_i64_using_cmp_sum:
 322 ; CHECK:       // %bb.0:
 323 ; CHECK-NEXT:    adds x8, x0, x1
 324 ; CHECK-NEXT:    csinv x0, x8, xzr, lo
 325 ; CHECK-NEXT:    ret
 326   %a = add i64 %x, %y
 327   %c = icmp ugt i64 %x, %a
 328   %r = select i1 %c, i64 -1, i64 %a
 329   ret i64 %r
 330 }
 331
 332 define i64 @unsigned_sat_variable_i64_using_cmp_notval(i64 %x, i64 %y) {
 333 ; CHECK-LABEL: unsigned_sat_variable_i64_using_cmp_notval:
 334 ; CHECK:       // %bb.0:
 335 ; CHECK-NEXT:    mvn x8, x1
 336 ; CHECK-NEXT:    add x9, x0, x1
 337 ; CHECK-NEXT:    cmp x0, x8
 338 ; CHECK-NEXT:    csinv x0, x9, xzr, ls
 339 ; CHECK-NEXT:    ret
 340   %noty = xor i64 %y, -1
 341   %a = add i64 %x, %y
 342   %c = icmp ugt i64 %x, %noty
 343   %r = select i1 %c, i64 -1, i64 %a
 344   ret i64 %r
 345 }
 346
 347 define <16 x i8> @unsigned_sat_constant_v16i8_using_min(<16 x i8> %x) {
 348 ; CHECK-LABEL: unsigned_sat_constant_v16i8_using_min:
 349 ; CHECK:       // %bb.0:
 350 ; CHECK-NEXT:    movi v1.16b, #213
 351 ; CHECK-NEXT:    umin v0.16b, v0.16b, v1.16b
 352 ; CHECK-NEXT:    movi v1.16b, #42
 353 ; CHECK-NEXT:    add v0.16b, v0.16b, v1.16b
 354 ; CHECK-NEXT:    ret
 355   %c = icmp ult <16 x i8> %x, <i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43>
 356   %s = select <16 x i1> %c, <16 x i8> %x, <16 x i8> <i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43>
 357   %r = add <16 x i8> %s, <i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42>
 358   ret <16 x i8> %r
 359 }
 360
 361 define <16 x i8> @unsigned_sat_constant_v16i8_using_cmp_sum(<16 x i8> %x) {
 362 ; CHECK-LABEL: unsigned_sat_constant_v16i8_using_cmp_sum:
 363 ; CHECK:       // %bb.0:
 364 ; CHECK-NEXT:    movi v1.16b, #42
 365 ; CHECK-NEXT:    add v1.16b, v0.16b, v1.16b
 366 ; CHECK-NEXT:    cmhi v0.16b, v0.16b, v1.16b
 367 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 368 ; CHECK-NEXT:    ret
 369   %a = add <16 x i8> %x, <i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42>
 370   %c = icmp ugt <16 x i8> %x, %a
 371   %r = select <16 x i1> %c, <16 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <16 x i8> %a
 372   ret <16 x i8> %r
 373 }
 374
 375 define <16 x i8> @unsigned_sat_constant_v16i8_using_cmp_notval(<16 x i8> %x) {
 376 ; CHECK-LABEL: unsigned_sat_constant_v16i8_using_cmp_notval:
 377 ; CHECK:       // %bb.0:
 378 ; CHECK-NEXT:    movi v1.16b, #42
 379 ; CHECK-NEXT:    movi v2.16b, #213
 380 ; CHECK-NEXT:    add v1.16b, v0.16b, v1.16b
 381 ; CHECK-NEXT:    cmhi v0.16b, v0.16b, v2.16b
 382 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 383 ; CHECK-NEXT:    ret
 384   %a = add <16 x i8> %x, <i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42, i8 42>
 385   %c = icmp ugt <16 x i8> %x, <i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43, i8 -43>
 386   %r = select <16 x i1> %c, <16 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <16 x i8> %a
 387   ret <16 x i8> %r
 388 }
 389
 390 define <8 x i16> @unsigned_sat_constant_v8i16_using_min(<8 x i16> %x) {
 391 ; CHECK-LABEL: unsigned_sat_constant_v8i16_using_min:
 392 ; CHECK:       // %bb.0:
 393 ; CHECK-NEXT:    mvni v1.8h, #42
 394 ; CHECK-NEXT:    umin v0.8h, v0.8h, v1.8h
 395 ; CHECK-NEXT:    movi v1.8h, #42
 396 ; CHECK-NEXT:    add v0.8h, v0.8h, v1.8h
 397 ; CHECK-NEXT:    ret
 398   %c = icmp ult <8 x i16> %x, <i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43>
 399   %s = select <8 x i1> %c, <8 x i16> %x, <8 x i16> <i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43>
 400   %r = add <8 x i16> %s, <i16 42, i16 42, i16 42, i16 42, i16 42, i16 42, i16 42, i16 42>
 401   ret <8 x i16> %r
 402 }
 403
 404 define <8 x i16> @unsigned_sat_constant_v8i16_using_cmp_sum(<8 x i16> %x) {
 405 ; CHECK-LABEL: unsigned_sat_constant_v8i16_using_cmp_sum:
 406 ; CHECK:       // %bb.0:
 407 ; CHECK-NEXT:    movi v1.8h, #42
 408 ; CHECK-NEXT:    add v1.8h, v0.8h, v1.8h
 409 ; CHECK-NEXT:    cmhi v0.8h, v0.8h, v1.8h
 410 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 411 ; CHECK-NEXT:    ret
 412   %a = add <8 x i16> %x, <i16 42, i16 42, i16 42, i16 42, i16 42, i16 42, i16 42, i16 42>
 413   %c = icmp ugt <8 x i16> %x, %a
 414   %r = select <8 x i1> %c, <8 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <8 x i16> %a
 415   ret <8 x i16> %r
 416 }
 417
 418 define <8 x i16> @unsigned_sat_constant_v8i16_using_cmp_notval(<8 x i16> %x) {
 419 ; CHECK-LABEL: unsigned_sat_constant_v8i16_using_cmp_notval:
 420 ; CHECK:       // %bb.0:
 421 ; CHECK-NEXT:    movi v1.8h, #42
 422 ; CHECK-NEXT:    mvni v2.8h, #42
 423 ; CHECK-NEXT:    add v1.8h, v0.8h, v1.8h
 424 ; CHECK-NEXT:    cmhi v0.8h, v0.8h, v2.8h
 425 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 426 ; CHECK-NEXT:    ret
 427   %a = add <8 x i16> %x, <i16 42, i16 42, i16 42, i16 42, i16 42, i16 42, i16 42, i16 42>
 428   %c = icmp ugt <8 x i16> %x, <i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43, i16 -43>
 429   %r = select <8 x i1> %c, <8 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <8 x i16> %a
 430   ret <8 x i16> %r
 431 }
 432
 433 define <4 x i32> @unsigned_sat_constant_v4i32_using_min(<4 x i32> %x) {
 434 ; CHECK-LABEL: unsigned_sat_constant_v4i32_using_min:
 435 ; CHECK:       // %bb.0:
 436 ; CHECK-NEXT:    mvni v1.4s, #42
 437 ; CHECK-NEXT:    umin v0.4s, v0.4s, v1.4s
 438 ; CHECK-NEXT:    movi v1.4s, #42
 439 ; CHECK-NEXT:    add v0.4s, v0.4s, v1.4s
 440 ; CHECK-NEXT:    ret
 441   %c = icmp ult <4 x i32> %x, <i32 -43, i32 -43, i32 -43, i32 -43>
 442   %s = select <4 x i1> %c, <4 x i32> %x, <4 x i32> <i32 -43, i32 -43, i32 -43, i32 -43>
 443   %r = add <4 x i32> %s, <i32 42, i32 42, i32 42, i32 42>
 444   ret <4 x i32> %r
 445 }
 446
 447 define <4 x i32> @unsigned_sat_constant_v4i32_using_cmp_sum(<4 x i32> %x) {
 448 ; CHECK-LABEL: unsigned_sat_constant_v4i32_using_cmp_sum:
 449 ; CHECK:       // %bb.0:
 450 ; CHECK-NEXT:    movi v1.4s, #42
 451 ; CHECK-NEXT:    add v1.4s, v0.4s, v1.4s
 452 ; CHECK-NEXT:    cmhi v0.4s, v0.4s, v1.4s
 453 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 454 ; CHECK-NEXT:    ret
 455   %a = add <4 x i32> %x, <i32 42, i32 42, i32 42, i32 42>
 456   %c = icmp ugt <4 x i32> %x, %a
 457   %r = select <4 x i1> %c, <4 x i32> <i32 -1, i32 -1, i32 -1, i32 -1>, <4 x i32> %a
 458   ret <4 x i32> %r
 459 }
 460
 461 define <4 x i32> @unsigned_sat_constant_v4i32_using_cmp_notval(<4 x i32> %x) {
 462 ; CHECK-LABEL: unsigned_sat_constant_v4i32_using_cmp_notval:
 463 ; CHECK:       // %bb.0:
 464 ; CHECK-NEXT:    movi v1.4s, #42
 465 ; CHECK-NEXT:    mvni v2.4s, #42
 466 ; CHECK-NEXT:    add v1.4s, v0.4s, v1.4s
 467 ; CHECK-NEXT:    cmhi v0.4s, v0.4s, v2.4s
 468 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 469 ; CHECK-NEXT:    ret
 470   %a = add <4 x i32> %x, <i32 42, i32 42, i32 42, i32 42>
 471   %c = icmp ugt <4 x i32> %x, <i32 -43, i32 -43, i32 -43, i32 -43>
 472   %r = select <4 x i1> %c, <4 x i32> <i32 -1, i32 -1, i32 -1, i32 -1>, <4 x i32> %a
 473   ret <4 x i32> %r
 474 }
 475
 476 define <2 x i64> @unsigned_sat_constant_v2i64_using_min(<2 x i64> %x) {
 477 ; CHECK-LABEL: unsigned_sat_constant_v2i64_using_min:
 478 ; CHECK:       // %bb.0:
 479 ; CHECK-NEXT:    mov x8, #-43
 480 ; CHECK-NEXT:    dup v1.2d, x8
 481 ; CHECK-NEXT:    mov w9, #42
 482 ; CHECK-NEXT:    cmhi v2.2d, v1.2d, v0.2d
 483 ; CHECK-NEXT:    bsl v2.16b, v0.16b, v1.16b
 484 ; CHECK-NEXT:    dup v0.2d, x9
 485 ; CHECK-NEXT:    add v0.2d, v2.2d, v0.2d
 486 ; CHECK-NEXT:    ret
 487   %c = icmp ult <2 x i64> %x, <i64 -43, i64 -43>
 488   %s = select <2 x i1> %c, <2 x i64> %x, <2 x i64> <i64 -43, i64 -43>
 489   %r = add <2 x i64> %s, <i64 42, i64 42>
 490   ret <2 x i64> %r
 491 }
 492
 493 define <2 x i64> @unsigned_sat_constant_v2i64_using_cmp_sum(<2 x i64> %x) {
 494 ; CHECK-LABEL: unsigned_sat_constant_v2i64_using_cmp_sum:
 495 ; CHECK:       // %bb.0:
 496 ; CHECK-NEXT:    mov w8, #42
 497 ; CHECK-NEXT:    dup v1.2d, x8
 498 ; CHECK-NEXT:    add v1.2d, v0.2d, v1.2d
 499 ; CHECK-NEXT:    cmhi v0.2d, v0.2d, v1.2d
 500 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 501 ; CHECK-NEXT:    ret
 502   %a = add <2 x i64> %x, <i64 42, i64 42>
 503   %c = icmp ugt <2 x i64> %x, %a
 504   %r = select <2 x i1> %c, <2 x i64> <i64 -1, i64 -1>, <2 x i64> %a
 505   ret <2 x i64> %r
 506 }
 507
 508 define <2 x i64> @unsigned_sat_constant_v2i64_using_cmp_notval(<2 x i64> %x) {
 509 ; CHECK-LABEL: unsigned_sat_constant_v2i64_using_cmp_notval:
 510 ; CHECK:       // %bb.0:
 511 ; CHECK-NEXT:    mov w8, #42
 512 ; CHECK-NEXT:    mov x9, #-43
 513 ; CHECK-NEXT:    dup v1.2d, x8
 514 ; CHECK-NEXT:    dup v2.2d, x9
 515 ; CHECK-NEXT:    add v1.2d, v0.2d, v1.2d
 516 ; CHECK-NEXT:    cmhi v0.2d, v0.2d, v2.2d
 517 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 518 ; CHECK-NEXT:    ret
 519   %a = add <2 x i64> %x, <i64 42, i64 42>
 520   %c = icmp ugt <2 x i64> %x, <i64 -43, i64 -43>
 521   %r = select <2 x i1> %c, <2 x i64> <i64 -1, i64 -1>, <2 x i64> %a
 522   ret <2 x i64> %r
 523 }
 524
 525 define <16 x i8> @unsigned_sat_variable_v16i8_using_min(<16 x i8> %x, <16 x i8> %y) {
 526 ; CHECK-LABEL: unsigned_sat_variable_v16i8_using_min:
 527 ; CHECK:       // %bb.0:
 528 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 529 ; CHECK-NEXT:    umin v0.16b, v0.16b, v2.16b
 530 ; CHECK-NEXT:    add v0.16b, v0.16b, v1.16b
 531 ; CHECK-NEXT:    ret
 532   %noty = xor <16 x i8> %y, <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>
 533   %c = icmp ult <16 x i8> %x, %noty
 534   %s = select <16 x i1> %c, <16 x i8> %x, <16 x i8> %noty
 535   %r = add <16 x i8> %s, %y
 536   ret <16 x i8> %r
 537 }
 538
 539 define <16 x i8> @unsigned_sat_variable_v16i8_using_cmp_sum(<16 x i8> %x, <16 x i8> %y) {
 540 ; CHECK-LABEL: unsigned_sat_variable_v16i8_using_cmp_sum:
 541 ; CHECK:       // %bb.0:
 542 ; CHECK-NEXT:    add v1.16b, v0.16b, v1.16b
 543 ; CHECK-NEXT:    cmhi v0.16b, v0.16b, v1.16b
 544 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 545 ; CHECK-NEXT:    ret
 546   %a = add <16 x i8> %x, %y
 547   %c = icmp ugt <16 x i8> %x, %a
 548   %r = select <16 x i1> %c, <16 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <16 x i8> %a
 549   ret <16 x i8> %r
 550 }
 551
 552 define <16 x i8> @unsigned_sat_variable_v16i8_using_cmp_notval(<16 x i8> %x, <16 x i8> %y) {
 553 ; CHECK-LABEL: unsigned_sat_variable_v16i8_using_cmp_notval:
 554 ; CHECK:       // %bb.0:
 555 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 556 ; CHECK-NEXT:    add v1.16b, v0.16b, v1.16b
 557 ; CHECK-NEXT:    cmhi v0.16b, v0.16b, v2.16b
 558 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 559 ; CHECK-NEXT:    ret
 560   %noty = xor <16 x i8> %y, <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>
 561   %a = add <16 x i8> %x, %y
 562   %c = icmp ugt <16 x i8> %x, %noty
 563   %r = select <16 x i1> %c, <16 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>, <16 x i8> %a
 564   ret <16 x i8> %r
 565 }
 566
 567 define <8 x i16> @unsigned_sat_variable_v8i16_using_min(<8 x i16> %x, <8 x i16> %y) {
 568 ; CHECK-LABEL: unsigned_sat_variable_v8i16_using_min:
 569 ; CHECK:       // %bb.0:
 570 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 571 ; CHECK-NEXT:    umin v0.8h, v0.8h, v2.8h
 572 ; CHECK-NEXT:    add v0.8h, v0.8h, v1.8h
 573 ; CHECK-NEXT:    ret
 574   %noty = xor <8 x i16> %y, <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>
 575   %c = icmp ult <8 x i16> %x, %noty
 576   %s = select <8 x i1> %c, <8 x i16> %x, <8 x i16> %noty
 577   %r = add <8 x i16> %s, %y
 578   ret <8 x i16> %r
 579 }
 580
 581 define <8 x i16> @unsigned_sat_variable_v8i16_using_cmp_sum(<8 x i16> %x, <8 x i16> %y) {
 582 ; CHECK-LABEL: unsigned_sat_variable_v8i16_using_cmp_sum:
 583 ; CHECK:       // %bb.0:
 584 ; CHECK-NEXT:    add v1.8h, v0.8h, v1.8h
 585 ; CHECK-NEXT:    cmhi v0.8h, v0.8h, v1.8h
 586 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 587 ; CHECK-NEXT:    ret
 588   %a = add <8 x i16> %x, %y
 589   %c = icmp ugt <8 x i16> %x, %a
 590   %r = select <8 x i1> %c, <8 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <8 x i16> %a
 591   ret <8 x i16> %r
 592 }
 593
 594 define <8 x i16> @unsigned_sat_variable_v8i16_using_cmp_notval(<8 x i16> %x, <8 x i16> %y) {
 595 ; CHECK-LABEL: unsigned_sat_variable_v8i16_using_cmp_notval:
 596 ; CHECK:       // %bb.0:
 597 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 598 ; CHECK-NEXT:    add v1.8h, v0.8h, v1.8h
 599 ; CHECK-NEXT:    cmhi v0.8h, v0.8h, v2.8h
 600 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 601 ; CHECK-NEXT:    ret
 602   %noty = xor <8 x i16> %y, <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>
 603   %a = add <8 x i16> %x, %y
 604   %c = icmp ugt <8 x i16> %x, %noty
 605   %r = select <8 x i1> %c, <8 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>, <8 x i16> %a
 606   ret <8 x i16> %r
 607 }
 608
 609 define <4 x i32> @unsigned_sat_variable_v4i32_using_min(<4 x i32> %x, <4 x i32> %y) {
 610 ; CHECK-LABEL: unsigned_sat_variable_v4i32_using_min:
 611 ; CHECK:       // %bb.0:
 612 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 613 ; CHECK-NEXT:    umin v0.4s, v0.4s, v2.4s
 614 ; CHECK-NEXT:    add v0.4s, v0.4s, v1.4s
 615 ; CHECK-NEXT:    ret
 616   %noty = xor <4 x i32> %y, <i32 -1, i32 -1, i32 -1, i32 -1>
 617   %c = icmp ult <4 x i32> %x, %noty
 618   %s = select <4 x i1> %c, <4 x i32> %x, <4 x i32> %noty
 619   %r = add <4 x i32> %s, %y
 620   ret <4 x i32> %r
 621 }
 622
 623 define <4 x i32> @unsigned_sat_variable_v4i32_using_cmp_sum(<4 x i32> %x, <4 x i32> %y) {
 624 ; CHECK-LABEL: unsigned_sat_variable_v4i32_using_cmp_sum:
 625 ; CHECK:       // %bb.0:
 626 ; CHECK-NEXT:    add v1.4s, v0.4s, v1.4s
 627 ; CHECK-NEXT:    cmhi v0.4s, v0.4s, v1.4s
 628 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 629 ; CHECK-NEXT:    ret
 630   %a = add <4 x i32> %x, %y
 631   %c = icmp ugt <4 x i32> %x, %a
 632   %r = select <4 x i1> %c, <4 x i32> <i32 -1, i32 -1, i32 -1, i32 -1>, <4 x i32> %a
 633   ret <4 x i32> %r
 634 }
 635
 636 define <4 x i32> @unsigned_sat_variable_v4i32_using_cmp_notval(<4 x i32> %x, <4 x i32> %y) {
 637 ; CHECK-LABEL: unsigned_sat_variable_v4i32_using_cmp_notval:
 638 ; CHECK:       // %bb.0:
 639 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 640 ; CHECK-NEXT:    add v1.4s, v0.4s, v1.4s
 641 ; CHECK-NEXT:    cmhi v0.4s, v0.4s, v2.4s
 642 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 643 ; CHECK-NEXT:    ret
 644   %noty = xor <4 x i32> %y, <i32 -1, i32 -1, i32 -1, i32 -1>
 645   %a = add <4 x i32> %x, %y
 646   %c = icmp ugt <4 x i32> %x, %noty
 647   %r = select <4 x i1> %c, <4 x i32> <i32 -1, i32 -1, i32 -1, i32 -1>, <4 x i32> %a
 648   ret <4 x i32> %r
 649 }
 650
 651 define <2 x i64> @unsigned_sat_variable_v2i64_using_min(<2 x i64> %x, <2 x i64> %y) {
 652 ; CHECK-LABEL: unsigned_sat_variable_v2i64_using_min:
 653 ; CHECK:       // %bb.0:
 654 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 655 ; CHECK-NEXT:    cmhi v3.2d, v2.2d, v0.2d
 656 ; CHECK-NEXT:    bsl v3.16b, v0.16b, v2.16b
 657 ; CHECK-NEXT:    add v0.2d, v3.2d, v1.2d
 658 ; CHECK-NEXT:    ret
 659   %noty = xor <2 x i64> %y, <i64 -1, i64 -1>
 660   %c = icmp ult <2 x i64> %x, %noty
 661   %s = select <2 x i1> %c, <2 x i64> %x, <2 x i64> %noty
 662   %r = add <2 x i64> %s, %y
 663   ret <2 x i64> %r
 664 }
 665
 666 define <2 x i64> @unsigned_sat_variable_v2i64_using_cmp_sum(<2 x i64> %x, <2 x i64> %y) {
 667 ; CHECK-LABEL: unsigned_sat_variable_v2i64_using_cmp_sum:
 668 ; CHECK:       // %bb.0:
 669 ; CHECK-NEXT:    add v1.2d, v0.2d, v1.2d
 670 ; CHECK-NEXT:    cmhi v0.2d, v0.2d, v1.2d
 671 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 672 ; CHECK-NEXT:    ret
 673   %a = add <2 x i64> %x, %y
 674   %c = icmp ugt <2 x i64> %x, %a
 675   %r = select <2 x i1> %c, <2 x i64> <i64 -1, i64 -1>, <2 x i64> %a
 676   ret <2 x i64> %r
 677 }
 678
 679 define <2 x i64> @unsigned_sat_variable_v2i64_using_cmp_notval(<2 x i64> %x, <2 x i64> %y) {
 680 ; CHECK-LABEL: unsigned_sat_variable_v2i64_using_cmp_notval:
 681 ; CHECK:       // %bb.0:
 682 ; CHECK-NEXT:    mvn v2.16b, v1.16b
 683 ; CHECK-NEXT:    add v1.2d, v0.2d, v1.2d
 684 ; CHECK-NEXT:    cmhi v0.2d, v0.2d, v2.2d
 685 ; CHECK-NEXT:    orr v0.16b, v1.16b, v0.16b
 686 ; CHECK-NEXT:    ret
 687   %noty = xor <2 x i64> %y, <i64 -1, i64 -1>
 688   %a = add <2 x i64> %x, %y
 689   %c = icmp ugt <2 x i64> %x, %noty
 690   %r = select <2 x i1> %c, <2 x i64> <i64 -1, i64 -1>, <2 x i64> %a
 691   ret <2 x i64> %r
 692 }
 693