llvm/test/CodeGen/AArch64/fptoui-sat-vector.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=aarch64 | FileCheck %s --check-prefixes=CHECK,CHECK-CVT
   3 ; RUN: llc < %s -mtriple=aarch64 -mattr=+fullfp16 | FileCheck %s --check-prefixes=CHECK,CHECK-FP16
   4
   5 ;
   6 ; Float to unsigned 32-bit -- Vector size variation
   7 ;
   8
   9 declare <1 x i32> @llvm.fptoui.sat.v1f32.v1i32 (<1 x float>)
  10 declare <2 x i32> @llvm.fptoui.sat.v2f32.v2i32 (<2 x float>)
  11 declare <3 x i32> @llvm.fptoui.sat.v3f32.v3i32 (<3 x float>)
  12 declare <4 x i32> @llvm.fptoui.sat.v4f32.v4i32 (<4 x float>)
  13 declare <5 x i32> @llvm.fptoui.sat.v5f32.v5i32 (<5 x float>)
  14 declare <6 x i32> @llvm.fptoui.sat.v6f32.v6i32 (<6 x float>)
  15 declare <7 x i32> @llvm.fptoui.sat.v7f32.v7i32 (<7 x float>)
  16 declare <8 x i32> @llvm.fptoui.sat.v8f32.v8i32 (<8 x float>)
  17
  18 define <1 x i32> @test_unsigned_v1f32_v1i32(<1 x float> %f) {
  19 ; CHECK-LABEL: test_unsigned_v1f32_v1i32:
  20 ; CHECK:       // %bb.0:
  21 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
  22 ; CHECK-NEXT:    ret
  23     %x = call <1 x i32> @llvm.fptoui.sat.v1f32.v1i32(<1 x float> %f)
  24     ret <1 x i32> %x
  25 }
  26
  27 define <2 x i32> @test_unsigned_v2f32_v2i32(<2 x float> %f) {
  28 ; CHECK-LABEL: test_unsigned_v2f32_v2i32:
  29 ; CHECK:       // %bb.0:
  30 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
  31 ; CHECK-NEXT:    ret
  32     %x = call <2 x i32> @llvm.fptoui.sat.v2f32.v2i32(<2 x float> %f)
  33     ret <2 x i32> %x
  34 }
  35
  36 define <3 x i32> @test_unsigned_v3f32_v3i32(<3 x float> %f) {
  37 ; CHECK-LABEL: test_unsigned_v3f32_v3i32:
  38 ; CHECK:       // %bb.0:
  39 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
  40 ; CHECK-NEXT:    ret
  41     %x = call <3 x i32> @llvm.fptoui.sat.v3f32.v3i32(<3 x float> %f)
  42     ret <3 x i32> %x
  43 }
  44
  45 define <4 x i32> @test_unsigned_v4f32_v4i32(<4 x float> %f) {
  46 ; CHECK-LABEL: test_unsigned_v4f32_v4i32:
  47 ; CHECK:       // %bb.0:
  48 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
  49 ; CHECK-NEXT:    ret
  50     %x = call <4 x i32> @llvm.fptoui.sat.v4f32.v4i32(<4 x float> %f)
  51     ret <4 x i32> %x
  52 }
  53
  54 define <5 x i32> @test_unsigned_v5f32_v5i32(<5 x float> %f) {
  55 ; CHECK-LABEL: test_unsigned_v5f32_v5i32:
  56 ; CHECK:       // %bb.0:
  57 ; CHECK-NEXT:    // kill: def $s0 killed $s0 def $q0
  58 ; CHECK-NEXT:    // kill: def $s1 killed $s1 def $q1
  59 ; CHECK-NEXT:    // kill: def $s2 killed $s2 def $q2
  60 ; CHECK-NEXT:    // kill: def $s3 killed $s3 def $q3
  61 ; CHECK-NEXT:    // kill: def $s4 killed $s4 def $q4
  62 ; CHECK-NEXT:    mov v0.s[1], v1.s[0]
  63 ; CHECK-NEXT:    fcvtzu v4.4s, v4.4s
  64 ; CHECK-NEXT:    mov v0.s[2], v2.s[0]
  65 ; CHECK-NEXT:    fmov w4, s4
  66 ; CHECK-NEXT:    mov v0.s[3], v3.s[0]
  67 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
  68 ; CHECK-NEXT:    mov w1, v0.s[1]
  69 ; CHECK-NEXT:    mov w2, v0.s[2]
  70 ; CHECK-NEXT:    mov w3, v0.s[3]
  71 ; CHECK-NEXT:    fmov w0, s0
  72 ; CHECK-NEXT:    ret
  73     %x = call <5 x i32> @llvm.fptoui.sat.v5f32.v5i32(<5 x float> %f)
  74     ret <5 x i32> %x
  75 }
  76
  77 define <6 x i32> @test_unsigned_v6f32_v6i32(<6 x float> %f) {
  78 ; CHECK-LABEL: test_unsigned_v6f32_v6i32:
  79 ; CHECK:       // %bb.0:
  80 ; CHECK-NEXT:    // kill: def $s0 killed $s0 def $q0
  81 ; CHECK-NEXT:    // kill: def $s1 killed $s1 def $q1
  82 ; CHECK-NEXT:    // kill: def $s2 killed $s2 def $q2
  83 ; CHECK-NEXT:    // kill: def $s4 killed $s4 def $q4
  84 ; CHECK-NEXT:    // kill: def $s5 killed $s5 def $q5
  85 ; CHECK-NEXT:    // kill: def $s3 killed $s3 def $q3
  86 ; CHECK-NEXT:    mov v0.s[1], v1.s[0]
  87 ; CHECK-NEXT:    mov v4.s[1], v5.s[0]
  88 ; CHECK-NEXT:    mov v0.s[2], v2.s[0]
  89 ; CHECK-NEXT:    fcvtzu v1.4s, v4.4s
  90 ; CHECK-NEXT:    mov v0.s[3], v3.s[0]
  91 ; CHECK-NEXT:    mov w5, v1.s[1]
  92 ; CHECK-NEXT:    fmov w4, s1
  93 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
  94 ; CHECK-NEXT:    mov w1, v0.s[1]
  95 ; CHECK-NEXT:    mov w2, v0.s[2]
  96 ; CHECK-NEXT:    mov w3, v0.s[3]
  97 ; CHECK-NEXT:    fmov w0, s0
  98 ; CHECK-NEXT:    ret
  99     %x = call <6 x i32> @llvm.fptoui.sat.v6f32.v6i32(<6 x float> %f)
 100     ret <6 x i32> %x
 101 }
 102
 103 define <7 x i32> @test_unsigned_v7f32_v7i32(<7 x float> %f) {
 104 ; CHECK-LABEL: test_unsigned_v7f32_v7i32:
 105 ; CHECK:       // %bb.0:
 106 ; CHECK-NEXT:    // kill: def $s0 killed $s0 def $q0
 107 ; CHECK-NEXT:    // kill: def $s1 killed $s1 def $q1
 108 ; CHECK-NEXT:    // kill: def $s4 killed $s4 def $q4
 109 ; CHECK-NEXT:    // kill: def $s5 killed $s5 def $q5
 110 ; CHECK-NEXT:    // kill: def $s2 killed $s2 def $q2
 111 ; CHECK-NEXT:    // kill: def $s6 killed $s6 def $q6
 112 ; CHECK-NEXT:    // kill: def $s3 killed $s3 def $q3
 113 ; CHECK-NEXT:    mov v0.s[1], v1.s[0]
 114 ; CHECK-NEXT:    mov v4.s[1], v5.s[0]
 115 ; CHECK-NEXT:    mov v0.s[2], v2.s[0]
 116 ; CHECK-NEXT:    mov v4.s[2], v6.s[0]
 117 ; CHECK-NEXT:    mov v0.s[3], v3.s[0]
 118 ; CHECK-NEXT:    fcvtzu v1.4s, v4.4s
 119 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 120 ; CHECK-NEXT:    mov w5, v1.s[1]
 121 ; CHECK-NEXT:    mov w6, v1.s[2]
 122 ; CHECK-NEXT:    fmov w4, s1
 123 ; CHECK-NEXT:    mov w1, v0.s[1]
 124 ; CHECK-NEXT:    mov w2, v0.s[2]
 125 ; CHECK-NEXT:    mov w3, v0.s[3]
 126 ; CHECK-NEXT:    fmov w0, s0
 127 ; CHECK-NEXT:    ret
 128     %x = call <7 x i32> @llvm.fptoui.sat.v7f32.v7i32(<7 x float> %f)
 129     ret <7 x i32> %x
 130 }
 131
 132 define <8 x i32> @test_unsigned_v8f32_v8i32(<8 x float> %f) {
 133 ; CHECK-LABEL: test_unsigned_v8f32_v8i32:
 134 ; CHECK:       // %bb.0:
 135 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 136 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
 137 ; CHECK-NEXT:    ret
 138     %x = call <8 x i32> @llvm.fptoui.sat.v8f32.v8i32(<8 x float> %f)
 139     ret <8 x i32> %x
 140 }
 141
 142 ;
 143 ; Double to unsigned 32-bit -- Vector size variation
 144 ;
 145
 146 declare <1 x i32> @llvm.fptoui.sat.v1f64.v1i32 (<1 x double>)
 147 declare <2 x i32> @llvm.fptoui.sat.v2f64.v2i32 (<2 x double>)
 148 declare <3 x i32> @llvm.fptoui.sat.v3f64.v3i32 (<3 x double>)
 149 declare <4 x i32> @llvm.fptoui.sat.v4f64.v4i32 (<4 x double>)
 150 declare <5 x i32> @llvm.fptoui.sat.v5f64.v5i32 (<5 x double>)
 151 declare <6 x i32> @llvm.fptoui.sat.v6f64.v6i32 (<6 x double>)
 152
 153 define <1 x i32> @test_unsigned_v1f64_v1i32(<1 x double> %f) {
 154 ; CHECK-LABEL: test_unsigned_v1f64_v1i32:
 155 ; CHECK:       // %bb.0:
 156 ; CHECK-NEXT:    fcvtzu w8, d0
 157 ; CHECK-NEXT:    fmov s0, w8
 158 ; CHECK-NEXT:    ret
 159     %x = call <1 x i32> @llvm.fptoui.sat.v1f64.v1i32(<1 x double> %f)
 160     ret <1 x i32> %x
 161 }
 162
 163 define <2 x i32> @test_unsigned_v2f64_v2i32(<2 x double> %f) {
 164 ; CHECK-LABEL: test_unsigned_v2f64_v2i32:
 165 ; CHECK:       // %bb.0:
 166 ; CHECK-NEXT:    mov d1, v0.d[1]
 167 ; CHECK-NEXT:    fcvtzu w8, d0
 168 ; CHECK-NEXT:    fcvtzu w9, d1
 169 ; CHECK-NEXT:    fmov s0, w8
 170 ; CHECK-NEXT:    mov v0.s[1], w9
 171 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
 172 ; CHECK-NEXT:    ret
 173     %x = call <2 x i32> @llvm.fptoui.sat.v2f64.v2i32(<2 x double> %f)
 174     ret <2 x i32> %x
 175 }
 176
 177 define <3 x i32> @test_unsigned_v3f64_v3i32(<3 x double> %f) {
 178 ; CHECK-LABEL: test_unsigned_v3f64_v3i32:
 179 ; CHECK:       // %bb.0:
 180 ; CHECK-NEXT:    fcvtzu w8, d0
 181 ; CHECK-NEXT:    fcvtzu w9, d1
 182 ; CHECK-NEXT:    fmov s0, w8
 183 ; CHECK-NEXT:    fcvtzu w8, d2
 184 ; CHECK-NEXT:    mov v0.s[1], w9
 185 ; CHECK-NEXT:    mov v0.s[2], w8
 186 ; CHECK-NEXT:    fcvtzu w8, d0
 187 ; CHECK-NEXT:    mov v0.s[3], w8
 188 ; CHECK-NEXT:    ret
 189     %x = call <3 x i32> @llvm.fptoui.sat.v3f64.v3i32(<3 x double> %f)
 190     ret <3 x i32> %x
 191 }
 192
 193 define <4 x i32> @test_unsigned_v4f64_v4i32(<4 x double> %f) {
 194 ; CHECK-LABEL: test_unsigned_v4f64_v4i32:
 195 ; CHECK:       // %bb.0:
 196 ; CHECK-NEXT:    mov d2, v0.d[1]
 197 ; CHECK-NEXT:    fcvtzu w8, d0
 198 ; CHECK-NEXT:    fcvtzu w9, d2
 199 ; CHECK-NEXT:    fmov s0, w8
 200 ; CHECK-NEXT:    fcvtzu w8, d1
 201 ; CHECK-NEXT:    mov d1, v1.d[1]
 202 ; CHECK-NEXT:    mov v0.s[1], w9
 203 ; CHECK-NEXT:    mov v0.s[2], w8
 204 ; CHECK-NEXT:    fcvtzu w8, d1
 205 ; CHECK-NEXT:    mov v0.s[3], w8
 206 ; CHECK-NEXT:    ret
 207     %x = call <4 x i32> @llvm.fptoui.sat.v4f64.v4i32(<4 x double> %f)
 208     ret <4 x i32> %x
 209 }
 210
 211 define <5 x i32> @test_unsigned_v5f64_v5i32(<5 x double> %f) {
 212 ; CHECK-LABEL: test_unsigned_v5f64_v5i32:
 213 ; CHECK:       // %bb.0:
 214 ; CHECK-NEXT:    fcvtzu w0, d0
 215 ; CHECK-NEXT:    fcvtzu w1, d1
 216 ; CHECK-NEXT:    fcvtzu w2, d2
 217 ; CHECK-NEXT:    fcvtzu w3, d3
 218 ; CHECK-NEXT:    fcvtzu w4, d4
 219 ; CHECK-NEXT:    ret
 220     %x = call <5 x i32> @llvm.fptoui.sat.v5f64.v5i32(<5 x double> %f)
 221     ret <5 x i32> %x
 222 }
 223
 224 define <6 x i32> @test_unsigned_v6f64_v6i32(<6 x double> %f) {
 225 ; CHECK-LABEL: test_unsigned_v6f64_v6i32:
 226 ; CHECK:       // %bb.0:
 227 ; CHECK-NEXT:    fcvtzu w0, d0
 228 ; CHECK-NEXT:    fcvtzu w1, d1
 229 ; CHECK-NEXT:    fcvtzu w2, d2
 230 ; CHECK-NEXT:    fcvtzu w3, d3
 231 ; CHECK-NEXT:    fcvtzu w4, d4
 232 ; CHECK-NEXT:    fcvtzu w5, d5
 233 ; CHECK-NEXT:    ret
 234     %x = call <6 x i32> @llvm.fptoui.sat.v6f64.v6i32(<6 x double> %f)
 235     ret <6 x i32> %x
 236 }
 237
 238 ;
 239 ; FP128 to unsigned 32-bit -- Vector size variation
 240 ;
 241
 242 declare <1 x i32> @llvm.fptoui.sat.v1f128.v1i32 (<1 x fp128>)
 243 declare <2 x i32> @llvm.fptoui.sat.v2f128.v2i32 (<2 x fp128>)
 244 declare <3 x i32> @llvm.fptoui.sat.v3f128.v3i32 (<3 x fp128>)
 245 declare <4 x i32> @llvm.fptoui.sat.v4f128.v4i32 (<4 x fp128>)
 246
 247 define <1 x i32> @test_unsigned_v1f128_v1i32(<1 x fp128> %f) {
 248 ; CHECK-LABEL: test_unsigned_v1f128_v1i32:
 249 ; CHECK:       // %bb.0:
 250 ; CHECK-NEXT:    sub sp, sp, #32
 251 ; CHECK-NEXT:    stp x30, x19, [sp, #16] // 16-byte Folded Spill
 252 ; CHECK-NEXT:    .cfi_def_cfa_offset 32
 253 ; CHECK-NEXT:    .cfi_offset w19, -8
 254 ; CHECK-NEXT:    .cfi_offset w30, -16
 255 ; CHECK-NEXT:    adrp x8, .LCPI14_0
 256 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
 257 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI14_0]
 258 ; CHECK-NEXT:    bl __getf2
 259 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 260 ; CHECK-NEXT:    mov w19, w0
 261 ; CHECK-NEXT:    bl __fixunstfsi
 262 ; CHECK-NEXT:    adrp x8, .LCPI14_1
 263 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 264 ; CHECK-NEXT:    cmp w19, #0
 265 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI14_1]
 266 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 267 ; CHECK-NEXT:    bl __gttf2
 268 ; CHECK-NEXT:    cmp w0, #0
 269 ; CHECK-NEXT:    csinv w8, w19, wzr, le
 270 ; CHECK-NEXT:    ldp x30, x19, [sp, #16] // 16-byte Folded Reload
 271 ; CHECK-NEXT:    fmov s0, w8
 272 ; CHECK-NEXT:    add sp, sp, #32
 273 ; CHECK-NEXT:    ret
 274     %x = call <1 x i32> @llvm.fptoui.sat.v1f128.v1i32(<1 x fp128> %f)
 275     ret <1 x i32> %x
 276 }
 277
 278 define <2 x i32> @test_unsigned_v2f128_v2i32(<2 x fp128> %f) {
 279 ; CHECK-LABEL: test_unsigned_v2f128_v2i32:
 280 ; CHECK:       // %bb.0:
 281 ; CHECK-NEXT:    sub sp, sp, #96
 282 ; CHECK-NEXT:    str x30, [sp, #64] // 8-byte Folded Spill
 283 ; CHECK-NEXT:    stp x20, x19, [sp, #80] // 16-byte Folded Spill
 284 ; CHECK-NEXT:    .cfi_def_cfa_offset 96
 285 ; CHECK-NEXT:    .cfi_offset w19, -8
 286 ; CHECK-NEXT:    .cfi_offset w20, -16
 287 ; CHECK-NEXT:    .cfi_offset w30, -32
 288 ; CHECK-NEXT:    mov v2.16b, v1.16b
 289 ; CHECK-NEXT:    stp q1, q0, [sp, #32] // 32-byte Folded Spill
 290 ; CHECK-NEXT:    adrp x8, .LCPI15_0
 291 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI15_0]
 292 ; CHECK-NEXT:    mov v0.16b, v2.16b
 293 ; CHECK-NEXT:    str q1, [sp, #16] // 16-byte Folded Spill
 294 ; CHECK-NEXT:    bl __getf2
 295 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
 296 ; CHECK-NEXT:    mov w19, w0
 297 ; CHECK-NEXT:    bl __fixunstfsi
 298 ; CHECK-NEXT:    adrp x8, .LCPI15_1
 299 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
 300 ; CHECK-NEXT:    cmp w19, #0
 301 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI15_1]
 302 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 303 ; CHECK-NEXT:    str q1, [sp] // 16-byte Folded Spill
 304 ; CHECK-NEXT:    bl __gttf2
 305 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
 306 ; CHECK-NEXT:    ldr q1, [sp, #16] // 16-byte Folded Reload
 307 ; CHECK-NEXT:    cmp w0, #0
 308 ; CHECK-NEXT:    csinv w20, w19, wzr, le
 309 ; CHECK-NEXT:    bl __getf2
 310 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
 311 ; CHECK-NEXT:    mov w19, w0
 312 ; CHECK-NEXT:    bl __fixunstfsi
 313 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
 314 ; CHECK-NEXT:    ldr q1, [sp] // 16-byte Folded Reload
 315 ; CHECK-NEXT:    cmp w19, #0
 316 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 317 ; CHECK-NEXT:    bl __gttf2
 318 ; CHECK-NEXT:    cmp w0, #0
 319 ; CHECK-NEXT:    ldr x30, [sp, #64] // 8-byte Folded Reload
 320 ; CHECK-NEXT:    csinv w8, w19, wzr, le
 321 ; CHECK-NEXT:    fmov s0, w8
 322 ; CHECK-NEXT:    mov v0.s[1], w20
 323 ; CHECK-NEXT:    ldp x20, x19, [sp, #80] // 16-byte Folded Reload
 324 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
 325 ; CHECK-NEXT:    add sp, sp, #96
 326 ; CHECK-NEXT:    ret
 327     %x = call <2 x i32> @llvm.fptoui.sat.v2f128.v2i32(<2 x fp128> %f)
 328     ret <2 x i32> %x
 329 }
 330
 331 define <3 x i32> @test_unsigned_v3f128_v3i32(<3 x fp128> %f) {
 332 ; CHECK-LABEL: test_unsigned_v3f128_v3i32:
 333 ; CHECK:       // %bb.0:
 334 ; CHECK-NEXT:    sub sp, sp, #112
 335 ; CHECK-NEXT:    str x30, [sp, #80] // 8-byte Folded Spill
 336 ; CHECK-NEXT:    stp x20, x19, [sp, #96] // 16-byte Folded Spill
 337 ; CHECK-NEXT:    .cfi_def_cfa_offset 112
 338 ; CHECK-NEXT:    .cfi_offset w19, -8
 339 ; CHECK-NEXT:    .cfi_offset w20, -16
 340 ; CHECK-NEXT:    .cfi_offset w30, -32
 341 ; CHECK-NEXT:    stp q0, q2, [sp, #48] // 32-byte Folded Spill
 342 ; CHECK-NEXT:    mov v2.16b, v1.16b
 343 ; CHECK-NEXT:    adrp x8, .LCPI16_0
 344 ; CHECK-NEXT:    str q1, [sp] // 16-byte Folded Spill
 345 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI16_0]
 346 ; CHECK-NEXT:    mov v0.16b, v2.16b
 347 ; CHECK-NEXT:    str q1, [sp, #32] // 16-byte Folded Spill
 348 ; CHECK-NEXT:    bl __getf2
 349 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 350 ; CHECK-NEXT:    mov w19, w0
 351 ; CHECK-NEXT:    bl __fixunstfsi
 352 ; CHECK-NEXT:    adrp x8, .LCPI16_1
 353 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 354 ; CHECK-NEXT:    cmp w19, #0
 355 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI16_1]
 356 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 357 ; CHECK-NEXT:    str q1, [sp, #16] // 16-byte Folded Spill
 358 ; CHECK-NEXT:    bl __gttf2
 359 ; CHECK-NEXT:    ldp q1, q0, [sp, #32] // 32-byte Folded Reload
 360 ; CHECK-NEXT:    cmp w0, #0
 361 ; CHECK-NEXT:    csinv w20, w19, wzr, le
 362 ; CHECK-NEXT:    bl __getf2
 363 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
 364 ; CHECK-NEXT:    mov w19, w0
 365 ; CHECK-NEXT:    bl __fixunstfsi
 366 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
 367 ; CHECK-NEXT:    ldr q1, [sp, #16] // 16-byte Folded Reload
 368 ; CHECK-NEXT:    cmp w19, #0
 369 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 370 ; CHECK-NEXT:    bl __gttf2
 371 ; CHECK-NEXT:    cmp w0, #0
 372 ; CHECK-NEXT:    ldr q1, [sp, #32] // 16-byte Folded Reload
 373 ; CHECK-NEXT:    csinv w8, w19, wzr, le
 374 ; CHECK-NEXT:    fmov s0, w8
 375 ; CHECK-NEXT:    mov v0.s[1], w20
 376 ; CHECK-NEXT:    str q0, [sp, #48] // 16-byte Folded Spill
 377 ; CHECK-NEXT:    ldr q0, [sp, #64] // 16-byte Folded Reload
 378 ; CHECK-NEXT:    bl __getf2
 379 ; CHECK-NEXT:    ldr q0, [sp, #64] // 16-byte Folded Reload
 380 ; CHECK-NEXT:    mov w19, w0
 381 ; CHECK-NEXT:    bl __fixunstfsi
 382 ; CHECK-NEXT:    ldr q0, [sp, #64] // 16-byte Folded Reload
 383 ; CHECK-NEXT:    ldr q1, [sp, #16] // 16-byte Folded Reload
 384 ; CHECK-NEXT:    cmp w19, #0
 385 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 386 ; CHECK-NEXT:    bl __gttf2
 387 ; CHECK-NEXT:    cmp w0, #0
 388 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
 389 ; CHECK-NEXT:    ldr x30, [sp, #80] // 8-byte Folded Reload
 390 ; CHECK-NEXT:    csinv w8, w19, wzr, le
 391 ; CHECK-NEXT:    ldp x20, x19, [sp, #96] // 16-byte Folded Reload
 392 ; CHECK-NEXT:    mov v0.s[2], w8
 393 ; CHECK-NEXT:    add sp, sp, #112
 394 ; CHECK-NEXT:    ret
 395     %x = call <3 x i32> @llvm.fptoui.sat.v3f128.v3i32(<3 x fp128> %f)
 396     ret <3 x i32> %x
 397 }
 398
 399 define <4 x i32> @test_unsigned_v4f128_v4i32(<4 x fp128> %f) {
 400 ; CHECK-LABEL: test_unsigned_v4f128_v4i32:
 401 ; CHECK:       // %bb.0:
 402 ; CHECK-NEXT:    sub sp, sp, #128
 403 ; CHECK-NEXT:    str x30, [sp, #96] // 8-byte Folded Spill
 404 ; CHECK-NEXT:    stp x20, x19, [sp, #112] // 16-byte Folded Spill
 405 ; CHECK-NEXT:    .cfi_def_cfa_offset 128
 406 ; CHECK-NEXT:    .cfi_offset w19, -8
 407 ; CHECK-NEXT:    .cfi_offset w20, -16
 408 ; CHECK-NEXT:    .cfi_offset w30, -32
 409 ; CHECK-NEXT:    stp q0, q2, [sp, #16] // 32-byte Folded Spill
 410 ; CHECK-NEXT:    mov v2.16b, v1.16b
 411 ; CHECK-NEXT:    adrp x8, .LCPI17_0
 412 ; CHECK-NEXT:    str q1, [sp] // 16-byte Folded Spill
 413 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI17_0]
 414 ; CHECK-NEXT:    str q3, [sp, #80] // 16-byte Folded Spill
 415 ; CHECK-NEXT:    mov v0.16b, v2.16b
 416 ; CHECK-NEXT:    str q1, [sp, #64] // 16-byte Folded Spill
 417 ; CHECK-NEXT:    bl __getf2
 418 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 419 ; CHECK-NEXT:    mov w19, w0
 420 ; CHECK-NEXT:    bl __fixunstfsi
 421 ; CHECK-NEXT:    adrp x8, .LCPI17_1
 422 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 423 ; CHECK-NEXT:    cmp w19, #0
 424 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI17_1]
 425 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 426 ; CHECK-NEXT:    str q1, [sp, #48] // 16-byte Folded Spill
 427 ; CHECK-NEXT:    bl __gttf2
 428 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 429 ; CHECK-NEXT:    ldr q1, [sp, #64] // 16-byte Folded Reload
 430 ; CHECK-NEXT:    cmp w0, #0
 431 ; CHECK-NEXT:    csinv w20, w19, wzr, le
 432 ; CHECK-NEXT:    bl __getf2
 433 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 434 ; CHECK-NEXT:    mov w19, w0
 435 ; CHECK-NEXT:    bl __fixunstfsi
 436 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 437 ; CHECK-NEXT:    ldr q1, [sp, #48] // 16-byte Folded Reload
 438 ; CHECK-NEXT:    cmp w19, #0
 439 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 440 ; CHECK-NEXT:    bl __gttf2
 441 ; CHECK-NEXT:    cmp w0, #0
 442 ; CHECK-NEXT:    ldr q1, [sp, #64] // 16-byte Folded Reload
 443 ; CHECK-NEXT:    csinv w8, w19, wzr, le
 444 ; CHECK-NEXT:    fmov s0, w8
 445 ; CHECK-NEXT:    mov v0.s[1], w20
 446 ; CHECK-NEXT:    str q0, [sp, #16] // 16-byte Folded Spill
 447 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
 448 ; CHECK-NEXT:    bl __getf2
 449 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
 450 ; CHECK-NEXT:    mov w19, w0
 451 ; CHECK-NEXT:    bl __fixunstfsi
 452 ; CHECK-NEXT:    ldp q0, q1, [sp, #32] // 32-byte Folded Reload
 453 ; CHECK-NEXT:    cmp w19, #0
 454 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 455 ; CHECK-NEXT:    bl __gttf2
 456 ; CHECK-NEXT:    cmp w0, #0
 457 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 458 ; CHECK-NEXT:    csinv w8, w19, wzr, le
 459 ; CHECK-NEXT:    mov v0.s[2], w8
 460 ; CHECK-NEXT:    str q0, [sp, #16] // 16-byte Folded Spill
 461 ; CHECK-NEXT:    ldp q1, q0, [sp, #64] // 32-byte Folded Reload
 462 ; CHECK-NEXT:    bl __getf2
 463 ; CHECK-NEXT:    ldr q0, [sp, #80] // 16-byte Folded Reload
 464 ; CHECK-NEXT:    mov w19, w0
 465 ; CHECK-NEXT:    bl __fixunstfsi
 466 ; CHECK-NEXT:    ldr q0, [sp, #80] // 16-byte Folded Reload
 467 ; CHECK-NEXT:    ldr q1, [sp, #48] // 16-byte Folded Reload
 468 ; CHECK-NEXT:    cmp w19, #0
 469 ; CHECK-NEXT:    csel w19, wzr, w0, lt
 470 ; CHECK-NEXT:    bl __gttf2
 471 ; CHECK-NEXT:    cmp w0, #0
 472 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 473 ; CHECK-NEXT:    ldr x30, [sp, #96] // 8-byte Folded Reload
 474 ; CHECK-NEXT:    csinv w8, w19, wzr, le
 475 ; CHECK-NEXT:    ldp x20, x19, [sp, #112] // 16-byte Folded Reload
 476 ; CHECK-NEXT:    mov v0.s[3], w8
 477 ; CHECK-NEXT:    add sp, sp, #128
 478 ; CHECK-NEXT:    ret
 479     %x = call <4 x i32> @llvm.fptoui.sat.v4f128.v4i32(<4 x fp128> %f)
 480     ret <4 x i32> %x
 481 }
 482
 483 ;
 484 ; FP16 to unsigned 32-bit -- Vector size variation
 485 ;
 486
 487 declare <1 x i32> @llvm.fptoui.sat.v1f16.v1i32 (<1 x half>)
 488 declare <2 x i32> @llvm.fptoui.sat.v2f16.v2i32 (<2 x half>)
 489 declare <3 x i32> @llvm.fptoui.sat.v3f16.v3i32 (<3 x half>)
 490 declare <4 x i32> @llvm.fptoui.sat.v4f16.v4i32 (<4 x half>)
 491 declare <5 x i32> @llvm.fptoui.sat.v5f16.v5i32 (<5 x half>)
 492 declare <6 x i32> @llvm.fptoui.sat.v6f16.v6i32 (<6 x half>)
 493 declare <7 x i32> @llvm.fptoui.sat.v7f16.v7i32 (<7 x half>)
 494 declare <8 x i32> @llvm.fptoui.sat.v8f16.v8i32 (<8 x half>)
 495
 496 define <1 x i32> @test_unsigned_v1f16_v1i32(<1 x half> %f) {
 497 ; CHECK-CVT-LABEL: test_unsigned_v1f16_v1i32:
 498 ; CHECK-CVT:       // %bb.0:
 499 ; CHECK-CVT-NEXT:    fcvt s0, h0
 500 ; CHECK-CVT-NEXT:    fcvtzu w8, s0
 501 ; CHECK-CVT-NEXT:    fmov s0, w8
 502 ; CHECK-CVT-NEXT:    ret
 503 ;
 504 ; CHECK-FP16-LABEL: test_unsigned_v1f16_v1i32:
 505 ; CHECK-FP16:       // %bb.0:
 506 ; CHECK-FP16-NEXT:    fcvtzu w8, h0
 507 ; CHECK-FP16-NEXT:    fmov s0, w8
 508 ; CHECK-FP16-NEXT:    ret
 509     %x = call <1 x i32> @llvm.fptoui.sat.v1f16.v1i32(<1 x half> %f)
 510     ret <1 x i32> %x
 511 }
 512
 513 define <2 x i32> @test_unsigned_v2f16_v2i32(<2 x half> %f) {
 514 ; CHECK-LABEL: test_unsigned_v2f16_v2i32:
 515 ; CHECK:       // %bb.0:
 516 ; CHECK-NEXT:    fcvtl v0.4s, v0.4h
 517 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 518 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
 519 ; CHECK-NEXT:    ret
 520     %x = call <2 x i32> @llvm.fptoui.sat.v2f16.v2i32(<2 x half> %f)
 521     ret <2 x i32> %x
 522 }
 523
 524 define <3 x i32> @test_unsigned_v3f16_v3i32(<3 x half> %f) {
 525 ; CHECK-LABEL: test_unsigned_v3f16_v3i32:
 526 ; CHECK:       // %bb.0:
 527 ; CHECK-NEXT:    fcvtl v0.4s, v0.4h
 528 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 529 ; CHECK-NEXT:    ret
 530     %x = call <3 x i32> @llvm.fptoui.sat.v3f16.v3i32(<3 x half> %f)
 531     ret <3 x i32> %x
 532 }
 533
 534 define <4 x i32> @test_unsigned_v4f16_v4i32(<4 x half> %f) {
 535 ; CHECK-LABEL: test_unsigned_v4f16_v4i32:
 536 ; CHECK:       // %bb.0:
 537 ; CHECK-NEXT:    fcvtl v0.4s, v0.4h
 538 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 539 ; CHECK-NEXT:    ret
 540     %x = call <4 x i32> @llvm.fptoui.sat.v4f16.v4i32(<4 x half> %f)
 541     ret <4 x i32> %x
 542 }
 543
 544 define <5 x i32> @test_unsigned_v5f16_v5i32(<5 x half> %f) {
 545 ; CHECK-LABEL: test_unsigned_v5f16_v5i32:
 546 ; CHECK:       // %bb.0:
 547 ; CHECK-NEXT:    fcvtl v1.4s, v0.4h
 548 ; CHECK-NEXT:    fcvtl2 v0.4s, v0.8h
 549 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
 550 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 551 ; CHECK-NEXT:    mov w1, v1.s[1]
 552 ; CHECK-NEXT:    mov w2, v1.s[2]
 553 ; CHECK-NEXT:    mov w3, v1.s[3]
 554 ; CHECK-NEXT:    fmov w0, s1
 555 ; CHECK-NEXT:    fmov w4, s0
 556 ; CHECK-NEXT:    ret
 557     %x = call <5 x i32> @llvm.fptoui.sat.v5f16.v5i32(<5 x half> %f)
 558     ret <5 x i32> %x
 559 }
 560
 561 define <6 x i32> @test_unsigned_v6f16_v6i32(<6 x half> %f) {
 562 ; CHECK-LABEL: test_unsigned_v6f16_v6i32:
 563 ; CHECK:       // %bb.0:
 564 ; CHECK-NEXT:    fcvtl v1.4s, v0.4h
 565 ; CHECK-NEXT:    fcvtl2 v0.4s, v0.8h
 566 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
 567 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 568 ; CHECK-NEXT:    mov w1, v1.s[1]
 569 ; CHECK-NEXT:    mov w2, v1.s[2]
 570 ; CHECK-NEXT:    mov w5, v0.s[1]
 571 ; CHECK-NEXT:    mov w3, v1.s[3]
 572 ; CHECK-NEXT:    fmov w4, s0
 573 ; CHECK-NEXT:    fmov w0, s1
 574 ; CHECK-NEXT:    ret
 575     %x = call <6 x i32> @llvm.fptoui.sat.v6f16.v6i32(<6 x half> %f)
 576     ret <6 x i32> %x
 577 }
 578
 579 define <7 x i32> @test_unsigned_v7f16_v7i32(<7 x half> %f) {
 580 ; CHECK-LABEL: test_unsigned_v7f16_v7i32:
 581 ; CHECK:       // %bb.0:
 582 ; CHECK-NEXT:    fcvtl v1.4s, v0.4h
 583 ; CHECK-NEXT:    fcvtl2 v0.4s, v0.8h
 584 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
 585 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 586 ; CHECK-NEXT:    mov w1, v1.s[1]
 587 ; CHECK-NEXT:    mov w2, v1.s[2]
 588 ; CHECK-NEXT:    mov w3, v1.s[3]
 589 ; CHECK-NEXT:    mov w5, v0.s[1]
 590 ; CHECK-NEXT:    mov w6, v0.s[2]
 591 ; CHECK-NEXT:    fmov w0, s1
 592 ; CHECK-NEXT:    fmov w4, s0
 593 ; CHECK-NEXT:    ret
 594     %x = call <7 x i32> @llvm.fptoui.sat.v7f16.v7i32(<7 x half> %f)
 595     ret <7 x i32> %x
 596 }
 597
 598 define <8 x i32> @test_unsigned_v8f16_v8i32(<8 x half> %f) {
 599 ; CHECK-LABEL: test_unsigned_v8f16_v8i32:
 600 ; CHECK:       // %bb.0:
 601 ; CHECK-NEXT:    fcvtl2 v1.4s, v0.8h
 602 ; CHECK-NEXT:    fcvtl v0.4s, v0.4h
 603 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
 604 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 605 ; CHECK-NEXT:    ret
 606     %x = call <8 x i32> @llvm.fptoui.sat.v8f16.v8i32(<8 x half> %f)
 607     ret <8 x i32> %x
 608 }
 609
 610 ;
 611 ; 2-Vector float to unsigned integer -- result size variation
 612 ;
 613
 614 declare <2 x   i1> @llvm.fptoui.sat.v2f32.v2i1  (<2 x float>)
 615 declare <2 x   i8> @llvm.fptoui.sat.v2f32.v2i8  (<2 x float>)
 616 declare <2 x  i13> @llvm.fptoui.sat.v2f32.v2i13 (<2 x float>)
 617 declare <2 x  i16> @llvm.fptoui.sat.v2f32.v2i16 (<2 x float>)
 618 declare <2 x  i19> @llvm.fptoui.sat.v2f32.v2i19 (<2 x float>)
 619 declare <2 x  i50> @llvm.fptoui.sat.v2f32.v2i50 (<2 x float>)
 620 declare <2 x  i64> @llvm.fptoui.sat.v2f32.v2i64 (<2 x float>)
 621 declare <2 x i100> @llvm.fptoui.sat.v2f32.v2i100(<2 x float>)
 622 declare <2 x i128> @llvm.fptoui.sat.v2f32.v2i128(<2 x float>)
 623
 624 define <2 x i1> @test_unsigned_v2f32_v2i1(<2 x float> %f) {
 625 ; CHECK-LABEL: test_unsigned_v2f32_v2i1:
 626 ; CHECK:       // %bb.0:
 627 ; CHECK-NEXT:    movi v1.2s, #1
 628 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
 629 ; CHECK-NEXT:    umin v0.2s, v0.2s, v1.2s
 630 ; CHECK-NEXT:    ret
 631     %x = call <2 x i1> @llvm.fptoui.sat.v2f32.v2i1(<2 x float> %f)
 632     ret <2 x i1> %x
 633 }
 634
 635 define <2 x i8> @test_unsigned_v2f32_v2i8(<2 x float> %f) {
 636 ; CHECK-LABEL: test_unsigned_v2f32_v2i8:
 637 ; CHECK:       // %bb.0:
 638 ; CHECK-NEXT:    movi d1, #0x0000ff000000ff
 639 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
 640 ; CHECK-NEXT:    umin v0.2s, v0.2s, v1.2s
 641 ; CHECK-NEXT:    ret
 642     %x = call <2 x i8> @llvm.fptoui.sat.v2f32.v2i8(<2 x float> %f)
 643     ret <2 x i8> %x
 644 }
 645
 646 define <2 x i13> @test_unsigned_v2f32_v2i13(<2 x float> %f) {
 647 ; CHECK-LABEL: test_unsigned_v2f32_v2i13:
 648 ; CHECK:       // %bb.0:
 649 ; CHECK-NEXT:    movi v1.2s, #31, msl #8
 650 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
 651 ; CHECK-NEXT:    umin v0.2s, v0.2s, v1.2s
 652 ; CHECK-NEXT:    ret
 653     %x = call <2 x i13> @llvm.fptoui.sat.v2f32.v2i13(<2 x float> %f)
 654     ret <2 x i13> %x
 655 }
 656
 657 define <2 x i16> @test_unsigned_v2f32_v2i16(<2 x float> %f) {
 658 ; CHECK-LABEL: test_unsigned_v2f32_v2i16:
 659 ; CHECK:       // %bb.0:
 660 ; CHECK-NEXT:    movi d1, #0x00ffff0000ffff
 661 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
 662 ; CHECK-NEXT:    umin v0.2s, v0.2s, v1.2s
 663 ; CHECK-NEXT:    ret
 664     %x = call <2 x i16> @llvm.fptoui.sat.v2f32.v2i16(<2 x float> %f)
 665     ret <2 x i16> %x
 666 }
 667
 668 define <2 x i19> @test_unsigned_v2f32_v2i19(<2 x float> %f) {
 669 ; CHECK-LABEL: test_unsigned_v2f32_v2i19:
 670 ; CHECK:       // %bb.0:
 671 ; CHECK-NEXT:    movi v1.2s, #7, msl #16
 672 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
 673 ; CHECK-NEXT:    umin v0.2s, v0.2s, v1.2s
 674 ; CHECK-NEXT:    ret
 675     %x = call <2 x i19> @llvm.fptoui.sat.v2f32.v2i19(<2 x float> %f)
 676     ret <2 x i19> %x
 677 }
 678
 679 define <2 x i32> @test_unsigned_v2f32_v2i32_duplicate(<2 x float> %f) {
 680 ; CHECK-LABEL: test_unsigned_v2f32_v2i32_duplicate:
 681 ; CHECK:       // %bb.0:
 682 ; CHECK-NEXT:    fcvtzu v0.2s, v0.2s
 683 ; CHECK-NEXT:    ret
 684     %x = call <2 x i32> @llvm.fptoui.sat.v2f32.v2i32(<2 x float> %f)
 685     ret <2 x i32> %x
 686 }
 687
 688 define <2 x i50> @test_unsigned_v2f32_v2i50(<2 x float> %f) {
 689 ; CHECK-LABEL: test_unsigned_v2f32_v2i50:
 690 ; CHECK:       // %bb.0:
 691 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $q0
 692 ; CHECK-NEXT:    mov s1, v0.s[1]
 693 ; CHECK-NEXT:    fcvtzu x9, s0
 694 ; CHECK-NEXT:    mov x10, #1125899906842623 // =0x3ffffffffffff
 695 ; CHECK-NEXT:    fcvtzu x8, s1
 696 ; CHECK-NEXT:    cmp x8, x10
 697 ; CHECK-NEXT:    csel x8, x8, x10, lo
 698 ; CHECK-NEXT:    cmp x9, x10
 699 ; CHECK-NEXT:    csel x9, x9, x10, lo
 700 ; CHECK-NEXT:    fmov d0, x9
 701 ; CHECK-NEXT:    mov v0.d[1], x8
 702 ; CHECK-NEXT:    ret
 703     %x = call <2 x i50> @llvm.fptoui.sat.v2f32.v2i50(<2 x float> %f)
 704     ret <2 x i50> %x
 705 }
 706
 707 define <2 x i64> @test_unsigned_v2f32_v2i64(<2 x float> %f) {
 708 ; CHECK-LABEL: test_unsigned_v2f32_v2i64:
 709 ; CHECK:       // %bb.0:
 710 ; CHECK-NEXT:    fcvtl v0.2d, v0.2s
 711 ; CHECK-NEXT:    fcvtzu v0.2d, v0.2d
 712 ; CHECK-NEXT:    ret
 713     %x = call <2 x i64> @llvm.fptoui.sat.v2f32.v2i64(<2 x float> %f)
 714     ret <2 x i64> %x
 715 }
 716
 717 define <2 x i100> @test_unsigned_v2f32_v2i100(<2 x float> %f) {
 718 ; CHECK-LABEL: test_unsigned_v2f32_v2i100:
 719 ; CHECK:       // %bb.0:
 720 ; CHECK-NEXT:    sub sp, sp, #64
 721 ; CHECK-NEXT:    stp d9, d8, [sp, #16] // 16-byte Folded Spill
 722 ; CHECK-NEXT:    stp x30, x21, [sp, #32] // 16-byte Folded Spill
 723 ; CHECK-NEXT:    stp x20, x19, [sp, #48] // 16-byte Folded Spill
 724 ; CHECK-NEXT:    .cfi_def_cfa_offset 64
 725 ; CHECK-NEXT:    .cfi_offset w19, -8
 726 ; CHECK-NEXT:    .cfi_offset w20, -16
 727 ; CHECK-NEXT:    .cfi_offset w21, -24
 728 ; CHECK-NEXT:    .cfi_offset w30, -32
 729 ; CHECK-NEXT:    .cfi_offset b8, -40
 730 ; CHECK-NEXT:    .cfi_offset b9, -48
 731 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $q0
 732 ; CHECK-NEXT:    mov s8, v0.s[1]
 733 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
 734 ; CHECK-NEXT:    fmov s0, s8
 735 ; CHECK-NEXT:    bl __fixunssfti
 736 ; CHECK-NEXT:    mov w8, #1904214015 // =0x717fffff
 737 ; CHECK-NEXT:    fcmp s8, #0.0
 738 ; CHECK-NEXT:    mov x21, #68719476735 // =0xfffffffff
 739 ; CHECK-NEXT:    fmov s9, w8
 740 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 741 ; CHECK-NEXT:    // kill: def $s0 killed $s0 killed $q0
 742 ; CHECK-NEXT:    csel x8, xzr, x0, lt
 743 ; CHECK-NEXT:    csel x9, xzr, x1, lt
 744 ; CHECK-NEXT:    fcmp s8, s9
 745 ; CHECK-NEXT:    csel x19, x21, x9, gt
 746 ; CHECK-NEXT:    csinv x20, x8, xzr, le
 747 ; CHECK-NEXT:    bl __fixunssfti
 748 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 749 ; CHECK-NEXT:    mov x2, x20
 750 ; CHECK-NEXT:    mov x3, x19
 751 ; CHECK-NEXT:    ldp x20, x19, [sp, #48] // 16-byte Folded Reload
 752 ; CHECK-NEXT:    fcmp s0, #0.0
 753 ; CHECK-NEXT:    csel x8, xzr, x0, lt
 754 ; CHECK-NEXT:    csel x9, xzr, x1, lt
 755 ; CHECK-NEXT:    fcmp s0, s9
 756 ; CHECK-NEXT:    ldp d9, d8, [sp, #16] // 16-byte Folded Reload
 757 ; CHECK-NEXT:    csinv x8, x8, xzr, le
 758 ; CHECK-NEXT:    csel x1, x21, x9, gt
 759 ; CHECK-NEXT:    fmov d0, x8
 760 ; CHECK-NEXT:    ldp x30, x21, [sp, #32] // 16-byte Folded Reload
 761 ; CHECK-NEXT:    mov v0.d[1], x1
 762 ; CHECK-NEXT:    fmov x0, d0
 763 ; CHECK-NEXT:    add sp, sp, #64
 764 ; CHECK-NEXT:    ret
 765     %x = call <2 x i100> @llvm.fptoui.sat.v2f32.v2i100(<2 x float> %f)
 766     ret <2 x i100> %x
 767 }
 768
 769 define <2 x i128> @test_unsigned_v2f32_v2i128(<2 x float> %f) {
 770 ; CHECK-LABEL: test_unsigned_v2f32_v2i128:
 771 ; CHECK:       // %bb.0:
 772 ; CHECK-NEXT:    sub sp, sp, #64
 773 ; CHECK-NEXT:    stp d9, d8, [sp, #16] // 16-byte Folded Spill
 774 ; CHECK-NEXT:    str x30, [sp, #32] // 8-byte Folded Spill
 775 ; CHECK-NEXT:    stp x20, x19, [sp, #48] // 16-byte Folded Spill
 776 ; CHECK-NEXT:    .cfi_def_cfa_offset 64
 777 ; CHECK-NEXT:    .cfi_offset w19, -8
 778 ; CHECK-NEXT:    .cfi_offset w20, -16
 779 ; CHECK-NEXT:    .cfi_offset w30, -32
 780 ; CHECK-NEXT:    .cfi_offset b8, -40
 781 ; CHECK-NEXT:    .cfi_offset b9, -48
 782 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $q0
 783 ; CHECK-NEXT:    mov s8, v0.s[1]
 784 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
 785 ; CHECK-NEXT:    fmov s0, s8
 786 ; CHECK-NEXT:    bl __fixunssfti
 787 ; CHECK-NEXT:    mov w8, #2139095039 // =0x7f7fffff
 788 ; CHECK-NEXT:    fcmp s8, #0.0
 789 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 790 ; CHECK-NEXT:    fmov s9, w8
 791 ; CHECK-NEXT:    // kill: def $s0 killed $s0 killed $q0
 792 ; CHECK-NEXT:    csel x8, xzr, x1, lt
 793 ; CHECK-NEXT:    csel x9, xzr, x0, lt
 794 ; CHECK-NEXT:    fcmp s8, s9
 795 ; CHECK-NEXT:    csinv x19, x9, xzr, le
 796 ; CHECK-NEXT:    csinv x20, x8, xzr, le
 797 ; CHECK-NEXT:    bl __fixunssfti
 798 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 799 ; CHECK-NEXT:    mov x2, x19
 800 ; CHECK-NEXT:    mov x3, x20
 801 ; CHECK-NEXT:    ldp x20, x19, [sp, #48] // 16-byte Folded Reload
 802 ; CHECK-NEXT:    ldr x30, [sp, #32] // 8-byte Folded Reload
 803 ; CHECK-NEXT:    fcmp s0, #0.0
 804 ; CHECK-NEXT:    csel x8, xzr, x0, lt
 805 ; CHECK-NEXT:    csel x9, xzr, x1, lt
 806 ; CHECK-NEXT:    fcmp s0, s9
 807 ; CHECK-NEXT:    ldp d9, d8, [sp, #16] // 16-byte Folded Reload
 808 ; CHECK-NEXT:    csinv x8, x8, xzr, le
 809 ; CHECK-NEXT:    csinv x1, x9, xzr, le
 810 ; CHECK-NEXT:    fmov d0, x8
 811 ; CHECK-NEXT:    mov v0.d[1], x1
 812 ; CHECK-NEXT:    fmov x0, d0
 813 ; CHECK-NEXT:    add sp, sp, #64
 814 ; CHECK-NEXT:    ret
 815     %x = call <2 x i128> @llvm.fptoui.sat.v2f32.v2i128(<2 x float> %f)
 816     ret <2 x i128> %x
 817 }
 818
 819 ;
 820 ; 4-Vector float to unsigned integer -- result size variation
 821 ;
 822
 823 declare <4 x   i1> @llvm.fptoui.sat.v4f32.v4i1  (<4 x float>)
 824 declare <4 x   i8> @llvm.fptoui.sat.v4f32.v4i8  (<4 x float>)
 825 declare <4 x  i13> @llvm.fptoui.sat.v4f32.v4i13 (<4 x float>)
 826 declare <4 x  i16> @llvm.fptoui.sat.v4f32.v4i16 (<4 x float>)
 827 declare <4 x  i19> @llvm.fptoui.sat.v4f32.v4i19 (<4 x float>)
 828 declare <4 x  i50> @llvm.fptoui.sat.v4f32.v4i50 (<4 x float>)
 829 declare <4 x  i64> @llvm.fptoui.sat.v4f32.v4i64 (<4 x float>)
 830 declare <4 x i100> @llvm.fptoui.sat.v4f32.v4i100(<4 x float>)
 831 declare <4 x i128> @llvm.fptoui.sat.v4f32.v4i128(<4 x float>)
 832
 833 define <4 x i1> @test_unsigned_v4f32_v4i1(<4 x float> %f) {
 834 ; CHECK-LABEL: test_unsigned_v4f32_v4i1:
 835 ; CHECK:       // %bb.0:
 836 ; CHECK-NEXT:    movi v1.4s, #1
 837 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 838 ; CHECK-NEXT:    umin v0.4s, v0.4s, v1.4s
 839 ; CHECK-NEXT:    xtn v0.4h, v0.4s
 840 ; CHECK-NEXT:    ret
 841     %x = call <4 x i1> @llvm.fptoui.sat.v4f32.v4i1(<4 x float> %f)
 842     ret <4 x i1> %x
 843 }
 844
 845 define <4 x i8> @test_unsigned_v4f32_v4i8(<4 x float> %f) {
 846 ; CHECK-LABEL: test_unsigned_v4f32_v4i8:
 847 ; CHECK:       // %bb.0:
 848 ; CHECK-NEXT:    movi v1.2d, #0x0000ff000000ff
 849 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 850 ; CHECK-NEXT:    umin v0.4s, v0.4s, v1.4s
 851 ; CHECK-NEXT:    xtn v0.4h, v0.4s
 852 ; CHECK-NEXT:    ret
 853     %x = call <4 x i8> @llvm.fptoui.sat.v4f32.v4i8(<4 x float> %f)
 854     ret <4 x i8> %x
 855 }
 856
 857 define <4 x i13> @test_unsigned_v4f32_v4i13(<4 x float> %f) {
 858 ; CHECK-LABEL: test_unsigned_v4f32_v4i13:
 859 ; CHECK:       // %bb.0:
 860 ; CHECK-NEXT:    movi v1.4s, #31, msl #8
 861 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 862 ; CHECK-NEXT:    umin v0.4s, v0.4s, v1.4s
 863 ; CHECK-NEXT:    xtn v0.4h, v0.4s
 864 ; CHECK-NEXT:    ret
 865     %x = call <4 x i13> @llvm.fptoui.sat.v4f32.v4i13(<4 x float> %f)
 866     ret <4 x i13> %x
 867 }
 868
 869 define <4 x i16> @test_unsigned_v4f32_v4i16(<4 x float> %f) {
 870 ; CHECK-LABEL: test_unsigned_v4f32_v4i16:
 871 ; CHECK:       // %bb.0:
 872 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 873 ; CHECK-NEXT:    uqxtn v0.4h, v0.4s
 874 ; CHECK-NEXT:    ret
 875     %x = call <4 x i16> @llvm.fptoui.sat.v4f32.v4i16(<4 x float> %f)
 876     ret <4 x i16> %x
 877 }
 878
 879 define <4 x i19> @test_unsigned_v4f32_v4i19(<4 x float> %f) {
 880 ; CHECK-LABEL: test_unsigned_v4f32_v4i19:
 881 ; CHECK:       // %bb.0:
 882 ; CHECK-NEXT:    movi v1.4s, #7, msl #16
 883 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 884 ; CHECK-NEXT:    umin v0.4s, v0.4s, v1.4s
 885 ; CHECK-NEXT:    ret
 886     %x = call <4 x i19> @llvm.fptoui.sat.v4f32.v4i19(<4 x float> %f)
 887     ret <4 x i19> %x
 888 }
 889
 890 define <4 x i32> @test_unsigned_v4f32_v4i32_duplicate(<4 x float> %f) {
 891 ; CHECK-LABEL: test_unsigned_v4f32_v4i32_duplicate:
 892 ; CHECK:       // %bb.0:
 893 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
 894 ; CHECK-NEXT:    ret
 895     %x = call <4 x i32> @llvm.fptoui.sat.v4f32.v4i32(<4 x float> %f)
 896     ret <4 x i32> %x
 897 }
 898
 899 define <4 x i50> @test_unsigned_v4f32_v4i50(<4 x float> %f) {
 900 ; CHECK-LABEL: test_unsigned_v4f32_v4i50:
 901 ; CHECK:       // %bb.0:
 902 ; CHECK-NEXT:    ext v1.16b, v0.16b, v0.16b, #8
 903 ; CHECK-NEXT:    mov s3, v0.s[1]
 904 ; CHECK-NEXT:    mov x8, #1125899906842623 // =0x3ffffffffffff
 905 ; CHECK-NEXT:    fcvtzu x11, s0
 906 ; CHECK-NEXT:    mov s2, v1.s[1]
 907 ; CHECK-NEXT:    fcvtzu x9, s1
 908 ; CHECK-NEXT:    fcvtzu x12, s3
 909 ; CHECK-NEXT:    fcvtzu x10, s2
 910 ; CHECK-NEXT:    cmp x9, x8
 911 ; CHECK-NEXT:    csel x2, x9, x8, lo
 912 ; CHECK-NEXT:    cmp x10, x8
 913 ; CHECK-NEXT:    csel x3, x10, x8, lo
 914 ; CHECK-NEXT:    cmp x11, x8
 915 ; CHECK-NEXT:    csel x0, x11, x8, lo
 916 ; CHECK-NEXT:    cmp x12, x8
 917 ; CHECK-NEXT:    csel x1, x12, x8, lo
 918 ; CHECK-NEXT:    ret
 919     %x = call <4 x i50> @llvm.fptoui.sat.v4f32.v4i50(<4 x float> %f)
 920     ret <4 x i50> %x
 921 }
 922
 923 define <4 x i64> @test_unsigned_v4f32_v4i64(<4 x float> %f) {
 924 ; CHECK-LABEL: test_unsigned_v4f32_v4i64:
 925 ; CHECK:       // %bb.0:
 926 ; CHECK-NEXT:    fcvtl2 v1.2d, v0.4s
 927 ; CHECK-NEXT:    fcvtl v0.2d, v0.2s
 928 ; CHECK-NEXT:    fcvtzu v1.2d, v1.2d
 929 ; CHECK-NEXT:    fcvtzu v0.2d, v0.2d
 930 ; CHECK-NEXT:    ret
 931     %x = call <4 x i64> @llvm.fptoui.sat.v4f32.v4i64(<4 x float> %f)
 932     ret <4 x i64> %x
 933 }
 934
 935 define <4 x i100> @test_unsigned_v4f32_v4i100(<4 x float> %f) {
 936 ; CHECK-LABEL: test_unsigned_v4f32_v4i100:
 937 ; CHECK:       // %bb.0:
 938 ; CHECK-NEXT:    sub sp, sp, #112
 939 ; CHECK-NEXT:    stp d9, d8, [sp, #32] // 16-byte Folded Spill
 940 ; CHECK-NEXT:    stp x30, x25, [sp, #48] // 16-byte Folded Spill
 941 ; CHECK-NEXT:    stp x24, x23, [sp, #64] // 16-byte Folded Spill
 942 ; CHECK-NEXT:    stp x22, x21, [sp, #80] // 16-byte Folded Spill
 943 ; CHECK-NEXT:    stp x20, x19, [sp, #96] // 16-byte Folded Spill
 944 ; CHECK-NEXT:    .cfi_def_cfa_offset 112
 945 ; CHECK-NEXT:    .cfi_offset w19, -8
 946 ; CHECK-NEXT:    .cfi_offset w20, -16
 947 ; CHECK-NEXT:    .cfi_offset w21, -24
 948 ; CHECK-NEXT:    .cfi_offset w22, -32
 949 ; CHECK-NEXT:    .cfi_offset w23, -40
 950 ; CHECK-NEXT:    .cfi_offset w24, -48
 951 ; CHECK-NEXT:    .cfi_offset w25, -56
 952 ; CHECK-NEXT:    .cfi_offset w30, -64
 953 ; CHECK-NEXT:    .cfi_offset b8, -72
 954 ; CHECK-NEXT:    .cfi_offset b9, -80
 955 ; CHECK-NEXT:    mov s8, v0.s[1]
 956 ; CHECK-NEXT:    str q0, [sp, #16] // 16-byte Folded Spill
 957 ; CHECK-NEXT:    fmov s0, s8
 958 ; CHECK-NEXT:    bl __fixunssfti
 959 ; CHECK-NEXT:    mov w8, #1904214015 // =0x717fffff
 960 ; CHECK-NEXT:    fcmp s8, #0.0
 961 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 962 ; CHECK-NEXT:    fmov s9, w8
 963 ; CHECK-NEXT:    mov x25, #68719476735 // =0xfffffffff
 964 ; CHECK-NEXT:    ext v0.16b, v0.16b, v0.16b, #8
 965 ; CHECK-NEXT:    csel x8, xzr, x0, lt
 966 ; CHECK-NEXT:    csel x9, xzr, x1, lt
 967 ; CHECK-NEXT:    fcmp s8, s9
 968 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
 969 ; CHECK-NEXT:    // kill: def $s0 killed $s0 killed $q0
 970 ; CHECK-NEXT:    csel x19, x25, x9, gt
 971 ; CHECK-NEXT:    csinv x20, x8, xzr, le
 972 ; CHECK-NEXT:    bl __fixunssfti
 973 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
 974 ; CHECK-NEXT:    mov s8, v0.s[1]
 975 ; CHECK-NEXT:    fcmp s0, #0.0
 976 ; CHECK-NEXT:    csel x8, xzr, x0, lt
 977 ; CHECK-NEXT:    csel x9, xzr, x1, lt
 978 ; CHECK-NEXT:    fcmp s0, s9
 979 ; CHECK-NEXT:    fmov s0, s8
 980 ; CHECK-NEXT:    csel x21, x25, x9, gt
 981 ; CHECK-NEXT:    csinv x22, x8, xzr, le
 982 ; CHECK-NEXT:    bl __fixunssfti
 983 ; CHECK-NEXT:    fcmp s8, #0.0
 984 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 985 ; CHECK-NEXT:    // kill: def $s0 killed $s0 killed $q0
 986 ; CHECK-NEXT:    csel x8, xzr, x0, lt
 987 ; CHECK-NEXT:    csel x9, xzr, x1, lt
 988 ; CHECK-NEXT:    fcmp s8, s9
 989 ; CHECK-NEXT:    csel x23, x25, x9, gt
 990 ; CHECK-NEXT:    csinv x24, x8, xzr, le
 991 ; CHECK-NEXT:    bl __fixunssfti
 992 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
 993 ; CHECK-NEXT:    mov x2, x20
 994 ; CHECK-NEXT:    mov x3, x19
 995 ; CHECK-NEXT:    mov x4, x22
 996 ; CHECK-NEXT:    mov x5, x21
 997 ; CHECK-NEXT:    mov x6, x24
 998 ; CHECK-NEXT:    fcmp s0, #0.0
 999 ; CHECK-NEXT:    mov x7, x23
1000 ; CHECK-NEXT:    ldp x20, x19, [sp, #96] // 16-byte Folded Reload
1001 ; CHECK-NEXT:    ldp x22, x21, [sp, #80] // 16-byte Folded Reload
1002 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1003 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1004 ; CHECK-NEXT:    fcmp s0, s9
1005 ; CHECK-NEXT:    ldp x24, x23, [sp, #64] // 16-byte Folded Reload
1006 ; CHECK-NEXT:    ldp d9, d8, [sp, #32] // 16-byte Folded Reload
1007 ; CHECK-NEXT:    csinv x8, x8, xzr, le
1008 ; CHECK-NEXT:    csel x1, x25, x9, gt
1009 ; CHECK-NEXT:    fmov d0, x8
1010 ; CHECK-NEXT:    ldp x30, x25, [sp, #48] // 16-byte Folded Reload
1011 ; CHECK-NEXT:    mov v0.d[1], x1
1012 ; CHECK-NEXT:    fmov x0, d0
1013 ; CHECK-NEXT:    add sp, sp, #112
1014 ; CHECK-NEXT:    ret
1015     %x = call <4 x i100> @llvm.fptoui.sat.v4f32.v4i100(<4 x float> %f)
1016     ret <4 x i100> %x
1017 }
1018
1019 define <4 x i128> @test_unsigned_v4f32_v4i128(<4 x float> %f) {
1020 ; CHECK-LABEL: test_unsigned_v4f32_v4i128:
1021 ; CHECK:       // %bb.0:
1022 ; CHECK-NEXT:    sub sp, sp, #112
1023 ; CHECK-NEXT:    stp d9, d8, [sp, #32] // 16-byte Folded Spill
1024 ; CHECK-NEXT:    str x30, [sp, #48] // 8-byte Folded Spill
1025 ; CHECK-NEXT:    stp x24, x23, [sp, #64] // 16-byte Folded Spill
1026 ; CHECK-NEXT:    stp x22, x21, [sp, #80] // 16-byte Folded Spill
1027 ; CHECK-NEXT:    stp x20, x19, [sp, #96] // 16-byte Folded Spill
1028 ; CHECK-NEXT:    .cfi_def_cfa_offset 112
1029 ; CHECK-NEXT:    .cfi_offset w19, -8
1030 ; CHECK-NEXT:    .cfi_offset w20, -16
1031 ; CHECK-NEXT:    .cfi_offset w21, -24
1032 ; CHECK-NEXT:    .cfi_offset w22, -32
1033 ; CHECK-NEXT:    .cfi_offset w23, -40
1034 ; CHECK-NEXT:    .cfi_offset w24, -48
1035 ; CHECK-NEXT:    .cfi_offset w30, -64
1036 ; CHECK-NEXT:    .cfi_offset b8, -72
1037 ; CHECK-NEXT:    .cfi_offset b9, -80
1038 ; CHECK-NEXT:    mov s8, v0.s[1]
1039 ; CHECK-NEXT:    str q0, [sp, #16] // 16-byte Folded Spill
1040 ; CHECK-NEXT:    fmov s0, s8
1041 ; CHECK-NEXT:    bl __fixunssfti
1042 ; CHECK-NEXT:    mov w8, #2139095039 // =0x7f7fffff
1043 ; CHECK-NEXT:    fcmp s8, #0.0
1044 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
1045 ; CHECK-NEXT:    fmov s9, w8
1046 ; CHECK-NEXT:    ext v0.16b, v0.16b, v0.16b, #8
1047 ; CHECK-NEXT:    csel x8, xzr, x1, lt
1048 ; CHECK-NEXT:    csel x9, xzr, x0, lt
1049 ; CHECK-NEXT:    fcmp s8, s9
1050 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
1051 ; CHECK-NEXT:    // kill: def $s0 killed $s0 killed $q0
1052 ; CHECK-NEXT:    csinv x19, x9, xzr, le
1053 ; CHECK-NEXT:    csinv x20, x8, xzr, le
1054 ; CHECK-NEXT:    bl __fixunssfti
1055 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1056 ; CHECK-NEXT:    mov s8, v0.s[1]
1057 ; CHECK-NEXT:    fcmp s0, #0.0
1058 ; CHECK-NEXT:    csel x8, xzr, x1, lt
1059 ; CHECK-NEXT:    csel x9, xzr, x0, lt
1060 ; CHECK-NEXT:    fcmp s0, s9
1061 ; CHECK-NEXT:    fmov s0, s8
1062 ; CHECK-NEXT:    csinv x21, x9, xzr, le
1063 ; CHECK-NEXT:    csinv x22, x8, xzr, le
1064 ; CHECK-NEXT:    bl __fixunssfti
1065 ; CHECK-NEXT:    fcmp s8, #0.0
1066 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
1067 ; CHECK-NEXT:    // kill: def $s0 killed $s0 killed $q0
1068 ; CHECK-NEXT:    csel x8, xzr, x1, lt
1069 ; CHECK-NEXT:    csel x9, xzr, x0, lt
1070 ; CHECK-NEXT:    fcmp s8, s9
1071 ; CHECK-NEXT:    csinv x23, x9, xzr, le
1072 ; CHECK-NEXT:    csinv x24, x8, xzr, le
1073 ; CHECK-NEXT:    bl __fixunssfti
1074 ; CHECK-NEXT:    ldr q0, [sp, #16] // 16-byte Folded Reload
1075 ; CHECK-NEXT:    mov x2, x19
1076 ; CHECK-NEXT:    mov x3, x20
1077 ; CHECK-NEXT:    mov x4, x21
1078 ; CHECK-NEXT:    mov x5, x22
1079 ; CHECK-NEXT:    mov x6, x23
1080 ; CHECK-NEXT:    fcmp s0, #0.0
1081 ; CHECK-NEXT:    mov x7, x24
1082 ; CHECK-NEXT:    ldr x30, [sp, #48] // 8-byte Folded Reload
1083 ; CHECK-NEXT:    ldp x20, x19, [sp, #96] // 16-byte Folded Reload
1084 ; CHECK-NEXT:    ldp x22, x21, [sp, #80] // 16-byte Folded Reload
1085 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1086 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1087 ; CHECK-NEXT:    fcmp s0, s9
1088 ; CHECK-NEXT:    ldp x24, x23, [sp, #64] // 16-byte Folded Reload
1089 ; CHECK-NEXT:    ldp d9, d8, [sp, #32] // 16-byte Folded Reload
1090 ; CHECK-NEXT:    csinv x8, x8, xzr, le
1091 ; CHECK-NEXT:    csinv x1, x9, xzr, le
1092 ; CHECK-NEXT:    fmov d0, x8
1093 ; CHECK-NEXT:    mov v0.d[1], x1
1094 ; CHECK-NEXT:    fmov x0, d0
1095 ; CHECK-NEXT:    add sp, sp, #112
1096 ; CHECK-NEXT:    ret
1097     %x = call <4 x i128> @llvm.fptoui.sat.v4f32.v4i128(<4 x float> %f)
1098     ret <4 x i128> %x
1099 }
1100
1101 ;
1102 ; 2-Vector double to unsigned integer -- result size variation
1103 ;
1104
1105 declare <2 x   i1> @llvm.fptoui.sat.v2f64.v2i1  (<2 x double>)
1106 declare <2 x   i8> @llvm.fptoui.sat.v2f64.v2i8  (<2 x double>)
1107 declare <2 x  i13> @llvm.fptoui.sat.v2f64.v2i13 (<2 x double>)
1108 declare <2 x  i16> @llvm.fptoui.sat.v2f64.v2i16 (<2 x double>)
1109 declare <2 x  i19> @llvm.fptoui.sat.v2f64.v2i19 (<2 x double>)
1110 declare <2 x  i50> @llvm.fptoui.sat.v2f64.v2i50 (<2 x double>)
1111 declare <2 x  i64> @llvm.fptoui.sat.v2f64.v2i64 (<2 x double>)
1112 declare <2 x i100> @llvm.fptoui.sat.v2f64.v2i100(<2 x double>)
1113 declare <2 x i128> @llvm.fptoui.sat.v2f64.v2i128(<2 x double>)
1114
1115 define <2 x i1> @test_unsigned_v2f64_v2i1(<2 x double> %f) {
1116 ; CHECK-LABEL: test_unsigned_v2f64_v2i1:
1117 ; CHECK:       // %bb.0:
1118 ; CHECK-NEXT:    mov d1, v0.d[1]
1119 ; CHECK-NEXT:    fcvtzu w9, d0
1120 ; CHECK-NEXT:    fcvtzu w8, d1
1121 ; CHECK-NEXT:    cmp w8, #1
1122 ; CHECK-NEXT:    csinc w8, w8, wzr, lo
1123 ; CHECK-NEXT:    cmp w9, #1
1124 ; CHECK-NEXT:    csinc w9, w9, wzr, lo
1125 ; CHECK-NEXT:    fmov s0, w9
1126 ; CHECK-NEXT:    mov v0.s[1], w8
1127 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1128 ; CHECK-NEXT:    ret
1129     %x = call <2 x i1> @llvm.fptoui.sat.v2f64.v2i1(<2 x double> %f)
1130     ret <2 x i1> %x
1131 }
1132
1133 define <2 x i8> @test_unsigned_v2f64_v2i8(<2 x double> %f) {
1134 ; CHECK-LABEL: test_unsigned_v2f64_v2i8:
1135 ; CHECK:       // %bb.0:
1136 ; CHECK-NEXT:    mov d1, v0.d[1]
1137 ; CHECK-NEXT:    fcvtzu w10, d0
1138 ; CHECK-NEXT:    mov w8, #255 // =0xff
1139 ; CHECK-NEXT:    fcvtzu w9, d1
1140 ; CHECK-NEXT:    cmp w9, #255
1141 ; CHECK-NEXT:    csel w9, w9, w8, lo
1142 ; CHECK-NEXT:    cmp w10, #255
1143 ; CHECK-NEXT:    csel w8, w10, w8, lo
1144 ; CHECK-NEXT:    fmov s0, w8
1145 ; CHECK-NEXT:    mov v0.s[1], w9
1146 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1147 ; CHECK-NEXT:    ret
1148     %x = call <2 x i8> @llvm.fptoui.sat.v2f64.v2i8(<2 x double> %f)
1149     ret <2 x i8> %x
1150 }
1151
1152 define <2 x i13> @test_unsigned_v2f64_v2i13(<2 x double> %f) {
1153 ; CHECK-LABEL: test_unsigned_v2f64_v2i13:
1154 ; CHECK:       // %bb.0:
1155 ; CHECK-NEXT:    mov d1, v0.d[1]
1156 ; CHECK-NEXT:    fcvtzu w9, d0
1157 ; CHECK-NEXT:    mov w10, #8191 // =0x1fff
1158 ; CHECK-NEXT:    fcvtzu w8, d1
1159 ; CHECK-NEXT:    cmp w8, w10
1160 ; CHECK-NEXT:    csel w8, w8, w10, lo
1161 ; CHECK-NEXT:    cmp w9, w10
1162 ; CHECK-NEXT:    csel w9, w9, w10, lo
1163 ; CHECK-NEXT:    fmov s0, w9
1164 ; CHECK-NEXT:    mov v0.s[1], w8
1165 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1166 ; CHECK-NEXT:    ret
1167     %x = call <2 x i13> @llvm.fptoui.sat.v2f64.v2i13(<2 x double> %f)
1168     ret <2 x i13> %x
1169 }
1170
1171 define <2 x i16> @test_unsigned_v2f64_v2i16(<2 x double> %f) {
1172 ; CHECK-LABEL: test_unsigned_v2f64_v2i16:
1173 ; CHECK:       // %bb.0:
1174 ; CHECK-NEXT:    mov d1, v0.d[1]
1175 ; CHECK-NEXT:    fcvtzu w9, d0
1176 ; CHECK-NEXT:    mov w10, #65535 // =0xffff
1177 ; CHECK-NEXT:    fcvtzu w8, d1
1178 ; CHECK-NEXT:    cmp w8, w10
1179 ; CHECK-NEXT:    csel w8, w8, w10, lo
1180 ; CHECK-NEXT:    cmp w9, w10
1181 ; CHECK-NEXT:    csel w9, w9, w10, lo
1182 ; CHECK-NEXT:    fmov s0, w9
1183 ; CHECK-NEXT:    mov v0.s[1], w8
1184 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1185 ; CHECK-NEXT:    ret
1186     %x = call <2 x i16> @llvm.fptoui.sat.v2f64.v2i16(<2 x double> %f)
1187     ret <2 x i16> %x
1188 }
1189
1190 define <2 x i19> @test_unsigned_v2f64_v2i19(<2 x double> %f) {
1191 ; CHECK-LABEL: test_unsigned_v2f64_v2i19:
1192 ; CHECK:       // %bb.0:
1193 ; CHECK-NEXT:    mov d1, v0.d[1]
1194 ; CHECK-NEXT:    fcvtzu w9, d0
1195 ; CHECK-NEXT:    mov w10, #524287 // =0x7ffff
1196 ; CHECK-NEXT:    fcvtzu w8, d1
1197 ; CHECK-NEXT:    cmp w8, w10
1198 ; CHECK-NEXT:    csel w8, w8, w10, lo
1199 ; CHECK-NEXT:    cmp w9, w10
1200 ; CHECK-NEXT:    csel w9, w9, w10, lo
1201 ; CHECK-NEXT:    fmov s0, w9
1202 ; CHECK-NEXT:    mov v0.s[1], w8
1203 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1204 ; CHECK-NEXT:    ret
1205     %x = call <2 x i19> @llvm.fptoui.sat.v2f64.v2i19(<2 x double> %f)
1206     ret <2 x i19> %x
1207 }
1208
1209 define <2 x i32> @test_unsigned_v2f64_v2i32_duplicate(<2 x double> %f) {
1210 ; CHECK-LABEL: test_unsigned_v2f64_v2i32_duplicate:
1211 ; CHECK:       // %bb.0:
1212 ; CHECK-NEXT:    mov d1, v0.d[1]
1213 ; CHECK-NEXT:    fcvtzu w8, d0
1214 ; CHECK-NEXT:    fcvtzu w9, d1
1215 ; CHECK-NEXT:    fmov s0, w8
1216 ; CHECK-NEXT:    mov v0.s[1], w9
1217 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1218 ; CHECK-NEXT:    ret
1219     %x = call <2 x i32> @llvm.fptoui.sat.v2f64.v2i32(<2 x double> %f)
1220     ret <2 x i32> %x
1221 }
1222
1223 define <2 x i50> @test_unsigned_v2f64_v2i50(<2 x double> %f) {
1224 ; CHECK-LABEL: test_unsigned_v2f64_v2i50:
1225 ; CHECK:       // %bb.0:
1226 ; CHECK-NEXT:    mov d1, v0.d[1]
1227 ; CHECK-NEXT:    fcvtzu x9, d0
1228 ; CHECK-NEXT:    mov x10, #1125899906842623 // =0x3ffffffffffff
1229 ; CHECK-NEXT:    fcvtzu x8, d1
1230 ; CHECK-NEXT:    cmp x8, x10
1231 ; CHECK-NEXT:    csel x8, x8, x10, lo
1232 ; CHECK-NEXT:    cmp x9, x10
1233 ; CHECK-NEXT:    csel x9, x9, x10, lo
1234 ; CHECK-NEXT:    fmov d0, x9
1235 ; CHECK-NEXT:    mov v0.d[1], x8
1236 ; CHECK-NEXT:    ret
1237     %x = call <2 x i50> @llvm.fptoui.sat.v2f64.v2i50(<2 x double> %f)
1238     ret <2 x i50> %x
1239 }
1240
1241 define <2 x i64> @test_unsigned_v2f64_v2i64(<2 x double> %f) {
1242 ; CHECK-LABEL: test_unsigned_v2f64_v2i64:
1243 ; CHECK:       // %bb.0:
1244 ; CHECK-NEXT:    fcvtzu v0.2d, v0.2d
1245 ; CHECK-NEXT:    ret
1246     %x = call <2 x i64> @llvm.fptoui.sat.v2f64.v2i64(<2 x double> %f)
1247     ret <2 x i64> %x
1248 }
1249
1250 define <2 x i100> @test_unsigned_v2f64_v2i100(<2 x double> %f) {
1251 ; CHECK-LABEL: test_unsigned_v2f64_v2i100:
1252 ; CHECK:       // %bb.0:
1253 ; CHECK-NEXT:    sub sp, sp, #64
1254 ; CHECK-NEXT:    stp d9, d8, [sp, #16] // 16-byte Folded Spill
1255 ; CHECK-NEXT:    stp x30, x21, [sp, #32] // 16-byte Folded Spill
1256 ; CHECK-NEXT:    stp x20, x19, [sp, #48] // 16-byte Folded Spill
1257 ; CHECK-NEXT:    .cfi_def_cfa_offset 64
1258 ; CHECK-NEXT:    .cfi_offset w19, -8
1259 ; CHECK-NEXT:    .cfi_offset w20, -16
1260 ; CHECK-NEXT:    .cfi_offset w21, -24
1261 ; CHECK-NEXT:    .cfi_offset w30, -32
1262 ; CHECK-NEXT:    .cfi_offset b8, -40
1263 ; CHECK-NEXT:    .cfi_offset b9, -48
1264 ; CHECK-NEXT:    mov d8, v0.d[1]
1265 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
1266 ; CHECK-NEXT:    fmov d0, d8
1267 ; CHECK-NEXT:    bl __fixunsdfti
1268 ; CHECK-NEXT:    mov x8, #5057542381537067007 // =0x462fffffffffffff
1269 ; CHECK-NEXT:    fcmp d8, #0.0
1270 ; CHECK-NEXT:    mov x21, #68719476735 // =0xfffffffff
1271 ; CHECK-NEXT:    fmov d9, x8
1272 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1273 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1274 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1275 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1276 ; CHECK-NEXT:    fcmp d8, d9
1277 ; CHECK-NEXT:    csel x19, x21, x9, gt
1278 ; CHECK-NEXT:    csinv x20, x8, xzr, le
1279 ; CHECK-NEXT:    bl __fixunsdfti
1280 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1281 ; CHECK-NEXT:    mov x2, x20
1282 ; CHECK-NEXT:    mov x3, x19
1283 ; CHECK-NEXT:    ldp x20, x19, [sp, #48] // 16-byte Folded Reload
1284 ; CHECK-NEXT:    fcmp d0, #0.0
1285 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1286 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1287 ; CHECK-NEXT:    fcmp d0, d9
1288 ; CHECK-NEXT:    ldp d9, d8, [sp, #16] // 16-byte Folded Reload
1289 ; CHECK-NEXT:    csinv x8, x8, xzr, le
1290 ; CHECK-NEXT:    csel x1, x21, x9, gt
1291 ; CHECK-NEXT:    fmov d0, x8
1292 ; CHECK-NEXT:    ldp x30, x21, [sp, #32] // 16-byte Folded Reload
1293 ; CHECK-NEXT:    mov v0.d[1], x1
1294 ; CHECK-NEXT:    fmov x0, d0
1295 ; CHECK-NEXT:    add sp, sp, #64
1296 ; CHECK-NEXT:    ret
1297     %x = call <2 x i100> @llvm.fptoui.sat.v2f64.v2i100(<2 x double> %f)
1298     ret <2 x i100> %x
1299 }
1300
1301 define <2 x i128> @test_unsigned_v2f64_v2i128(<2 x double> %f) {
1302 ; CHECK-LABEL: test_unsigned_v2f64_v2i128:
1303 ; CHECK:       // %bb.0:
1304 ; CHECK-NEXT:    sub sp, sp, #64
1305 ; CHECK-NEXT:    stp d9, d8, [sp, #16] // 16-byte Folded Spill
1306 ; CHECK-NEXT:    str x30, [sp, #32] // 8-byte Folded Spill
1307 ; CHECK-NEXT:    stp x20, x19, [sp, #48] // 16-byte Folded Spill
1308 ; CHECK-NEXT:    .cfi_def_cfa_offset 64
1309 ; CHECK-NEXT:    .cfi_offset w19, -8
1310 ; CHECK-NEXT:    .cfi_offset w20, -16
1311 ; CHECK-NEXT:    .cfi_offset w30, -32
1312 ; CHECK-NEXT:    .cfi_offset b8, -40
1313 ; CHECK-NEXT:    .cfi_offset b9, -48
1314 ; CHECK-NEXT:    mov d8, v0.d[1]
1315 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
1316 ; CHECK-NEXT:    fmov d0, d8
1317 ; CHECK-NEXT:    bl __fixunsdfti
1318 ; CHECK-NEXT:    mov x8, #5183643171103440895 // =0x47efffffffffffff
1319 ; CHECK-NEXT:    fcmp d8, #0.0
1320 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1321 ; CHECK-NEXT:    fmov d9, x8
1322 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $q0
1323 ; CHECK-NEXT:    csel x8, xzr, x1, lt
1324 ; CHECK-NEXT:    csel x9, xzr, x0, lt
1325 ; CHECK-NEXT:    fcmp d8, d9
1326 ; CHECK-NEXT:    csinv x19, x9, xzr, le
1327 ; CHECK-NEXT:    csinv x20, x8, xzr, le
1328 ; CHECK-NEXT:    bl __fixunsdfti
1329 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1330 ; CHECK-NEXT:    mov x2, x19
1331 ; CHECK-NEXT:    mov x3, x20
1332 ; CHECK-NEXT:    ldp x20, x19, [sp, #48] // 16-byte Folded Reload
1333 ; CHECK-NEXT:    ldr x30, [sp, #32] // 8-byte Folded Reload
1334 ; CHECK-NEXT:    fcmp d0, #0.0
1335 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1336 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1337 ; CHECK-NEXT:    fcmp d0, d9
1338 ; CHECK-NEXT:    ldp d9, d8, [sp, #16] // 16-byte Folded Reload
1339 ; CHECK-NEXT:    csinv x8, x8, xzr, le
1340 ; CHECK-NEXT:    csinv x1, x9, xzr, le
1341 ; CHECK-NEXT:    fmov d0, x8
1342 ; CHECK-NEXT:    mov v0.d[1], x1
1343 ; CHECK-NEXT:    fmov x0, d0
1344 ; CHECK-NEXT:    add sp, sp, #64
1345 ; CHECK-NEXT:    ret
1346     %x = call <2 x i128> @llvm.fptoui.sat.v2f64.v2i128(<2 x double> %f)
1347     ret <2 x i128> %x
1348 }
1349
1350 ;
1351 ; 4-Vector half to unsigned integer -- result size variation
1352 ;
1353
1354 declare <4 x   i1> @llvm.fptoui.sat.v4f16.v4i1  (<4 x half>)
1355 declare <4 x   i8> @llvm.fptoui.sat.v4f16.v4i8  (<4 x half>)
1356 declare <4 x  i13> @llvm.fptoui.sat.v4f16.v4i13 (<4 x half>)
1357 declare <4 x  i16> @llvm.fptoui.sat.v4f16.v4i16 (<4 x half>)
1358 declare <4 x  i19> @llvm.fptoui.sat.v4f16.v4i19 (<4 x half>)
1359 declare <4 x  i50> @llvm.fptoui.sat.v4f16.v4i50 (<4 x half>)
1360 declare <4 x  i64> @llvm.fptoui.sat.v4f16.v4i64 (<4 x half>)
1361 declare <4 x i100> @llvm.fptoui.sat.v4f16.v4i100(<4 x half>)
1362 declare <4 x i128> @llvm.fptoui.sat.v4f16.v4i128(<4 x half>)
1363
1364 define <4 x i1> @test_unsigned_v4f16_v4i1(<4 x half> %f) {
1365 ; CHECK-CVT-LABEL: test_unsigned_v4f16_v4i1:
1366 ; CHECK-CVT:       // %bb.0:
1367 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1368 ; CHECK-CVT-NEXT:    movi v1.4s, #1
1369 ; CHECK-CVT-NEXT:    fcvtzu v0.4s, v0.4s
1370 ; CHECK-CVT-NEXT:    umin v0.4s, v0.4s, v1.4s
1371 ; CHECK-CVT-NEXT:    xtn v0.4h, v0.4s
1372 ; CHECK-CVT-NEXT:    ret
1373 ;
1374 ; CHECK-FP16-LABEL: test_unsigned_v4f16_v4i1:
1375 ; CHECK-FP16:       // %bb.0:
1376 ; CHECK-FP16-NEXT:    movi v1.4h, #1
1377 ; CHECK-FP16-NEXT:    fcvtzu v0.4h, v0.4h
1378 ; CHECK-FP16-NEXT:    umin v0.4h, v0.4h, v1.4h
1379 ; CHECK-FP16-NEXT:    ret
1380     %x = call <4 x i1> @llvm.fptoui.sat.v4f16.v4i1(<4 x half> %f)
1381     ret <4 x i1> %x
1382 }
1383
1384 define <4 x i8> @test_unsigned_v4f16_v4i8(<4 x half> %f) {
1385 ; CHECK-CVT-LABEL: test_unsigned_v4f16_v4i8:
1386 ; CHECK-CVT:       // %bb.0:
1387 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1388 ; CHECK-CVT-NEXT:    movi v1.2d, #0x0000ff000000ff
1389 ; CHECK-CVT-NEXT:    fcvtzu v0.4s, v0.4s
1390 ; CHECK-CVT-NEXT:    umin v0.4s, v0.4s, v1.4s
1391 ; CHECK-CVT-NEXT:    xtn v0.4h, v0.4s
1392 ; CHECK-CVT-NEXT:    ret
1393 ;
1394 ; CHECK-FP16-LABEL: test_unsigned_v4f16_v4i8:
1395 ; CHECK-FP16:       // %bb.0:
1396 ; CHECK-FP16-NEXT:    movi d1, #0xff00ff00ff00ff
1397 ; CHECK-FP16-NEXT:    fcvtzu v0.4h, v0.4h
1398 ; CHECK-FP16-NEXT:    umin v0.4h, v0.4h, v1.4h
1399 ; CHECK-FP16-NEXT:    ret
1400     %x = call <4 x i8> @llvm.fptoui.sat.v4f16.v4i8(<4 x half> %f)
1401     ret <4 x i8> %x
1402 }
1403
1404 define <4 x i13> @test_unsigned_v4f16_v4i13(<4 x half> %f) {
1405 ; CHECK-CVT-LABEL: test_unsigned_v4f16_v4i13:
1406 ; CHECK-CVT:       // %bb.0:
1407 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1408 ; CHECK-CVT-NEXT:    movi v1.4s, #31, msl #8
1409 ; CHECK-CVT-NEXT:    fcvtzu v0.4s, v0.4s
1410 ; CHECK-CVT-NEXT:    umin v0.4s, v0.4s, v1.4s
1411 ; CHECK-CVT-NEXT:    xtn v0.4h, v0.4s
1412 ; CHECK-CVT-NEXT:    ret
1413 ;
1414 ; CHECK-FP16-LABEL: test_unsigned_v4f16_v4i13:
1415 ; CHECK-FP16:       // %bb.0:
1416 ; CHECK-FP16-NEXT:    fcvtzu v0.4h, v0.4h
1417 ; CHECK-FP16-NEXT:    mvni v1.4h, #224, lsl #8
1418 ; CHECK-FP16-NEXT:    umin v0.4h, v0.4h, v1.4h
1419 ; CHECK-FP16-NEXT:    ret
1420     %x = call <4 x i13> @llvm.fptoui.sat.v4f16.v4i13(<4 x half> %f)
1421     ret <4 x i13> %x
1422 }
1423
1424 define <4 x i16> @test_unsigned_v4f16_v4i16(<4 x half> %f) {
1425 ; CHECK-CVT-LABEL: test_unsigned_v4f16_v4i16:
1426 ; CHECK-CVT:       // %bb.0:
1427 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1428 ; CHECK-CVT-NEXT:    fcvtzu v0.4s, v0.4s
1429 ; CHECK-CVT-NEXT:    uqxtn v0.4h, v0.4s
1430 ; CHECK-CVT-NEXT:    ret
1431 ;
1432 ; CHECK-FP16-LABEL: test_unsigned_v4f16_v4i16:
1433 ; CHECK-FP16:       // %bb.0:
1434 ; CHECK-FP16-NEXT:    fcvtzu v0.4h, v0.4h
1435 ; CHECK-FP16-NEXT:    ret
1436     %x = call <4 x i16> @llvm.fptoui.sat.v4f16.v4i16(<4 x half> %f)
1437     ret <4 x i16> %x
1438 }
1439
1440 define <4 x i19> @test_unsigned_v4f16_v4i19(<4 x half> %f) {
1441 ; CHECK-LABEL: test_unsigned_v4f16_v4i19:
1442 ; CHECK:       // %bb.0:
1443 ; CHECK-NEXT:    fcvtl v0.4s, v0.4h
1444 ; CHECK-NEXT:    movi v1.4s, #7, msl #16
1445 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
1446 ; CHECK-NEXT:    umin v0.4s, v0.4s, v1.4s
1447 ; CHECK-NEXT:    ret
1448     %x = call <4 x i19> @llvm.fptoui.sat.v4f16.v4i19(<4 x half> %f)
1449     ret <4 x i19> %x
1450 }
1451
1452 define <4 x i32> @test_unsigned_v4f16_v4i32_duplicate(<4 x half> %f) {
1453 ; CHECK-LABEL: test_unsigned_v4f16_v4i32_duplicate:
1454 ; CHECK:       // %bb.0:
1455 ; CHECK-NEXT:    fcvtl v0.4s, v0.4h
1456 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
1457 ; CHECK-NEXT:    ret
1458     %x = call <4 x i32> @llvm.fptoui.sat.v4f16.v4i32(<4 x half> %f)
1459     ret <4 x i32> %x
1460 }
1461
1462 define <4 x i50> @test_unsigned_v4f16_v4i50(<4 x half> %f) {
1463 ; CHECK-CVT-LABEL: test_unsigned_v4f16_v4i50:
1464 ; CHECK-CVT:       // %bb.0:
1465 ; CHECK-CVT-NEXT:    // kill: def $d0 killed $d0 def $q0
1466 ; CHECK-CVT-NEXT:    mov h1, v0.h[1]
1467 ; CHECK-CVT-NEXT:    mov h2, v0.h[2]
1468 ; CHECK-CVT-NEXT:    mov x8, #1125899906842623 // =0x3ffffffffffff
1469 ; CHECK-CVT-NEXT:    mov h3, v0.h[3]
1470 ; CHECK-CVT-NEXT:    fcvt s0, h0
1471 ; CHECK-CVT-NEXT:    fcvt s1, h1
1472 ; CHECK-CVT-NEXT:    fcvt s2, h2
1473 ; CHECK-CVT-NEXT:    fcvt s3, h3
1474 ; CHECK-CVT-NEXT:    fcvtzu x9, s0
1475 ; CHECK-CVT-NEXT:    fcvtzu x10, s1
1476 ; CHECK-CVT-NEXT:    fcvtzu x11, s2
1477 ; CHECK-CVT-NEXT:    fcvtzu x12, s3
1478 ; CHECK-CVT-NEXT:    cmp x9, x8
1479 ; CHECK-CVT-NEXT:    csel x0, x9, x8, lo
1480 ; CHECK-CVT-NEXT:    cmp x10, x8
1481 ; CHECK-CVT-NEXT:    csel x1, x10, x8, lo
1482 ; CHECK-CVT-NEXT:    cmp x11, x8
1483 ; CHECK-CVT-NEXT:    csel x2, x11, x8, lo
1484 ; CHECK-CVT-NEXT:    cmp x12, x8
1485 ; CHECK-CVT-NEXT:    csel x3, x12, x8, lo
1486 ; CHECK-CVT-NEXT:    ret
1487 ;
1488 ; CHECK-FP16-LABEL: test_unsigned_v4f16_v4i50:
1489 ; CHECK-FP16:       // %bb.0:
1490 ; CHECK-FP16-NEXT:    // kill: def $d0 killed $d0 def $q0
1491 ; CHECK-FP16-NEXT:    mov h1, v0.h[1]
1492 ; CHECK-FP16-NEXT:    mov h2, v0.h[2]
1493 ; CHECK-FP16-NEXT:    mov x8, #1125899906842623 // =0x3ffffffffffff
1494 ; CHECK-FP16-NEXT:    mov h3, v0.h[3]
1495 ; CHECK-FP16-NEXT:    fcvtzu x9, h0
1496 ; CHECK-FP16-NEXT:    fcvtzu x10, h1
1497 ; CHECK-FP16-NEXT:    fcvtzu x11, h2
1498 ; CHECK-FP16-NEXT:    fcvtzu x12, h3
1499 ; CHECK-FP16-NEXT:    cmp x9, x8
1500 ; CHECK-FP16-NEXT:    csel x0, x9, x8, lo
1501 ; CHECK-FP16-NEXT:    cmp x10, x8
1502 ; CHECK-FP16-NEXT:    csel x1, x10, x8, lo
1503 ; CHECK-FP16-NEXT:    cmp x11, x8
1504 ; CHECK-FP16-NEXT:    csel x2, x11, x8, lo
1505 ; CHECK-FP16-NEXT:    cmp x12, x8
1506 ; CHECK-FP16-NEXT:    csel x3, x12, x8, lo
1507 ; CHECK-FP16-NEXT:    ret
1508     %x = call <4 x i50> @llvm.fptoui.sat.v4f16.v4i50(<4 x half> %f)
1509     ret <4 x i50> %x
1510 }
1511
1512 define <4 x i64> @test_unsigned_v4f16_v4i64(<4 x half> %f) {
1513 ; CHECK-CVT-LABEL: test_unsigned_v4f16_v4i64:
1514 ; CHECK-CVT:       // %bb.0:
1515 ; CHECK-CVT-NEXT:    // kill: def $d0 killed $d0 def $q0
1516 ; CHECK-CVT-NEXT:    mov h1, v0.h[2]
1517 ; CHECK-CVT-NEXT:    mov h2, v0.h[1]
1518 ; CHECK-CVT-NEXT:    mov h3, v0.h[3]
1519 ; CHECK-CVT-NEXT:    fcvt s0, h0
1520 ; CHECK-CVT-NEXT:    fcvt s1, h1
1521 ; CHECK-CVT-NEXT:    fcvt s2, h2
1522 ; CHECK-CVT-NEXT:    fcvt s3, h3
1523 ; CHECK-CVT-NEXT:    fcvtzu x8, s0
1524 ; CHECK-CVT-NEXT:    fcvtzu x9, s1
1525 ; CHECK-CVT-NEXT:    fcvtzu x10, s2
1526 ; CHECK-CVT-NEXT:    fcvtzu x11, s3
1527 ; CHECK-CVT-NEXT:    fmov d0, x8
1528 ; CHECK-CVT-NEXT:    fmov d1, x9
1529 ; CHECK-CVT-NEXT:    mov v0.d[1], x10
1530 ; CHECK-CVT-NEXT:    mov v1.d[1], x11
1531 ; CHECK-CVT-NEXT:    ret
1532 ;
1533 ; CHECK-FP16-LABEL: test_unsigned_v4f16_v4i64:
1534 ; CHECK-FP16:       // %bb.0:
1535 ; CHECK-FP16-NEXT:    // kill: def $d0 killed $d0 def $q0
1536 ; CHECK-FP16-NEXT:    mov h1, v0.h[2]
1537 ; CHECK-FP16-NEXT:    mov h2, v0.h[1]
1538 ; CHECK-FP16-NEXT:    mov h3, v0.h[3]
1539 ; CHECK-FP16-NEXT:    fcvtzu x8, h0
1540 ; CHECK-FP16-NEXT:    fcvtzu x9, h1
1541 ; CHECK-FP16-NEXT:    fcvtzu x10, h2
1542 ; CHECK-FP16-NEXT:    fcvtzu x11, h3
1543 ; CHECK-FP16-NEXT:    fmov d0, x8
1544 ; CHECK-FP16-NEXT:    fmov d1, x9
1545 ; CHECK-FP16-NEXT:    mov v0.d[1], x10
1546 ; CHECK-FP16-NEXT:    mov v1.d[1], x11
1547 ; CHECK-FP16-NEXT:    ret
1548     %x = call <4 x i64> @llvm.fptoui.sat.v4f16.v4i64(<4 x half> %f)
1549     ret <4 x i64> %x
1550 }
1551
1552 define <4 x i100> @test_unsigned_v4f16_v4i100(<4 x half> %f) {
1553 ; CHECK-LABEL: test_unsigned_v4f16_v4i100:
1554 ; CHECK:       // %bb.0:
1555 ; CHECK-NEXT:    sub sp, sp, #96
1556 ; CHECK-NEXT:    stp d9, d8, [sp, #16] // 16-byte Folded Spill
1557 ; CHECK-NEXT:    stp x30, x25, [sp, #32] // 16-byte Folded Spill
1558 ; CHECK-NEXT:    stp x24, x23, [sp, #48] // 16-byte Folded Spill
1559 ; CHECK-NEXT:    stp x22, x21, [sp, #64] // 16-byte Folded Spill
1560 ; CHECK-NEXT:    stp x20, x19, [sp, #80] // 16-byte Folded Spill
1561 ; CHECK-NEXT:    .cfi_def_cfa_offset 96
1562 ; CHECK-NEXT:    .cfi_offset w19, -8
1563 ; CHECK-NEXT:    .cfi_offset w20, -16
1564 ; CHECK-NEXT:    .cfi_offset w21, -24
1565 ; CHECK-NEXT:    .cfi_offset w22, -32
1566 ; CHECK-NEXT:    .cfi_offset w23, -40
1567 ; CHECK-NEXT:    .cfi_offset w24, -48
1568 ; CHECK-NEXT:    .cfi_offset w25, -56
1569 ; CHECK-NEXT:    .cfi_offset w30, -64
1570 ; CHECK-NEXT:    .cfi_offset b8, -72
1571 ; CHECK-NEXT:    .cfi_offset b9, -80
1572 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $q0
1573 ; CHECK-NEXT:    mov h1, v0.h[2]
1574 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
1575 ; CHECK-NEXT:    fcvt s8, h1
1576 ; CHECK-NEXT:    fmov s0, s8
1577 ; CHECK-NEXT:    bl __fixunssfti
1578 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1579 ; CHECK-NEXT:    mov w8, #1904214015 // =0x717fffff
1580 ; CHECK-NEXT:    fcmp s8, #0.0
1581 ; CHECK-NEXT:    fmov s9, w8
1582 ; CHECK-NEXT:    mov x25, #68719476735 // =0xfffffffff
1583 ; CHECK-NEXT:    mov h0, v0.h[1]
1584 ; CHECK-NEXT:    csel x9, xzr, x0, lt
1585 ; CHECK-NEXT:    csel x8, xzr, x1, lt
1586 ; CHECK-NEXT:    fcmp s8, s9
1587 ; CHECK-NEXT:    fcvt s8, h0
1588 ; CHECK-NEXT:    csel x19, x25, x8, gt
1589 ; CHECK-NEXT:    csinv x20, x9, xzr, le
1590 ; CHECK-NEXT:    fmov s0, s8
1591 ; CHECK-NEXT:    bl __fixunssfti
1592 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1593 ; CHECK-NEXT:    fcmp s8, #0.0
1594 ; CHECK-NEXT:    mov h0, v0.h[3]
1595 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1596 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1597 ; CHECK-NEXT:    fcmp s8, s9
1598 ; CHECK-NEXT:    fcvt s8, h0
1599 ; CHECK-NEXT:    csel x21, x25, x9, gt
1600 ; CHECK-NEXT:    csinv x22, x8, xzr, le
1601 ; CHECK-NEXT:    fmov s0, s8
1602 ; CHECK-NEXT:    bl __fixunssfti
1603 ; CHECK-NEXT:    fcmp s8, #0.0
1604 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1605 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1606 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1607 ; CHECK-NEXT:    fcmp s8, s9
1608 ; CHECK-NEXT:    fcvt s8, h0
1609 ; CHECK-NEXT:    csel x23, x25, x9, gt
1610 ; CHECK-NEXT:    csinv x24, x8, xzr, le
1611 ; CHECK-NEXT:    fmov s0, s8
1612 ; CHECK-NEXT:    bl __fixunssfti
1613 ; CHECK-NEXT:    fcmp s8, #0.0
1614 ; CHECK-NEXT:    mov x2, x22
1615 ; CHECK-NEXT:    mov x3, x21
1616 ; CHECK-NEXT:    mov x4, x20
1617 ; CHECK-NEXT:    mov x5, x19
1618 ; CHECK-NEXT:    mov x6, x24
1619 ; CHECK-NEXT:    mov x7, x23
1620 ; CHECK-NEXT:    ldp x20, x19, [sp, #80] // 16-byte Folded Reload
1621 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1622 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1623 ; CHECK-NEXT:    fcmp s8, s9
1624 ; CHECK-NEXT:    ldp x22, x21, [sp, #64] // 16-byte Folded Reload
1625 ; CHECK-NEXT:    ldp x24, x23, [sp, #48] // 16-byte Folded Reload
1626 ; CHECK-NEXT:    csinv x8, x8, xzr, le
1627 ; CHECK-NEXT:    csel x1, x25, x9, gt
1628 ; CHECK-NEXT:    fmov d0, x8
1629 ; CHECK-NEXT:    ldp x30, x25, [sp, #32] // 16-byte Folded Reload
1630 ; CHECK-NEXT:    ldp d9, d8, [sp, #16] // 16-byte Folded Reload
1631 ; CHECK-NEXT:    mov v0.d[1], x1
1632 ; CHECK-NEXT:    fmov x0, d0
1633 ; CHECK-NEXT:    add sp, sp, #96
1634 ; CHECK-NEXT:    ret
1635     %x = call <4 x i100> @llvm.fptoui.sat.v4f16.v4i100(<4 x half> %f)
1636     ret <4 x i100> %x
1637 }
1638
1639 define <4 x i128> @test_unsigned_v4f16_v4i128(<4 x half> %f) {
1640 ; CHECK-LABEL: test_unsigned_v4f16_v4i128:
1641 ; CHECK:       // %bb.0:
1642 ; CHECK-NEXT:    sub sp, sp, #96
1643 ; CHECK-NEXT:    stp d9, d8, [sp, #16] // 16-byte Folded Spill
1644 ; CHECK-NEXT:    str x30, [sp, #32] // 8-byte Folded Spill
1645 ; CHECK-NEXT:    stp x24, x23, [sp, #48] // 16-byte Folded Spill
1646 ; CHECK-NEXT:    stp x22, x21, [sp, #64] // 16-byte Folded Spill
1647 ; CHECK-NEXT:    stp x20, x19, [sp, #80] // 16-byte Folded Spill
1648 ; CHECK-NEXT:    .cfi_def_cfa_offset 96
1649 ; CHECK-NEXT:    .cfi_offset w19, -8
1650 ; CHECK-NEXT:    .cfi_offset w20, -16
1651 ; CHECK-NEXT:    .cfi_offset w21, -24
1652 ; CHECK-NEXT:    .cfi_offset w22, -32
1653 ; CHECK-NEXT:    .cfi_offset w23, -40
1654 ; CHECK-NEXT:    .cfi_offset w24, -48
1655 ; CHECK-NEXT:    .cfi_offset w30, -64
1656 ; CHECK-NEXT:    .cfi_offset b8, -72
1657 ; CHECK-NEXT:    .cfi_offset b9, -80
1658 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $q0
1659 ; CHECK-NEXT:    mov h1, v0.h[1]
1660 ; CHECK-NEXT:    str q0, [sp] // 16-byte Folded Spill
1661 ; CHECK-NEXT:    fcvt s8, h1
1662 ; CHECK-NEXT:    fmov s0, s8
1663 ; CHECK-NEXT:    bl __fixunssfti
1664 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1665 ; CHECK-NEXT:    mov w8, #2139095039 // =0x7f7fffff
1666 ; CHECK-NEXT:    fcmp s8, #0.0
1667 ; CHECK-NEXT:    fmov s9, w8
1668 ; CHECK-NEXT:    mov h0, v0.h[2]
1669 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1670 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1671 ; CHECK-NEXT:    fcmp s8, s9
1672 ; CHECK-NEXT:    fcvt s8, h0
1673 ; CHECK-NEXT:    csinv x19, x8, xzr, le
1674 ; CHECK-NEXT:    csinv x20, x9, xzr, le
1675 ; CHECK-NEXT:    fmov s0, s8
1676 ; CHECK-NEXT:    bl __fixunssfti
1677 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1678 ; CHECK-NEXT:    fcmp s8, #0.0
1679 ; CHECK-NEXT:    mov h0, v0.h[3]
1680 ; CHECK-NEXT:    csel x8, xzr, x1, lt
1681 ; CHECK-NEXT:    csel x9, xzr, x0, lt
1682 ; CHECK-NEXT:    fcmp s8, s9
1683 ; CHECK-NEXT:    fcvt s8, h0
1684 ; CHECK-NEXT:    csinv x21, x9, xzr, le
1685 ; CHECK-NEXT:    csinv x22, x8, xzr, le
1686 ; CHECK-NEXT:    fmov s0, s8
1687 ; CHECK-NEXT:    bl __fixunssfti
1688 ; CHECK-NEXT:    fcmp s8, #0.0
1689 ; CHECK-NEXT:    ldr q0, [sp] // 16-byte Folded Reload
1690 ; CHECK-NEXT:    csel x8, xzr, x1, lt
1691 ; CHECK-NEXT:    csel x9, xzr, x0, lt
1692 ; CHECK-NEXT:    fcmp s8, s9
1693 ; CHECK-NEXT:    fcvt s8, h0
1694 ; CHECK-NEXT:    csinv x23, x9, xzr, le
1695 ; CHECK-NEXT:    csinv x24, x8, xzr, le
1696 ; CHECK-NEXT:    fmov s0, s8
1697 ; CHECK-NEXT:    bl __fixunssfti
1698 ; CHECK-NEXT:    fcmp s8, #0.0
1699 ; CHECK-NEXT:    mov x2, x19
1700 ; CHECK-NEXT:    mov x3, x20
1701 ; CHECK-NEXT:    mov x4, x21
1702 ; CHECK-NEXT:    mov x5, x22
1703 ; CHECK-NEXT:    mov x6, x23
1704 ; CHECK-NEXT:    mov x7, x24
1705 ; CHECK-NEXT:    ldp x20, x19, [sp, #80] // 16-byte Folded Reload
1706 ; CHECK-NEXT:    csel x8, xzr, x0, lt
1707 ; CHECK-NEXT:    csel x9, xzr, x1, lt
1708 ; CHECK-NEXT:    fcmp s8, s9
1709 ; CHECK-NEXT:    ldp x22, x21, [sp, #64] // 16-byte Folded Reload
1710 ; CHECK-NEXT:    ldr x30, [sp, #32] // 8-byte Folded Reload
1711 ; CHECK-NEXT:    ldp x24, x23, [sp, #48] // 16-byte Folded Reload
1712 ; CHECK-NEXT:    csinv x8, x8, xzr, le
1713 ; CHECK-NEXT:    csinv x1, x9, xzr, le
1714 ; CHECK-NEXT:    fmov d0, x8
1715 ; CHECK-NEXT:    ldp d9, d8, [sp, #16] // 16-byte Folded Reload
1716 ; CHECK-NEXT:    mov v0.d[1], x1
1717 ; CHECK-NEXT:    fmov x0, d0
1718 ; CHECK-NEXT:    add sp, sp, #96
1719 ; CHECK-NEXT:    ret
1720     %x = call <4 x i128> @llvm.fptoui.sat.v4f16.v4i128(<4 x half> %f)
1721     ret <4 x i128> %x
1722 }
1723
1724 ;
1725 ; 8-Vector half to unsigned integer -- result size variation
1726 ;
1727
1728 declare <8 x   i1> @llvm.fptoui.sat.v8f16.v8i1  (<8 x half>)
1729 declare <8 x   i8> @llvm.fptoui.sat.v8f16.v8i8  (<8 x half>)
1730 declare <8 x  i13> @llvm.fptoui.sat.v8f16.v8i13 (<8 x half>)
1731 declare <8 x  i16> @llvm.fptoui.sat.v8f16.v8i16 (<8 x half>)
1732 declare <8 x  i19> @llvm.fptoui.sat.v8f16.v8i19 (<8 x half>)
1733 declare <8 x  i50> @llvm.fptoui.sat.v8f16.v8i50 (<8 x half>)
1734 declare <8 x  i64> @llvm.fptoui.sat.v8f16.v8i64 (<8 x half>)
1735 declare <8 x i100> @llvm.fptoui.sat.v8f16.v8i100(<8 x half>)
1736 declare <8 x i128> @llvm.fptoui.sat.v8f16.v8i128(<8 x half>)
1737
1738 define <8 x i1> @test_unsigned_v8f16_v8i1(<8 x half> %f) {
1739 ; CHECK-CVT-LABEL: test_unsigned_v8f16_v8i1:
1740 ; CHECK-CVT:       // %bb.0:
1741 ; CHECK-CVT-NEXT:    fcvtl2 v1.4s, v0.8h
1742 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1743 ; CHECK-CVT-NEXT:    mov s2, v1.s[1]
1744 ; CHECK-CVT-NEXT:    mov s3, v1.s[2]
1745 ; CHECK-CVT-NEXT:    mov s4, v1.s[3]
1746 ; CHECK-CVT-NEXT:    fcvtzu w9, s1
1747 ; CHECK-CVT-NEXT:    fcvtzu w13, s0
1748 ; CHECK-CVT-NEXT:    mov s1, v0.s[2]
1749 ; CHECK-CVT-NEXT:    fcvtzu w8, s2
1750 ; CHECK-CVT-NEXT:    mov s2, v0.s[1]
1751 ; CHECK-CVT-NEXT:    fcvtzu w10, s3
1752 ; CHECK-CVT-NEXT:    fcvtzu w11, s4
1753 ; CHECK-CVT-NEXT:    fcvtzu w14, s1
1754 ; CHECK-CVT-NEXT:    mov s0, v0.s[3]
1755 ; CHECK-CVT-NEXT:    cmp w8, #1
1756 ; CHECK-CVT-NEXT:    fcvtzu w12, s2
1757 ; CHECK-CVT-NEXT:    csinc w8, w8, wzr, lo
1758 ; CHECK-CVT-NEXT:    cmp w9, #1
1759 ; CHECK-CVT-NEXT:    csinc w9, w9, wzr, lo
1760 ; CHECK-CVT-NEXT:    cmp w10, #1
1761 ; CHECK-CVT-NEXT:    csinc w10, w10, wzr, lo
1762 ; CHECK-CVT-NEXT:    cmp w11, #1
1763 ; CHECK-CVT-NEXT:    fmov s1, w9
1764 ; CHECK-CVT-NEXT:    csinc w11, w11, wzr, lo
1765 ; CHECK-CVT-NEXT:    cmp w12, #1
1766 ; CHECK-CVT-NEXT:    csinc w12, w12, wzr, lo
1767 ; CHECK-CVT-NEXT:    cmp w13, #1
1768 ; CHECK-CVT-NEXT:    csinc w13, w13, wzr, lo
1769 ; CHECK-CVT-NEXT:    mov v1.s[1], w8
1770 ; CHECK-CVT-NEXT:    cmp w14, #1
1771 ; CHECK-CVT-NEXT:    fmov s2, w13
1772 ; CHECK-CVT-NEXT:    fcvtzu w8, s0
1773 ; CHECK-CVT-NEXT:    csinc w9, w14, wzr, lo
1774 ; CHECK-CVT-NEXT:    mov v2.s[1], w12
1775 ; CHECK-CVT-NEXT:    mov v1.s[2], w10
1776 ; CHECK-CVT-NEXT:    cmp w8, #1
1777 ; CHECK-CVT-NEXT:    csinc w8, w8, wzr, lo
1778 ; CHECK-CVT-NEXT:    mov v2.s[2], w9
1779 ; CHECK-CVT-NEXT:    mov v1.s[3], w11
1780 ; CHECK-CVT-NEXT:    mov v2.s[3], w8
1781 ; CHECK-CVT-NEXT:    uzp1 v0.8h, v2.8h, v1.8h
1782 ; CHECK-CVT-NEXT:    xtn v0.8b, v0.8h
1783 ; CHECK-CVT-NEXT:    ret
1784 ;
1785 ; CHECK-FP16-LABEL: test_unsigned_v8f16_v8i1:
1786 ; CHECK-FP16:       // %bb.0:
1787 ; CHECK-FP16-NEXT:    movi v1.8h, #1
1788 ; CHECK-FP16-NEXT:    fcvtzu v0.8h, v0.8h
1789 ; CHECK-FP16-NEXT:    umin v0.8h, v0.8h, v1.8h
1790 ; CHECK-FP16-NEXT:    xtn v0.8b, v0.8h
1791 ; CHECK-FP16-NEXT:    ret
1792     %x = call <8 x i1> @llvm.fptoui.sat.v8f16.v8i1(<8 x half> %f)
1793     ret <8 x i1> %x
1794 }
1795
1796 define <8 x i8> @test_unsigned_v8f16_v8i8(<8 x half> %f) {
1797 ; CHECK-CVT-LABEL: test_unsigned_v8f16_v8i8:
1798 ; CHECK-CVT:       // %bb.0:
1799 ; CHECK-CVT-NEXT:    fcvtl2 v1.4s, v0.8h
1800 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1801 ; CHECK-CVT-NEXT:    mov w8, #255 // =0xff
1802 ; CHECK-CVT-NEXT:    mov s2, v1.s[1]
1803 ; CHECK-CVT-NEXT:    mov s3, v1.s[2]
1804 ; CHECK-CVT-NEXT:    mov s4, v1.s[3]
1805 ; CHECK-CVT-NEXT:    fcvtzu w10, s1
1806 ; CHECK-CVT-NEXT:    fcvtzu w14, s0
1807 ; CHECK-CVT-NEXT:    mov s1, v0.s[2]
1808 ; CHECK-CVT-NEXT:    fcvtzu w9, s2
1809 ; CHECK-CVT-NEXT:    mov s2, v0.s[1]
1810 ; CHECK-CVT-NEXT:    fcvtzu w11, s3
1811 ; CHECK-CVT-NEXT:    fcvtzu w12, s4
1812 ; CHECK-CVT-NEXT:    fcvtzu w15, s1
1813 ; CHECK-CVT-NEXT:    mov s0, v0.s[3]
1814 ; CHECK-CVT-NEXT:    cmp w9, #255
1815 ; CHECK-CVT-NEXT:    fcvtzu w13, s2
1816 ; CHECK-CVT-NEXT:    csel w9, w9, w8, lo
1817 ; CHECK-CVT-NEXT:    cmp w10, #255
1818 ; CHECK-CVT-NEXT:    csel w10, w10, w8, lo
1819 ; CHECK-CVT-NEXT:    cmp w11, #255
1820 ; CHECK-CVT-NEXT:    csel w11, w11, w8, lo
1821 ; CHECK-CVT-NEXT:    cmp w12, #255
1822 ; CHECK-CVT-NEXT:    fmov s1, w10
1823 ; CHECK-CVT-NEXT:    csel w12, w12, w8, lo
1824 ; CHECK-CVT-NEXT:    cmp w13, #255
1825 ; CHECK-CVT-NEXT:    csel w13, w13, w8, lo
1826 ; CHECK-CVT-NEXT:    cmp w14, #255
1827 ; CHECK-CVT-NEXT:    csel w14, w14, w8, lo
1828 ; CHECK-CVT-NEXT:    mov v1.s[1], w9
1829 ; CHECK-CVT-NEXT:    cmp w15, #255
1830 ; CHECK-CVT-NEXT:    fmov s2, w14
1831 ; CHECK-CVT-NEXT:    fcvtzu w9, s0
1832 ; CHECK-CVT-NEXT:    csel w10, w15, w8, lo
1833 ; CHECK-CVT-NEXT:    mov v2.s[1], w13
1834 ; CHECK-CVT-NEXT:    mov v1.s[2], w11
1835 ; CHECK-CVT-NEXT:    cmp w9, #255
1836 ; CHECK-CVT-NEXT:    csel w8, w9, w8, lo
1837 ; CHECK-CVT-NEXT:    mov v2.s[2], w10
1838 ; CHECK-CVT-NEXT:    mov v1.s[3], w12
1839 ; CHECK-CVT-NEXT:    mov v2.s[3], w8
1840 ; CHECK-CVT-NEXT:    uzp1 v0.8h, v2.8h, v1.8h
1841 ; CHECK-CVT-NEXT:    xtn v0.8b, v0.8h
1842 ; CHECK-CVT-NEXT:    ret
1843 ;
1844 ; CHECK-FP16-LABEL: test_unsigned_v8f16_v8i8:
1845 ; CHECK-FP16:       // %bb.0:
1846 ; CHECK-FP16-NEXT:    fcvtzu v0.8h, v0.8h
1847 ; CHECK-FP16-NEXT:    uqxtn v0.8b, v0.8h
1848 ; CHECK-FP16-NEXT:    ret
1849     %x = call <8 x i8> @llvm.fptoui.sat.v8f16.v8i8(<8 x half> %f)
1850     ret <8 x i8> %x
1851 }
1852
1853 define <8 x i13> @test_unsigned_v8f16_v8i13(<8 x half> %f) {
1854 ; CHECK-CVT-LABEL: test_unsigned_v8f16_v8i13:
1855 ; CHECK-CVT:       // %bb.0:
1856 ; CHECK-CVT-NEXT:    fcvtl2 v1.4s, v0.8h
1857 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1858 ; CHECK-CVT-NEXT:    mov w8, #8191 // =0x1fff
1859 ; CHECK-CVT-NEXT:    mov s2, v1.s[1]
1860 ; CHECK-CVT-NEXT:    mov s3, v1.s[2]
1861 ; CHECK-CVT-NEXT:    mov s4, v1.s[3]
1862 ; CHECK-CVT-NEXT:    fcvtzu w10, s1
1863 ; CHECK-CVT-NEXT:    fcvtzu w14, s0
1864 ; CHECK-CVT-NEXT:    mov s1, v0.s[2]
1865 ; CHECK-CVT-NEXT:    fcvtzu w9, s2
1866 ; CHECK-CVT-NEXT:    mov s2, v0.s[1]
1867 ; CHECK-CVT-NEXT:    fcvtzu w11, s3
1868 ; CHECK-CVT-NEXT:    fcvtzu w12, s4
1869 ; CHECK-CVT-NEXT:    fcvtzu w15, s1
1870 ; CHECK-CVT-NEXT:    mov s0, v0.s[3]
1871 ; CHECK-CVT-NEXT:    cmp w9, w8
1872 ; CHECK-CVT-NEXT:    fcvtzu w13, s2
1873 ; CHECK-CVT-NEXT:    csel w9, w9, w8, lo
1874 ; CHECK-CVT-NEXT:    cmp w10, w8
1875 ; CHECK-CVT-NEXT:    csel w10, w10, w8, lo
1876 ; CHECK-CVT-NEXT:    cmp w11, w8
1877 ; CHECK-CVT-NEXT:    csel w11, w11, w8, lo
1878 ; CHECK-CVT-NEXT:    cmp w12, w8
1879 ; CHECK-CVT-NEXT:    fmov s1, w10
1880 ; CHECK-CVT-NEXT:    csel w12, w12, w8, lo
1881 ; CHECK-CVT-NEXT:    cmp w13, w8
1882 ; CHECK-CVT-NEXT:    csel w13, w13, w8, lo
1883 ; CHECK-CVT-NEXT:    cmp w14, w8
1884 ; CHECK-CVT-NEXT:    csel w14, w14, w8, lo
1885 ; CHECK-CVT-NEXT:    mov v1.s[1], w9
1886 ; CHECK-CVT-NEXT:    cmp w15, w8
1887 ; CHECK-CVT-NEXT:    fmov s2, w14
1888 ; CHECK-CVT-NEXT:    fcvtzu w9, s0
1889 ; CHECK-CVT-NEXT:    csel w10, w15, w8, lo
1890 ; CHECK-CVT-NEXT:    mov v2.s[1], w13
1891 ; CHECK-CVT-NEXT:    mov v1.s[2], w11
1892 ; CHECK-CVT-NEXT:    cmp w9, w8
1893 ; CHECK-CVT-NEXT:    csel w8, w9, w8, lo
1894 ; CHECK-CVT-NEXT:    mov v2.s[2], w10
1895 ; CHECK-CVT-NEXT:    mov v1.s[3], w12
1896 ; CHECK-CVT-NEXT:    mov v2.s[3], w8
1897 ; CHECK-CVT-NEXT:    uzp1 v0.8h, v2.8h, v1.8h
1898 ; CHECK-CVT-NEXT:    ret
1899 ;
1900 ; CHECK-FP16-LABEL: test_unsigned_v8f16_v8i13:
1901 ; CHECK-FP16:       // %bb.0:
1902 ; CHECK-FP16-NEXT:    fcvtzu v0.8h, v0.8h
1903 ; CHECK-FP16-NEXT:    mvni v1.8h, #224, lsl #8
1904 ; CHECK-FP16-NEXT:    umin v0.8h, v0.8h, v1.8h
1905 ; CHECK-FP16-NEXT:    ret
1906     %x = call <8 x i13> @llvm.fptoui.sat.v8f16.v8i13(<8 x half> %f)
1907     ret <8 x i13> %x
1908 }
1909
1910 define <8 x i16> @test_unsigned_v8f16_v8i16(<8 x half> %f) {
1911 ; CHECK-CVT-LABEL: test_unsigned_v8f16_v8i16:
1912 ; CHECK-CVT:       // %bb.0:
1913 ; CHECK-CVT-NEXT:    fcvtl2 v1.4s, v0.8h
1914 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
1915 ; CHECK-CVT-NEXT:    mov w8, #65535 // =0xffff
1916 ; CHECK-CVT-NEXT:    mov s2, v1.s[1]
1917 ; CHECK-CVT-NEXT:    mov s3, v1.s[2]
1918 ; CHECK-CVT-NEXT:    mov s4, v1.s[3]
1919 ; CHECK-CVT-NEXT:    fcvtzu w10, s1
1920 ; CHECK-CVT-NEXT:    fcvtzu w14, s0
1921 ; CHECK-CVT-NEXT:    mov s1, v0.s[2]
1922 ; CHECK-CVT-NEXT:    fcvtzu w9, s2
1923 ; CHECK-CVT-NEXT:    mov s2, v0.s[1]
1924 ; CHECK-CVT-NEXT:    fcvtzu w11, s3
1925 ; CHECK-CVT-NEXT:    fcvtzu w12, s4
1926 ; CHECK-CVT-NEXT:    fcvtzu w15, s1
1927 ; CHECK-CVT-NEXT:    mov s0, v0.s[3]
1928 ; CHECK-CVT-NEXT:    cmp w9, w8
1929 ; CHECK-CVT-NEXT:    fcvtzu w13, s2
1930 ; CHECK-CVT-NEXT:    csel w9, w9, w8, lo
1931 ; CHECK-CVT-NEXT:    cmp w10, w8
1932 ; CHECK-CVT-NEXT:    csel w10, w10, w8, lo
1933 ; CHECK-CVT-NEXT:    cmp w11, w8
1934 ; CHECK-CVT-NEXT:    csel w11, w11, w8, lo
1935 ; CHECK-CVT-NEXT:    cmp w12, w8
1936 ; CHECK-CVT-NEXT:    fmov s1, w10
1937 ; CHECK-CVT-NEXT:    csel w12, w12, w8, lo
1938 ; CHECK-CVT-NEXT:    cmp w13, w8
1939 ; CHECK-CVT-NEXT:    csel w13, w13, w8, lo
1940 ; CHECK-CVT-NEXT:    cmp w14, w8
1941 ; CHECK-CVT-NEXT:    csel w14, w14, w8, lo
1942 ; CHECK-CVT-NEXT:    mov v1.s[1], w9
1943 ; CHECK-CVT-NEXT:    cmp w15, w8
1944 ; CHECK-CVT-NEXT:    fmov s2, w14
1945 ; CHECK-CVT-NEXT:    fcvtzu w9, s0
1946 ; CHECK-CVT-NEXT:    csel w10, w15, w8, lo
1947 ; CHECK-CVT-NEXT:    mov v2.s[1], w13
1948 ; CHECK-CVT-NEXT:    mov v1.s[2], w11
1949 ; CHECK-CVT-NEXT:    cmp w9, w8
1950 ; CHECK-CVT-NEXT:    csel w8, w9, w8, lo
1951 ; CHECK-CVT-NEXT:    mov v2.s[2], w10
1952 ; CHECK-CVT-NEXT:    mov v1.s[3], w12
1953 ; CHECK-CVT-NEXT:    mov v2.s[3], w8
1954 ; CHECK-CVT-NEXT:    uzp1 v0.8h, v2.8h, v1.8h
1955 ; CHECK-CVT-NEXT:    ret
1956 ;
1957 ; CHECK-FP16-LABEL: test_unsigned_v8f16_v8i16:
1958 ; CHECK-FP16:       // %bb.0:
1959 ; CHECK-FP16-NEXT:    fcvtzu v0.8h, v0.8h
1960 ; CHECK-FP16-NEXT:    ret
1961     %x = call <8 x i16> @llvm.fptoui.sat.v8f16.v8i16(<8 x half> %f)
1962     ret <8 x i16> %x
1963 }
1964
1965 define <8 x i19> @test_unsigned_v8f16_v8i19(<8 x half> %f) {
1966 ; CHECK-LABEL: test_unsigned_v8f16_v8i19:
1967 ; CHECK:       // %bb.0:
1968 ; CHECK-NEXT:    fcvtl v2.4s, v0.4h
1969 ; CHECK-NEXT:    fcvtl2 v0.4s, v0.8h
1970 ; CHECK-NEXT:    movi v1.4s, #7, msl #16
1971 ; CHECK-NEXT:    fcvtzu v2.4s, v2.4s
1972 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
1973 ; CHECK-NEXT:    umin v2.4s, v2.4s, v1.4s
1974 ; CHECK-NEXT:    umin v0.4s, v0.4s, v1.4s
1975 ; CHECK-NEXT:    mov w1, v2.s[1]
1976 ; CHECK-NEXT:    mov w2, v2.s[2]
1977 ; CHECK-NEXT:    mov w3, v2.s[3]
1978 ; CHECK-NEXT:    mov w5, v0.s[1]
1979 ; CHECK-NEXT:    mov w6, v0.s[2]
1980 ; CHECK-NEXT:    mov w7, v0.s[3]
1981 ; CHECK-NEXT:    fmov w4, s0
1982 ; CHECK-NEXT:    fmov w0, s2
1983 ; CHECK-NEXT:    ret
1984     %x = call <8 x i19> @llvm.fptoui.sat.v8f16.v8i19(<8 x half> %f)
1985     ret <8 x i19> %x
1986 }
1987
1988 define <8 x i32> @test_unsigned_v8f16_v8i32_duplicate(<8 x half> %f) {
1989 ; CHECK-LABEL: test_unsigned_v8f16_v8i32_duplicate:
1990 ; CHECK:       // %bb.0:
1991 ; CHECK-NEXT:    fcvtl2 v1.4s, v0.8h
1992 ; CHECK-NEXT:    fcvtl v0.4s, v0.4h
1993 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
1994 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
1995 ; CHECK-NEXT:    ret
1996     %x = call <8 x i32> @llvm.fptoui.sat.v8f16.v8i32(<8 x half> %f)
1997     ret <8 x i32> %x
1998 }
1999
2000 define <8 x i50> @test_unsigned_v8f16_v8i50(<8 x half> %f) {
2001 ; CHECK-CVT-LABEL: test_unsigned_v8f16_v8i50:
2002 ; CHECK-CVT:       // %bb.0:
2003 ; CHECK-CVT-NEXT:    ext v1.16b, v0.16b, v0.16b, #8
2004 ; CHECK-CVT-NEXT:    mov h5, v0.h[1]
2005 ; CHECK-CVT-NEXT:    mov x8, #1125899906842623 // =0x3ffffffffffff
2006 ; CHECK-CVT-NEXT:    mov h6, v0.h[2]
2007 ; CHECK-CVT-NEXT:    mov h7, v0.h[3]
2008 ; CHECK-CVT-NEXT:    fcvt s0, h0
2009 ; CHECK-CVT-NEXT:    mov h2, v1.h[1]
2010 ; CHECK-CVT-NEXT:    mov h3, v1.h[2]
2011 ; CHECK-CVT-NEXT:    mov h4, v1.h[3]
2012 ; CHECK-CVT-NEXT:    fcvt s1, h1
2013 ; CHECK-CVT-NEXT:    fcvtzu x13, s0
2014 ; CHECK-CVT-NEXT:    fcvt s2, h2
2015 ; CHECK-CVT-NEXT:    fcvt s3, h3
2016 ; CHECK-CVT-NEXT:    fcvt s4, h4
2017 ; CHECK-CVT-NEXT:    fcvtzu x9, s1
2018 ; CHECK-CVT-NEXT:    fcvt s1, h5
2019 ; CHECK-CVT-NEXT:    fcvtzu x10, s2
2020 ; CHECK-CVT-NEXT:    fcvtzu x11, s3
2021 ; CHECK-CVT-NEXT:    fcvt s2, h6
2022 ; CHECK-CVT-NEXT:    fcvtzu x12, s4
2023 ; CHECK-CVT-NEXT:    fcvt s3, h7
2024 ; CHECK-CVT-NEXT:    cmp x9, x8
2025 ; CHECK-CVT-NEXT:    fcvtzu x14, s1
2026 ; CHECK-CVT-NEXT:    csel x4, x9, x8, lo
2027 ; CHECK-CVT-NEXT:    cmp x10, x8
2028 ; CHECK-CVT-NEXT:    fcvtzu x9, s2
2029 ; CHECK-CVT-NEXT:    csel x5, x10, x8, lo
2030 ; CHECK-CVT-NEXT:    cmp x11, x8
2031 ; CHECK-CVT-NEXT:    fcvtzu x10, s3
2032 ; CHECK-CVT-NEXT:    csel x6, x11, x8, lo
2033 ; CHECK-CVT-NEXT:    cmp x12, x8
2034 ; CHECK-CVT-NEXT:    csel x7, x12, x8, lo
2035 ; CHECK-CVT-NEXT:    cmp x13, x8
2036 ; CHECK-CVT-NEXT:    csel x0, x13, x8, lo
2037 ; CHECK-CVT-NEXT:    cmp x14, x8
2038 ; CHECK-CVT-NEXT:    csel x1, x14, x8, lo
2039 ; CHECK-CVT-NEXT:    cmp x9, x8
2040 ; CHECK-CVT-NEXT:    csel x2, x9, x8, lo
2041 ; CHECK-CVT-NEXT:    cmp x10, x8
2042 ; CHECK-CVT-NEXT:    csel x3, x10, x8, lo
2043 ; CHECK-CVT-NEXT:    ret
2044 ;
2045 ; CHECK-FP16-LABEL: test_unsigned_v8f16_v8i50:
2046 ; CHECK-FP16:       // %bb.0:
2047 ; CHECK-FP16-NEXT:    ext v1.16b, v0.16b, v0.16b, #8
2048 ; CHECK-FP16-NEXT:    mov x8, #1125899906842623 // =0x3ffffffffffff
2049 ; CHECK-FP16-NEXT:    fcvtzu x13, h0
2050 ; CHECK-FP16-NEXT:    mov h2, v1.h[1]
2051 ; CHECK-FP16-NEXT:    mov h3, v1.h[2]
2052 ; CHECK-FP16-NEXT:    mov h4, v1.h[3]
2053 ; CHECK-FP16-NEXT:    fcvtzu x9, h1
2054 ; CHECK-FP16-NEXT:    mov h1, v0.h[1]
2055 ; CHECK-FP16-NEXT:    fcvtzu x10, h2
2056 ; CHECK-FP16-NEXT:    fcvtzu x11, h3
2057 ; CHECK-FP16-NEXT:    mov h2, v0.h[2]
2058 ; CHECK-FP16-NEXT:    fcvtzu x12, h4
2059 ; CHECK-FP16-NEXT:    mov h3, v0.h[3]
2060 ; CHECK-FP16-NEXT:    cmp x9, x8
2061 ; CHECK-FP16-NEXT:    fcvtzu x14, h1
2062 ; CHECK-FP16-NEXT:    csel x4, x9, x8, lo
2063 ; CHECK-FP16-NEXT:    cmp x10, x8
2064 ; CHECK-FP16-NEXT:    fcvtzu x9, h2
2065 ; CHECK-FP16-NEXT:    csel x5, x10, x8, lo
2066 ; CHECK-FP16-NEXT:    cmp x11, x8
2067 ; CHECK-FP16-NEXT:    fcvtzu x10, h3
2068 ; CHECK-FP16-NEXT:    csel x6, x11, x8, lo
2069 ; CHECK-FP16-NEXT:    cmp x12, x8
2070 ; CHECK-FP16-NEXT:    csel x7, x12, x8, lo
2071 ; CHECK-FP16-NEXT:    cmp x13, x8
2072 ; CHECK-FP16-NEXT:    csel x0, x13, x8, lo
2073 ; CHECK-FP16-NEXT:    cmp x14, x8
2074 ; CHECK-FP16-NEXT:    csel x1, x14, x8, lo
2075 ; CHECK-FP16-NEXT:    cmp x9, x8
2076 ; CHECK-FP16-NEXT:    csel x2, x9, x8, lo
2077 ; CHECK-FP16-NEXT:    cmp x10, x8
2078 ; CHECK-FP16-NEXT:    csel x3, x10, x8, lo
2079 ; CHECK-FP16-NEXT:    ret
2080     %x = call <8 x i50> @llvm.fptoui.sat.v8f16.v8i50(<8 x half> %f)
2081     ret <8 x i50> %x
2082 }
2083
2084 define <8 x i64> @test_unsigned_v8f16_v8i64(<8 x half> %f) {
2085 ; CHECK-CVT-LABEL: test_unsigned_v8f16_v8i64:
2086 ; CHECK-CVT:       // %bb.0:
2087 ; CHECK-CVT-NEXT:    ext v1.16b, v0.16b, v0.16b, #8
2088 ; CHECK-CVT-NEXT:    mov h4, v0.h[2]
2089 ; CHECK-CVT-NEXT:    mov h3, v0.h[1]
2090 ; CHECK-CVT-NEXT:    mov h7, v0.h[3]
2091 ; CHECK-CVT-NEXT:    fcvt s0, h0
2092 ; CHECK-CVT-NEXT:    mov h2, v1.h[2]
2093 ; CHECK-CVT-NEXT:    mov h5, v1.h[1]
2094 ; CHECK-CVT-NEXT:    mov h6, v1.h[3]
2095 ; CHECK-CVT-NEXT:    fcvt s1, h1
2096 ; CHECK-CVT-NEXT:    fcvt s4, h4
2097 ; CHECK-CVT-NEXT:    fcvt s3, h3
2098 ; CHECK-CVT-NEXT:    fcvt s7, h7
2099 ; CHECK-CVT-NEXT:    fcvtzu x9, s0
2100 ; CHECK-CVT-NEXT:    fcvt s2, h2
2101 ; CHECK-CVT-NEXT:    fcvt s5, h5
2102 ; CHECK-CVT-NEXT:    fcvt s6, h6
2103 ; CHECK-CVT-NEXT:    fcvtzu x8, s1
2104 ; CHECK-CVT-NEXT:    fcvtzu x12, s4
2105 ; CHECK-CVT-NEXT:    fcvtzu x11, s3
2106 ; CHECK-CVT-NEXT:    fcvtzu x15, s7
2107 ; CHECK-CVT-NEXT:    fmov d0, x9
2108 ; CHECK-CVT-NEXT:    fcvtzu x10, s2
2109 ; CHECK-CVT-NEXT:    fcvtzu x13, s5
2110 ; CHECK-CVT-NEXT:    fcvtzu x14, s6
2111 ; CHECK-CVT-NEXT:    fmov d2, x8
2112 ; CHECK-CVT-NEXT:    fmov d1, x12
2113 ; CHECK-CVT-NEXT:    mov v0.d[1], x11
2114 ; CHECK-CVT-NEXT:    fmov d3, x10
2115 ; CHECK-CVT-NEXT:    mov v2.d[1], x13
2116 ; CHECK-CVT-NEXT:    mov v1.d[1], x15
2117 ; CHECK-CVT-NEXT:    mov v3.d[1], x14
2118 ; CHECK-CVT-NEXT:    ret
2119 ;
2120 ; CHECK-FP16-LABEL: test_unsigned_v8f16_v8i64:
2121 ; CHECK-FP16:       // %bb.0:
2122 ; CHECK-FP16-NEXT:    ext v1.16b, v0.16b, v0.16b, #8
2123 ; CHECK-FP16-NEXT:    mov h4, v0.h[2]
2124 ; CHECK-FP16-NEXT:    mov h3, v0.h[1]
2125 ; CHECK-FP16-NEXT:    mov h7, v0.h[3]
2126 ; CHECK-FP16-NEXT:    fcvtzu x9, h0
2127 ; CHECK-FP16-NEXT:    mov h2, v1.h[2]
2128 ; CHECK-FP16-NEXT:    mov h5, v1.h[1]
2129 ; CHECK-FP16-NEXT:    mov h6, v1.h[3]
2130 ; CHECK-FP16-NEXT:    fcvtzu x8, h1
2131 ; CHECK-FP16-NEXT:    fcvtzu x12, h4
2132 ; CHECK-FP16-NEXT:    fcvtzu x11, h3
2133 ; CHECK-FP16-NEXT:    fcvtzu x15, h7
2134 ; CHECK-FP16-NEXT:    fmov d0, x9
2135 ; CHECK-FP16-NEXT:    fcvtzu x10, h2
2136 ; CHECK-FP16-NEXT:    fcvtzu x13, h5
2137 ; CHECK-FP16-NEXT:    fcvtzu x14, h6
2138 ; CHECK-FP16-NEXT:    fmov d2, x8
2139 ; CHECK-FP16-NEXT:    fmov d1, x12
2140 ; CHECK-FP16-NEXT:    mov v0.d[1], x11
2141 ; CHECK-FP16-NEXT:    fmov d3, x10
2142 ; CHECK-FP16-NEXT:    mov v2.d[1], x13
2143 ; CHECK-FP16-NEXT:    mov v1.d[1], x15
2144 ; CHECK-FP16-NEXT:    mov v3.d[1], x14
2145 ; CHECK-FP16-NEXT:    ret
2146     %x = call <8 x i64> @llvm.fptoui.sat.v8f16.v8i64(<8 x half> %f)
2147     ret <8 x i64> %x
2148 }
2149
2150 define <8 x i100> @test_unsigned_v8f16_v8i100(<8 x half> %f) {
2151 ; CHECK-LABEL: test_unsigned_v8f16_v8i100:
2152 ; CHECK:       // %bb.0:
2153 ; CHECK-NEXT:    sub sp, sp, #176
2154 ; CHECK-NEXT:    stp d9, d8, [sp, #64] // 16-byte Folded Spill
2155 ; CHECK-NEXT:    stp x29, x30, [sp, #80] // 16-byte Folded Spill
2156 ; CHECK-NEXT:    stp x28, x27, [sp, #96] // 16-byte Folded Spill
2157 ; CHECK-NEXT:    stp x26, x25, [sp, #112] // 16-byte Folded Spill
2158 ; CHECK-NEXT:    stp x24, x23, [sp, #128] // 16-byte Folded Spill
2159 ; CHECK-NEXT:    stp x22, x21, [sp, #144] // 16-byte Folded Spill
2160 ; CHECK-NEXT:    stp x20, x19, [sp, #160] // 16-byte Folded Spill
2161 ; CHECK-NEXT:    .cfi_def_cfa_offset 176
2162 ; CHECK-NEXT:    .cfi_offset w19, -8
2163 ; CHECK-NEXT:    .cfi_offset w20, -16
2164 ; CHECK-NEXT:    .cfi_offset w21, -24
2165 ; CHECK-NEXT:    .cfi_offset w22, -32
2166 ; CHECK-NEXT:    .cfi_offset w23, -40
2167 ; CHECK-NEXT:    .cfi_offset w24, -48
2168 ; CHECK-NEXT:    .cfi_offset w25, -56
2169 ; CHECK-NEXT:    .cfi_offset w26, -64
2170 ; CHECK-NEXT:    .cfi_offset w27, -72
2171 ; CHECK-NEXT:    .cfi_offset w28, -80
2172 ; CHECK-NEXT:    .cfi_offset w30, -88
2173 ; CHECK-NEXT:    .cfi_offset w29, -96
2174 ; CHECK-NEXT:    .cfi_offset b8, -104
2175 ; CHECK-NEXT:    .cfi_offset b9, -112
2176 ; CHECK-NEXT:    str q0, [sp, #48] // 16-byte Folded Spill
2177 ; CHECK-NEXT:    ext v0.16b, v0.16b, v0.16b, #8
2178 ; CHECK-NEXT:    mov x19, x8
2179 ; CHECK-NEXT:    str q0, [sp, #32] // 16-byte Folded Spill
2180 ; CHECK-NEXT:    mov h0, v0.h[1]
2181 ; CHECK-NEXT:    fcvt s8, h0
2182 ; CHECK-NEXT:    fmov s0, s8
2183 ; CHECK-NEXT:    bl __fixunssfti
2184 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
2185 ; CHECK-NEXT:    mov w8, #1904214015 // =0x717fffff
2186 ; CHECK-NEXT:    fcmp s8, #0.0
2187 ; CHECK-NEXT:    fmov s9, w8
2188 ; CHECK-NEXT:    mov x23, #68719476735 // =0xfffffffff
2189 ; CHECK-NEXT:    mov h0, v0.h[3]
2190 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2191 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2192 ; CHECK-NEXT:    fcmp s8, s9
2193 ; CHECK-NEXT:    fcvt s8, h0
2194 ; CHECK-NEXT:    csel x10, x23, x8, gt
2195 ; CHECK-NEXT:    csinv x8, x9, xzr, le
2196 ; CHECK-NEXT:    stp x8, x10, [sp, #16] // 16-byte Folded Spill
2197 ; CHECK-NEXT:    fmov s0, s8
2198 ; CHECK-NEXT:    bl __fixunssfti
2199 ; CHECK-NEXT:    fcmp s8, #0.0
2200 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
2201 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2202 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2203 ; CHECK-NEXT:    fcmp s8, s9
2204 ; CHECK-NEXT:    fcvt s8, h0
2205 ; CHECK-NEXT:    csel x9, x23, x9, gt
2206 ; CHECK-NEXT:    csinv x8, x8, xzr, le
2207 ; CHECK-NEXT:    stp x8, x9, [sp] // 16-byte Folded Spill
2208 ; CHECK-NEXT:    fmov s0, s8
2209 ; CHECK-NEXT:    bl __fixunssfti
2210 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
2211 ; CHECK-NEXT:    fcmp s8, #0.0
2212 ; CHECK-NEXT:    mov h0, v0.h[2]
2213 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2214 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2215 ; CHECK-NEXT:    fcmp s8, s9
2216 ; CHECK-NEXT:    fcvt s8, h0
2217 ; CHECK-NEXT:    csinv x8, x8, xzr, le
2218 ; CHECK-NEXT:    csel x25, x23, x9, gt
2219 ; CHECK-NEXT:    str x8, [sp, #32] // 8-byte Folded Spill
2220 ; CHECK-NEXT:    fmov s0, s8
2221 ; CHECK-NEXT:    bl __fixunssfti
2222 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2223 ; CHECK-NEXT:    fcmp s8, #0.0
2224 ; CHECK-NEXT:    mov h0, v0.h[1]
2225 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2226 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2227 ; CHECK-NEXT:    fcmp s8, s9
2228 ; CHECK-NEXT:    fcvt s8, h0
2229 ; CHECK-NEXT:    csel x26, x23, x9, gt
2230 ; CHECK-NEXT:    csinv x28, x8, xzr, le
2231 ; CHECK-NEXT:    fmov s0, s8
2232 ; CHECK-NEXT:    bl __fixunssfti
2233 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2234 ; CHECK-NEXT:    fcmp s8, #0.0
2235 ; CHECK-NEXT:    mov h0, v0.h[3]
2236 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2237 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2238 ; CHECK-NEXT:    fcmp s8, s9
2239 ; CHECK-NEXT:    fcvt s8, h0
2240 ; CHECK-NEXT:    csel x29, x23, x9, gt
2241 ; CHECK-NEXT:    csinv x20, x8, xzr, le
2242 ; CHECK-NEXT:    fmov s0, s8
2243 ; CHECK-NEXT:    bl __fixunssfti
2244 ; CHECK-NEXT:    fcmp s8, #0.0
2245 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2246 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2247 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2248 ; CHECK-NEXT:    fcmp s8, s9
2249 ; CHECK-NEXT:    fcvt s8, h0
2250 ; CHECK-NEXT:    csel x21, x23, x9, gt
2251 ; CHECK-NEXT:    csinv x27, x8, xzr, le
2252 ; CHECK-NEXT:    fmov s0, s8
2253 ; CHECK-NEXT:    bl __fixunssfti
2254 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2255 ; CHECK-NEXT:    fcmp s8, #0.0
2256 ; CHECK-NEXT:    mov h0, v0.h[2]
2257 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2258 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2259 ; CHECK-NEXT:    fcmp s8, s9
2260 ; CHECK-NEXT:    fcvt s8, h0
2261 ; CHECK-NEXT:    csel x22, x23, x9, gt
2262 ; CHECK-NEXT:    csinv x24, x8, xzr, le
2263 ; CHECK-NEXT:    fmov s0, s8
2264 ; CHECK-NEXT:    bl __fixunssfti
2265 ; CHECK-NEXT:    extr x8, x21, x27, #28
2266 ; CHECK-NEXT:    extr x9, x29, x20, #28
2267 ; CHECK-NEXT:    stur x28, [x19, #75]
2268 ; CHECK-NEXT:    fcmp s8, #0.0
2269 ; CHECK-NEXT:    bfi x22, x20, #36, #28
2270 ; CHECK-NEXT:    lsr x11, x29, #28
2271 ; CHECK-NEXT:    stur x8, [x19, #41]
2272 ; CHECK-NEXT:    str x9, [x19, #16]
2273 ; CHECK-NEXT:    ldr x10, [sp, #32] // 8-byte Folded Reload
2274 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2275 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2276 ; CHECK-NEXT:    fcmp s8, s9
2277 ; CHECK-NEXT:    stp x24, x22, [x19]
2278 ; CHECK-NEXT:    stur x10, [x19, #50]
2279 ; CHECK-NEXT:    lsr x10, x21, #28
2280 ; CHECK-NEXT:    strb w11, [x19, #24]
2281 ; CHECK-NEXT:    strb w10, [x19, #49]
2282 ; CHECK-NEXT:    csel x9, x23, x9, gt
2283 ; CHECK-NEXT:    csinv x8, x8, xzr, le
2284 ; CHECK-NEXT:    ldp x12, x11, [sp] // 16-byte Folded Reload
2285 ; CHECK-NEXT:    bfi x9, x27, #36, #28
2286 ; CHECK-NEXT:    stur x8, [x19, #25]
2287 ; CHECK-NEXT:    stur x9, [x19, #33]
2288 ; CHECK-NEXT:    extr x10, x11, x12, #28
2289 ; CHECK-NEXT:    bfi x26, x12, #36, #28
2290 ; CHECK-NEXT:    stur x10, [x19, #91]
2291 ; CHECK-NEXT:    ldp x10, x9, [sp, #16] // 16-byte Folded Reload
2292 ; CHECK-NEXT:    stur x26, [x19, #83]
2293 ; CHECK-NEXT:    extr x8, x9, x10, #28
2294 ; CHECK-NEXT:    bfi x25, x10, #36, #28
2295 ; CHECK-NEXT:    lsr x9, x9, #28
2296 ; CHECK-NEXT:    stur x8, [x19, #66]
2297 ; CHECK-NEXT:    lsr x8, x11, #28
2298 ; CHECK-NEXT:    stur x25, [x19, #58]
2299 ; CHECK-NEXT:    strb w8, [x19, #99]
2300 ; CHECK-NEXT:    strb w9, [x19, #74]
2301 ; CHECK-NEXT:    ldp x20, x19, [sp, #160] // 16-byte Folded Reload
2302 ; CHECK-NEXT:    ldp x22, x21, [sp, #144] // 16-byte Folded Reload
2303 ; CHECK-NEXT:    ldp x24, x23, [sp, #128] // 16-byte Folded Reload
2304 ; CHECK-NEXT:    ldp x26, x25, [sp, #112] // 16-byte Folded Reload
2305 ; CHECK-NEXT:    ldp x28, x27, [sp, #96] // 16-byte Folded Reload
2306 ; CHECK-NEXT:    ldp x29, x30, [sp, #80] // 16-byte Folded Reload
2307 ; CHECK-NEXT:    ldp d9, d8, [sp, #64] // 16-byte Folded Reload
2308 ; CHECK-NEXT:    add sp, sp, #176
2309 ; CHECK-NEXT:    ret
2310     %x = call <8 x i100> @llvm.fptoui.sat.v8f16.v8i100(<8 x half> %f)
2311     ret <8 x i100> %x
2312 }
2313
2314 define <8 x i128> @test_unsigned_v8f16_v8i128(<8 x half> %f) {
2315 ; CHECK-LABEL: test_unsigned_v8f16_v8i128:
2316 ; CHECK:       // %bb.0:
2317 ; CHECK-NEXT:    sub sp, sp, #176
2318 ; CHECK-NEXT:    stp d9, d8, [sp, #64] // 16-byte Folded Spill
2319 ; CHECK-NEXT:    stp x29, x30, [sp, #80] // 16-byte Folded Spill
2320 ; CHECK-NEXT:    stp x28, x27, [sp, #96] // 16-byte Folded Spill
2321 ; CHECK-NEXT:    stp x26, x25, [sp, #112] // 16-byte Folded Spill
2322 ; CHECK-NEXT:    stp x24, x23, [sp, #128] // 16-byte Folded Spill
2323 ; CHECK-NEXT:    stp x22, x21, [sp, #144] // 16-byte Folded Spill
2324 ; CHECK-NEXT:    stp x20, x19, [sp, #160] // 16-byte Folded Spill
2325 ; CHECK-NEXT:    .cfi_def_cfa_offset 176
2326 ; CHECK-NEXT:    .cfi_offset w19, -8
2327 ; CHECK-NEXT:    .cfi_offset w20, -16
2328 ; CHECK-NEXT:    .cfi_offset w21, -24
2329 ; CHECK-NEXT:    .cfi_offset w22, -32
2330 ; CHECK-NEXT:    .cfi_offset w23, -40
2331 ; CHECK-NEXT:    .cfi_offset w24, -48
2332 ; CHECK-NEXT:    .cfi_offset w25, -56
2333 ; CHECK-NEXT:    .cfi_offset w26, -64
2334 ; CHECK-NEXT:    .cfi_offset w27, -72
2335 ; CHECK-NEXT:    .cfi_offset w28, -80
2336 ; CHECK-NEXT:    .cfi_offset w30, -88
2337 ; CHECK-NEXT:    .cfi_offset w29, -96
2338 ; CHECK-NEXT:    .cfi_offset b8, -104
2339 ; CHECK-NEXT:    .cfi_offset b9, -112
2340 ; CHECK-NEXT:    str q0, [sp, #48] // 16-byte Folded Spill
2341 ; CHECK-NEXT:    ext v0.16b, v0.16b, v0.16b, #8
2342 ; CHECK-NEXT:    mov x19, x8
2343 ; CHECK-NEXT:    fcvt s8, h0
2344 ; CHECK-NEXT:    str q0, [sp, #32] // 16-byte Folded Spill
2345 ; CHECK-NEXT:    fmov s0, s8
2346 ; CHECK-NEXT:    bl __fixunssfti
2347 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
2348 ; CHECK-NEXT:    mov w8, #2139095039 // =0x7f7fffff
2349 ; CHECK-NEXT:    fcmp s8, #0.0
2350 ; CHECK-NEXT:    fmov s9, w8
2351 ; CHECK-NEXT:    mov h0, v0.h[1]
2352 ; CHECK-NEXT:    csel x9, xzr, x1, lt
2353 ; CHECK-NEXT:    csel x8, xzr, x0, lt
2354 ; CHECK-NEXT:    fcmp s8, s9
2355 ; CHECK-NEXT:    fcvt s8, h0
2356 ; CHECK-NEXT:    csinv x10, x8, xzr, le
2357 ; CHECK-NEXT:    csinv x8, x9, xzr, le
2358 ; CHECK-NEXT:    stp x8, x10, [sp, #16] // 16-byte Folded Spill
2359 ; CHECK-NEXT:    fmov s0, s8
2360 ; CHECK-NEXT:    bl __fixunssfti
2361 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
2362 ; CHECK-NEXT:    fcmp s8, #0.0
2363 ; CHECK-NEXT:    mov h0, v0.h[2]
2364 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2365 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2366 ; CHECK-NEXT:    fcmp s8, s9
2367 ; CHECK-NEXT:    fcvt s8, h0
2368 ; CHECK-NEXT:    csinv x9, x9, xzr, le
2369 ; CHECK-NEXT:    csinv x8, x8, xzr, le
2370 ; CHECK-NEXT:    stp x8, x9, [sp] // 16-byte Folded Spill
2371 ; CHECK-NEXT:    fmov s0, s8
2372 ; CHECK-NEXT:    bl __fixunssfti
2373 ; CHECK-NEXT:    ldr q0, [sp, #32] // 16-byte Folded Reload
2374 ; CHECK-NEXT:    fcmp s8, #0.0
2375 ; CHECK-NEXT:    mov h0, v0.h[3]
2376 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2377 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2378 ; CHECK-NEXT:    fcmp s8, s9
2379 ; CHECK-NEXT:    fcvt s8, h0
2380 ; CHECK-NEXT:    csinv x24, x9, xzr, le
2381 ; CHECK-NEXT:    csinv x25, x8, xzr, le
2382 ; CHECK-NEXT:    fmov s0, s8
2383 ; CHECK-NEXT:    bl __fixunssfti
2384 ; CHECK-NEXT:    fcmp s8, #0.0
2385 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2386 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2387 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2388 ; CHECK-NEXT:    fcmp s8, s9
2389 ; CHECK-NEXT:    fcvt s8, h0
2390 ; CHECK-NEXT:    csinv x26, x9, xzr, le
2391 ; CHECK-NEXT:    csinv x27, x8, xzr, le
2392 ; CHECK-NEXT:    fmov s0, s8
2393 ; CHECK-NEXT:    bl __fixunssfti
2394 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2395 ; CHECK-NEXT:    fcmp s8, #0.0
2396 ; CHECK-NEXT:    mov h0, v0.h[1]
2397 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2398 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2399 ; CHECK-NEXT:    fcmp s8, s9
2400 ; CHECK-NEXT:    fcvt s8, h0
2401 ; CHECK-NEXT:    csinv x28, x9, xzr, le
2402 ; CHECK-NEXT:    csinv x29, x8, xzr, le
2403 ; CHECK-NEXT:    fmov s0, s8
2404 ; CHECK-NEXT:    bl __fixunssfti
2405 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2406 ; CHECK-NEXT:    fcmp s8, #0.0
2407 ; CHECK-NEXT:    mov h0, v0.h[2]
2408 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2409 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2410 ; CHECK-NEXT:    fcmp s8, s9
2411 ; CHECK-NEXT:    fcvt s8, h0
2412 ; CHECK-NEXT:    csinv x20, x9, xzr, le
2413 ; CHECK-NEXT:    csinv x21, x8, xzr, le
2414 ; CHECK-NEXT:    fmov s0, s8
2415 ; CHECK-NEXT:    bl __fixunssfti
2416 ; CHECK-NEXT:    ldr q0, [sp, #48] // 16-byte Folded Reload
2417 ; CHECK-NEXT:    fcmp s8, #0.0
2418 ; CHECK-NEXT:    mov h0, v0.h[3]
2419 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2420 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2421 ; CHECK-NEXT:    fcmp s8, s9
2422 ; CHECK-NEXT:    fcvt s8, h0
2423 ; CHECK-NEXT:    csinv x22, x9, xzr, le
2424 ; CHECK-NEXT:    csinv x23, x8, xzr, le
2425 ; CHECK-NEXT:    fmov s0, s8
2426 ; CHECK-NEXT:    bl __fixunssfti
2427 ; CHECK-NEXT:    fcmp s8, #0.0
2428 ; CHECK-NEXT:    stp x22, x23, [x19, #32]
2429 ; CHECK-NEXT:    stp x20, x21, [x19, #16]
2430 ; CHECK-NEXT:    stp x28, x29, [x19]
2431 ; CHECK-NEXT:    csel x8, xzr, x1, lt
2432 ; CHECK-NEXT:    csel x9, xzr, x0, lt
2433 ; CHECK-NEXT:    fcmp s8, s9
2434 ; CHECK-NEXT:    stp x26, x27, [x19, #112]
2435 ; CHECK-NEXT:    stp x24, x25, [x19, #96]
2436 ; CHECK-NEXT:    csinv x8, x8, xzr, le
2437 ; CHECK-NEXT:    csinv x9, x9, xzr, le
2438 ; CHECK-NEXT:    stp x9, x8, [x19, #48]
2439 ; CHECK-NEXT:    ldr x8, [sp] // 8-byte Folded Reload
2440 ; CHECK-NEXT:    str x8, [x19, #88]
2441 ; CHECK-NEXT:    ldr x8, [sp, #8] // 8-byte Folded Reload
2442 ; CHECK-NEXT:    str x8, [x19, #80]
2443 ; CHECK-NEXT:    ldr x8, [sp, #16] // 8-byte Folded Reload
2444 ; CHECK-NEXT:    str x8, [x19, #72]
2445 ; CHECK-NEXT:    ldr x8, [sp, #24] // 8-byte Folded Reload
2446 ; CHECK-NEXT:    str x8, [x19, #64]
2447 ; CHECK-NEXT:    ldp x20, x19, [sp, #160] // 16-byte Folded Reload
2448 ; CHECK-NEXT:    ldp x22, x21, [sp, #144] // 16-byte Folded Reload
2449 ; CHECK-NEXT:    ldp x24, x23, [sp, #128] // 16-byte Folded Reload
2450 ; CHECK-NEXT:    ldp x26, x25, [sp, #112] // 16-byte Folded Reload
2451 ; CHECK-NEXT:    ldp x28, x27, [sp, #96] // 16-byte Folded Reload
2452 ; CHECK-NEXT:    ldp x29, x30, [sp, #80] // 16-byte Folded Reload
2453 ; CHECK-NEXT:    ldp d9, d8, [sp, #64] // 16-byte Folded Reload
2454 ; CHECK-NEXT:    add sp, sp, #176
2455 ; CHECK-NEXT:    ret
2456     %x = call <8 x i128> @llvm.fptoui.sat.v8f16.v8i128(<8 x half> %f)
2457     ret <8 x i128> %x
2458 }
2459
2460
2461 declare <8 x i8> @llvm.fptoui.sat.v8f32.v8i8(<8 x float> %f)
2462 declare <8 x i16> @llvm.fptoui.sat.v8f32.v8i16(<8 x float> %f)
2463 declare <16 x i8> @llvm.fptoui.sat.v16f32.v16i8(<16 x float> %f)
2464 declare <16 x i16> @llvm.fptoui.sat.v16f32.v16i16(<16 x float> %f)
2465
2466 declare <16 x i8> @llvm.fptoui.sat.v16f16.v16i8(<16 x half> %f)
2467 declare <16 x i16> @llvm.fptoui.sat.v16f16.v16i16(<16 x half> %f)
2468
2469 declare <8 x i8> @llvm.fptoui.sat.v8f64.v8i8(<8 x double> %f)
2470 declare <8 x i16> @llvm.fptoui.sat.v8f64.v8i16(<8 x double> %f)
2471 declare <16 x i8> @llvm.fptoui.sat.v16f64.v16i8(<16 x double> %f)
2472 declare <16 x i16> @llvm.fptoui.sat.v16f64.v16i16(<16 x double> %f)
2473
2474 define <8 x i8> @test_unsigned_v8f32_v8i8(<8 x float> %f) {
2475 ; CHECK-LABEL: test_unsigned_v8f32_v8i8:
2476 ; CHECK:       // %bb.0:
2477 ; CHECK-NEXT:    movi v2.2d, #0x0000ff000000ff
2478 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
2479 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
2480 ; CHECK-NEXT:    umin v1.4s, v1.4s, v2.4s
2481 ; CHECK-NEXT:    umin v0.4s, v0.4s, v2.4s
2482 ; CHECK-NEXT:    uzp1 v0.8h, v0.8h, v1.8h
2483 ; CHECK-NEXT:    xtn v0.8b, v0.8h
2484 ; CHECK-NEXT:    ret
2485     %x = call <8 x i8> @llvm.fptoui.sat.v8f32.v8i8(<8 x float> %f)
2486     ret <8 x i8> %x
2487 }
2488
2489 define <16 x i8> @test_unsigned_v16f32_v16i8(<16 x float> %f) {
2490 ; CHECK-LABEL: test_unsigned_v16f32_v16i8:
2491 ; CHECK:       // %bb.0:
2492 ; CHECK-NEXT:    movi v4.2d, #0x0000ff000000ff
2493 ; CHECK-NEXT:    fcvtzu v3.4s, v3.4s
2494 ; CHECK-NEXT:    fcvtzu v2.4s, v2.4s
2495 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
2496 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
2497 ; CHECK-NEXT:    umin v3.4s, v3.4s, v4.4s
2498 ; CHECK-NEXT:    umin v2.4s, v2.4s, v4.4s
2499 ; CHECK-NEXT:    umin v1.4s, v1.4s, v4.4s
2500 ; CHECK-NEXT:    umin v0.4s, v0.4s, v4.4s
2501 ; CHECK-NEXT:    uzp1 v2.8h, v2.8h, v3.8h
2502 ; CHECK-NEXT:    uzp1 v0.8h, v0.8h, v1.8h
2503 ; CHECK-NEXT:    uzp1 v0.16b, v0.16b, v2.16b
2504 ; CHECK-NEXT:    ret
2505     %x = call <16 x i8> @llvm.fptoui.sat.v16f32.v16i8(<16 x float> %f)
2506     ret <16 x i8> %x
2507 }
2508
2509 define <8 x i16> @test_unsigned_v8f32_v8i16(<8 x float> %f) {
2510 ; CHECK-LABEL: test_unsigned_v8f32_v8i16:
2511 ; CHECK:       // %bb.0:
2512 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
2513 ; CHECK-NEXT:    fcvtzu v1.4s, v1.4s
2514 ; CHECK-NEXT:    uqxtn v0.4h, v0.4s
2515 ; CHECK-NEXT:    uqxtn2 v0.8h, v1.4s
2516 ; CHECK-NEXT:    ret
2517     %x = call <8 x i16> @llvm.fptoui.sat.v8f32.v8i16(<8 x float> %f)
2518     ret <8 x i16> %x
2519 }
2520
2521 define <16 x i16> @test_unsigned_v16f32_v16i16(<16 x float> %f) {
2522 ; CHECK-LABEL: test_unsigned_v16f32_v16i16:
2523 ; CHECK:       // %bb.0:
2524 ; CHECK-NEXT:    fcvtzu v0.4s, v0.4s
2525 ; CHECK-NEXT:    fcvtzu v2.4s, v2.4s
2526 ; CHECK-NEXT:    fcvtzu v4.4s, v1.4s
2527 ; CHECK-NEXT:    uqxtn v0.4h, v0.4s
2528 ; CHECK-NEXT:    uqxtn v1.4h, v2.4s
2529 ; CHECK-NEXT:    fcvtzu v2.4s, v3.4s
2530 ; CHECK-NEXT:    uqxtn2 v0.8h, v4.4s
2531 ; CHECK-NEXT:    uqxtn2 v1.8h, v2.4s
2532 ; CHECK-NEXT:    ret
2533     %x = call <16 x i16> @llvm.fptoui.sat.v16f32.v16i16(<16 x float> %f)
2534     ret <16 x i16> %x
2535 }
2536
2537
2538
2539 define <16 x i8> @test_unsigned_v16f16_v16i8(<16 x half> %f) {
2540 ; CHECK-CVT-LABEL: test_unsigned_v16f16_v16i8:
2541 ; CHECK-CVT:       // %bb.0:
2542 ; CHECK-CVT-NEXT:    fcvtl2 v2.4s, v1.8h
2543 ; CHECK-CVT-NEXT:    fcvtl v1.4s, v1.4h
2544 ; CHECK-CVT-NEXT:    mov w8, #255 // =0xff
2545 ; CHECK-CVT-NEXT:    mov s3, v2.s[1]
2546 ; CHECK-CVT-NEXT:    mov s4, v2.s[2]
2547 ; CHECK-CVT-NEXT:    mov s5, v2.s[3]
2548 ; CHECK-CVT-NEXT:    fcvtzu w10, s2
2549 ; CHECK-CVT-NEXT:    fcvtl2 v2.4s, v0.8h
2550 ; CHECK-CVT-NEXT:    fcvtzu w13, s1
2551 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
2552 ; CHECK-CVT-NEXT:    fcvtzu w9, s3
2553 ; CHECK-CVT-NEXT:    mov s3, v1.s[1]
2554 ; CHECK-CVT-NEXT:    fcvtzu w11, s4
2555 ; CHECK-CVT-NEXT:    mov s4, v1.s[2]
2556 ; CHECK-CVT-NEXT:    fcvtzu w12, s5
2557 ; CHECK-CVT-NEXT:    mov s1, v1.s[3]
2558 ; CHECK-CVT-NEXT:    fcvtzu w18, s2
2559 ; CHECK-CVT-NEXT:    fcvtzu w3, s0
2560 ; CHECK-CVT-NEXT:    fcvtzu w14, s3
2561 ; CHECK-CVT-NEXT:    cmp w9, #255
2562 ; CHECK-CVT-NEXT:    mov s3, v2.s[1]
2563 ; CHECK-CVT-NEXT:    csel w9, w9, w8, lo
2564 ; CHECK-CVT-NEXT:    cmp w10, #255
2565 ; CHECK-CVT-NEXT:    fcvtzu w15, s4
2566 ; CHECK-CVT-NEXT:    csel w10, w10, w8, lo
2567 ; CHECK-CVT-NEXT:    cmp w11, #255
2568 ; CHECK-CVT-NEXT:    mov s4, v2.s[2]
2569 ; CHECK-CVT-NEXT:    csel w11, w11, w8, lo
2570 ; CHECK-CVT-NEXT:    cmp w12, #255
2571 ; CHECK-CVT-NEXT:    fcvtzu w16, s1
2572 ; CHECK-CVT-NEXT:    mov s1, v2.s[3]
2573 ; CHECK-CVT-NEXT:    csel w12, w12, w8, lo
2574 ; CHECK-CVT-NEXT:    cmp w14, #255
2575 ; CHECK-CVT-NEXT:    fcvtzu w17, s3
2576 ; CHECK-CVT-NEXT:    mov s3, v0.s[1]
2577 ; CHECK-CVT-NEXT:    csel w14, w14, w8, lo
2578 ; CHECK-CVT-NEXT:    cmp w13, #255
2579 ; CHECK-CVT-NEXT:    fcvtzu w0, s4
2580 ; CHECK-CVT-NEXT:    fmov s2, w10
2581 ; CHECK-CVT-NEXT:    csel w13, w13, w8, lo
2582 ; CHECK-CVT-NEXT:    cmp w15, #255
2583 ; CHECK-CVT-NEXT:    csel w15, w15, w8, lo
2584 ; CHECK-CVT-NEXT:    cmp w16, #255
2585 ; CHECK-CVT-NEXT:    fcvtzu w1, s1
2586 ; CHECK-CVT-NEXT:    csel w16, w16, w8, lo
2587 ; CHECK-CVT-NEXT:    cmp w17, #255
2588 ; CHECK-CVT-NEXT:    fcvtzu w2, s3
2589 ; CHECK-CVT-NEXT:    csel w17, w17, w8, lo
2590 ; CHECK-CVT-NEXT:    cmp w18, #255
2591 ; CHECK-CVT-NEXT:    mov s1, v0.s[2]
2592 ; CHECK-CVT-NEXT:    csel w18, w18, w8, lo
2593 ; CHECK-CVT-NEXT:    cmp w0, #255
2594 ; CHECK-CVT-NEXT:    mov v2.s[1], w9
2595 ; CHECK-CVT-NEXT:    csel w0, w0, w8, lo
2596 ; CHECK-CVT-NEXT:    cmp w1, #255
2597 ; CHECK-CVT-NEXT:    fmov s3, w18
2598 ; CHECK-CVT-NEXT:    csel w10, w1, w8, lo
2599 ; CHECK-CVT-NEXT:    cmp w2, #255
2600 ; CHECK-CVT-NEXT:    mov s0, v0.s[3]
2601 ; CHECK-CVT-NEXT:    csel w9, w2, w8, lo
2602 ; CHECK-CVT-NEXT:    cmp w3, #255
2603 ; CHECK-CVT-NEXT:    fcvtzu w2, s1
2604 ; CHECK-CVT-NEXT:    csel w1, w3, w8, lo
2605 ; CHECK-CVT-NEXT:    fmov s1, w13
2606 ; CHECK-CVT-NEXT:    mov v3.s[1], w17
2607 ; CHECK-CVT-NEXT:    fmov s4, w1
2608 ; CHECK-CVT-NEXT:    mov v2.s[2], w11
2609 ; CHECK-CVT-NEXT:    mov v1.s[1], w14
2610 ; CHECK-CVT-NEXT:    cmp w2, #255
2611 ; CHECK-CVT-NEXT:    mov v4.s[1], w9
2612 ; CHECK-CVT-NEXT:    fcvtzu w9, s0
2613 ; CHECK-CVT-NEXT:    csel w11, w2, w8, lo
2614 ; CHECK-CVT-NEXT:    mov v3.s[2], w0
2615 ; CHECK-CVT-NEXT:    mov v2.s[3], w12
2616 ; CHECK-CVT-NEXT:    mov v1.s[2], w15
2617 ; CHECK-CVT-NEXT:    mov v4.s[2], w11
2618 ; CHECK-CVT-NEXT:    cmp w9, #255
2619 ; CHECK-CVT-NEXT:    csel w8, w9, w8, lo
2620 ; CHECK-CVT-NEXT:    mov v3.s[3], w10
2621 ; CHECK-CVT-NEXT:    mov v1.s[3], w16
2622 ; CHECK-CVT-NEXT:    mov v4.s[3], w8
2623 ; CHECK-CVT-NEXT:    uzp1 v0.8h, v1.8h, v2.8h
2624 ; CHECK-CVT-NEXT:    uzp1 v1.8h, v4.8h, v3.8h
2625 ; CHECK-CVT-NEXT:    uzp1 v0.16b, v1.16b, v0.16b
2626 ; CHECK-CVT-NEXT:    ret
2627 ;
2628 ; CHECK-FP16-LABEL: test_unsigned_v16f16_v16i8:
2629 ; CHECK-FP16:       // %bb.0:
2630 ; CHECK-FP16-NEXT:    fcvtzu v0.8h, v0.8h
2631 ; CHECK-FP16-NEXT:    fcvtzu v1.8h, v1.8h
2632 ; CHECK-FP16-NEXT:    uqxtn v0.8b, v0.8h
2633 ; CHECK-FP16-NEXT:    uqxtn2 v0.16b, v1.8h
2634 ; CHECK-FP16-NEXT:    ret
2635     %x = call <16 x i8> @llvm.fptoui.sat.v16f16.v16i8(<16 x half> %f)
2636     ret <16 x i8> %x
2637 }
2638
2639 define <16 x i16> @test_unsigned_v16f16_v16i16(<16 x half> %f) {
2640 ; CHECK-CVT-LABEL: test_unsigned_v16f16_v16i16:
2641 ; CHECK-CVT:       // %bb.0:
2642 ; CHECK-CVT-NEXT:    fcvtl2 v2.4s, v0.8h
2643 ; CHECK-CVT-NEXT:    fcvtl v0.4s, v0.4h
2644 ; CHECK-CVT-NEXT:    mov w8, #65535 // =0xffff
2645 ; CHECK-CVT-NEXT:    mov s3, v2.s[1]
2646 ; CHECK-CVT-NEXT:    mov s4, v2.s[2]
2647 ; CHECK-CVT-NEXT:    mov s5, v2.s[3]
2648 ; CHECK-CVT-NEXT:    fcvtzu w10, s2
2649 ; CHECK-CVT-NEXT:    fcvtl2 v2.4s, v1.8h
2650 ; CHECK-CVT-NEXT:    fcvtzu w13, s0
2651 ; CHECK-CVT-NEXT:    fcvtl v1.4s, v1.4h
2652 ; CHECK-CVT-NEXT:    fcvtzu w9, s3
2653 ; CHECK-CVT-NEXT:    mov s3, v0.s[1]
2654 ; CHECK-CVT-NEXT:    fcvtzu w11, s4
2655 ; CHECK-CVT-NEXT:    mov s4, v0.s[2]
2656 ; CHECK-CVT-NEXT:    fcvtzu w12, s5
2657 ; CHECK-CVT-NEXT:    mov s0, v0.s[3]
2658 ; CHECK-CVT-NEXT:    fcvtzu w18, s2
2659 ; CHECK-CVT-NEXT:    fcvtzu w3, s1
2660 ; CHECK-CVT-NEXT:    fcvtzu w14, s3
2661 ; CHECK-CVT-NEXT:    cmp w9, w8
2662 ; CHECK-CVT-NEXT:    mov s3, v2.s[1]
2663 ; CHECK-CVT-NEXT:    csel w9, w9, w8, lo
2664 ; CHECK-CVT-NEXT:    cmp w10, w8
2665 ; CHECK-CVT-NEXT:    fcvtzu w15, s4
2666 ; CHECK-CVT-NEXT:    csel w10, w10, w8, lo
2667 ; CHECK-CVT-NEXT:    cmp w11, w8
2668 ; CHECK-CVT-NEXT:    mov s4, v2.s[2]
2669 ; CHECK-CVT-NEXT:    csel w11, w11, w8, lo
2670 ; CHECK-CVT-NEXT:    cmp w12, w8
2671 ; CHECK-CVT-NEXT:    fcvtzu w16, s0
2672 ; CHECK-CVT-NEXT:    mov s0, v2.s[3]
2673 ; CHECK-CVT-NEXT:    csel w12, w12, w8, lo
2674 ; CHECK-CVT-NEXT:    cmp w14, w8
2675 ; CHECK-CVT-NEXT:    fcvtzu w17, s3
2676 ; CHECK-CVT-NEXT:    mov s3, v1.s[1]
2677 ; CHECK-CVT-NEXT:    csel w14, w14, w8, lo
2678 ; CHECK-CVT-NEXT:    cmp w13, w8
2679 ; CHECK-CVT-NEXT:    fcvtzu w0, s4
2680 ; CHECK-CVT-NEXT:    fmov s2, w10
2681 ; CHECK-CVT-NEXT:    csel w13, w13, w8, lo
2682 ; CHECK-CVT-NEXT:    cmp w15, w8
2683 ; CHECK-CVT-NEXT:    csel w15, w15, w8, lo
2684 ; CHECK-CVT-NEXT:    cmp w16, w8
2685 ; CHECK-CVT-NEXT:    fcvtzu w1, s0
2686 ; CHECK-CVT-NEXT:    csel w16, w16, w8, lo
2687 ; CHECK-CVT-NEXT:    cmp w17, w8
2688 ; CHECK-CVT-NEXT:    fcvtzu w2, s3
2689 ; CHECK-CVT-NEXT:    csel w17, w17, w8, lo
2690 ; CHECK-CVT-NEXT:    cmp w18, w8
2691 ; CHECK-CVT-NEXT:    mov s0, v1.s[2]
2692 ; CHECK-CVT-NEXT:    csel w18, w18, w8, lo
2693 ; CHECK-CVT-NEXT:    cmp w0, w8
2694 ; CHECK-CVT-NEXT:    mov v2.s[1], w9
2695 ; CHECK-CVT-NEXT:    csel w0, w0, w8, lo
2696 ; CHECK-CVT-NEXT:    cmp w1, w8
2697 ; CHECK-CVT-NEXT:    fmov s3, w18
2698 ; CHECK-CVT-NEXT:    csel w10, w1, w8, lo
2699 ; CHECK-CVT-NEXT:    cmp w2, w8
2700 ; CHECK-CVT-NEXT:    csel w9, w2, w8, lo
2701 ; CHECK-CVT-NEXT:    cmp w3, w8
2702 ; CHECK-CVT-NEXT:    fcvtzu w2, s0
2703 ; CHECK-CVT-NEXT:    csel w1, w3, w8, lo
2704 ; CHECK-CVT-NEXT:    mov s0, v1.s[3]
2705 ; CHECK-CVT-NEXT:    fmov s1, w13
2706 ; CHECK-CVT-NEXT:    fmov s4, w1
2707 ; CHECK-CVT-NEXT:    mov v3.s[1], w17
2708 ; CHECK-CVT-NEXT:    mov v2.s[2], w11
2709 ; CHECK-CVT-NEXT:    mov v1.s[1], w14
2710 ; CHECK-CVT-NEXT:    cmp w2, w8
2711 ; CHECK-CVT-NEXT:    mov v4.s[1], w9
2712 ; CHECK-CVT-NEXT:    fcvtzu w9, s0
2713 ; CHECK-CVT-NEXT:    csel w11, w2, w8, lo
2714 ; CHECK-CVT-NEXT:    mov v3.s[2], w0
2715 ; CHECK-CVT-NEXT:    mov v2.s[3], w12
2716 ; CHECK-CVT-NEXT:    mov v1.s[2], w15
2717 ; CHECK-CVT-NEXT:    mov v4.s[2], w11
2718 ; CHECK-CVT-NEXT:    cmp w9, w8
2719 ; CHECK-CVT-NEXT:    csel w8, w9, w8, lo
2720 ; CHECK-CVT-NEXT:    mov v3.s[3], w10
2721 ; CHECK-CVT-NEXT:    mov v1.s[3], w16
2722 ; CHECK-CVT-NEXT:    mov v4.s[3], w8
2723 ; CHECK-CVT-NEXT:    uzp1 v0.8h, v1.8h, v2.8h
2724 ; CHECK-CVT-NEXT:    uzp1 v1.8h, v4.8h, v3.8h
2725 ; CHECK-CVT-NEXT:    ret
2726 ;
2727 ; CHECK-FP16-LABEL: test_unsigned_v16f16_v16i16:
2728 ; CHECK-FP16:       // %bb.0:
2729 ; CHECK-FP16-NEXT:    fcvtzu v0.8h, v0.8h
2730 ; CHECK-FP16-NEXT:    fcvtzu v1.8h, v1.8h
2731 ; CHECK-FP16-NEXT:    ret
2732     %x = call <16 x i16> @llvm.fptoui.sat.v16f16.v16i16(<16 x half> %f)
2733     ret <16 x i16> %x
2734 }
2735
2736 define <8 x i8> @test_unsigned_v8f64_v8i8(<8 x double> %f) {
2737 ; CHECK-LABEL: test_unsigned_v8f64_v8i8:
2738 ; CHECK:       // %bb.0:
2739 ; CHECK-NEXT:    mov d4, v3.d[1]
2740 ; CHECK-NEXT:    mov d5, v2.d[1]
2741 ; CHECK-NEXT:    mov w11, #255 // =0xff
2742 ; CHECK-NEXT:    fcvtzu w9, d3
2743 ; CHECK-NEXT:    mov d3, v1.d[1]
2744 ; CHECK-NEXT:    fcvtzu w12, d2
2745 ; CHECK-NEXT:    fcvtzu w14, d1
2746 ; CHECK-NEXT:    fcvtzu w8, d4
2747 ; CHECK-NEXT:    mov d4, v0.d[1]
2748 ; CHECK-NEXT:    fcvtzu w10, d5
2749 ; CHECK-NEXT:    fcvtzu w13, d3
2750 ; CHECK-NEXT:    cmp w8, #255
2751 ; CHECK-NEXT:    fcvtzu w15, d4
2752 ; CHECK-NEXT:    csel w8, w8, w11, lo
2753 ; CHECK-NEXT:    cmp w9, #255
2754 ; CHECK-NEXT:    csel w9, w9, w11, lo
2755 ; CHECK-NEXT:    cmp w10, #255
2756 ; CHECK-NEXT:    fmov s4, w9
2757 ; CHECK-NEXT:    csel w9, w10, w11, lo
2758 ; CHECK-NEXT:    cmp w12, #255
2759 ; CHECK-NEXT:    fcvtzu w10, d0
2760 ; CHECK-NEXT:    mov v4.s[1], w8
2761 ; CHECK-NEXT:    csel w8, w12, w11, lo
2762 ; CHECK-NEXT:    cmp w13, #255
2763 ; CHECK-NEXT:    fmov s3, w8
2764 ; CHECK-NEXT:    csel w8, w13, w11, lo
2765 ; CHECK-NEXT:    cmp w14, #255
2766 ; CHECK-NEXT:    mov v3.s[1], w9
2767 ; CHECK-NEXT:    csel w9, w14, w11, lo
2768 ; CHECK-NEXT:    cmp w15, #255
2769 ; CHECK-NEXT:    fmov s2, w9
2770 ; CHECK-NEXT:    csel w9, w15, w11, lo
2771 ; CHECK-NEXT:    cmp w10, #255
2772 ; CHECK-NEXT:    mov v2.s[1], w8
2773 ; CHECK-NEXT:    csel w8, w10, w11, lo
2774 ; CHECK-NEXT:    fmov s1, w8
2775 ; CHECK-NEXT:    adrp x8, .LCPI82_0
2776 ; CHECK-NEXT:    ldr d0, [x8, :lo12:.LCPI82_0]
2777 ; CHECK-NEXT:    mov v1.s[1], w9
2778 ; CHECK-NEXT:    tbl v0.8b, { v1.16b, v2.16b, v3.16b, v4.16b }, v0.8b
2779 ; CHECK-NEXT:    ret
2780     %x = call <8 x i8> @llvm.fptoui.sat.v8f64.v8i8(<8 x double> %f)
2781     ret <8 x i8> %x
2782 }
2783
2784 define <16 x i8> @test_unsigned_v16f64_v16i8(<16 x double> %f) {
2785 ; CHECK-LABEL: test_unsigned_v16f64_v16i8:
2786 ; CHECK:       // %bb.0:
2787 ; CHECK-NEXT:    mov d16, v0.d[1]
2788 ; CHECK-NEXT:    fcvtzu w10, d0
2789 ; CHECK-NEXT:    mov w8, #255 // =0xff
2790 ; CHECK-NEXT:    fcvtzu w9, d16
2791 ; CHECK-NEXT:    mov d16, v1.d[1]
2792 ; CHECK-NEXT:    cmp w9, #255
2793 ; CHECK-NEXT:    csel w9, w9, w8, lo
2794 ; CHECK-NEXT:    cmp w10, #255
2795 ; CHECK-NEXT:    csel w10, w10, w8, lo
2796 ; CHECK-NEXT:    fmov s0, w10
2797 ; CHECK-NEXT:    fcvtzu w10, d16
2798 ; CHECK-NEXT:    mov d16, v2.d[1]
2799 ; CHECK-NEXT:    mov v0.s[1], w9
2800 ; CHECK-NEXT:    fcvtzu w9, d1
2801 ; CHECK-NEXT:    cmp w10, #255
2802 ; CHECK-NEXT:    csel w10, w10, w8, lo
2803 ; CHECK-NEXT:    cmp w9, #255
2804 ; CHECK-NEXT:    mov w11, v0.s[1]
2805 ; CHECK-NEXT:    csel w9, w9, w8, lo
2806 ; CHECK-NEXT:    fmov s1, w9
2807 ; CHECK-NEXT:    fcvtzu w9, d16
2808 ; CHECK-NEXT:    mov d16, v3.d[1]
2809 ; CHECK-NEXT:    mov v0.b[1], w11
2810 ; CHECK-NEXT:    mov v1.s[1], w10
2811 ; CHECK-NEXT:    fcvtzu w10, d2
2812 ; CHECK-NEXT:    cmp w9, #255
2813 ; CHECK-NEXT:    csel w9, w9, w8, lo
2814 ; CHECK-NEXT:    cmp w10, #255
2815 ; CHECK-NEXT:    mov w11, v1.s[1]
2816 ; CHECK-NEXT:    mov v0.b[2], v1.b[0]
2817 ; CHECK-NEXT:    csel w10, w10, w8, lo
2818 ; CHECK-NEXT:    fmov s2, w10
2819 ; CHECK-NEXT:    fcvtzu w10, d16
2820 ; CHECK-NEXT:    mov d16, v4.d[1]
2821 ; CHECK-NEXT:    mov v0.b[3], w11
2822 ; CHECK-NEXT:    mov v2.s[1], w9
2823 ; CHECK-NEXT:    fcvtzu w9, d3
2824 ; CHECK-NEXT:    cmp w10, #255
2825 ; CHECK-NEXT:    csel w10, w10, w8, lo
2826 ; CHECK-NEXT:    cmp w9, #255
2827 ; CHECK-NEXT:    mov w11, v2.s[1]
2828 ; CHECK-NEXT:    mov v0.b[4], v2.b[0]
2829 ; CHECK-NEXT:    csel w9, w9, w8, lo
2830 ; CHECK-NEXT:    fmov s3, w9
2831 ; CHECK-NEXT:    fcvtzu w9, d16
2832 ; CHECK-NEXT:    mov d16, v5.d[1]
2833 ; CHECK-NEXT:    mov v0.b[5], w11
2834 ; CHECK-NEXT:    mov v3.s[1], w10
2835 ; CHECK-NEXT:    fcvtzu w10, d4
2836 ; CHECK-NEXT:    cmp w9, #255
2837 ; CHECK-NEXT:    csel w9, w9, w8, lo
2838 ; CHECK-NEXT:    cmp w10, #255
2839 ; CHECK-NEXT:    mov w11, v3.s[1]
2840 ; CHECK-NEXT:    mov v0.b[6], v3.b[0]
2841 ; CHECK-NEXT:    csel w10, w10, w8, lo
2842 ; CHECK-NEXT:    fmov s4, w10
2843 ; CHECK-NEXT:    fcvtzu w10, d16
2844 ; CHECK-NEXT:    mov v0.b[7], w11
2845 ; CHECK-NEXT:    mov v4.s[1], w9
2846 ; CHECK-NEXT:    fcvtzu w9, d5
2847 ; CHECK-NEXT:    mov d5, v6.d[1]
2848 ; CHECK-NEXT:    cmp w10, #255
2849 ; CHECK-NEXT:    csel w10, w10, w8, lo
2850 ; CHECK-NEXT:    cmp w9, #255
2851 ; CHECK-NEXT:    mov w11, v4.s[1]
2852 ; CHECK-NEXT:    mov v0.b[8], v4.b[0]
2853 ; CHECK-NEXT:    csel w9, w9, w8, lo
2854 ; CHECK-NEXT:    fmov s16, w9
2855 ; CHECK-NEXT:    fcvtzu w9, d5
2856 ; CHECK-NEXT:    mov d5, v7.d[1]
2857 ; CHECK-NEXT:    mov v0.b[9], w11
2858 ; CHECK-NEXT:    mov v16.s[1], w10
2859 ; CHECK-NEXT:    fcvtzu w10, d6
2860 ; CHECK-NEXT:    cmp w9, #255
2861 ; CHECK-NEXT:    csel w9, w9, w8, lo
2862 ; CHECK-NEXT:    cmp w10, #255
2863 ; CHECK-NEXT:    mov v0.b[10], v16.b[0]
2864 ; CHECK-NEXT:    mov w11, v16.s[1]
2865 ; CHECK-NEXT:    csel w10, w10, w8, lo
2866 ; CHECK-NEXT:    fmov s6, w10
2867 ; CHECK-NEXT:    fcvtzu w10, d7
2868 ; CHECK-NEXT:    mov v0.b[11], w11
2869 ; CHECK-NEXT:    mov v6.s[1], w9
2870 ; CHECK-NEXT:    fcvtzu w9, d5
2871 ; CHECK-NEXT:    cmp w9, #255
2872 ; CHECK-NEXT:    mov v0.b[12], v6.b[0]
2873 ; CHECK-NEXT:    mov w11, v6.s[1]
2874 ; CHECK-NEXT:    csel w9, w9, w8, lo
2875 ; CHECK-NEXT:    cmp w10, #255
2876 ; CHECK-NEXT:    csel w8, w10, w8, lo
2877 ; CHECK-NEXT:    fmov s5, w8
2878 ; CHECK-NEXT:    mov v0.b[13], w11
2879 ; CHECK-NEXT:    mov v5.s[1], w9
2880 ; CHECK-NEXT:    mov v0.b[14], v5.b[0]
2881 ; CHECK-NEXT:    mov w8, v5.s[1]
2882 ; CHECK-NEXT:    mov v0.b[15], w8
2883 ; CHECK-NEXT:    ret
2884     %x = call <16 x i8> @llvm.fptoui.sat.v16f64.v16i8(<16 x double> %f)
2885     ret <16 x i8> %x
2886 }
2887
2888 define <8 x i16> @test_unsigned_v8f64_v8i16(<8 x double> %f) {
2889 ; CHECK-LABEL: test_unsigned_v8f64_v8i16:
2890 ; CHECK:       // %bb.0:
2891 ; CHECK-NEXT:    mov d4, v3.d[1]
2892 ; CHECK-NEXT:    mov d5, v2.d[1]
2893 ; CHECK-NEXT:    mov w10, #65535 // =0xffff
2894 ; CHECK-NEXT:    fcvtzu w9, d3
2895 ; CHECK-NEXT:    mov d3, v1.d[1]
2896 ; CHECK-NEXT:    fcvtzu w12, d2
2897 ; CHECK-NEXT:    fcvtzu w14, d1
2898 ; CHECK-NEXT:    fcvtzu w8, d4
2899 ; CHECK-NEXT:    mov d4, v0.d[1]
2900 ; CHECK-NEXT:    fcvtzu w11, d5
2901 ; CHECK-NEXT:    fcvtzu w13, d3
2902 ; CHECK-NEXT:    cmp w8, w10
2903 ; CHECK-NEXT:    fcvtzu w15, d4
2904 ; CHECK-NEXT:    csel w8, w8, w10, lo
2905 ; CHECK-NEXT:    cmp w9, w10
2906 ; CHECK-NEXT:    csel w9, w9, w10, lo
2907 ; CHECK-NEXT:    cmp w11, w10
2908 ; CHECK-NEXT:    fmov s4, w9
2909 ; CHECK-NEXT:    csel w9, w11, w10, lo
2910 ; CHECK-NEXT:    cmp w12, w10
2911 ; CHECK-NEXT:    fcvtzu w11, d0
2912 ; CHECK-NEXT:    mov v4.s[1], w8
2913 ; CHECK-NEXT:    csel w8, w12, w10, lo
2914 ; CHECK-NEXT:    cmp w13, w10
2915 ; CHECK-NEXT:    fmov s3, w8
2916 ; CHECK-NEXT:    csel w8, w13, w10, lo
2917 ; CHECK-NEXT:    cmp w14, w10
2918 ; CHECK-NEXT:    mov v3.s[1], w9
2919 ; CHECK-NEXT:    csel w9, w14, w10, lo
2920 ; CHECK-NEXT:    cmp w15, w10
2921 ; CHECK-NEXT:    fmov s2, w9
2922 ; CHECK-NEXT:    csel w9, w15, w10, lo
2923 ; CHECK-NEXT:    cmp w11, w10
2924 ; CHECK-NEXT:    mov v2.s[1], w8
2925 ; CHECK-NEXT:    csel w8, w11, w10, lo
2926 ; CHECK-NEXT:    fmov s1, w8
2927 ; CHECK-NEXT:    adrp x8, .LCPI84_0
2928 ; CHECK-NEXT:    ldr q0, [x8, :lo12:.LCPI84_0]
2929 ; CHECK-NEXT:    mov v1.s[1], w9
2930 ; CHECK-NEXT:    tbl v0.16b, { v1.16b, v2.16b, v3.16b, v4.16b }, v0.16b
2931 ; CHECK-NEXT:    ret
2932     %x = call <8 x i16> @llvm.fptoui.sat.v8f64.v8i16(<8 x double> %f)
2933     ret <8 x i16> %x
2934 }
2935
2936 define <16 x i16> @test_unsigned_v16f64_v16i16(<16 x double> %f) {
2937 ; CHECK-LABEL: test_unsigned_v16f64_v16i16:
2938 ; CHECK:       // %bb.0:
2939 ; CHECK-NEXT:    mov d16, v3.d[1]
2940 ; CHECK-NEXT:    mov d17, v2.d[1]
2941 ; CHECK-NEXT:    mov w8, #65535 // =0xffff
2942 ; CHECK-NEXT:    fcvtzu w9, d3
2943 ; CHECK-NEXT:    mov d3, v1.d[1]
2944 ; CHECK-NEXT:    fcvtzu w10, d1
2945 ; CHECK-NEXT:    mov d1, v0.d[1]
2946 ; CHECK-NEXT:    fcvtzu w11, d2
2947 ; CHECK-NEXT:    fcvtzu w12, d0
2948 ; CHECK-NEXT:    mov d0, v7.d[1]
2949 ; CHECK-NEXT:    mov d2, v6.d[1]
2950 ; CHECK-NEXT:    fcvtzu w14, d7
2951 ; CHECK-NEXT:    fcvtzu w13, d16
2952 ; CHECK-NEXT:    fcvtzu w16, d17
2953 ; CHECK-NEXT:    fcvtzu w15, d6
2954 ; CHECK-NEXT:    fcvtzu w17, d3
2955 ; CHECK-NEXT:    mov d6, v5.d[1]
2956 ; CHECK-NEXT:    mov d3, v4.d[1]
2957 ; CHECK-NEXT:    fcvtzu w18, d1
2958 ; CHECK-NEXT:    cmp w13, w8
2959 ; CHECK-NEXT:    csel w13, w13, w8, lo
2960 ; CHECK-NEXT:    cmp w9, w8
2961 ; CHECK-NEXT:    csel w9, w9, w8, lo
2962 ; CHECK-NEXT:    cmp w16, w8
2963 ; CHECK-NEXT:    fmov s19, w9
2964 ; CHECK-NEXT:    csel w9, w16, w8, lo
2965 ; CHECK-NEXT:    cmp w11, w8
2966 ; CHECK-NEXT:    fcvtzu w16, d0
2967 ; CHECK-NEXT:    csel w11, w11, w8, lo
2968 ; CHECK-NEXT:    cmp w17, w8
2969 ; CHECK-NEXT:    mov v19.s[1], w13
2970 ; CHECK-NEXT:    csel w13, w17, w8, lo
2971 ; CHECK-NEXT:    cmp w10, w8
2972 ; CHECK-NEXT:    csel w10, w10, w8, lo
2973 ; CHECK-NEXT:    cmp w18, w8
2974 ; CHECK-NEXT:    fmov s18, w11
2975 ; CHECK-NEXT:    csel w11, w18, w8, lo
2976 ; CHECK-NEXT:    cmp w12, w8
2977 ; CHECK-NEXT:    fcvtzu w17, d2
2978 ; CHECK-NEXT:    csel w12, w12, w8, lo
2979 ; CHECK-NEXT:    cmp w16, w8
2980 ; CHECK-NEXT:    fcvtzu w18, d6
2981 ; CHECK-NEXT:    mov v18.s[1], w9
2982 ; CHECK-NEXT:    csel w9, w16, w8, lo
2983 ; CHECK-NEXT:    cmp w14, w8
2984 ; CHECK-NEXT:    fmov s17, w10
2985 ; CHECK-NEXT:    csel w10, w14, w8, lo
2986 ; CHECK-NEXT:    fcvtzu w16, d5
2987 ; CHECK-NEXT:    fmov s23, w10
2988 ; CHECK-NEXT:    cmp w17, w8
2989 ; CHECK-NEXT:    fcvtzu w14, d3
2990 ; CHECK-NEXT:    csel w10, w17, w8, lo
2991 ; CHECK-NEXT:    cmp w15, w8
2992 ; CHECK-NEXT:    fcvtzu w17, d4
2993 ; CHECK-NEXT:    mov v17.s[1], w13
2994 ; CHECK-NEXT:    mov v23.s[1], w9
2995 ; CHECK-NEXT:    csel w9, w15, w8, lo
2996 ; CHECK-NEXT:    cmp w18, w8
2997 ; CHECK-NEXT:    fmov s22, w9
2998 ; CHECK-NEXT:    csel w9, w18, w8, lo
2999 ; CHECK-NEXT:    cmp w16, w8
3000 ; CHECK-NEXT:    fmov s16, w12
3001 ; CHECK-NEXT:    mov v22.s[1], w10
3002 ; CHECK-NEXT:    csel w10, w16, w8, lo
3003 ; CHECK-NEXT:    cmp w14, w8
3004 ; CHECK-NEXT:    fmov s21, w10
3005 ; CHECK-NEXT:    csel w10, w14, w8, lo
3006 ; CHECK-NEXT:    cmp w17, w8
3007 ; CHECK-NEXT:    csel w8, w17, w8, lo
3008 ; CHECK-NEXT:    mov v16.s[1], w11
3009 ; CHECK-NEXT:    mov v21.s[1], w9
3010 ; CHECK-NEXT:    fmov s20, w8
3011 ; CHECK-NEXT:    adrp x8, .LCPI85_0
3012 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI85_0]
3013 ; CHECK-NEXT:    mov v20.s[1], w10
3014 ; CHECK-NEXT:    tbl v0.16b, { v16.16b, v17.16b, v18.16b, v19.16b }, v1.16b
3015 ; CHECK-NEXT:    tbl v1.16b, { v20.16b, v21.16b, v22.16b, v23.16b }, v1.16b
3016 ; CHECK-NEXT:    ret
3017     %x = call <16 x i16> @llvm.fptoui.sat.v16f64.v16i16(<16 x double> %f)
3018     ret <16 x i16> %x
3019 }