test/CodeGen/Thumb2/mve-vcmpf.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=thumbv8.1m.main-arm-none-eabi -mattr=+mve,+fullfp16 -verify-machineinstrs %s -o - | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-MVE
   3 ; RUN: llc -mtriple=thumbv8.1m.main-arm-none-eabi -mattr=+mve.fp -verify-machineinstrs %s -o - | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-MVEFP
   4
   5 define arm_aapcs_vfpcc <4 x float> @vcmp_oeq_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
   6 ; CHECK-MVE-LABEL: vcmp_oeq_v4f32:
   7 ; CHECK-MVE:       @ %bb.0: @ %entry
   8 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s4
   9 ; CHECK-MVE-NEXT:    movs r1, #0
  10 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  11 ; CHECK-MVE-NEXT:    it eq
  12 ; CHECK-MVE-NEXT:    moveq r1, #1
  13 ; CHECK-MVE-NEXT:    cmp r1, #0
  14 ; CHECK-MVE-NEXT:    vcmp.f32 s1, s5
  15 ; CHECK-MVE-NEXT:    cset r1, ne
  16 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  17 ; CHECK-MVE-NEXT:    mov.w r2, #0
  18 ; CHECK-MVE-NEXT:    vcmp.f32 s2, s6
  19 ; CHECK-MVE-NEXT:    it eq
  20 ; CHECK-MVE-NEXT:    moveq r2, #1
  21 ; CHECK-MVE-NEXT:    cmp r2, #0
  22 ; CHECK-MVE-NEXT:    cset r2, ne
  23 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  24 ; CHECK-MVE-NEXT:    mov.w r3, #0
  25 ; CHECK-MVE-NEXT:    vcmp.f32 s3, s7
  26 ; CHECK-MVE-NEXT:    it eq
  27 ; CHECK-MVE-NEXT:    moveq r3, #1
  28 ; CHECK-MVE-NEXT:    cmp r3, #0
  29 ; CHECK-MVE-NEXT:    cset r3, ne
  30 ; CHECK-MVE-NEXT:    movs r0, #0
  31 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  32 ; CHECK-MVE-NEXT:    it eq
  33 ; CHECK-MVE-NEXT:    moveq r0, #1
  34 ; CHECK-MVE-NEXT:    cmp r0, #0
  35 ; CHECK-MVE-NEXT:    cset r0, ne
  36 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
  37 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
  38 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
  39 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
  40 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
  41 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
  42 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
  43 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
  44 ; CHECK-MVE-NEXT:    bx lr
  45 ;
  46 ; CHECK-MVEFP-LABEL: vcmp_oeq_v4f32:
  47 ; CHECK-MVEFP:       @ %bb.0: @ %entry
  48 ; CHECK-MVEFP-NEXT:    vcmp.f32 eq, q0, q1
  49 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
  50 ; CHECK-MVEFP-NEXT:    bx lr
  51 entry:
  52   %c = fcmp oeq <4 x float> %src, %src2
  53   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
  54   ret <4 x float> %s
  55 }
  56
  57 define arm_aapcs_vfpcc <4 x float> @vcmp_one_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
  58 ; CHECK-MVE-LABEL: vcmp_one_v4f32:
  59 ; CHECK-MVE:       @ %bb.0: @ %entry
  60 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s4
  61 ; CHECK-MVE-NEXT:    movs r1, #0
  62 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  63 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s4
  64 ; CHECK-MVE-NEXT:    it mi
  65 ; CHECK-MVE-NEXT:    movmi r1, #1
  66 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  67 ; CHECK-MVE-NEXT:    it gt
  68 ; CHECK-MVE-NEXT:    movgt r1, #1
  69 ; CHECK-MVE-NEXT:    cmp r1, #0
  70 ; CHECK-MVE-NEXT:    vcmp.f32 s1, s5
  71 ; CHECK-MVE-NEXT:    mov.w r2, #0
  72 ; CHECK-MVE-NEXT:    cset r1, ne
  73 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  74 ; CHECK-MVE-NEXT:    it mi
  75 ; CHECK-MVE-NEXT:    movmi r2, #1
  76 ; CHECK-MVE-NEXT:    vcmp.f32 s2, s6
  77 ; CHECK-MVE-NEXT:    it gt
  78 ; CHECK-MVE-NEXT:    movgt r2, #1
  79 ; CHECK-MVE-NEXT:    cmp r2, #0
  80 ; CHECK-MVE-NEXT:    mov.w r3, #0
  81 ; CHECK-MVE-NEXT:    cset r2, ne
  82 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  83 ; CHECK-MVE-NEXT:    it mi
  84 ; CHECK-MVE-NEXT:    movmi r3, #1
  85 ; CHECK-MVE-NEXT:    it gt
  86 ; CHECK-MVE-NEXT:    movgt r3, #1
  87 ; CHECK-MVE-NEXT:    cmp r3, #0
  88 ; CHECK-MVE-NEXT:    mov.w r0, #0
  89 ; CHECK-MVE-NEXT:    vcmp.f32 s3, s7
  90 ; CHECK-MVE-NEXT:    cset r3, ne
  91 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  92 ; CHECK-MVE-NEXT:    it mi
  93 ; CHECK-MVE-NEXT:    movmi r0, #1
  94 ; CHECK-MVE-NEXT:    it gt
  95 ; CHECK-MVE-NEXT:    movgt r0, #1
  96 ; CHECK-MVE-NEXT:    cmp r0, #0
  97 ; CHECK-MVE-NEXT:    cset r0, ne
  98 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
  99 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 100 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 101 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 102 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 103 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 104 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 105 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 106 ; CHECK-MVE-NEXT:    bx lr
 107 ;
 108 ; CHECK-MVEFP-LABEL: vcmp_one_v4f32:
 109 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 110 ; CHECK-MVEFP-NEXT:    vcmp.f32 le, q1, q0
 111 ; CHECK-MVEFP-NEXT:    vpst
 112 ; CHECK-MVEFP-NEXT:    vcmpt.f32 le, q0, q1
 113 ; CHECK-MVEFP-NEXT:    vpnot
 114 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 115 ; CHECK-MVEFP-NEXT:    bx lr
 116 entry:
 117   %c = fcmp one <4 x float> %src, %src2
 118   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 119   ret <4 x float> %s
 120 }
 121
 122 define arm_aapcs_vfpcc <4 x float> @vcmp_ogt_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 123 ; CHECK-MVE-LABEL: vcmp_ogt_v4f32:
 124 ; CHECK-MVE:       @ %bb.0: @ %entry
 125 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 126 ; CHECK-MVE-NEXT:    movs r1, #0
 127 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 128 ; CHECK-MVE-NEXT:    it gt
 129 ; CHECK-MVE-NEXT:    movgt r1, #1
 130 ; CHECK-MVE-NEXT:    cmp r1, #0
 131 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 132 ; CHECK-MVE-NEXT:    cset r1, ne
 133 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 134 ; CHECK-MVE-NEXT:    mov.w r2, #0
 135 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 136 ; CHECK-MVE-NEXT:    it gt
 137 ; CHECK-MVE-NEXT:    movgt r2, #1
 138 ; CHECK-MVE-NEXT:    cmp r2, #0
 139 ; CHECK-MVE-NEXT:    cset r2, ne
 140 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 141 ; CHECK-MVE-NEXT:    mov.w r3, #0
 142 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 143 ; CHECK-MVE-NEXT:    it gt
 144 ; CHECK-MVE-NEXT:    movgt r3, #1
 145 ; CHECK-MVE-NEXT:    cmp r3, #0
 146 ; CHECK-MVE-NEXT:    cset r3, ne
 147 ; CHECK-MVE-NEXT:    movs r0, #0
 148 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 149 ; CHECK-MVE-NEXT:    it gt
 150 ; CHECK-MVE-NEXT:    movgt r0, #1
 151 ; CHECK-MVE-NEXT:    cmp r0, #0
 152 ; CHECK-MVE-NEXT:    cset r0, ne
 153 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 154 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 155 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 156 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 157 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 158 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 159 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 160 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 161 ; CHECK-MVE-NEXT:    bx lr
 162 ;
 163 ; CHECK-MVEFP-LABEL: vcmp_ogt_v4f32:
 164 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 165 ; CHECK-MVEFP-NEXT:    vcmp.f32 gt, q0, q1
 166 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 167 ; CHECK-MVEFP-NEXT:    bx lr
 168 entry:
 169   %c = fcmp ogt <4 x float> %src, %src2
 170   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 171   ret <4 x float> %s
 172 }
 173
 174 define arm_aapcs_vfpcc <4 x float> @vcmp_oge_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 175 ; CHECK-MVE-LABEL: vcmp_oge_v4f32:
 176 ; CHECK-MVE:       @ %bb.0: @ %entry
 177 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 178 ; CHECK-MVE-NEXT:    movs r1, #0
 179 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 180 ; CHECK-MVE-NEXT:    it ge
 181 ; CHECK-MVE-NEXT:    movge r1, #1
 182 ; CHECK-MVE-NEXT:    cmp r1, #0
 183 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 184 ; CHECK-MVE-NEXT:    cset r1, ne
 185 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 186 ; CHECK-MVE-NEXT:    mov.w r2, #0
 187 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 188 ; CHECK-MVE-NEXT:    it ge
 189 ; CHECK-MVE-NEXT:    movge r2, #1
 190 ; CHECK-MVE-NEXT:    cmp r2, #0
 191 ; CHECK-MVE-NEXT:    cset r2, ne
 192 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 193 ; CHECK-MVE-NEXT:    mov.w r3, #0
 194 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 195 ; CHECK-MVE-NEXT:    it ge
 196 ; CHECK-MVE-NEXT:    movge r3, #1
 197 ; CHECK-MVE-NEXT:    cmp r3, #0
 198 ; CHECK-MVE-NEXT:    cset r3, ne
 199 ; CHECK-MVE-NEXT:    movs r0, #0
 200 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 201 ; CHECK-MVE-NEXT:    it ge
 202 ; CHECK-MVE-NEXT:    movge r0, #1
 203 ; CHECK-MVE-NEXT:    cmp r0, #0
 204 ; CHECK-MVE-NEXT:    cset r0, ne
 205 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 206 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 207 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 208 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 209 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 210 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 211 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 212 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 213 ; CHECK-MVE-NEXT:    bx lr
 214 ;
 215 ; CHECK-MVEFP-LABEL: vcmp_oge_v4f32:
 216 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 217 ; CHECK-MVEFP-NEXT:    vcmp.f32 ge, q0, q1
 218 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 219 ; CHECK-MVEFP-NEXT:    bx lr
 220 entry:
 221   %c = fcmp oge <4 x float> %src, %src2
 222   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 223   ret <4 x float> %s
 224 }
 225
 226 define arm_aapcs_vfpcc <4 x float> @vcmp_olt_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 227 ; CHECK-MVE-LABEL: vcmp_olt_v4f32:
 228 ; CHECK-MVE:       @ %bb.0: @ %entry
 229 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 230 ; CHECK-MVE-NEXT:    movs r1, #0
 231 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 232 ; CHECK-MVE-NEXT:    it mi
 233 ; CHECK-MVE-NEXT:    movmi r1, #1
 234 ; CHECK-MVE-NEXT:    cmp r1, #0
 235 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 236 ; CHECK-MVE-NEXT:    cset r1, ne
 237 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 238 ; CHECK-MVE-NEXT:    mov.w r2, #0
 239 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 240 ; CHECK-MVE-NEXT:    it mi
 241 ; CHECK-MVE-NEXT:    movmi r2, #1
 242 ; CHECK-MVE-NEXT:    cmp r2, #0
 243 ; CHECK-MVE-NEXT:    cset r2, ne
 244 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 245 ; CHECK-MVE-NEXT:    mov.w r3, #0
 246 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 247 ; CHECK-MVE-NEXT:    it mi
 248 ; CHECK-MVE-NEXT:    movmi r3, #1
 249 ; CHECK-MVE-NEXT:    cmp r3, #0
 250 ; CHECK-MVE-NEXT:    cset r3, ne
 251 ; CHECK-MVE-NEXT:    movs r0, #0
 252 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 253 ; CHECK-MVE-NEXT:    it mi
 254 ; CHECK-MVE-NEXT:    movmi r0, #1
 255 ; CHECK-MVE-NEXT:    cmp r0, #0
 256 ; CHECK-MVE-NEXT:    cset r0, ne
 257 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 258 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 259 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 260 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 261 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 262 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 263 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 264 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 265 ; CHECK-MVE-NEXT:    bx lr
 266 ;
 267 ; CHECK-MVEFP-LABEL: vcmp_olt_v4f32:
 268 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 269 ; CHECK-MVEFP-NEXT:    vcmp.f32 gt, q1, q0
 270 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 271 ; CHECK-MVEFP-NEXT:    bx lr
 272 entry:
 273   %c = fcmp olt <4 x float> %src, %src2
 274   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 275   ret <4 x float> %s
 276 }
 277
 278 define arm_aapcs_vfpcc <4 x float> @vcmp_ole_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 279 ; CHECK-MVE-LABEL: vcmp_ole_v4f32:
 280 ; CHECK-MVE:       @ %bb.0: @ %entry
 281 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 282 ; CHECK-MVE-NEXT:    movs r1, #0
 283 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 284 ; CHECK-MVE-NEXT:    it ls
 285 ; CHECK-MVE-NEXT:    movls r1, #1
 286 ; CHECK-MVE-NEXT:    cmp r1, #0
 287 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 288 ; CHECK-MVE-NEXT:    cset r1, ne
 289 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 290 ; CHECK-MVE-NEXT:    mov.w r2, #0
 291 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 292 ; CHECK-MVE-NEXT:    it ls
 293 ; CHECK-MVE-NEXT:    movls r2, #1
 294 ; CHECK-MVE-NEXT:    cmp r2, #0
 295 ; CHECK-MVE-NEXT:    cset r2, ne
 296 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 297 ; CHECK-MVE-NEXT:    mov.w r3, #0
 298 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 299 ; CHECK-MVE-NEXT:    it ls
 300 ; CHECK-MVE-NEXT:    movls r3, #1
 301 ; CHECK-MVE-NEXT:    cmp r3, #0
 302 ; CHECK-MVE-NEXT:    cset r3, ne
 303 ; CHECK-MVE-NEXT:    movs r0, #0
 304 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 305 ; CHECK-MVE-NEXT:    it ls
 306 ; CHECK-MVE-NEXT:    movls r0, #1
 307 ; CHECK-MVE-NEXT:    cmp r0, #0
 308 ; CHECK-MVE-NEXT:    cset r0, ne
 309 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 310 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 311 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 312 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 313 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 314 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 315 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 316 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 317 ; CHECK-MVE-NEXT:    bx lr
 318 ;
 319 ; CHECK-MVEFP-LABEL: vcmp_ole_v4f32:
 320 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 321 ; CHECK-MVEFP-NEXT:    vcmp.f32 ge, q1, q0
 322 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 323 ; CHECK-MVEFP-NEXT:    bx lr
 324 entry:
 325   %c = fcmp ole <4 x float> %src, %src2
 326   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 327   ret <4 x float> %s
 328 }
 329
 330 define arm_aapcs_vfpcc <4 x float> @vcmp_ueq_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 331 ; CHECK-MVE-LABEL: vcmp_ueq_v4f32:
 332 ; CHECK-MVE:       @ %bb.0: @ %entry
 333 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s4
 334 ; CHECK-MVE-NEXT:    movs r1, #0
 335 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 336 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s4
 337 ; CHECK-MVE-NEXT:    it eq
 338 ; CHECK-MVE-NEXT:    moveq r1, #1
 339 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 340 ; CHECK-MVE-NEXT:    it vs
 341 ; CHECK-MVE-NEXT:    movvs r1, #1
 342 ; CHECK-MVE-NEXT:    cmp r1, #0
 343 ; CHECK-MVE-NEXT:    vcmp.f32 s1, s5
 344 ; CHECK-MVE-NEXT:    mov.w r2, #0
 345 ; CHECK-MVE-NEXT:    cset r1, ne
 346 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 347 ; CHECK-MVE-NEXT:    it eq
 348 ; CHECK-MVE-NEXT:    moveq r2, #1
 349 ; CHECK-MVE-NEXT:    vcmp.f32 s2, s6
 350 ; CHECK-MVE-NEXT:    it vs
 351 ; CHECK-MVE-NEXT:    movvs r2, #1
 352 ; CHECK-MVE-NEXT:    cmp r2, #0
 353 ; CHECK-MVE-NEXT:    mov.w r3, #0
 354 ; CHECK-MVE-NEXT:    cset r2, ne
 355 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 356 ; CHECK-MVE-NEXT:    it eq
 357 ; CHECK-MVE-NEXT:    moveq r3, #1
 358 ; CHECK-MVE-NEXT:    it vs
 359 ; CHECK-MVE-NEXT:    movvs r3, #1
 360 ; CHECK-MVE-NEXT:    cmp r3, #0
 361 ; CHECK-MVE-NEXT:    mov.w r0, #0
 362 ; CHECK-MVE-NEXT:    vcmp.f32 s3, s7
 363 ; CHECK-MVE-NEXT:    cset r3, ne
 364 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 365 ; CHECK-MVE-NEXT:    it eq
 366 ; CHECK-MVE-NEXT:    moveq r0, #1
 367 ; CHECK-MVE-NEXT:    it vs
 368 ; CHECK-MVE-NEXT:    movvs r0, #1
 369 ; CHECK-MVE-NEXT:    cmp r0, #0
 370 ; CHECK-MVE-NEXT:    cset r0, ne
 371 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 372 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 373 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 374 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 375 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 376 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 377 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 378 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 379 ; CHECK-MVE-NEXT:    bx lr
 380 ;
 381 ; CHECK-MVEFP-LABEL: vcmp_ueq_v4f32:
 382 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 383 ; CHECK-MVEFP-NEXT:    vcmp.f32 le, q1, q0
 384 ; CHECK-MVEFP-NEXT:    vpst
 385 ; CHECK-MVEFP-NEXT:    vcmpt.f32 le, q0, q1
 386 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 387 ; CHECK-MVEFP-NEXT:    bx lr
 388 entry:
 389   %c = fcmp ueq <4 x float> %src, %src2
 390   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 391   ret <4 x float> %s
 392 }
 393
 394 define arm_aapcs_vfpcc <4 x float> @vcmp_une_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 395 ; CHECK-MVE-LABEL: vcmp_une_v4f32:
 396 ; CHECK-MVE:       @ %bb.0: @ %entry
 397 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s4
 398 ; CHECK-MVE-NEXT:    movs r1, #0
 399 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 400 ; CHECK-MVE-NEXT:    it ne
 401 ; CHECK-MVE-NEXT:    movne r1, #1
 402 ; CHECK-MVE-NEXT:    cmp r1, #0
 403 ; CHECK-MVE-NEXT:    vcmp.f32 s1, s5
 404 ; CHECK-MVE-NEXT:    cset r1, ne
 405 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 406 ; CHECK-MVE-NEXT:    mov.w r2, #0
 407 ; CHECK-MVE-NEXT:    vcmp.f32 s2, s6
 408 ; CHECK-MVE-NEXT:    it ne
 409 ; CHECK-MVE-NEXT:    movne r2, #1
 410 ; CHECK-MVE-NEXT:    cmp r2, #0
 411 ; CHECK-MVE-NEXT:    cset r2, ne
 412 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 413 ; CHECK-MVE-NEXT:    mov.w r3, #0
 414 ; CHECK-MVE-NEXT:    vcmp.f32 s3, s7
 415 ; CHECK-MVE-NEXT:    it ne
 416 ; CHECK-MVE-NEXT:    movne r3, #1
 417 ; CHECK-MVE-NEXT:    cmp r3, #0
 418 ; CHECK-MVE-NEXT:    cset r3, ne
 419 ; CHECK-MVE-NEXT:    movs r0, #0
 420 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 421 ; CHECK-MVE-NEXT:    it ne
 422 ; CHECK-MVE-NEXT:    movne r0, #1
 423 ; CHECK-MVE-NEXT:    cmp r0, #0
 424 ; CHECK-MVE-NEXT:    cset r0, ne
 425 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 426 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 427 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 428 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 429 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 430 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 431 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 432 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 433 ; CHECK-MVE-NEXT:    bx lr
 434 ;
 435 ; CHECK-MVEFP-LABEL: vcmp_une_v4f32:
 436 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 437 ; CHECK-MVEFP-NEXT:    vcmp.f32 ne, q0, q1
 438 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 439 ; CHECK-MVEFP-NEXT:    bx lr
 440 entry:
 441   %c = fcmp une <4 x float> %src, %src2
 442   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 443   ret <4 x float> %s
 444 }
 445
 446 define arm_aapcs_vfpcc <4 x float> @vcmp_ugt_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 447 ; CHECK-MVE-LABEL: vcmp_ugt_v4f32:
 448 ; CHECK-MVE:       @ %bb.0: @ %entry
 449 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 450 ; CHECK-MVE-NEXT:    movs r1, #0
 451 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 452 ; CHECK-MVE-NEXT:    it hi
 453 ; CHECK-MVE-NEXT:    movhi r1, #1
 454 ; CHECK-MVE-NEXT:    cmp r1, #0
 455 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 456 ; CHECK-MVE-NEXT:    cset r1, ne
 457 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 458 ; CHECK-MVE-NEXT:    mov.w r2, #0
 459 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 460 ; CHECK-MVE-NEXT:    it hi
 461 ; CHECK-MVE-NEXT:    movhi r2, #1
 462 ; CHECK-MVE-NEXT:    cmp r2, #0
 463 ; CHECK-MVE-NEXT:    cset r2, ne
 464 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 465 ; CHECK-MVE-NEXT:    mov.w r3, #0
 466 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 467 ; CHECK-MVE-NEXT:    it hi
 468 ; CHECK-MVE-NEXT:    movhi r3, #1
 469 ; CHECK-MVE-NEXT:    cmp r3, #0
 470 ; CHECK-MVE-NEXT:    cset r3, ne
 471 ; CHECK-MVE-NEXT:    movs r0, #0
 472 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 473 ; CHECK-MVE-NEXT:    it hi
 474 ; CHECK-MVE-NEXT:    movhi r0, #1
 475 ; CHECK-MVE-NEXT:    cmp r0, #0
 476 ; CHECK-MVE-NEXT:    cset r0, ne
 477 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 478 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 479 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 480 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 481 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 482 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 483 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 484 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 485 ; CHECK-MVE-NEXT:    bx lr
 486 ;
 487 ; CHECK-MVEFP-LABEL: vcmp_ugt_v4f32:
 488 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 489 ; CHECK-MVEFP-NEXT:    vcmp.f32 ge, q1, q0
 490 ; CHECK-MVEFP-NEXT:    vpnot
 491 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 492 ; CHECK-MVEFP-NEXT:    bx lr
 493 entry:
 494   %c = fcmp ugt <4 x float> %src, %src2
 495   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 496   ret <4 x float> %s
 497 }
 498
 499 define arm_aapcs_vfpcc <4 x float> @vcmp_uge_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 500 ; CHECK-MVE-LABEL: vcmp_uge_v4f32:
 501 ; CHECK-MVE:       @ %bb.0: @ %entry
 502 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 503 ; CHECK-MVE-NEXT:    movs r1, #0
 504 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 505 ; CHECK-MVE-NEXT:    it pl
 506 ; CHECK-MVE-NEXT:    movpl r1, #1
 507 ; CHECK-MVE-NEXT:    cmp r1, #0
 508 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 509 ; CHECK-MVE-NEXT:    cset r1, ne
 510 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 511 ; CHECK-MVE-NEXT:    mov.w r2, #0
 512 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 513 ; CHECK-MVE-NEXT:    it pl
 514 ; CHECK-MVE-NEXT:    movpl r2, #1
 515 ; CHECK-MVE-NEXT:    cmp r2, #0
 516 ; CHECK-MVE-NEXT:    cset r2, ne
 517 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 518 ; CHECK-MVE-NEXT:    mov.w r3, #0
 519 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 520 ; CHECK-MVE-NEXT:    it pl
 521 ; CHECK-MVE-NEXT:    movpl r3, #1
 522 ; CHECK-MVE-NEXT:    cmp r3, #0
 523 ; CHECK-MVE-NEXT:    cset r3, ne
 524 ; CHECK-MVE-NEXT:    movs r0, #0
 525 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 526 ; CHECK-MVE-NEXT:    it pl
 527 ; CHECK-MVE-NEXT:    movpl r0, #1
 528 ; CHECK-MVE-NEXT:    cmp r0, #0
 529 ; CHECK-MVE-NEXT:    cset r0, ne
 530 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 531 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 532 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 533 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 534 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 535 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 536 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 537 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 538 ; CHECK-MVE-NEXT:    bx lr
 539 ;
 540 ; CHECK-MVEFP-LABEL: vcmp_uge_v4f32:
 541 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 542 ; CHECK-MVEFP-NEXT:    vcmp.f32 gt, q1, q0
 543 ; CHECK-MVEFP-NEXT:    vpnot
 544 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 545 ; CHECK-MVEFP-NEXT:    bx lr
 546 entry:
 547   %c = fcmp uge <4 x float> %src, %src2
 548   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 549   ret <4 x float> %s
 550 }
 551
 552 define arm_aapcs_vfpcc <4 x float> @vcmp_ult_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 553 ; CHECK-MVE-LABEL: vcmp_ult_v4f32:
 554 ; CHECK-MVE:       @ %bb.0: @ %entry
 555 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 556 ; CHECK-MVE-NEXT:    movs r1, #0
 557 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 558 ; CHECK-MVE-NEXT:    it lt
 559 ; CHECK-MVE-NEXT:    movlt r1, #1
 560 ; CHECK-MVE-NEXT:    cmp r1, #0
 561 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 562 ; CHECK-MVE-NEXT:    cset r1, ne
 563 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 564 ; CHECK-MVE-NEXT:    mov.w r2, #0
 565 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 566 ; CHECK-MVE-NEXT:    it lt
 567 ; CHECK-MVE-NEXT:    movlt r2, #1
 568 ; CHECK-MVE-NEXT:    cmp r2, #0
 569 ; CHECK-MVE-NEXT:    cset r2, ne
 570 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 571 ; CHECK-MVE-NEXT:    mov.w r3, #0
 572 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 573 ; CHECK-MVE-NEXT:    it lt
 574 ; CHECK-MVE-NEXT:    movlt r3, #1
 575 ; CHECK-MVE-NEXT:    cmp r3, #0
 576 ; CHECK-MVE-NEXT:    cset r3, ne
 577 ; CHECK-MVE-NEXT:    movs r0, #0
 578 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 579 ; CHECK-MVE-NEXT:    it lt
 580 ; CHECK-MVE-NEXT:    movlt r0, #1
 581 ; CHECK-MVE-NEXT:    cmp r0, #0
 582 ; CHECK-MVE-NEXT:    cset r0, ne
 583 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 584 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 585 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 586 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 587 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 588 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 589 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 590 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 591 ; CHECK-MVE-NEXT:    bx lr
 592 ;
 593 ; CHECK-MVEFP-LABEL: vcmp_ult_v4f32:
 594 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 595 ; CHECK-MVEFP-NEXT:    vcmp.f32 ge, q0, q1
 596 ; CHECK-MVEFP-NEXT:    vpnot
 597 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 598 ; CHECK-MVEFP-NEXT:    bx lr
 599 entry:
 600   %c = fcmp ult <4 x float> %src, %src2
 601   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 602   ret <4 x float> %s
 603 }
 604
 605 define arm_aapcs_vfpcc <4 x float> @vcmp_ule_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 606 ; CHECK-MVE-LABEL: vcmp_ule_v4f32:
 607 ; CHECK-MVE:       @ %bb.0: @ %entry
 608 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 609 ; CHECK-MVE-NEXT:    movs r1, #0
 610 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 611 ; CHECK-MVE-NEXT:    it le
 612 ; CHECK-MVE-NEXT:    movle r1, #1
 613 ; CHECK-MVE-NEXT:    cmp r1, #0
 614 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 615 ; CHECK-MVE-NEXT:    cset r1, ne
 616 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 617 ; CHECK-MVE-NEXT:    mov.w r2, #0
 618 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 619 ; CHECK-MVE-NEXT:    it le
 620 ; CHECK-MVE-NEXT:    movle r2, #1
 621 ; CHECK-MVE-NEXT:    cmp r2, #0
 622 ; CHECK-MVE-NEXT:    cset r2, ne
 623 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 624 ; CHECK-MVE-NEXT:    mov.w r3, #0
 625 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 626 ; CHECK-MVE-NEXT:    it le
 627 ; CHECK-MVE-NEXT:    movle r3, #1
 628 ; CHECK-MVE-NEXT:    cmp r3, #0
 629 ; CHECK-MVE-NEXT:    cset r3, ne
 630 ; CHECK-MVE-NEXT:    movs r0, #0
 631 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 632 ; CHECK-MVE-NEXT:    it le
 633 ; CHECK-MVE-NEXT:    movle r0, #1
 634 ; CHECK-MVE-NEXT:    cmp r0, #0
 635 ; CHECK-MVE-NEXT:    cset r0, ne
 636 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 637 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 638 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 639 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 640 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 641 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 642 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 643 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 644 ; CHECK-MVE-NEXT:    bx lr
 645 ;
 646 ; CHECK-MVEFP-LABEL: vcmp_ule_v4f32:
 647 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 648 ; CHECK-MVEFP-NEXT:    vcmp.f32 gt, q0, q1
 649 ; CHECK-MVEFP-NEXT:    vpnot
 650 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 651 ; CHECK-MVEFP-NEXT:    bx lr
 652 entry:
 653   %c = fcmp ule <4 x float> %src, %src2
 654   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 655   ret <4 x float> %s
 656 }
 657
 658 define arm_aapcs_vfpcc <4 x float> @vcmp_ord_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 659 ; CHECK-MVE-LABEL: vcmp_ord_v4f32:
 660 ; CHECK-MVE:       @ %bb.0: @ %entry
 661 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 662 ; CHECK-MVE-NEXT:    movs r1, #0
 663 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 664 ; CHECK-MVE-NEXT:    it vc
 665 ; CHECK-MVE-NEXT:    movvc r1, #1
 666 ; CHECK-MVE-NEXT:    cmp r1, #0
 667 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 668 ; CHECK-MVE-NEXT:    cset r1, ne
 669 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 670 ; CHECK-MVE-NEXT:    mov.w r2, #0
 671 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 672 ; CHECK-MVE-NEXT:    it vc
 673 ; CHECK-MVE-NEXT:    movvc r2, #1
 674 ; CHECK-MVE-NEXT:    cmp r2, #0
 675 ; CHECK-MVE-NEXT:    cset r2, ne
 676 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 677 ; CHECK-MVE-NEXT:    mov.w r3, #0
 678 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 679 ; CHECK-MVE-NEXT:    it vc
 680 ; CHECK-MVE-NEXT:    movvc r3, #1
 681 ; CHECK-MVE-NEXT:    cmp r3, #0
 682 ; CHECK-MVE-NEXT:    cset r3, ne
 683 ; CHECK-MVE-NEXT:    movs r0, #0
 684 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 685 ; CHECK-MVE-NEXT:    it vc
 686 ; CHECK-MVE-NEXT:    movvc r0, #1
 687 ; CHECK-MVE-NEXT:    cmp r0, #0
 688 ; CHECK-MVE-NEXT:    cset r0, ne
 689 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 690 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 691 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 692 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 693 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 694 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 695 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 696 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 697 ; CHECK-MVE-NEXT:    bx lr
 698 ;
 699 ; CHECK-MVEFP-LABEL: vcmp_ord_v4f32:
 700 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 701 ; CHECK-MVEFP-NEXT:    vcmp.f32 le, q1, q0
 702 ; CHECK-MVEFP-NEXT:    vpst
 703 ; CHECK-MVEFP-NEXT:    vcmpt.f32 lt, q0, q1
 704 ; CHECK-MVEFP-NEXT:    vpnot
 705 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 706 ; CHECK-MVEFP-NEXT:    bx lr
 707 entry:
 708   %c = fcmp ord <4 x float> %src, %src2
 709   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 710   ret <4 x float> %s
 711 }
 712
 713 define arm_aapcs_vfpcc <4 x float> @vcmp_uno_v4f32(<4 x float> %src, <4 x float> %src2, <4 x float> %a, <4 x float> %b) {
 714 ; CHECK-MVE-LABEL: vcmp_uno_v4f32:
 715 ; CHECK-MVE:       @ %bb.0: @ %entry
 716 ; CHECK-MVE-NEXT:    vcmpe.f32 s0, s4
 717 ; CHECK-MVE-NEXT:    movs r1, #0
 718 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 719 ; CHECK-MVE-NEXT:    it vs
 720 ; CHECK-MVE-NEXT:    movvs r1, #1
 721 ; CHECK-MVE-NEXT:    cmp r1, #0
 722 ; CHECK-MVE-NEXT:    vcmpe.f32 s1, s5
 723 ; CHECK-MVE-NEXT:    cset r1, ne
 724 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 725 ; CHECK-MVE-NEXT:    mov.w r2, #0
 726 ; CHECK-MVE-NEXT:    vcmpe.f32 s2, s6
 727 ; CHECK-MVE-NEXT:    it vs
 728 ; CHECK-MVE-NEXT:    movvs r2, #1
 729 ; CHECK-MVE-NEXT:    cmp r2, #0
 730 ; CHECK-MVE-NEXT:    cset r2, ne
 731 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 732 ; CHECK-MVE-NEXT:    mov.w r3, #0
 733 ; CHECK-MVE-NEXT:    vcmpe.f32 s3, s7
 734 ; CHECK-MVE-NEXT:    it vs
 735 ; CHECK-MVE-NEXT:    movvs r3, #1
 736 ; CHECK-MVE-NEXT:    cmp r3, #0
 737 ; CHECK-MVE-NEXT:    cset r3, ne
 738 ; CHECK-MVE-NEXT:    movs r0, #0
 739 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 740 ; CHECK-MVE-NEXT:    it vs
 741 ; CHECK-MVE-NEXT:    movvs r0, #1
 742 ; CHECK-MVE-NEXT:    cmp r0, #0
 743 ; CHECK-MVE-NEXT:    cset r0, ne
 744 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 745 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s15, s11
 746 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 747 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s14, s10
 748 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 749 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s13, s9
 750 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 751 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s12, s8
 752 ; CHECK-MVE-NEXT:    bx lr
 753 ;
 754 ; CHECK-MVEFP-LABEL: vcmp_uno_v4f32:
 755 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 756 ; CHECK-MVEFP-NEXT:    vcmp.f32 le, q1, q0
 757 ; CHECK-MVEFP-NEXT:    vpst
 758 ; CHECK-MVEFP-NEXT:    vcmpt.f32 lt, q0, q1
 759 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 760 ; CHECK-MVEFP-NEXT:    bx lr
 761 entry:
 762   %c = fcmp uno <4 x float> %src, %src2
 763   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 764   ret <4 x float> %s
 765 }
 766
 767
 768
 769 define arm_aapcs_vfpcc <8 x half> @vcmp_oeq_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
 770 ; CHECK-MVE-LABEL: vcmp_oeq_v8f16:
 771 ; CHECK-MVE:       @ %bb.0: @ %entry
 772 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
 773 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
 774 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
 775 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
 776 ; CHECK-MVE-NEXT:    vcmp.f16 s18, s16
 777 ; CHECK-MVE-NEXT:    movs r1, #0
 778 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 779 ; CHECK-MVE-NEXT:    it eq
 780 ; CHECK-MVE-NEXT:    moveq r1, #1
 781 ; CHECK-MVE-NEXT:    cmp r1, #0
 782 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
 783 ; CHECK-MVE-NEXT:    cset r1, ne
 784 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
 785 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
 786 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 787 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
 788 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 789 ; CHECK-MVE-NEXT:    mov.w r2, #0
 790 ; CHECK-MVE-NEXT:    vmov r1, s16
 791 ; CHECK-MVE-NEXT:    it eq
 792 ; CHECK-MVE-NEXT:    moveq r2, #1
 793 ; CHECK-MVE-NEXT:    cmp r2, #0
 794 ; CHECK-MVE-NEXT:    cset r2, ne
 795 ; CHECK-MVE-NEXT:    vcmp.f16 s1, s5
 796 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
 797 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
 798 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
 799 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 800 ; CHECK-MVE-NEXT:    vmov r2, s16
 801 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
 802 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
 803 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
 804 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
 805 ; CHECK-MVE-NEXT:    mov.w r1, #0
 806 ; CHECK-MVE-NEXT:    it eq
 807 ; CHECK-MVE-NEXT:    moveq r1, #1
 808 ; CHECK-MVE-NEXT:    cmp r1, #0
 809 ; CHECK-MVE-NEXT:    cset r1, ne
 810 ; CHECK-MVE-NEXT:    movs r0, #0
 811 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 812 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
 813 ; CHECK-MVE-NEXT:    vmov r1, s20
 814 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
 815 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
 816 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
 817 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 818 ; CHECK-MVE-NEXT:    mov.w r1, #0
 819 ; CHECK-MVE-NEXT:    it eq
 820 ; CHECK-MVE-NEXT:    moveq r1, #1
 821 ; CHECK-MVE-NEXT:    cmp r1, #0
 822 ; CHECK-MVE-NEXT:    cset r1, ne
 823 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
 824 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
 825 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 826 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
 827 ; CHECK-MVE-NEXT:    vcmp.f16 s2, s6
 828 ; CHECK-MVE-NEXT:    vmov r1, s20
 829 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 830 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
 831 ; CHECK-MVE-NEXT:    mov.w r1, #0
 832 ; CHECK-MVE-NEXT:    it eq
 833 ; CHECK-MVE-NEXT:    moveq r1, #1
 834 ; CHECK-MVE-NEXT:    cmp r1, #0
 835 ; CHECK-MVE-NEXT:    cset r1, ne
 836 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
 837 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 838 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
 839 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
 840 ; CHECK-MVE-NEXT:    vmov r1, s20
 841 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
 842 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
 843 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
 844 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 845 ; CHECK-MVE-NEXT:    mov.w r1, #0
 846 ; CHECK-MVE-NEXT:    it eq
 847 ; CHECK-MVE-NEXT:    moveq r1, #1
 848 ; CHECK-MVE-NEXT:    cmp r1, #0
 849 ; CHECK-MVE-NEXT:    cset r1, ne
 850 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
 851 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
 852 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 853 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
 854 ; CHECK-MVE-NEXT:    vcmp.f16 s3, s7
 855 ; CHECK-MVE-NEXT:    vmov r1, s20
 856 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 857 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
 858 ; CHECK-MVE-NEXT:    mov.w r1, #0
 859 ; CHECK-MVE-NEXT:    it eq
 860 ; CHECK-MVE-NEXT:    moveq r1, #1
 861 ; CHECK-MVE-NEXT:    cmp r1, #0
 862 ; CHECK-MVE-NEXT:    cset r1, ne
 863 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
 864 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 865 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
 866 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
 867 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 868 ; CHECK-MVE-NEXT:    it eq
 869 ; CHECK-MVE-NEXT:    moveq r0, #1
 870 ; CHECK-MVE-NEXT:    cmp r0, #0
 871 ; CHECK-MVE-NEXT:    cset r0, ne
 872 ; CHECK-MVE-NEXT:    vmov r1, s20
 873 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 874 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
 875 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
 876 ; CHECK-MVE-NEXT:    vmov r0, s0
 877 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
 878 ; CHECK-MVE-NEXT:    vmov q0, q4
 879 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
 880 ; CHECK-MVE-NEXT:    bx lr
 881 ;
 882 ; CHECK-MVEFP-LABEL: vcmp_oeq_v8f16:
 883 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 884 ; CHECK-MVEFP-NEXT:    vcmp.f16 eq, q0, q1
 885 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
 886 ; CHECK-MVEFP-NEXT:    bx lr
 887 entry:
 888   %c = fcmp oeq <8 x half> %src, %src2
 889   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
 890   ret <8 x half> %s
 891 }
 892
 893 define arm_aapcs_vfpcc <8 x half> @vcmp_one_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
 894 ; CHECK-MVE-LABEL: vcmp_one_v8f16:
 895 ; CHECK-MVE:       @ %bb.0: @ %entry
 896 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
 897 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
 898 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
 899 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
 900 ; CHECK-MVE-NEXT:    vcmp.f16 s18, s16
 901 ; CHECK-MVE-NEXT:    movs r1, #0
 902 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 903 ; CHECK-MVE-NEXT:    it mi
 904 ; CHECK-MVE-NEXT:    movmi r1, #1
 905 ; CHECK-MVE-NEXT:    it gt
 906 ; CHECK-MVE-NEXT:    movgt r1, #1
 907 ; CHECK-MVE-NEXT:    cmp r1, #0
 908 ; CHECK-MVE-NEXT:    cset r1, ne
 909 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
 910 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
 911 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
 912 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 913 ; CHECK-MVE-NEXT:    mov.w r2, #0
 914 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
 915 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 916 ; CHECK-MVE-NEXT:    it mi
 917 ; CHECK-MVE-NEXT:    movmi r2, #1
 918 ; CHECK-MVE-NEXT:    vmov r1, s16
 919 ; CHECK-MVE-NEXT:    it gt
 920 ; CHECK-MVE-NEXT:    movgt r2, #1
 921 ; CHECK-MVE-NEXT:    cmp r2, #0
 922 ; CHECK-MVE-NEXT:    cset r2, ne
 923 ; CHECK-MVE-NEXT:    vcmp.f16 s1, s5
 924 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
 925 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
 926 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
 927 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 928 ; CHECK-MVE-NEXT:    vmov r2, s16
 929 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
 930 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
 931 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
 932 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
 933 ; CHECK-MVE-NEXT:    mov.w r1, #0
 934 ; CHECK-MVE-NEXT:    it mi
 935 ; CHECK-MVE-NEXT:    movmi r1, #1
 936 ; CHECK-MVE-NEXT:    mov.w r0, #0
 937 ; CHECK-MVE-NEXT:    it gt
 938 ; CHECK-MVE-NEXT:    movgt r1, #1
 939 ; CHECK-MVE-NEXT:    cmp r1, #0
 940 ; CHECK-MVE-NEXT:    cset r1, ne
 941 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 942 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
 943 ; CHECK-MVE-NEXT:    vmov r1, s20
 944 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
 945 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
 946 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
 947 ; CHECK-MVE-NEXT:    movs r1, #0
 948 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 949 ; CHECK-MVE-NEXT:    it mi
 950 ; CHECK-MVE-NEXT:    movmi r1, #1
 951 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
 952 ; CHECK-MVE-NEXT:    it gt
 953 ; CHECK-MVE-NEXT:    movgt r1, #1
 954 ; CHECK-MVE-NEXT:    cmp r1, #0
 955 ; CHECK-MVE-NEXT:    cset r1, ne
 956 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
 957 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 958 ; CHECK-MVE-NEXT:    vcmp.f16 s2, s6
 959 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
 960 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 961 ; CHECK-MVE-NEXT:    vmov r1, s20
 962 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
 963 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
 964 ; CHECK-MVE-NEXT:    mov.w r1, #0
 965 ; CHECK-MVE-NEXT:    it mi
 966 ; CHECK-MVE-NEXT:    movmi r1, #1
 967 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
 968 ; CHECK-MVE-NEXT:    it gt
 969 ; CHECK-MVE-NEXT:    movgt r1, #1
 970 ; CHECK-MVE-NEXT:    cmp r1, #0
 971 ; CHECK-MVE-NEXT:    cset r1, ne
 972 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 973 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
 974 ; CHECK-MVE-NEXT:    vmov r1, s20
 975 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
 976 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
 977 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
 978 ; CHECK-MVE-NEXT:    movs r1, #0
 979 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 980 ; CHECK-MVE-NEXT:    it mi
 981 ; CHECK-MVE-NEXT:    movmi r1, #1
 982 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
 983 ; CHECK-MVE-NEXT:    it gt
 984 ; CHECK-MVE-NEXT:    movgt r1, #1
 985 ; CHECK-MVE-NEXT:    cmp r1, #0
 986 ; CHECK-MVE-NEXT:    cset r1, ne
 987 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
 988 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 989 ; CHECK-MVE-NEXT:    vcmp.f16 s3, s7
 990 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
 991 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 992 ; CHECK-MVE-NEXT:    vmov r1, s20
 993 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
 994 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
 995 ; CHECK-MVE-NEXT:    mov.w r1, #0
 996 ; CHECK-MVE-NEXT:    it mi
 997 ; CHECK-MVE-NEXT:    movmi r1, #1
 998 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
 999 ; CHECK-MVE-NEXT:    it gt
1000 ; CHECK-MVE-NEXT:    movgt r1, #1
1001 ; CHECK-MVE-NEXT:    cmp r1, #0
1002 ; CHECK-MVE-NEXT:    cset r1, ne
1003 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1004 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1005 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1006 ; CHECK-MVE-NEXT:    it mi
1007 ; CHECK-MVE-NEXT:    movmi r0, #1
1008 ; CHECK-MVE-NEXT:    vmov r1, s20
1009 ; CHECK-MVE-NEXT:    it gt
1010 ; CHECK-MVE-NEXT:    movgt r0, #1
1011 ; CHECK-MVE-NEXT:    cmp r0, #0
1012 ; CHECK-MVE-NEXT:    cset r0, ne
1013 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1014 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1015 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1016 ; CHECK-MVE-NEXT:    vmov r0, s0
1017 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1018 ; CHECK-MVE-NEXT:    vmov q0, q4
1019 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1020 ; CHECK-MVE-NEXT:    bx lr
1021 ;
1022 ; CHECK-MVEFP-LABEL: vcmp_one_v8f16:
1023 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1024 ; CHECK-MVEFP-NEXT:    vcmp.f16 le, q1, q0
1025 ; CHECK-MVEFP-NEXT:    vpst
1026 ; CHECK-MVEFP-NEXT:    vcmpt.f16 le, q0, q1
1027 ; CHECK-MVEFP-NEXT:    vpnot
1028 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1029 ; CHECK-MVEFP-NEXT:    bx lr
1030 entry:
1031   %c = fcmp one <8 x half> %src, %src2
1032   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1033   ret <8 x half> %s
1034 }
1035
1036 define arm_aapcs_vfpcc <8 x half> @vcmp_ogt_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1037 ; CHECK-MVE-LABEL: vcmp_ogt_v8f16:
1038 ; CHECK-MVE:       @ %bb.0: @ %entry
1039 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1040 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1041 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1042 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1043 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
1044 ; CHECK-MVE-NEXT:    movs r1, #0
1045 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1046 ; CHECK-MVE-NEXT:    it gt
1047 ; CHECK-MVE-NEXT:    movgt r1, #1
1048 ; CHECK-MVE-NEXT:    cmp r1, #0
1049 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1050 ; CHECK-MVE-NEXT:    cset r1, ne
1051 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1052 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1053 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1054 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1055 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1056 ; CHECK-MVE-NEXT:    mov.w r2, #0
1057 ; CHECK-MVE-NEXT:    vmov r1, s16
1058 ; CHECK-MVE-NEXT:    it gt
1059 ; CHECK-MVE-NEXT:    movgt r2, #1
1060 ; CHECK-MVE-NEXT:    cmp r2, #0
1061 ; CHECK-MVE-NEXT:    cset r2, ne
1062 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
1063 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1064 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1065 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1066 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1067 ; CHECK-MVE-NEXT:    vmov r2, s16
1068 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1069 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1070 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1071 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1072 ; CHECK-MVE-NEXT:    mov.w r1, #0
1073 ; CHECK-MVE-NEXT:    it gt
1074 ; CHECK-MVE-NEXT:    movgt r1, #1
1075 ; CHECK-MVE-NEXT:    cmp r1, #0
1076 ; CHECK-MVE-NEXT:    cset r1, ne
1077 ; CHECK-MVE-NEXT:    movs r0, #0
1078 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1079 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1080 ; CHECK-MVE-NEXT:    vmov r1, s20
1081 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1082 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1083 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1084 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1085 ; CHECK-MVE-NEXT:    mov.w r1, #0
1086 ; CHECK-MVE-NEXT:    it gt
1087 ; CHECK-MVE-NEXT:    movgt r1, #1
1088 ; CHECK-MVE-NEXT:    cmp r1, #0
1089 ; CHECK-MVE-NEXT:    cset r1, ne
1090 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1091 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1092 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1093 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1094 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
1095 ; CHECK-MVE-NEXT:    vmov r1, s20
1096 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1097 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1098 ; CHECK-MVE-NEXT:    mov.w r1, #0
1099 ; CHECK-MVE-NEXT:    it gt
1100 ; CHECK-MVE-NEXT:    movgt r1, #1
1101 ; CHECK-MVE-NEXT:    cmp r1, #0
1102 ; CHECK-MVE-NEXT:    cset r1, ne
1103 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1104 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1105 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1106 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1107 ; CHECK-MVE-NEXT:    vmov r1, s20
1108 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1109 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1110 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1111 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1112 ; CHECK-MVE-NEXT:    mov.w r1, #0
1113 ; CHECK-MVE-NEXT:    it gt
1114 ; CHECK-MVE-NEXT:    movgt r1, #1
1115 ; CHECK-MVE-NEXT:    cmp r1, #0
1116 ; CHECK-MVE-NEXT:    cset r1, ne
1117 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
1118 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
1119 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1120 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1121 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
1122 ; CHECK-MVE-NEXT:    vmov r1, s20
1123 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1124 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
1125 ; CHECK-MVE-NEXT:    mov.w r1, #0
1126 ; CHECK-MVE-NEXT:    it gt
1127 ; CHECK-MVE-NEXT:    movgt r1, #1
1128 ; CHECK-MVE-NEXT:    cmp r1, #0
1129 ; CHECK-MVE-NEXT:    cset r1, ne
1130 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1131 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1132 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
1133 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1134 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1135 ; CHECK-MVE-NEXT:    it gt
1136 ; CHECK-MVE-NEXT:    movgt r0, #1
1137 ; CHECK-MVE-NEXT:    cmp r0, #0
1138 ; CHECK-MVE-NEXT:    cset r0, ne
1139 ; CHECK-MVE-NEXT:    vmov r1, s20
1140 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1141 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1142 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1143 ; CHECK-MVE-NEXT:    vmov r0, s0
1144 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1145 ; CHECK-MVE-NEXT:    vmov q0, q4
1146 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1147 ; CHECK-MVE-NEXT:    bx lr
1148 ;
1149 ; CHECK-MVEFP-LABEL: vcmp_ogt_v8f16:
1150 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1151 ; CHECK-MVEFP-NEXT:    vcmp.f16 gt, q0, q1
1152 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1153 ; CHECK-MVEFP-NEXT:    bx lr
1154 entry:
1155   %c = fcmp ogt <8 x half> %src, %src2
1156   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1157   ret <8 x half> %s
1158 }
1159
1160 define arm_aapcs_vfpcc <8 x half> @vcmp_oge_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1161 ; CHECK-MVE-LABEL: vcmp_oge_v8f16:
1162 ; CHECK-MVE:       @ %bb.0: @ %entry
1163 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1164 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1165 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1166 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1167 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
1168 ; CHECK-MVE-NEXT:    movs r1, #0
1169 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1170 ; CHECK-MVE-NEXT:    it ge
1171 ; CHECK-MVE-NEXT:    movge r1, #1
1172 ; CHECK-MVE-NEXT:    cmp r1, #0
1173 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1174 ; CHECK-MVE-NEXT:    cset r1, ne
1175 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1176 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1177 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1178 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1179 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1180 ; CHECK-MVE-NEXT:    mov.w r2, #0
1181 ; CHECK-MVE-NEXT:    vmov r1, s16
1182 ; CHECK-MVE-NEXT:    it ge
1183 ; CHECK-MVE-NEXT:    movge r2, #1
1184 ; CHECK-MVE-NEXT:    cmp r2, #0
1185 ; CHECK-MVE-NEXT:    cset r2, ne
1186 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
1187 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1188 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1189 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1190 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1191 ; CHECK-MVE-NEXT:    vmov r2, s16
1192 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1193 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1194 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1195 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1196 ; CHECK-MVE-NEXT:    mov.w r1, #0
1197 ; CHECK-MVE-NEXT:    it ge
1198 ; CHECK-MVE-NEXT:    movge r1, #1
1199 ; CHECK-MVE-NEXT:    cmp r1, #0
1200 ; CHECK-MVE-NEXT:    cset r1, ne
1201 ; CHECK-MVE-NEXT:    movs r0, #0
1202 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1203 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1204 ; CHECK-MVE-NEXT:    vmov r1, s20
1205 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1206 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1207 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1208 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1209 ; CHECK-MVE-NEXT:    mov.w r1, #0
1210 ; CHECK-MVE-NEXT:    it ge
1211 ; CHECK-MVE-NEXT:    movge r1, #1
1212 ; CHECK-MVE-NEXT:    cmp r1, #0
1213 ; CHECK-MVE-NEXT:    cset r1, ne
1214 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1215 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1216 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1217 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1218 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
1219 ; CHECK-MVE-NEXT:    vmov r1, s20
1220 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1221 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1222 ; CHECK-MVE-NEXT:    mov.w r1, #0
1223 ; CHECK-MVE-NEXT:    it ge
1224 ; CHECK-MVE-NEXT:    movge r1, #1
1225 ; CHECK-MVE-NEXT:    cmp r1, #0
1226 ; CHECK-MVE-NEXT:    cset r1, ne
1227 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1228 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1229 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1230 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1231 ; CHECK-MVE-NEXT:    vmov r1, s20
1232 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1233 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1234 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1235 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1236 ; CHECK-MVE-NEXT:    mov.w r1, #0
1237 ; CHECK-MVE-NEXT:    it ge
1238 ; CHECK-MVE-NEXT:    movge r1, #1
1239 ; CHECK-MVE-NEXT:    cmp r1, #0
1240 ; CHECK-MVE-NEXT:    cset r1, ne
1241 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
1242 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
1243 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1244 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1245 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
1246 ; CHECK-MVE-NEXT:    vmov r1, s20
1247 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1248 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
1249 ; CHECK-MVE-NEXT:    mov.w r1, #0
1250 ; CHECK-MVE-NEXT:    it ge
1251 ; CHECK-MVE-NEXT:    movge r1, #1
1252 ; CHECK-MVE-NEXT:    cmp r1, #0
1253 ; CHECK-MVE-NEXT:    cset r1, ne
1254 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1255 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1256 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
1257 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1258 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1259 ; CHECK-MVE-NEXT:    it ge
1260 ; CHECK-MVE-NEXT:    movge r0, #1
1261 ; CHECK-MVE-NEXT:    cmp r0, #0
1262 ; CHECK-MVE-NEXT:    cset r0, ne
1263 ; CHECK-MVE-NEXT:    vmov r1, s20
1264 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1265 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1266 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1267 ; CHECK-MVE-NEXT:    vmov r0, s0
1268 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1269 ; CHECK-MVE-NEXT:    vmov q0, q4
1270 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1271 ; CHECK-MVE-NEXT:    bx lr
1272 ;
1273 ; CHECK-MVEFP-LABEL: vcmp_oge_v8f16:
1274 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1275 ; CHECK-MVEFP-NEXT:    vcmp.f16 ge, q0, q1
1276 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1277 ; CHECK-MVEFP-NEXT:    bx lr
1278 entry:
1279   %c = fcmp oge <8 x half> %src, %src2
1280   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1281   ret <8 x half> %s
1282 }
1283
1284 define arm_aapcs_vfpcc <8 x half> @vcmp_olt_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1285 ; CHECK-MVE-LABEL: vcmp_olt_v8f16:
1286 ; CHECK-MVE:       @ %bb.0: @ %entry
1287 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1288 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1289 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1290 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1291 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
1292 ; CHECK-MVE-NEXT:    movs r1, #0
1293 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1294 ; CHECK-MVE-NEXT:    it mi
1295 ; CHECK-MVE-NEXT:    movmi r1, #1
1296 ; CHECK-MVE-NEXT:    cmp r1, #0
1297 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1298 ; CHECK-MVE-NEXT:    cset r1, ne
1299 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1300 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1301 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1302 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1303 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1304 ; CHECK-MVE-NEXT:    mov.w r2, #0
1305 ; CHECK-MVE-NEXT:    vmov r1, s16
1306 ; CHECK-MVE-NEXT:    it mi
1307 ; CHECK-MVE-NEXT:    movmi r2, #1
1308 ; CHECK-MVE-NEXT:    cmp r2, #0
1309 ; CHECK-MVE-NEXT:    cset r2, ne
1310 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
1311 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1312 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1313 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1314 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1315 ; CHECK-MVE-NEXT:    vmov r2, s16
1316 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1317 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1318 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1319 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1320 ; CHECK-MVE-NEXT:    mov.w r1, #0
1321 ; CHECK-MVE-NEXT:    it mi
1322 ; CHECK-MVE-NEXT:    movmi r1, #1
1323 ; CHECK-MVE-NEXT:    cmp r1, #0
1324 ; CHECK-MVE-NEXT:    cset r1, ne
1325 ; CHECK-MVE-NEXT:    movs r0, #0
1326 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1327 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1328 ; CHECK-MVE-NEXT:    vmov r1, s20
1329 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1330 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1331 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1332 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1333 ; CHECK-MVE-NEXT:    mov.w r1, #0
1334 ; CHECK-MVE-NEXT:    it mi
1335 ; CHECK-MVE-NEXT:    movmi r1, #1
1336 ; CHECK-MVE-NEXT:    cmp r1, #0
1337 ; CHECK-MVE-NEXT:    cset r1, ne
1338 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1339 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1340 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1341 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1342 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
1343 ; CHECK-MVE-NEXT:    vmov r1, s20
1344 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1345 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1346 ; CHECK-MVE-NEXT:    mov.w r1, #0
1347 ; CHECK-MVE-NEXT:    it mi
1348 ; CHECK-MVE-NEXT:    movmi r1, #1
1349 ; CHECK-MVE-NEXT:    cmp r1, #0
1350 ; CHECK-MVE-NEXT:    cset r1, ne
1351 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1352 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1353 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1354 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1355 ; CHECK-MVE-NEXT:    vmov r1, s20
1356 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1357 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1358 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1359 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1360 ; CHECK-MVE-NEXT:    mov.w r1, #0
1361 ; CHECK-MVE-NEXT:    it mi
1362 ; CHECK-MVE-NEXT:    movmi r1, #1
1363 ; CHECK-MVE-NEXT:    cmp r1, #0
1364 ; CHECK-MVE-NEXT:    cset r1, ne
1365 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
1366 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
1367 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1368 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1369 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
1370 ; CHECK-MVE-NEXT:    vmov r1, s20
1371 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1372 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
1373 ; CHECK-MVE-NEXT:    mov.w r1, #0
1374 ; CHECK-MVE-NEXT:    it mi
1375 ; CHECK-MVE-NEXT:    movmi r1, #1
1376 ; CHECK-MVE-NEXT:    cmp r1, #0
1377 ; CHECK-MVE-NEXT:    cset r1, ne
1378 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1379 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1380 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
1381 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1382 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1383 ; CHECK-MVE-NEXT:    it mi
1384 ; CHECK-MVE-NEXT:    movmi r0, #1
1385 ; CHECK-MVE-NEXT:    cmp r0, #0
1386 ; CHECK-MVE-NEXT:    cset r0, ne
1387 ; CHECK-MVE-NEXT:    vmov r1, s20
1388 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1389 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1390 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1391 ; CHECK-MVE-NEXT:    vmov r0, s0
1392 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1393 ; CHECK-MVE-NEXT:    vmov q0, q4
1394 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1395 ; CHECK-MVE-NEXT:    bx lr
1396 ;
1397 ; CHECK-MVEFP-LABEL: vcmp_olt_v8f16:
1398 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1399 ; CHECK-MVEFP-NEXT:    vcmp.f16 gt, q1, q0
1400 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1401 ; CHECK-MVEFP-NEXT:    bx lr
1402 entry:
1403   %c = fcmp olt <8 x half> %src, %src2
1404   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1405   ret <8 x half> %s
1406 }
1407
1408 define arm_aapcs_vfpcc <8 x half> @vcmp_ole_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1409 ; CHECK-MVE-LABEL: vcmp_ole_v8f16:
1410 ; CHECK-MVE:       @ %bb.0: @ %entry
1411 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1412 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1413 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1414 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1415 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
1416 ; CHECK-MVE-NEXT:    movs r1, #0
1417 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1418 ; CHECK-MVE-NEXT:    it ls
1419 ; CHECK-MVE-NEXT:    movls r1, #1
1420 ; CHECK-MVE-NEXT:    cmp r1, #0
1421 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1422 ; CHECK-MVE-NEXT:    cset r1, ne
1423 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1424 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1425 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1426 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1427 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1428 ; CHECK-MVE-NEXT:    mov.w r2, #0
1429 ; CHECK-MVE-NEXT:    vmov r1, s16
1430 ; CHECK-MVE-NEXT:    it ls
1431 ; CHECK-MVE-NEXT:    movls r2, #1
1432 ; CHECK-MVE-NEXT:    cmp r2, #0
1433 ; CHECK-MVE-NEXT:    cset r2, ne
1434 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
1435 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1436 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1437 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1438 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1439 ; CHECK-MVE-NEXT:    vmov r2, s16
1440 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1441 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1442 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1443 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1444 ; CHECK-MVE-NEXT:    mov.w r1, #0
1445 ; CHECK-MVE-NEXT:    it ls
1446 ; CHECK-MVE-NEXT:    movls r1, #1
1447 ; CHECK-MVE-NEXT:    cmp r1, #0
1448 ; CHECK-MVE-NEXT:    cset r1, ne
1449 ; CHECK-MVE-NEXT:    movs r0, #0
1450 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1451 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1452 ; CHECK-MVE-NEXT:    vmov r1, s20
1453 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1454 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1455 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1456 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1457 ; CHECK-MVE-NEXT:    mov.w r1, #0
1458 ; CHECK-MVE-NEXT:    it ls
1459 ; CHECK-MVE-NEXT:    movls r1, #1
1460 ; CHECK-MVE-NEXT:    cmp r1, #0
1461 ; CHECK-MVE-NEXT:    cset r1, ne
1462 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1463 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1464 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1465 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1466 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
1467 ; CHECK-MVE-NEXT:    vmov r1, s20
1468 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1469 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1470 ; CHECK-MVE-NEXT:    mov.w r1, #0
1471 ; CHECK-MVE-NEXT:    it ls
1472 ; CHECK-MVE-NEXT:    movls r1, #1
1473 ; CHECK-MVE-NEXT:    cmp r1, #0
1474 ; CHECK-MVE-NEXT:    cset r1, ne
1475 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1476 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1477 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1478 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1479 ; CHECK-MVE-NEXT:    vmov r1, s20
1480 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1481 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1482 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1483 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1484 ; CHECK-MVE-NEXT:    mov.w r1, #0
1485 ; CHECK-MVE-NEXT:    it ls
1486 ; CHECK-MVE-NEXT:    movls r1, #1
1487 ; CHECK-MVE-NEXT:    cmp r1, #0
1488 ; CHECK-MVE-NEXT:    cset r1, ne
1489 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
1490 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
1491 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1492 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1493 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
1494 ; CHECK-MVE-NEXT:    vmov r1, s20
1495 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1496 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
1497 ; CHECK-MVE-NEXT:    mov.w r1, #0
1498 ; CHECK-MVE-NEXT:    it ls
1499 ; CHECK-MVE-NEXT:    movls r1, #1
1500 ; CHECK-MVE-NEXT:    cmp r1, #0
1501 ; CHECK-MVE-NEXT:    cset r1, ne
1502 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1503 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1504 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
1505 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1506 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1507 ; CHECK-MVE-NEXT:    it ls
1508 ; CHECK-MVE-NEXT:    movls r0, #1
1509 ; CHECK-MVE-NEXT:    cmp r0, #0
1510 ; CHECK-MVE-NEXT:    cset r0, ne
1511 ; CHECK-MVE-NEXT:    vmov r1, s20
1512 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1513 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1514 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1515 ; CHECK-MVE-NEXT:    vmov r0, s0
1516 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1517 ; CHECK-MVE-NEXT:    vmov q0, q4
1518 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1519 ; CHECK-MVE-NEXT:    bx lr
1520 ;
1521 ; CHECK-MVEFP-LABEL: vcmp_ole_v8f16:
1522 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1523 ; CHECK-MVEFP-NEXT:    vcmp.f16 ge, q1, q0
1524 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1525 ; CHECK-MVEFP-NEXT:    bx lr
1526 entry:
1527   %c = fcmp ole <8 x half> %src, %src2
1528   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1529   ret <8 x half> %s
1530 }
1531
1532 define arm_aapcs_vfpcc <8 x half> @vcmp_ueq_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1533 ; CHECK-MVE-LABEL: vcmp_ueq_v8f16:
1534 ; CHECK-MVE:       @ %bb.0: @ %entry
1535 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1536 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1537 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1538 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1539 ; CHECK-MVE-NEXT:    vcmp.f16 s18, s16
1540 ; CHECK-MVE-NEXT:    movs r1, #0
1541 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1542 ; CHECK-MVE-NEXT:    it eq
1543 ; CHECK-MVE-NEXT:    moveq r1, #1
1544 ; CHECK-MVE-NEXT:    it vs
1545 ; CHECK-MVE-NEXT:    movvs r1, #1
1546 ; CHECK-MVE-NEXT:    cmp r1, #0
1547 ; CHECK-MVE-NEXT:    cset r1, ne
1548 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
1549 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1550 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1551 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1552 ; CHECK-MVE-NEXT:    mov.w r2, #0
1553 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1554 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1555 ; CHECK-MVE-NEXT:    it eq
1556 ; CHECK-MVE-NEXT:    moveq r2, #1
1557 ; CHECK-MVE-NEXT:    vmov r1, s16
1558 ; CHECK-MVE-NEXT:    it vs
1559 ; CHECK-MVE-NEXT:    movvs r2, #1
1560 ; CHECK-MVE-NEXT:    cmp r2, #0
1561 ; CHECK-MVE-NEXT:    cset r2, ne
1562 ; CHECK-MVE-NEXT:    vcmp.f16 s1, s5
1563 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1564 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1565 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1566 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1567 ; CHECK-MVE-NEXT:    vmov r2, s16
1568 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1569 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1570 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1571 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1572 ; CHECK-MVE-NEXT:    mov.w r1, #0
1573 ; CHECK-MVE-NEXT:    it eq
1574 ; CHECK-MVE-NEXT:    moveq r1, #1
1575 ; CHECK-MVE-NEXT:    mov.w r0, #0
1576 ; CHECK-MVE-NEXT:    it vs
1577 ; CHECK-MVE-NEXT:    movvs r1, #1
1578 ; CHECK-MVE-NEXT:    cmp r1, #0
1579 ; CHECK-MVE-NEXT:    cset r1, ne
1580 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1581 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1582 ; CHECK-MVE-NEXT:    vmov r1, s20
1583 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1584 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
1585 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1586 ; CHECK-MVE-NEXT:    movs r1, #0
1587 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1588 ; CHECK-MVE-NEXT:    it eq
1589 ; CHECK-MVE-NEXT:    moveq r1, #1
1590 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1591 ; CHECK-MVE-NEXT:    it vs
1592 ; CHECK-MVE-NEXT:    movvs r1, #1
1593 ; CHECK-MVE-NEXT:    cmp r1, #0
1594 ; CHECK-MVE-NEXT:    cset r1, ne
1595 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1596 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1597 ; CHECK-MVE-NEXT:    vcmp.f16 s2, s6
1598 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1599 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1600 ; CHECK-MVE-NEXT:    vmov r1, s20
1601 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1602 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1603 ; CHECK-MVE-NEXT:    mov.w r1, #0
1604 ; CHECK-MVE-NEXT:    it eq
1605 ; CHECK-MVE-NEXT:    moveq r1, #1
1606 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1607 ; CHECK-MVE-NEXT:    it vs
1608 ; CHECK-MVE-NEXT:    movvs r1, #1
1609 ; CHECK-MVE-NEXT:    cmp r1, #0
1610 ; CHECK-MVE-NEXT:    cset r1, ne
1611 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1612 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1613 ; CHECK-MVE-NEXT:    vmov r1, s20
1614 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1615 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
1616 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1617 ; CHECK-MVE-NEXT:    movs r1, #0
1618 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1619 ; CHECK-MVE-NEXT:    it eq
1620 ; CHECK-MVE-NEXT:    moveq r1, #1
1621 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
1622 ; CHECK-MVE-NEXT:    it vs
1623 ; CHECK-MVE-NEXT:    movvs r1, #1
1624 ; CHECK-MVE-NEXT:    cmp r1, #0
1625 ; CHECK-MVE-NEXT:    cset r1, ne
1626 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
1627 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1628 ; CHECK-MVE-NEXT:    vcmp.f16 s3, s7
1629 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1630 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1631 ; CHECK-MVE-NEXT:    vmov r1, s20
1632 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
1633 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
1634 ; CHECK-MVE-NEXT:    mov.w r1, #0
1635 ; CHECK-MVE-NEXT:    it eq
1636 ; CHECK-MVE-NEXT:    moveq r1, #1
1637 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
1638 ; CHECK-MVE-NEXT:    it vs
1639 ; CHECK-MVE-NEXT:    movvs r1, #1
1640 ; CHECK-MVE-NEXT:    cmp r1, #0
1641 ; CHECK-MVE-NEXT:    cset r1, ne
1642 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1643 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1644 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1645 ; CHECK-MVE-NEXT:    it eq
1646 ; CHECK-MVE-NEXT:    moveq r0, #1
1647 ; CHECK-MVE-NEXT:    vmov r1, s20
1648 ; CHECK-MVE-NEXT:    it vs
1649 ; CHECK-MVE-NEXT:    movvs r0, #1
1650 ; CHECK-MVE-NEXT:    cmp r0, #0
1651 ; CHECK-MVE-NEXT:    cset r0, ne
1652 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1653 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1654 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1655 ; CHECK-MVE-NEXT:    vmov r0, s0
1656 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1657 ; CHECK-MVE-NEXT:    vmov q0, q4
1658 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1659 ; CHECK-MVE-NEXT:    bx lr
1660 ;
1661 ; CHECK-MVEFP-LABEL: vcmp_ueq_v8f16:
1662 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1663 ; CHECK-MVEFP-NEXT:    vcmp.f16 le, q1, q0
1664 ; CHECK-MVEFP-NEXT:    vpst
1665 ; CHECK-MVEFP-NEXT:    vcmpt.f16 le, q0, q1
1666 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1667 ; CHECK-MVEFP-NEXT:    bx lr
1668 entry:
1669   %c = fcmp ueq <8 x half> %src, %src2
1670   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1671   ret <8 x half> %s
1672 }
1673
1674 define arm_aapcs_vfpcc <8 x half> @vcmp_une_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1675 ; CHECK-MVE-LABEL: vcmp_une_v8f16:
1676 ; CHECK-MVE:       @ %bb.0: @ %entry
1677 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1678 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1679 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1680 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1681 ; CHECK-MVE-NEXT:    vcmp.f16 s18, s16
1682 ; CHECK-MVE-NEXT:    movs r1, #0
1683 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1684 ; CHECK-MVE-NEXT:    it ne
1685 ; CHECK-MVE-NEXT:    movne r1, #1
1686 ; CHECK-MVE-NEXT:    cmp r1, #0
1687 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
1688 ; CHECK-MVE-NEXT:    cset r1, ne
1689 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1690 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1691 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1692 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1693 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1694 ; CHECK-MVE-NEXT:    mov.w r2, #0
1695 ; CHECK-MVE-NEXT:    vmov r1, s16
1696 ; CHECK-MVE-NEXT:    it ne
1697 ; CHECK-MVE-NEXT:    movne r2, #1
1698 ; CHECK-MVE-NEXT:    cmp r2, #0
1699 ; CHECK-MVE-NEXT:    cset r2, ne
1700 ; CHECK-MVE-NEXT:    vcmp.f16 s1, s5
1701 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1702 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1703 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1704 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1705 ; CHECK-MVE-NEXT:    vmov r2, s16
1706 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1707 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1708 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1709 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1710 ; CHECK-MVE-NEXT:    mov.w r1, #0
1711 ; CHECK-MVE-NEXT:    it ne
1712 ; CHECK-MVE-NEXT:    movne r1, #1
1713 ; CHECK-MVE-NEXT:    cmp r1, #0
1714 ; CHECK-MVE-NEXT:    cset r1, ne
1715 ; CHECK-MVE-NEXT:    movs r0, #0
1716 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1717 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1718 ; CHECK-MVE-NEXT:    vmov r1, s20
1719 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1720 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
1721 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1722 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1723 ; CHECK-MVE-NEXT:    mov.w r1, #0
1724 ; CHECK-MVE-NEXT:    it ne
1725 ; CHECK-MVE-NEXT:    movne r1, #1
1726 ; CHECK-MVE-NEXT:    cmp r1, #0
1727 ; CHECK-MVE-NEXT:    cset r1, ne
1728 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1729 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1730 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1731 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1732 ; CHECK-MVE-NEXT:    vcmp.f16 s2, s6
1733 ; CHECK-MVE-NEXT:    vmov r1, s20
1734 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1735 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1736 ; CHECK-MVE-NEXT:    mov.w r1, #0
1737 ; CHECK-MVE-NEXT:    it ne
1738 ; CHECK-MVE-NEXT:    movne r1, #1
1739 ; CHECK-MVE-NEXT:    cmp r1, #0
1740 ; CHECK-MVE-NEXT:    cset r1, ne
1741 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1742 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1743 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1744 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1745 ; CHECK-MVE-NEXT:    vmov r1, s20
1746 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1747 ; CHECK-MVE-NEXT:    vcmp.f16 s22, s20
1748 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1749 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1750 ; CHECK-MVE-NEXT:    mov.w r1, #0
1751 ; CHECK-MVE-NEXT:    it ne
1752 ; CHECK-MVE-NEXT:    movne r1, #1
1753 ; CHECK-MVE-NEXT:    cmp r1, #0
1754 ; CHECK-MVE-NEXT:    cset r1, ne
1755 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
1756 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
1757 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1758 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1759 ; CHECK-MVE-NEXT:    vcmp.f16 s3, s7
1760 ; CHECK-MVE-NEXT:    vmov r1, s20
1761 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1762 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
1763 ; CHECK-MVE-NEXT:    mov.w r1, #0
1764 ; CHECK-MVE-NEXT:    it ne
1765 ; CHECK-MVE-NEXT:    movne r1, #1
1766 ; CHECK-MVE-NEXT:    cmp r1, #0
1767 ; CHECK-MVE-NEXT:    cset r1, ne
1768 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s4
1769 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1770 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
1771 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1772 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1773 ; CHECK-MVE-NEXT:    it ne
1774 ; CHECK-MVE-NEXT:    movne r0, #1
1775 ; CHECK-MVE-NEXT:    cmp r0, #0
1776 ; CHECK-MVE-NEXT:    cset r0, ne
1777 ; CHECK-MVE-NEXT:    vmov r1, s20
1778 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1779 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1780 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1781 ; CHECK-MVE-NEXT:    vmov r0, s0
1782 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1783 ; CHECK-MVE-NEXT:    vmov q0, q4
1784 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1785 ; CHECK-MVE-NEXT:    bx lr
1786 ;
1787 ; CHECK-MVEFP-LABEL: vcmp_une_v8f16:
1788 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1789 ; CHECK-MVEFP-NEXT:    vcmp.f16 ne, q0, q1
1790 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1791 ; CHECK-MVEFP-NEXT:    bx lr
1792 entry:
1793   %c = fcmp une <8 x half> %src, %src2
1794   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1795   ret <8 x half> %s
1796 }
1797
1798 define arm_aapcs_vfpcc <8 x half> @vcmp_ugt_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1799 ; CHECK-MVE-LABEL: vcmp_ugt_v8f16:
1800 ; CHECK-MVE:       @ %bb.0: @ %entry
1801 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1802 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1803 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1804 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1805 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
1806 ; CHECK-MVE-NEXT:    movs r1, #0
1807 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1808 ; CHECK-MVE-NEXT:    it hi
1809 ; CHECK-MVE-NEXT:    movhi r1, #1
1810 ; CHECK-MVE-NEXT:    cmp r1, #0
1811 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1812 ; CHECK-MVE-NEXT:    cset r1, ne
1813 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1814 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1815 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1816 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1817 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1818 ; CHECK-MVE-NEXT:    mov.w r2, #0
1819 ; CHECK-MVE-NEXT:    vmov r1, s16
1820 ; CHECK-MVE-NEXT:    it hi
1821 ; CHECK-MVE-NEXT:    movhi r2, #1
1822 ; CHECK-MVE-NEXT:    cmp r2, #0
1823 ; CHECK-MVE-NEXT:    cset r2, ne
1824 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
1825 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1826 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1827 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1828 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1829 ; CHECK-MVE-NEXT:    vmov r2, s16
1830 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1831 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1832 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1833 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1834 ; CHECK-MVE-NEXT:    mov.w r1, #0
1835 ; CHECK-MVE-NEXT:    it hi
1836 ; CHECK-MVE-NEXT:    movhi r1, #1
1837 ; CHECK-MVE-NEXT:    cmp r1, #0
1838 ; CHECK-MVE-NEXT:    cset r1, ne
1839 ; CHECK-MVE-NEXT:    movs r0, #0
1840 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1841 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1842 ; CHECK-MVE-NEXT:    vmov r1, s20
1843 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1844 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1845 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1846 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1847 ; CHECK-MVE-NEXT:    mov.w r1, #0
1848 ; CHECK-MVE-NEXT:    it hi
1849 ; CHECK-MVE-NEXT:    movhi r1, #1
1850 ; CHECK-MVE-NEXT:    cmp r1, #0
1851 ; CHECK-MVE-NEXT:    cset r1, ne
1852 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1853 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1854 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1855 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1856 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
1857 ; CHECK-MVE-NEXT:    vmov r1, s20
1858 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1859 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1860 ; CHECK-MVE-NEXT:    mov.w r1, #0
1861 ; CHECK-MVE-NEXT:    it hi
1862 ; CHECK-MVE-NEXT:    movhi r1, #1
1863 ; CHECK-MVE-NEXT:    cmp r1, #0
1864 ; CHECK-MVE-NEXT:    cset r1, ne
1865 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1866 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1867 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1868 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1869 ; CHECK-MVE-NEXT:    vmov r1, s20
1870 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1871 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1872 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1873 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1874 ; CHECK-MVE-NEXT:    mov.w r1, #0
1875 ; CHECK-MVE-NEXT:    it hi
1876 ; CHECK-MVE-NEXT:    movhi r1, #1
1877 ; CHECK-MVE-NEXT:    cmp r1, #0
1878 ; CHECK-MVE-NEXT:    cset r1, ne
1879 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
1880 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
1881 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1882 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1883 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
1884 ; CHECK-MVE-NEXT:    vmov r1, s20
1885 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1886 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
1887 ; CHECK-MVE-NEXT:    mov.w r1, #0
1888 ; CHECK-MVE-NEXT:    it hi
1889 ; CHECK-MVE-NEXT:    movhi r1, #1
1890 ; CHECK-MVE-NEXT:    cmp r1, #0
1891 ; CHECK-MVE-NEXT:    cset r1, ne
1892 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1893 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1894 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
1895 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
1896 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1897 ; CHECK-MVE-NEXT:    it hi
1898 ; CHECK-MVE-NEXT:    movhi r0, #1
1899 ; CHECK-MVE-NEXT:    cmp r0, #0
1900 ; CHECK-MVE-NEXT:    cset r0, ne
1901 ; CHECK-MVE-NEXT:    vmov r1, s20
1902 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1903 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
1904 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1905 ; CHECK-MVE-NEXT:    vmov r0, s0
1906 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
1907 ; CHECK-MVE-NEXT:    vmov q0, q4
1908 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
1909 ; CHECK-MVE-NEXT:    bx lr
1910 ;
1911 ; CHECK-MVEFP-LABEL: vcmp_ugt_v8f16:
1912 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1913 ; CHECK-MVEFP-NEXT:    vcmp.f16 ge, q1, q0
1914 ; CHECK-MVEFP-NEXT:    vpnot
1915 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
1916 ; CHECK-MVEFP-NEXT:    bx lr
1917 entry:
1918   %c = fcmp ugt <8 x half> %src, %src2
1919   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1920   ret <8 x half> %s
1921 }
1922
1923 define arm_aapcs_vfpcc <8 x half> @vcmp_uge_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
1924 ; CHECK-MVE-LABEL: vcmp_uge_v8f16:
1925 ; CHECK-MVE:       @ %bb.0: @ %entry
1926 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
1927 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
1928 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
1929 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
1930 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
1931 ; CHECK-MVE-NEXT:    movs r1, #0
1932 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1933 ; CHECK-MVE-NEXT:    it pl
1934 ; CHECK-MVE-NEXT:    movpl r1, #1
1935 ; CHECK-MVE-NEXT:    cmp r1, #0
1936 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
1937 ; CHECK-MVE-NEXT:    cset r1, ne
1938 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
1939 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
1940 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1941 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1942 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1943 ; CHECK-MVE-NEXT:    mov.w r2, #0
1944 ; CHECK-MVE-NEXT:    vmov r1, s16
1945 ; CHECK-MVE-NEXT:    it pl
1946 ; CHECK-MVE-NEXT:    movpl r2, #1
1947 ; CHECK-MVE-NEXT:    cmp r2, #0
1948 ; CHECK-MVE-NEXT:    cset r2, ne
1949 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
1950 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1951 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
1952 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
1953 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1954 ; CHECK-MVE-NEXT:    vmov r2, s16
1955 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
1956 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
1957 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1958 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
1959 ; CHECK-MVE-NEXT:    mov.w r1, #0
1960 ; CHECK-MVE-NEXT:    it pl
1961 ; CHECK-MVE-NEXT:    movpl r1, #1
1962 ; CHECK-MVE-NEXT:    cmp r1, #0
1963 ; CHECK-MVE-NEXT:    cset r1, ne
1964 ; CHECK-MVE-NEXT:    movs r0, #0
1965 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1966 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
1967 ; CHECK-MVE-NEXT:    vmov r1, s20
1968 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
1969 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1970 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
1971 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1972 ; CHECK-MVE-NEXT:    mov.w r1, #0
1973 ; CHECK-MVE-NEXT:    it pl
1974 ; CHECK-MVE-NEXT:    movpl r1, #1
1975 ; CHECK-MVE-NEXT:    cmp r1, #0
1976 ; CHECK-MVE-NEXT:    cset r1, ne
1977 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
1978 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
1979 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1980 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
1981 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
1982 ; CHECK-MVE-NEXT:    vmov r1, s20
1983 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1984 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
1985 ; CHECK-MVE-NEXT:    mov.w r1, #0
1986 ; CHECK-MVE-NEXT:    it pl
1987 ; CHECK-MVE-NEXT:    movpl r1, #1
1988 ; CHECK-MVE-NEXT:    cmp r1, #0
1989 ; CHECK-MVE-NEXT:    cset r1, ne
1990 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
1991 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1992 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
1993 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
1994 ; CHECK-MVE-NEXT:    vmov r1, s20
1995 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
1996 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
1997 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
1998 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1999 ; CHECK-MVE-NEXT:    mov.w r1, #0
2000 ; CHECK-MVE-NEXT:    it pl
2001 ; CHECK-MVE-NEXT:    movpl r1, #1
2002 ; CHECK-MVE-NEXT:    cmp r1, #0
2003 ; CHECK-MVE-NEXT:    cset r1, ne
2004 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
2005 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
2006 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2007 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2008 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
2009 ; CHECK-MVE-NEXT:    vmov r1, s20
2010 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2011 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
2012 ; CHECK-MVE-NEXT:    mov.w r1, #0
2013 ; CHECK-MVE-NEXT:    it pl
2014 ; CHECK-MVE-NEXT:    movpl r1, #1
2015 ; CHECK-MVE-NEXT:    cmp r1, #0
2016 ; CHECK-MVE-NEXT:    cset r1, ne
2017 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2018 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2019 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
2020 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
2021 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2022 ; CHECK-MVE-NEXT:    it pl
2023 ; CHECK-MVE-NEXT:    movpl r0, #1
2024 ; CHECK-MVE-NEXT:    cmp r0, #0
2025 ; CHECK-MVE-NEXT:    cset r0, ne
2026 ; CHECK-MVE-NEXT:    vmov r1, s20
2027 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2028 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
2029 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2030 ; CHECK-MVE-NEXT:    vmov r0, s0
2031 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
2032 ; CHECK-MVE-NEXT:    vmov q0, q4
2033 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
2034 ; CHECK-MVE-NEXT:    bx lr
2035 ;
2036 ; CHECK-MVEFP-LABEL: vcmp_uge_v8f16:
2037 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2038 ; CHECK-MVEFP-NEXT:    vcmp.f16 gt, q1, q0
2039 ; CHECK-MVEFP-NEXT:    vpnot
2040 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
2041 ; CHECK-MVEFP-NEXT:    bx lr
2042 entry:
2043   %c = fcmp uge <8 x half> %src, %src2
2044   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2045   ret <8 x half> %s
2046 }
2047
2048 define arm_aapcs_vfpcc <8 x half> @vcmp_ult_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
2049 ; CHECK-MVE-LABEL: vcmp_ult_v8f16:
2050 ; CHECK-MVE:       @ %bb.0: @ %entry
2051 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
2052 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
2053 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
2054 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
2055 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
2056 ; CHECK-MVE-NEXT:    movs r1, #0
2057 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2058 ; CHECK-MVE-NEXT:    it lt
2059 ; CHECK-MVE-NEXT:    movlt r1, #1
2060 ; CHECK-MVE-NEXT:    cmp r1, #0
2061 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2062 ; CHECK-MVE-NEXT:    cset r1, ne
2063 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
2064 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
2065 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2066 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2067 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2068 ; CHECK-MVE-NEXT:    mov.w r2, #0
2069 ; CHECK-MVE-NEXT:    vmov r1, s16
2070 ; CHECK-MVE-NEXT:    it lt
2071 ; CHECK-MVE-NEXT:    movlt r2, #1
2072 ; CHECK-MVE-NEXT:    cmp r2, #0
2073 ; CHECK-MVE-NEXT:    cset r2, ne
2074 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
2075 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2076 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
2077 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
2078 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2079 ; CHECK-MVE-NEXT:    vmov r2, s16
2080 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
2081 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
2082 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2083 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
2084 ; CHECK-MVE-NEXT:    mov.w r1, #0
2085 ; CHECK-MVE-NEXT:    it lt
2086 ; CHECK-MVE-NEXT:    movlt r1, #1
2087 ; CHECK-MVE-NEXT:    cmp r1, #0
2088 ; CHECK-MVE-NEXT:    cset r1, ne
2089 ; CHECK-MVE-NEXT:    movs r0, #0
2090 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2091 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
2092 ; CHECK-MVE-NEXT:    vmov r1, s20
2093 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
2094 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2095 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
2096 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2097 ; CHECK-MVE-NEXT:    mov.w r1, #0
2098 ; CHECK-MVE-NEXT:    it lt
2099 ; CHECK-MVE-NEXT:    movlt r1, #1
2100 ; CHECK-MVE-NEXT:    cmp r1, #0
2101 ; CHECK-MVE-NEXT:    cset r1, ne
2102 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
2103 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
2104 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2105 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2106 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
2107 ; CHECK-MVE-NEXT:    vmov r1, s20
2108 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2109 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
2110 ; CHECK-MVE-NEXT:    mov.w r1, #0
2111 ; CHECK-MVE-NEXT:    it lt
2112 ; CHECK-MVE-NEXT:    movlt r1, #1
2113 ; CHECK-MVE-NEXT:    cmp r1, #0
2114 ; CHECK-MVE-NEXT:    cset r1, ne
2115 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
2116 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2117 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
2118 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
2119 ; CHECK-MVE-NEXT:    vmov r1, s20
2120 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
2121 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2122 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
2123 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2124 ; CHECK-MVE-NEXT:    mov.w r1, #0
2125 ; CHECK-MVE-NEXT:    it lt
2126 ; CHECK-MVE-NEXT:    movlt r1, #1
2127 ; CHECK-MVE-NEXT:    cmp r1, #0
2128 ; CHECK-MVE-NEXT:    cset r1, ne
2129 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
2130 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
2131 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2132 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2133 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
2134 ; CHECK-MVE-NEXT:    vmov r1, s20
2135 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2136 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
2137 ; CHECK-MVE-NEXT:    mov.w r1, #0
2138 ; CHECK-MVE-NEXT:    it lt
2139 ; CHECK-MVE-NEXT:    movlt r1, #1
2140 ; CHECK-MVE-NEXT:    cmp r1, #0
2141 ; CHECK-MVE-NEXT:    cset r1, ne
2142 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2143 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2144 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
2145 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
2146 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2147 ; CHECK-MVE-NEXT:    it lt
2148 ; CHECK-MVE-NEXT:    movlt r0, #1
2149 ; CHECK-MVE-NEXT:    cmp r0, #0
2150 ; CHECK-MVE-NEXT:    cset r0, ne
2151 ; CHECK-MVE-NEXT:    vmov r1, s20
2152 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2153 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
2154 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2155 ; CHECK-MVE-NEXT:    vmov r0, s0
2156 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
2157 ; CHECK-MVE-NEXT:    vmov q0, q4
2158 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
2159 ; CHECK-MVE-NEXT:    bx lr
2160 ;
2161 ; CHECK-MVEFP-LABEL: vcmp_ult_v8f16:
2162 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2163 ; CHECK-MVEFP-NEXT:    vcmp.f16 ge, q0, q1
2164 ; CHECK-MVEFP-NEXT:    vpnot
2165 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
2166 ; CHECK-MVEFP-NEXT:    bx lr
2167 entry:
2168   %c = fcmp ult <8 x half> %src, %src2
2169   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2170   ret <8 x half> %s
2171 }
2172
2173 define arm_aapcs_vfpcc <8 x half> @vcmp_ule_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
2174 ; CHECK-MVE-LABEL: vcmp_ule_v8f16:
2175 ; CHECK-MVE:       @ %bb.0: @ %entry
2176 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
2177 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
2178 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
2179 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
2180 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
2181 ; CHECK-MVE-NEXT:    movs r1, #0
2182 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2183 ; CHECK-MVE-NEXT:    it le
2184 ; CHECK-MVE-NEXT:    movle r1, #1
2185 ; CHECK-MVE-NEXT:    cmp r1, #0
2186 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2187 ; CHECK-MVE-NEXT:    cset r1, ne
2188 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
2189 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
2190 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2191 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2192 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2193 ; CHECK-MVE-NEXT:    mov.w r2, #0
2194 ; CHECK-MVE-NEXT:    vmov r1, s16
2195 ; CHECK-MVE-NEXT:    it le
2196 ; CHECK-MVE-NEXT:    movle r2, #1
2197 ; CHECK-MVE-NEXT:    cmp r2, #0
2198 ; CHECK-MVE-NEXT:    cset r2, ne
2199 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
2200 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2201 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
2202 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
2203 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2204 ; CHECK-MVE-NEXT:    vmov r2, s16
2205 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
2206 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
2207 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2208 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
2209 ; CHECK-MVE-NEXT:    mov.w r1, #0
2210 ; CHECK-MVE-NEXT:    it le
2211 ; CHECK-MVE-NEXT:    movle r1, #1
2212 ; CHECK-MVE-NEXT:    cmp r1, #0
2213 ; CHECK-MVE-NEXT:    cset r1, ne
2214 ; CHECK-MVE-NEXT:    movs r0, #0
2215 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2216 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
2217 ; CHECK-MVE-NEXT:    vmov r1, s20
2218 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
2219 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2220 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
2221 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2222 ; CHECK-MVE-NEXT:    mov.w r1, #0
2223 ; CHECK-MVE-NEXT:    it le
2224 ; CHECK-MVE-NEXT:    movle r1, #1
2225 ; CHECK-MVE-NEXT:    cmp r1, #0
2226 ; CHECK-MVE-NEXT:    cset r1, ne
2227 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
2228 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
2229 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2230 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2231 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
2232 ; CHECK-MVE-NEXT:    vmov r1, s20
2233 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2234 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
2235 ; CHECK-MVE-NEXT:    mov.w r1, #0
2236 ; CHECK-MVE-NEXT:    it le
2237 ; CHECK-MVE-NEXT:    movle r1, #1
2238 ; CHECK-MVE-NEXT:    cmp r1, #0
2239 ; CHECK-MVE-NEXT:    cset r1, ne
2240 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
2241 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2242 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
2243 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
2244 ; CHECK-MVE-NEXT:    vmov r1, s20
2245 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
2246 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2247 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
2248 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2249 ; CHECK-MVE-NEXT:    mov.w r1, #0
2250 ; CHECK-MVE-NEXT:    it le
2251 ; CHECK-MVE-NEXT:    movle r1, #1
2252 ; CHECK-MVE-NEXT:    cmp r1, #0
2253 ; CHECK-MVE-NEXT:    cset r1, ne
2254 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
2255 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
2256 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2257 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2258 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
2259 ; CHECK-MVE-NEXT:    vmov r1, s20
2260 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2261 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
2262 ; CHECK-MVE-NEXT:    mov.w r1, #0
2263 ; CHECK-MVE-NEXT:    it le
2264 ; CHECK-MVE-NEXT:    movle r1, #1
2265 ; CHECK-MVE-NEXT:    cmp r1, #0
2266 ; CHECK-MVE-NEXT:    cset r1, ne
2267 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2268 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2269 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
2270 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
2271 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2272 ; CHECK-MVE-NEXT:    it le
2273 ; CHECK-MVE-NEXT:    movle r0, #1
2274 ; CHECK-MVE-NEXT:    cmp r0, #0
2275 ; CHECK-MVE-NEXT:    cset r0, ne
2276 ; CHECK-MVE-NEXT:    vmov r1, s20
2277 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2278 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
2279 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2280 ; CHECK-MVE-NEXT:    vmov r0, s0
2281 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
2282 ; CHECK-MVE-NEXT:    vmov q0, q4
2283 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
2284 ; CHECK-MVE-NEXT:    bx lr
2285 ;
2286 ; CHECK-MVEFP-LABEL: vcmp_ule_v8f16:
2287 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2288 ; CHECK-MVEFP-NEXT:    vcmp.f16 gt, q0, q1
2289 ; CHECK-MVEFP-NEXT:    vpnot
2290 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
2291 ; CHECK-MVEFP-NEXT:    bx lr
2292 entry:
2293   %c = fcmp ule <8 x half> %src, %src2
2294   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2295   ret <8 x half> %s
2296 }
2297
2298 define arm_aapcs_vfpcc <8 x half> @vcmp_ord_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
2299 ; CHECK-MVE-LABEL: vcmp_ord_v8f16:
2300 ; CHECK-MVE:       @ %bb.0: @ %entry
2301 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
2302 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
2303 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
2304 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
2305 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
2306 ; CHECK-MVE-NEXT:    movs r1, #0
2307 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2308 ; CHECK-MVE-NEXT:    it vc
2309 ; CHECK-MVE-NEXT:    movvc r1, #1
2310 ; CHECK-MVE-NEXT:    cmp r1, #0
2311 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2312 ; CHECK-MVE-NEXT:    cset r1, ne
2313 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
2314 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
2315 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2316 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2317 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2318 ; CHECK-MVE-NEXT:    mov.w r2, #0
2319 ; CHECK-MVE-NEXT:    vmov r1, s16
2320 ; CHECK-MVE-NEXT:    it vc
2321 ; CHECK-MVE-NEXT:    movvc r2, #1
2322 ; CHECK-MVE-NEXT:    cmp r2, #0
2323 ; CHECK-MVE-NEXT:    cset r2, ne
2324 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
2325 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2326 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
2327 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
2328 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2329 ; CHECK-MVE-NEXT:    vmov r2, s16
2330 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
2331 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
2332 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2333 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
2334 ; CHECK-MVE-NEXT:    mov.w r1, #0
2335 ; CHECK-MVE-NEXT:    it vc
2336 ; CHECK-MVE-NEXT:    movvc r1, #1
2337 ; CHECK-MVE-NEXT:    cmp r1, #0
2338 ; CHECK-MVE-NEXT:    cset r1, ne
2339 ; CHECK-MVE-NEXT:    movs r0, #0
2340 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2341 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
2342 ; CHECK-MVE-NEXT:    vmov r1, s20
2343 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
2344 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2345 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
2346 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2347 ; CHECK-MVE-NEXT:    mov.w r1, #0
2348 ; CHECK-MVE-NEXT:    it vc
2349 ; CHECK-MVE-NEXT:    movvc r1, #1
2350 ; CHECK-MVE-NEXT:    cmp r1, #0
2351 ; CHECK-MVE-NEXT:    cset r1, ne
2352 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
2353 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
2354 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2355 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2356 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
2357 ; CHECK-MVE-NEXT:    vmov r1, s20
2358 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2359 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
2360 ; CHECK-MVE-NEXT:    mov.w r1, #0
2361 ; CHECK-MVE-NEXT:    it vc
2362 ; CHECK-MVE-NEXT:    movvc r1, #1
2363 ; CHECK-MVE-NEXT:    cmp r1, #0
2364 ; CHECK-MVE-NEXT:    cset r1, ne
2365 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
2366 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2367 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
2368 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
2369 ; CHECK-MVE-NEXT:    vmov r1, s20
2370 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
2371 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2372 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
2373 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2374 ; CHECK-MVE-NEXT:    mov.w r1, #0
2375 ; CHECK-MVE-NEXT:    it vc
2376 ; CHECK-MVE-NEXT:    movvc r1, #1
2377 ; CHECK-MVE-NEXT:    cmp r1, #0
2378 ; CHECK-MVE-NEXT:    cset r1, ne
2379 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
2380 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
2381 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2382 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2383 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
2384 ; CHECK-MVE-NEXT:    vmov r1, s20
2385 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2386 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
2387 ; CHECK-MVE-NEXT:    mov.w r1, #0
2388 ; CHECK-MVE-NEXT:    it vc
2389 ; CHECK-MVE-NEXT:    movvc r1, #1
2390 ; CHECK-MVE-NEXT:    cmp r1, #0
2391 ; CHECK-MVE-NEXT:    cset r1, ne
2392 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2393 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2394 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
2395 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
2396 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2397 ; CHECK-MVE-NEXT:    it vc
2398 ; CHECK-MVE-NEXT:    movvc r0, #1
2399 ; CHECK-MVE-NEXT:    cmp r0, #0
2400 ; CHECK-MVE-NEXT:    cset r0, ne
2401 ; CHECK-MVE-NEXT:    vmov r1, s20
2402 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2403 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
2404 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2405 ; CHECK-MVE-NEXT:    vmov r0, s0
2406 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
2407 ; CHECK-MVE-NEXT:    vmov q0, q4
2408 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
2409 ; CHECK-MVE-NEXT:    bx lr
2410 ;
2411 ; CHECK-MVEFP-LABEL: vcmp_ord_v8f16:
2412 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2413 ; CHECK-MVEFP-NEXT:    vcmp.f16 le, q1, q0
2414 ; CHECK-MVEFP-NEXT:    vpst
2415 ; CHECK-MVEFP-NEXT:    vcmpt.f16 lt, q0, q1
2416 ; CHECK-MVEFP-NEXT:    vpnot
2417 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
2418 ; CHECK-MVEFP-NEXT:    bx lr
2419 entry:
2420   %c = fcmp ord <8 x half> %src, %src2
2421   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2422   ret <8 x half> %s
2423 }
2424
2425 define arm_aapcs_vfpcc <8 x half> @vcmp_uno_v8f16(<8 x half> %src, <8 x half> %src2, <8 x half> %a, <8 x half> %b) {
2426 ; CHECK-MVE-LABEL: vcmp_uno_v8f16:
2427 ; CHECK-MVE:       @ %bb.0: @ %entry
2428 ; CHECK-MVE-NEXT:    .vsave {d8, d9, d10, d11}
2429 ; CHECK-MVE-NEXT:    vpush {d8, d9, d10, d11}
2430 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s4
2431 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s0
2432 ; CHECK-MVE-NEXT:    vcmpe.f16 s18, s16
2433 ; CHECK-MVE-NEXT:    movs r1, #0
2434 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2435 ; CHECK-MVE-NEXT:    it vs
2436 ; CHECK-MVE-NEXT:    movvs r1, #1
2437 ; CHECK-MVE-NEXT:    cmp r1, #0
2438 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2439 ; CHECK-MVE-NEXT:    cset r1, ne
2440 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s8
2441 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s12
2442 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2443 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2444 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2445 ; CHECK-MVE-NEXT:    mov.w r2, #0
2446 ; CHECK-MVE-NEXT:    vmov r1, s16
2447 ; CHECK-MVE-NEXT:    it vs
2448 ; CHECK-MVE-NEXT:    movvs r2, #1
2449 ; CHECK-MVE-NEXT:    cmp r2, #0
2450 ; CHECK-MVE-NEXT:    cset r2, ne
2451 ; CHECK-MVE-NEXT:    vcmpe.f16 s1, s5
2452 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2453 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s1
2454 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s12, s8
2455 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2456 ; CHECK-MVE-NEXT:    vmov r2, s16
2457 ; CHECK-MVE-NEXT:    vmovx.f16 s4, s7
2458 ; CHECK-MVE-NEXT:    vmov.16 q4[0], r2
2459 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2460 ; CHECK-MVE-NEXT:    vmov.16 q4[1], r1
2461 ; CHECK-MVE-NEXT:    mov.w r1, #0
2462 ; CHECK-MVE-NEXT:    it vs
2463 ; CHECK-MVE-NEXT:    movvs r1, #1
2464 ; CHECK-MVE-NEXT:    cmp r1, #0
2465 ; CHECK-MVE-NEXT:    cset r1, ne
2466 ; CHECK-MVE-NEXT:    movs r0, #0
2467 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2468 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s13, s9
2469 ; CHECK-MVE-NEXT:    vmov r1, s20
2470 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s5
2471 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2472 ; CHECK-MVE-NEXT:    vmov.16 q4[2], r1
2473 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2474 ; CHECK-MVE-NEXT:    mov.w r1, #0
2475 ; CHECK-MVE-NEXT:    it vs
2476 ; CHECK-MVE-NEXT:    movvs r1, #1
2477 ; CHECK-MVE-NEXT:    cmp r1, #0
2478 ; CHECK-MVE-NEXT:    cset r1, ne
2479 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s9
2480 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s13
2481 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2482 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2483 ; CHECK-MVE-NEXT:    vcmpe.f16 s2, s6
2484 ; CHECK-MVE-NEXT:    vmov r1, s20
2485 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2486 ; CHECK-MVE-NEXT:    vmov.16 q4[3], r1
2487 ; CHECK-MVE-NEXT:    mov.w r1, #0
2488 ; CHECK-MVE-NEXT:    it vs
2489 ; CHECK-MVE-NEXT:    movvs r1, #1
2490 ; CHECK-MVE-NEXT:    cmp r1, #0
2491 ; CHECK-MVE-NEXT:    cset r1, ne
2492 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s2
2493 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2494 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s15
2495 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s14, s10
2496 ; CHECK-MVE-NEXT:    vmov r1, s20
2497 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s6
2498 ; CHECK-MVE-NEXT:    vcmpe.f16 s22, s20
2499 ; CHECK-MVE-NEXT:    vmov.16 q4[4], r1
2500 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2501 ; CHECK-MVE-NEXT:    mov.w r1, #0
2502 ; CHECK-MVE-NEXT:    it vs
2503 ; CHECK-MVE-NEXT:    movvs r1, #1
2504 ; CHECK-MVE-NEXT:    cmp r1, #0
2505 ; CHECK-MVE-NEXT:    cset r1, ne
2506 ; CHECK-MVE-NEXT:    vmovx.f16 s20, s10
2507 ; CHECK-MVE-NEXT:    vmovx.f16 s22, s14
2508 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2509 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s22, s20
2510 ; CHECK-MVE-NEXT:    vcmpe.f16 s3, s7
2511 ; CHECK-MVE-NEXT:    vmov r1, s20
2512 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2513 ; CHECK-MVE-NEXT:    vmov.16 q4[5], r1
2514 ; CHECK-MVE-NEXT:    mov.w r1, #0
2515 ; CHECK-MVE-NEXT:    it vs
2516 ; CHECK-MVE-NEXT:    movvs r1, #1
2517 ; CHECK-MVE-NEXT:    cmp r1, #0
2518 ; CHECK-MVE-NEXT:    cset r1, ne
2519 ; CHECK-MVE-NEXT:    vcmpe.f16 s0, s4
2520 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2521 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s11
2522 ; CHECK-MVE-NEXT:    vseleq.f16 s20, s15, s11
2523 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2524 ; CHECK-MVE-NEXT:    it vs
2525 ; CHECK-MVE-NEXT:    movvs r0, #1
2526 ; CHECK-MVE-NEXT:    cmp r0, #0
2527 ; CHECK-MVE-NEXT:    cset r0, ne
2528 ; CHECK-MVE-NEXT:    vmov r1, s20
2529 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2530 ; CHECK-MVE-NEXT:    vmov.16 q4[6], r1
2531 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2532 ; CHECK-MVE-NEXT:    vmov r0, s0
2533 ; CHECK-MVE-NEXT:    vmov.16 q4[7], r0
2534 ; CHECK-MVE-NEXT:    vmov q0, q4
2535 ; CHECK-MVE-NEXT:    vpop {d8, d9, d10, d11}
2536 ; CHECK-MVE-NEXT:    bx lr
2537 ;
2538 ; CHECK-MVEFP-LABEL: vcmp_uno_v8f16:
2539 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2540 ; CHECK-MVEFP-NEXT:    vcmp.f16 le, q1, q0
2541 ; CHECK-MVEFP-NEXT:    vpst
2542 ; CHECK-MVEFP-NEXT:    vcmpt.f16 lt, q0, q1
2543 ; CHECK-MVEFP-NEXT:    vpsel q0, q2, q3
2544 ; CHECK-MVEFP-NEXT:    bx lr
2545 entry:
2546   %c = fcmp uno <8 x half> %src, %src2
2547   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2548   ret <8 x half> %s
2549 }