llvm/test/CodeGen/AArch64/fmul.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 2
   2 ; RUN: llc -mtriple=aarch64-none-eabi -verify-machineinstrs %s -o - | FileCheck %s --check-prefixes=CHECK,CHECK-SD,CHECK-SD-NOFP16
   3 ; RUN: llc -mtriple=aarch64-none-eabi -mattr=+fullfp16 -verify-machineinstrs %s -o - | FileCheck %s --check-prefixes=CHECK,CHECK-SD,CHECK-SD-FP16
   4 ; RUN: llc -mtriple=aarch64-none-eabi -global-isel -verify-machineinstrs %s -o - | FileCheck %s --check-prefixes=CHECK,CHECK-GI,CHECK-GI-NOFP16
   5 ; RUN: llc -mtriple=aarch64-none-eabi -mattr=+fullfp16 -global-isel -verify-machineinstrs %s -o - | FileCheck %s --check-prefixes=CHECK,CHECK-GI,CHECK-GI-FP16
   6
   7 define double @fmul_f64(double %a, double %b) {
   8 ; CHECK-LABEL: fmul_f64:
   9 ; CHECK:       // %bb.0: // %entry
  10 ; CHECK-NEXT:    fmul d0, d0, d1
  11 ; CHECK-NEXT:    ret
  12 entry:
  13   %c = fmul double %a, %b
  14   ret double %c
  15 }
  16
  17 define float @fmul_f32(float %a, float %b) {
  18 ; CHECK-LABEL: fmul_f32:
  19 ; CHECK:       // %bb.0: // %entry
  20 ; CHECK-NEXT:    fmul s0, s0, s1
  21 ; CHECK-NEXT:    ret
  22 entry:
  23   %c = fmul float %a, %b
  24   ret float %c
  25 }
  26
  27 define half @fmul_f16(half %a, half %b) {
  28 ; CHECK-SD-NOFP16-LABEL: fmul_f16:
  29 ; CHECK-SD-NOFP16:       // %bb.0: // %entry
  30 ; CHECK-SD-NOFP16-NEXT:    fcvt s1, h1
  31 ; CHECK-SD-NOFP16-NEXT:    fcvt s0, h0
  32 ; CHECK-SD-NOFP16-NEXT:    fmul s0, s0, s1
  33 ; CHECK-SD-NOFP16-NEXT:    fcvt h0, s0
  34 ; CHECK-SD-NOFP16-NEXT:    ret
  35 ;
  36 ; CHECK-SD-FP16-LABEL: fmul_f16:
  37 ; CHECK-SD-FP16:       // %bb.0: // %entry
  38 ; CHECK-SD-FP16-NEXT:    fmul h0, h0, h1
  39 ; CHECK-SD-FP16-NEXT:    ret
  40 ;
  41 ; CHECK-GI-NOFP16-LABEL: fmul_f16:
  42 ; CHECK-GI-NOFP16:       // %bb.0: // %entry
  43 ; CHECK-GI-NOFP16-NEXT:    fcvt s0, h0
  44 ; CHECK-GI-NOFP16-NEXT:    fcvt s1, h1
  45 ; CHECK-GI-NOFP16-NEXT:    fmul s0, s0, s1
  46 ; CHECK-GI-NOFP16-NEXT:    fcvt h0, s0
  47 ; CHECK-GI-NOFP16-NEXT:    ret
  48 ;
  49 ; CHECK-GI-FP16-LABEL: fmul_f16:
  50 ; CHECK-GI-FP16:       // %bb.0: // %entry
  51 ; CHECK-GI-FP16-NEXT:    fmul h0, h0, h1
  52 ; CHECK-GI-FP16-NEXT:    ret
  53 entry:
  54   %c = fmul half %a, %b
  55   ret half %c
  56 }
  57
  58 define <2 x double> @fmul_v2f64(<2 x double> %a, <2 x double> %b) {
  59 ; CHECK-LABEL: fmul_v2f64:
  60 ; CHECK:       // %bb.0: // %entry
  61 ; CHECK-NEXT:    fmul v0.2d, v0.2d, v1.2d
  62 ; CHECK-NEXT:    ret
  63 entry:
  64   %c = fmul <2 x double> %a, %b
  65   ret <2 x double> %c
  66 }
  67
  68 define <3 x double> @fmul_v3f64(<3 x double> %a, <3 x double> %b) {
  69 ; CHECK-SD-LABEL: fmul_v3f64:
  70 ; CHECK-SD:       // %bb.0: // %entry
  71 ; CHECK-SD-NEXT:    // kill: def $d3 killed $d3 def $q3
  72 ; CHECK-SD-NEXT:    // kill: def $d0 killed $d0 def $q0
  73 ; CHECK-SD-NEXT:    // kill: def $d4 killed $d4 def $q4
  74 ; CHECK-SD-NEXT:    // kill: def $d1 killed $d1 def $q1
  75 ; CHECK-SD-NEXT:    // kill: def $d2 killed $d2 def $q2
  76 ; CHECK-SD-NEXT:    // kill: def $d5 killed $d5 def $q5
  77 ; CHECK-SD-NEXT:    mov v3.d[1], v4.d[0]
  78 ; CHECK-SD-NEXT:    mov v0.d[1], v1.d[0]
  79 ; CHECK-SD-NEXT:    fmul v2.2d, v2.2d, v5.2d
  80 ; CHECK-SD-NEXT:    // kill: def $d2 killed $d2 killed $q2
  81 ; CHECK-SD-NEXT:    fmul v0.2d, v0.2d, v3.2d
  82 ; CHECK-SD-NEXT:    ext v1.16b, v0.16b, v0.16b, #8
  83 ; CHECK-SD-NEXT:    // kill: def $d0 killed $d0 killed $q0
  84 ; CHECK-SD-NEXT:    // kill: def $d1 killed $d1 killed $q1
  85 ; CHECK-SD-NEXT:    ret
  86 ;
  87 ; CHECK-GI-LABEL: fmul_v3f64:
  88 ; CHECK-GI:       // %bb.0: // %entry
  89 ; CHECK-GI-NEXT:    // kill: def $d0 killed $d0 def $q0
  90 ; CHECK-GI-NEXT:    // kill: def $d3 killed $d3 def $q3
  91 ; CHECK-GI-NEXT:    // kill: def $d1 killed $d1 def $q1
  92 ; CHECK-GI-NEXT:    // kill: def $d4 killed $d4 def $q4
  93 ; CHECK-GI-NEXT:    fmul d2, d2, d5
  94 ; CHECK-GI-NEXT:    mov v0.d[1], v1.d[0]
  95 ; CHECK-GI-NEXT:    mov v3.d[1], v4.d[0]
  96 ; CHECK-GI-NEXT:    fmul v0.2d, v0.2d, v3.2d
  97 ; CHECK-GI-NEXT:    mov d1, v0.d[1]
  98 ; CHECK-GI-NEXT:    // kill: def $d0 killed $d0 killed $q0
  99 ; CHECK-GI-NEXT:    ret
 100 entry:
 101   %c = fmul <3 x double> %a, %b
 102   ret <3 x double> %c
 103 }
 104
 105 define <4 x double> @fmul_v4f64(<4 x double> %a, <4 x double> %b) {
 106 ; CHECK-SD-LABEL: fmul_v4f64:
 107 ; CHECK-SD:       // %bb.0: // %entry
 108 ; CHECK-SD-NEXT:    fmul v1.2d, v1.2d, v3.2d
 109 ; CHECK-SD-NEXT:    fmul v0.2d, v0.2d, v2.2d
 110 ; CHECK-SD-NEXT:    ret
 111 ;
 112 ; CHECK-GI-LABEL: fmul_v4f64:
 113 ; CHECK-GI:       // %bb.0: // %entry
 114 ; CHECK-GI-NEXT:    fmul v0.2d, v0.2d, v2.2d
 115 ; CHECK-GI-NEXT:    fmul v1.2d, v1.2d, v3.2d
 116 ; CHECK-GI-NEXT:    ret
 117 entry:
 118   %c = fmul <4 x double> %a, %b
 119   ret <4 x double> %c
 120 }
 121
 122 define <2 x float> @fmul_v2f32(<2 x float> %a, <2 x float> %b) {
 123 ; CHECK-LABEL: fmul_v2f32:
 124 ; CHECK:       // %bb.0: // %entry
 125 ; CHECK-NEXT:    fmul v0.2s, v0.2s, v1.2s
 126 ; CHECK-NEXT:    ret
 127 entry:
 128   %c = fmul <2 x float> %a, %b
 129   ret <2 x float> %c
 130 }
 131
 132 define <3 x float> @fmul_v3f32(<3 x float> %a, <3 x float> %b) {
 133 ; CHECK-LABEL: fmul_v3f32:
 134 ; CHECK:       // %bb.0: // %entry
 135 ; CHECK-NEXT:    fmul v0.4s, v0.4s, v1.4s
 136 ; CHECK-NEXT:    ret
 137 entry:
 138   %c = fmul <3 x float> %a, %b
 139   ret <3 x float> %c
 140 }
 141
 142 define <4 x float> @fmul_v4f32(<4 x float> %a, <4 x float> %b) {
 143 ; CHECK-LABEL: fmul_v4f32:
 144 ; CHECK:       // %bb.0: // %entry
 145 ; CHECK-NEXT:    fmul v0.4s, v0.4s, v1.4s
 146 ; CHECK-NEXT:    ret
 147 entry:
 148   %c = fmul <4 x float> %a, %b
 149   ret <4 x float> %c
 150 }
 151
 152 define <8 x float> @fmul_v8f32(<8 x float> %a, <8 x float> %b) {
 153 ; CHECK-SD-LABEL: fmul_v8f32:
 154 ; CHECK-SD:       // %bb.0: // %entry
 155 ; CHECK-SD-NEXT:    fmul v1.4s, v1.4s, v3.4s
 156 ; CHECK-SD-NEXT:    fmul v0.4s, v0.4s, v2.4s
 157 ; CHECK-SD-NEXT:    ret
 158 ;
 159 ; CHECK-GI-LABEL: fmul_v8f32:
 160 ; CHECK-GI:       // %bb.0: // %entry
 161 ; CHECK-GI-NEXT:    fmul v0.4s, v0.4s, v2.4s
 162 ; CHECK-GI-NEXT:    fmul v1.4s, v1.4s, v3.4s
 163 ; CHECK-GI-NEXT:    ret
 164 entry:
 165   %c = fmul <8 x float> %a, %b
 166   ret <8 x float> %c
 167 }
 168
 169 define <7 x half> @fmul_v7f16(<7 x half> %a, <7 x half> %b) {
 170 ; CHECK-SD-NOFP16-LABEL: fmul_v7f16:
 171 ; CHECK-SD-NOFP16:       // %bb.0: // %entry
 172 ; CHECK-SD-NOFP16-NEXT:    mov h2, v1.h[1]
 173 ; CHECK-SD-NOFP16-NEXT:    mov h3, v0.h[1]
 174 ; CHECK-SD-NOFP16-NEXT:    fcvt s4, h1
 175 ; CHECK-SD-NOFP16-NEXT:    fcvt s5, h0
 176 ; CHECK-SD-NOFP16-NEXT:    mov h6, v1.h[2]
 177 ; CHECK-SD-NOFP16-NEXT:    mov h7, v0.h[2]
 178 ; CHECK-SD-NOFP16-NEXT:    mov h16, v1.h[3]
 179 ; CHECK-SD-NOFP16-NEXT:    fcvt s2, h2
 180 ; CHECK-SD-NOFP16-NEXT:    fcvt s3, h3
 181 ; CHECK-SD-NOFP16-NEXT:    fmul s4, s5, s4
 182 ; CHECK-SD-NOFP16-NEXT:    mov h5, v0.h[3]
 183 ; CHECK-SD-NOFP16-NEXT:    fcvt s6, h6
 184 ; CHECK-SD-NOFP16-NEXT:    fcvt s7, h7
 185 ; CHECK-SD-NOFP16-NEXT:    fcvt s16, h16
 186 ; CHECK-SD-NOFP16-NEXT:    fmul s3, s3, s2
 187 ; CHECK-SD-NOFP16-NEXT:    fcvt s5, h5
 188 ; CHECK-SD-NOFP16-NEXT:    fcvt h2, s4
 189 ; CHECK-SD-NOFP16-NEXT:    fmul s4, s7, s6
 190 ; CHECK-SD-NOFP16-NEXT:    mov h6, v1.h[4]
 191 ; CHECK-SD-NOFP16-NEXT:    mov h7, v0.h[4]
 192 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s3
 193 ; CHECK-SD-NOFP16-NEXT:    fmul s5, s5, s16
 194 ; CHECK-SD-NOFP16-NEXT:    mov h16, v0.h[5]
 195 ; CHECK-SD-NOFP16-NEXT:    fcvt h4, s4
 196 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[1], v3.h[0]
 197 ; CHECK-SD-NOFP16-NEXT:    fcvt s3, h6
 198 ; CHECK-SD-NOFP16-NEXT:    fcvt s6, h7
 199 ; CHECK-SD-NOFP16-NEXT:    mov h7, v1.h[5]
 200 ; CHECK-SD-NOFP16-NEXT:    fcvt h5, s5
 201 ; CHECK-SD-NOFP16-NEXT:    fcvt s16, h16
 202 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[2], v4.h[0]
 203 ; CHECK-SD-NOFP16-NEXT:    mov h4, v1.h[6]
 204 ; CHECK-SD-NOFP16-NEXT:    fmul s3, s6, s3
 205 ; CHECK-SD-NOFP16-NEXT:    mov h6, v0.h[6]
 206 ; CHECK-SD-NOFP16-NEXT:    fcvt s7, h7
 207 ; CHECK-SD-NOFP16-NEXT:    mov h1, v1.h[7]
 208 ; CHECK-SD-NOFP16-NEXT:    mov h0, v0.h[7]
 209 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[3], v5.h[0]
 210 ; CHECK-SD-NOFP16-NEXT:    fcvt s4, h4
 211 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s3
 212 ; CHECK-SD-NOFP16-NEXT:    fcvt s5, h6
 213 ; CHECK-SD-NOFP16-NEXT:    fmul s6, s16, s7
 214 ; CHECK-SD-NOFP16-NEXT:    fcvt s1, h1
 215 ; CHECK-SD-NOFP16-NEXT:    fcvt s0, h0
 216 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[4], v3.h[0]
 217 ; CHECK-SD-NOFP16-NEXT:    fmul s4, s5, s4
 218 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s6
 219 ; CHECK-SD-NOFP16-NEXT:    fmul s0, s0, s1
 220 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[5], v3.h[0]
 221 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s4
 222 ; CHECK-SD-NOFP16-NEXT:    fcvt h0, s0
 223 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[6], v3.h[0]
 224 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[7], v0.h[0]
 225 ; CHECK-SD-NOFP16-NEXT:    mov v0.16b, v2.16b
 226 ; CHECK-SD-NOFP16-NEXT:    ret
 227 ;
 228 ; CHECK-SD-FP16-LABEL: fmul_v7f16:
 229 ; CHECK-SD-FP16:       // %bb.0: // %entry
 230 ; CHECK-SD-FP16-NEXT:    fmul v0.8h, v0.8h, v1.8h
 231 ; CHECK-SD-FP16-NEXT:    ret
 232 ;
 233 ; CHECK-GI-NOFP16-LABEL: fmul_v7f16:
 234 ; CHECK-GI-NOFP16:       // %bb.0: // %entry
 235 ; CHECK-GI-NOFP16-NEXT:    mov h2, v0.h[4]
 236 ; CHECK-GI-NOFP16-NEXT:    mov h3, v0.h[5]
 237 ; CHECK-GI-NOFP16-NEXT:    mov h4, v1.h[4]
 238 ; CHECK-GI-NOFP16-NEXT:    mov h5, v1.h[5]
 239 ; CHECK-GI-NOFP16-NEXT:    fcvtl v6.4s, v0.4h
 240 ; CHECK-GI-NOFP16-NEXT:    fcvtl v7.4s, v1.4h
 241 ; CHECK-GI-NOFP16-NEXT:    mov h0, v0.h[6]
 242 ; CHECK-GI-NOFP16-NEXT:    mov h1, v1.h[6]
 243 ; CHECK-GI-NOFP16-NEXT:    mov v2.h[1], v3.h[0]
 244 ; CHECK-GI-NOFP16-NEXT:    mov v4.h[1], v5.h[0]
 245 ; CHECK-GI-NOFP16-NEXT:    fmul v3.4s, v6.4s, v7.4s
 246 ; CHECK-GI-NOFP16-NEXT:    mov v2.h[2], v0.h[0]
 247 ; CHECK-GI-NOFP16-NEXT:    mov v4.h[2], v1.h[0]
 248 ; CHECK-GI-NOFP16-NEXT:    fcvtn v0.4h, v3.4s
 249 ; CHECK-GI-NOFP16-NEXT:    mov v2.h[3], v0.h[0]
 250 ; CHECK-GI-NOFP16-NEXT:    mov v4.h[3], v0.h[0]
 251 ; CHECK-GI-NOFP16-NEXT:    mov h1, v0.h[1]
 252 ; CHECK-GI-NOFP16-NEXT:    mov h5, v0.h[3]
 253 ; CHECK-GI-NOFP16-NEXT:    fcvtl v2.4s, v2.4h
 254 ; CHECK-GI-NOFP16-NEXT:    fcvtl v3.4s, v4.4h
 255 ; CHECK-GI-NOFP16-NEXT:    mov h4, v0.h[2]
 256 ; CHECK-GI-NOFP16-NEXT:    mov v0.h[1], v1.h[0]
 257 ; CHECK-GI-NOFP16-NEXT:    fmul v1.4s, v2.4s, v3.4s
 258 ; CHECK-GI-NOFP16-NEXT:    mov v0.h[2], v4.h[0]
 259 ; CHECK-GI-NOFP16-NEXT:    fcvtn v1.4h, v1.4s
 260 ; CHECK-GI-NOFP16-NEXT:    mov v0.h[3], v5.h[0]
 261 ; CHECK-GI-NOFP16-NEXT:    mov h2, v1.h[1]
 262 ; CHECK-GI-NOFP16-NEXT:    mov v0.h[4], v1.h[0]
 263 ; CHECK-GI-NOFP16-NEXT:    mov h1, v1.h[2]
 264 ; CHECK-GI-NOFP16-NEXT:    mov v0.h[5], v2.h[0]
 265 ; CHECK-GI-NOFP16-NEXT:    mov v0.h[6], v1.h[0]
 266 ; CHECK-GI-NOFP16-NEXT:    mov v0.h[7], v0.h[0]
 267 ; CHECK-GI-NOFP16-NEXT:    ret
 268 ;
 269 ; CHECK-GI-FP16-LABEL: fmul_v7f16:
 270 ; CHECK-GI-FP16:       // %bb.0: // %entry
 271 ; CHECK-GI-FP16-NEXT:    fmul v0.8h, v0.8h, v1.8h
 272 ; CHECK-GI-FP16-NEXT:    ret
 273 entry:
 274   %c = fmul <7 x half> %a, %b
 275   ret <7 x half> %c
 276 }
 277
 278 define <4 x half> @fmul_v4f16(<4 x half> %a, <4 x half> %b) {
 279 ; CHECK-SD-NOFP16-LABEL: fmul_v4f16:
 280 ; CHECK-SD-NOFP16:       // %bb.0: // %entry
 281 ; CHECK-SD-NOFP16-NEXT:    fcvtl v1.4s, v1.4h
 282 ; CHECK-SD-NOFP16-NEXT:    fcvtl v0.4s, v0.4h
 283 ; CHECK-SD-NOFP16-NEXT:    fmul v0.4s, v0.4s, v1.4s
 284 ; CHECK-SD-NOFP16-NEXT:    fcvtn v0.4h, v0.4s
 285 ; CHECK-SD-NOFP16-NEXT:    ret
 286 ;
 287 ; CHECK-SD-FP16-LABEL: fmul_v4f16:
 288 ; CHECK-SD-FP16:       // %bb.0: // %entry
 289 ; CHECK-SD-FP16-NEXT:    fmul v0.4h, v0.4h, v1.4h
 290 ; CHECK-SD-FP16-NEXT:    ret
 291 ;
 292 ; CHECK-GI-NOFP16-LABEL: fmul_v4f16:
 293 ; CHECK-GI-NOFP16:       // %bb.0: // %entry
 294 ; CHECK-GI-NOFP16-NEXT:    fcvtl v0.4s, v0.4h
 295 ; CHECK-GI-NOFP16-NEXT:    fcvtl v1.4s, v1.4h
 296 ; CHECK-GI-NOFP16-NEXT:    fmul v0.4s, v0.4s, v1.4s
 297 ; CHECK-GI-NOFP16-NEXT:    fcvtn v0.4h, v0.4s
 298 ; CHECK-GI-NOFP16-NEXT:    ret
 299 ;
 300 ; CHECK-GI-FP16-LABEL: fmul_v4f16:
 301 ; CHECK-GI-FP16:       // %bb.0: // %entry
 302 ; CHECK-GI-FP16-NEXT:    fmul v0.4h, v0.4h, v1.4h
 303 ; CHECK-GI-FP16-NEXT:    ret
 304 entry:
 305   %c = fmul <4 x half> %a, %b
 306   ret <4 x half> %c
 307 }
 308
 309 define <8 x half> @fmul_v8f16(<8 x half> %a, <8 x half> %b) {
 310 ; CHECK-SD-NOFP16-LABEL: fmul_v8f16:
 311 ; CHECK-SD-NOFP16:       // %bb.0: // %entry
 312 ; CHECK-SD-NOFP16-NEXT:    mov h2, v1.h[1]
 313 ; CHECK-SD-NOFP16-NEXT:    mov h3, v0.h[1]
 314 ; CHECK-SD-NOFP16-NEXT:    fcvt s4, h1
 315 ; CHECK-SD-NOFP16-NEXT:    fcvt s5, h0
 316 ; CHECK-SD-NOFP16-NEXT:    mov h6, v1.h[2]
 317 ; CHECK-SD-NOFP16-NEXT:    mov h7, v0.h[2]
 318 ; CHECK-SD-NOFP16-NEXT:    mov h16, v1.h[3]
 319 ; CHECK-SD-NOFP16-NEXT:    fcvt s2, h2
 320 ; CHECK-SD-NOFP16-NEXT:    fcvt s3, h3
 321 ; CHECK-SD-NOFP16-NEXT:    fmul s4, s5, s4
 322 ; CHECK-SD-NOFP16-NEXT:    mov h5, v0.h[3]
 323 ; CHECK-SD-NOFP16-NEXT:    fcvt s6, h6
 324 ; CHECK-SD-NOFP16-NEXT:    fcvt s7, h7
 325 ; CHECK-SD-NOFP16-NEXT:    fcvt s16, h16
 326 ; CHECK-SD-NOFP16-NEXT:    fmul s3, s3, s2
 327 ; CHECK-SD-NOFP16-NEXT:    fcvt s5, h5
 328 ; CHECK-SD-NOFP16-NEXT:    fcvt h2, s4
 329 ; CHECK-SD-NOFP16-NEXT:    fmul s4, s7, s6
 330 ; CHECK-SD-NOFP16-NEXT:    mov h6, v1.h[4]
 331 ; CHECK-SD-NOFP16-NEXT:    mov h7, v0.h[4]
 332 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s3
 333 ; CHECK-SD-NOFP16-NEXT:    fmul s5, s5, s16
 334 ; CHECK-SD-NOFP16-NEXT:    mov h16, v0.h[5]
 335 ; CHECK-SD-NOFP16-NEXT:    fcvt h4, s4
 336 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[1], v3.h[0]
 337 ; CHECK-SD-NOFP16-NEXT:    fcvt s3, h6
 338 ; CHECK-SD-NOFP16-NEXT:    fcvt s6, h7
 339 ; CHECK-SD-NOFP16-NEXT:    mov h7, v1.h[5]
 340 ; CHECK-SD-NOFP16-NEXT:    fcvt h5, s5
 341 ; CHECK-SD-NOFP16-NEXT:    fcvt s16, h16
 342 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[2], v4.h[0]
 343 ; CHECK-SD-NOFP16-NEXT:    mov h4, v1.h[6]
 344 ; CHECK-SD-NOFP16-NEXT:    fmul s3, s6, s3
 345 ; CHECK-SD-NOFP16-NEXT:    mov h6, v0.h[6]
 346 ; CHECK-SD-NOFP16-NEXT:    fcvt s7, h7
 347 ; CHECK-SD-NOFP16-NEXT:    mov h1, v1.h[7]
 348 ; CHECK-SD-NOFP16-NEXT:    mov h0, v0.h[7]
 349 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[3], v5.h[0]
 350 ; CHECK-SD-NOFP16-NEXT:    fcvt s4, h4
 351 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s3
 352 ; CHECK-SD-NOFP16-NEXT:    fcvt s5, h6
 353 ; CHECK-SD-NOFP16-NEXT:    fmul s6, s16, s7
 354 ; CHECK-SD-NOFP16-NEXT:    fcvt s1, h1
 355 ; CHECK-SD-NOFP16-NEXT:    fcvt s0, h0
 356 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[4], v3.h[0]
 357 ; CHECK-SD-NOFP16-NEXT:    fmul s4, s5, s4
 358 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s6
 359 ; CHECK-SD-NOFP16-NEXT:    fmul s0, s0, s1
 360 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[5], v3.h[0]
 361 ; CHECK-SD-NOFP16-NEXT:    fcvt h3, s4
 362 ; CHECK-SD-NOFP16-NEXT:    fcvt h0, s0
 363 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[6], v3.h[0]
 364 ; CHECK-SD-NOFP16-NEXT:    mov v2.h[7], v0.h[0]
 365 ; CHECK-SD-NOFP16-NEXT:    mov v0.16b, v2.16b
 366 ; CHECK-SD-NOFP16-NEXT:    ret
 367 ;
 368 ; CHECK-SD-FP16-LABEL: fmul_v8f16:
 369 ; CHECK-SD-FP16:       // %bb.0: // %entry
 370 ; CHECK-SD-FP16-NEXT:    fmul v0.8h, v0.8h, v1.8h
 371 ; CHECK-SD-FP16-NEXT:    ret
 372 ;
 373 ; CHECK-GI-NOFP16-LABEL: fmul_v8f16:
 374 ; CHECK-GI-NOFP16:       // %bb.0: // %entry
 375 ; CHECK-GI-NOFP16-NEXT:    fcvtl v2.4s, v0.4h
 376 ; CHECK-GI-NOFP16-NEXT:    fcvtl v3.4s, v1.4h
 377 ; CHECK-GI-NOFP16-NEXT:    fcvtl2 v0.4s, v0.8h
 378 ; CHECK-GI-NOFP16-NEXT:    fcvtl2 v1.4s, v1.8h
 379 ; CHECK-GI-NOFP16-NEXT:    fmul v2.4s, v2.4s, v3.4s
 380 ; CHECK-GI-NOFP16-NEXT:    fmul v1.4s, v0.4s, v1.4s
 381 ; CHECK-GI-NOFP16-NEXT:    fcvtn v0.4h, v2.4s
 382 ; CHECK-GI-NOFP16-NEXT:    fcvtn2 v0.8h, v1.4s
 383 ; CHECK-GI-NOFP16-NEXT:    ret
 384 ;
 385 ; CHECK-GI-FP16-LABEL: fmul_v8f16:
 386 ; CHECK-GI-FP16:       // %bb.0: // %entry
 387 ; CHECK-GI-FP16-NEXT:    fmul v0.8h, v0.8h, v1.8h
 388 ; CHECK-GI-FP16-NEXT:    ret
 389 entry:
 390   %c = fmul <8 x half> %a, %b
 391   ret <8 x half> %c
 392 }
 393
 394 define <16 x half> @fmul_v16f16(<16 x half> %a, <16 x half> %b) {
 395 ; CHECK-SD-NOFP16-LABEL: fmul_v16f16:
 396 ; CHECK-SD-NOFP16:       // %bb.0: // %entry
 397 ; CHECK-SD-NOFP16-NEXT:    mov h4, v2.h[1]
 398 ; CHECK-SD-NOFP16-NEXT:    mov h5, v0.h[1]
 399 ; CHECK-SD-NOFP16-NEXT:    mov h6, v3.h[1]
 400 ; CHECK-SD-NOFP16-NEXT:    mov h7, v1.h[1]
 401 ; CHECK-SD-NOFP16-NEXT:    fcvt s16, h2
 402 ; CHECK-SD-NOFP16-NEXT:    fcvt s17, h0
 403 ; CHECK-SD-NOFP16-NEXT:    mov h18, v2.h[2]
 404 ; CHECK-SD-NOFP16-NEXT:    mov h19, v0.h[2]
 405 ; CHECK-SD-NOFP16-NEXT:    fcvt s20, h3
 406 ; CHECK-SD-NOFP16-NEXT:    fcvt s21, h1
 407 ; CHECK-SD-NOFP16-NEXT:    mov h22, v3.h[2]
 408 ; CHECK-SD-NOFP16-NEXT:    mov h23, v1.h[2]
 409 ; CHECK-SD-NOFP16-NEXT:    fcvt s4, h4
 410 ; CHECK-SD-NOFP16-NEXT:    fcvt s5, h5
 411 ; CHECK-SD-NOFP16-NEXT:    fcvt s6, h6
 412 ; CHECK-SD-NOFP16-NEXT:    fmul s16, s17, s16
 413 ; CHECK-SD-NOFP16-NEXT:    fcvt s7, h7
 414 ; CHECK-SD-NOFP16-NEXT:    mov h24, v0.h[3]
 415 ; CHECK-SD-NOFP16-NEXT:    fcvt s17, h18
 416 ; CHECK-SD-NOFP16-NEXT:    fcvt s18, h19
 417 ; CHECK-SD-NOFP16-NEXT:    mov h19, v2.h[3]
 418 ; CHECK-SD-NOFP16-NEXT:    fmul s20, s21, s20
 419 ; CHECK-SD-NOFP16-NEXT:    fcvt s21, h22
 420 ; CHECK-SD-NOFP16-NEXT:    fcvt s22, h23
 421 ; CHECK-SD-NOFP16-NEXT:    fmul s5, s5, s4
 422 ; CHECK-SD-NOFP16-NEXT:    mov h23, v1.h[3]
 423 ; CHECK-SD-NOFP16-NEXT:    mov h25, v1.h[6]
 424 ; CHECK-SD-NOFP16-NEXT:    fmul s6, s7, s6
 425 ; CHECK-SD-NOFP16-NEXT:    mov h7, v3.h[3]
 426 ; CHECK-SD-NOFP16-NEXT:    fcvt s24, h24
 427 ; CHECK-SD-NOFP16-NEXT:    fmul s17, s18, s17
 428 ; CHECK-SD-NOFP16-NEXT:    fcvt s19, h19
 429 ; CHECK-SD-NOFP16-NEXT:    fcvt h4, s16
 430 ; CHECK-SD-NOFP16-NEXT:    fmul s18, s22, s21
 431 ; CHECK-SD-NOFP16-NEXT:    mov h22, v0.h[4]
 432 ; CHECK-SD-NOFP16-NEXT:    fcvt h16, s5
 433 ; CHECK-SD-NOFP16-NEXT:    fcvt h5, s20
 434 ; CHECK-SD-NOFP16-NEXT:    fcvt s21, h23
 435 ; CHECK-SD-NOFP16-NEXT:    fcvt h6, s6
 436 ; CHECK-SD-NOFP16-NEXT:    fcvt s7, h7
 437 ; CHECK-SD-NOFP16-NEXT:    mov h20, v2.h[4]
 438 ; CHECK-SD-NOFP16-NEXT:    fmul s19, s24, s19
 439 ; CHECK-SD-NOFP16-NEXT:    fcvt h17, s17
 440 ; CHECK-SD-NOFP16-NEXT:    mov h23, v1.h[4]
 441 ; CHECK-SD-NOFP16-NEXT:    mov h24, v0.h[6]
 442 ; CHECK-SD-NOFP16-NEXT:    mov v4.h[1], v16.h[0]
 443 ; CHECK-SD-NOFP16-NEXT:    mov h16, v3.h[4]
 444 ; CHECK-SD-NOFP16-NEXT:    fmul s7, s21, s7
 445 ; CHECK-SD-NOFP16-NEXT:    mov v5.h[1], v6.h[0]
 446 ; CHECK-SD-NOFP16-NEXT:    fcvt h6, s18
 447 ; CHECK-SD-NOFP16-NEXT:    fcvt s18, h20
 448 ; CHECK-SD-NOFP16-NEXT:    fcvt h19, s19
 449 ; CHECK-SD-NOFP16-NEXT:    fcvt s20, h22
 450 ; CHECK-SD-NOFP16-NEXT:    mov h21, v2.h[5]
 451 ; CHECK-SD-NOFP16-NEXT:    mov h22, v0.h[5]
 452 ; CHECK-SD-NOFP16-NEXT:    mov h0, v0.h[7]
 453 ; CHECK-SD-NOFP16-NEXT:    mov v4.h[2], v17.h[0]
 454 ; CHECK-SD-NOFP16-NEXT:    fcvt s16, h16
 455 ; CHECK-SD-NOFP16-NEXT:    fcvt s17, h23
 456 ; CHECK-SD-NOFP16-NEXT:    mov v5.h[2], v6.h[0]
 457 ; CHECK-SD-NOFP16-NEXT:    fcvt h6, s7
 458 ; CHECK-SD-NOFP16-NEXT:    mov h7, v3.h[5]
 459 ; CHECK-SD-NOFP16-NEXT:    fmul s18, s20, s18
 460 ; CHECK-SD-NOFP16-NEXT:    mov h23, v1.h[5]
 461 ; CHECK-SD-NOFP16-NEXT:    mov h20, v2.h[6]
 462 ; CHECK-SD-NOFP16-NEXT:    mov h2, v2.h[7]
 463 ; CHECK-SD-NOFP16-NEXT:    mov h1, v1.h[7]
 464 ; CHECK-SD-NOFP16-NEXT:    fcvt s0, h0
 465 ; CHECK-SD-NOFP16-NEXT:    fmul s16, s17, s16
 466 ; CHECK-SD-NOFP16-NEXT:    mov h17, v3.h[6]
 467 ; CHECK-SD-NOFP16-NEXT:    mov v4.h[3], v19.h[0]
 468 ; CHECK-SD-NOFP16-NEXT:    fcvt s19, h21
 469 ; CHECK-SD-NOFP16-NEXT:    fcvt s21, h22
 470 ; CHECK-SD-NOFP16-NEXT:    mov v5.h[3], v6.h[0]
 471 ; CHECK-SD-NOFP16-NEXT:    fcvt s6, h7
 472 ; CHECK-SD-NOFP16-NEXT:    fcvt s7, h23
 473 ; CHECK-SD-NOFP16-NEXT:    fcvt h18, s18
 474 ; CHECK-SD-NOFP16-NEXT:    fcvt s20, h20
 475 ; CHECK-SD-NOFP16-NEXT:    fcvt s22, h24
 476 ; CHECK-SD-NOFP16-NEXT:    fcvt s23, h25
 477 ; CHECK-SD-NOFP16-NEXT:    fcvt h16, s16
 478 ; CHECK-SD-NOFP16-NEXT:    fcvt s17, h17
 479 ; CHECK-SD-NOFP16-NEXT:    mov h3, v3.h[7]
 480 ; CHECK-SD-NOFP16-NEXT:    fmul s19, s21, s19
 481 ; CHECK-SD-NOFP16-NEXT:    fcvt s2, h2
 482 ; CHECK-SD-NOFP16-NEXT:    fcvt s1, h1
 483 ; CHECK-SD-NOFP16-NEXT:    fmul s6, s7, s6
 484 ; CHECK-SD-NOFP16-NEXT:    mov v4.h[4], v18.h[0]
 485 ; CHECK-SD-NOFP16-NEXT:    fmul s7, s22, s20
 486 ; CHECK-SD-NOFP16-NEXT:    mov v5.h[4], v16.h[0]
 487 ; CHECK-SD-NOFP16-NEXT:    fmul s16, s23, s17
 488 ; CHECK-SD-NOFP16-NEXT:    fcvt s3, h3
 489 ; CHECK-SD-NOFP16-NEXT:    fmul s0, s0, s2
 490 ; CHECK-SD-NOFP16-NEXT:    fcvt h17, s19
 491 ; CHECK-SD-NOFP16-NEXT:    fcvt h6, s6
 492 ; CHECK-SD-NOFP16-NEXT:    fcvt h2, s7
 493 ; CHECK-SD-NOFP16-NEXT:    fmul s1, s1, s3
 494 ; CHECK-SD-NOFP16-NEXT:    mov v4.h[5], v17.h[0]
 495 ; CHECK-SD-NOFP16-NEXT:    fcvt h0, s0
 496 ; CHECK-SD-NOFP16-NEXT:    mov v5.h[5], v6.h[0]
 497 ; CHECK-SD-NOFP16-NEXT:    fcvt h6, s16
 498 ; CHECK-SD-NOFP16-NEXT:    fcvt h1, s1
 499 ; CHECK-SD-NOFP16-NEXT:    mov v4.h[6], v2.h[0]
 500 ; CHECK-SD-NOFP16-NEXT:    mov v5.h[6], v6.h[0]
 501 ; CHECK-SD-NOFP16-NEXT:    mov v4.h[7], v0.h[0]
 502 ; CHECK-SD-NOFP16-NEXT:    mov v5.h[7], v1.h[0]
 503 ; CHECK-SD-NOFP16-NEXT:    mov v0.16b, v4.16b
 504 ; CHECK-SD-NOFP16-NEXT:    mov v1.16b, v5.16b
 505 ; CHECK-SD-NOFP16-NEXT:    ret
 506 ;
 507 ; CHECK-SD-FP16-LABEL: fmul_v16f16:
 508 ; CHECK-SD-FP16:       // %bb.0: // %entry
 509 ; CHECK-SD-FP16-NEXT:    fmul v1.8h, v1.8h, v3.8h
 510 ; CHECK-SD-FP16-NEXT:    fmul v0.8h, v0.8h, v2.8h
 511 ; CHECK-SD-FP16-NEXT:    ret
 512 ;
 513 ; CHECK-GI-NOFP16-LABEL: fmul_v16f16:
 514 ; CHECK-GI-NOFP16:       // %bb.0: // %entry
 515 ; CHECK-GI-NOFP16-NEXT:    fcvtl v4.4s, v0.4h
 516 ; CHECK-GI-NOFP16-NEXT:    fcvtl v5.4s, v1.4h
 517 ; CHECK-GI-NOFP16-NEXT:    fcvtl v6.4s, v2.4h
 518 ; CHECK-GI-NOFP16-NEXT:    fcvtl v7.4s, v3.4h
 519 ; CHECK-GI-NOFP16-NEXT:    fcvtl2 v0.4s, v0.8h
 520 ; CHECK-GI-NOFP16-NEXT:    fcvtl2 v1.4s, v1.8h
 521 ; CHECK-GI-NOFP16-NEXT:    fcvtl2 v2.4s, v2.8h
 522 ; CHECK-GI-NOFP16-NEXT:    fcvtl2 v3.4s, v3.8h
 523 ; CHECK-GI-NOFP16-NEXT:    fmul v4.4s, v4.4s, v6.4s
 524 ; CHECK-GI-NOFP16-NEXT:    fmul v5.4s, v5.4s, v7.4s
 525 ; CHECK-GI-NOFP16-NEXT:    fmul v2.4s, v0.4s, v2.4s
 526 ; CHECK-GI-NOFP16-NEXT:    fmul v3.4s, v1.4s, v3.4s
 527 ; CHECK-GI-NOFP16-NEXT:    fcvtn v0.4h, v4.4s
 528 ; CHECK-GI-NOFP16-NEXT:    fcvtn v1.4h, v5.4s
 529 ; CHECK-GI-NOFP16-NEXT:    fcvtn2 v0.8h, v2.4s
 530 ; CHECK-GI-NOFP16-NEXT:    fcvtn2 v1.8h, v3.4s
 531 ; CHECK-GI-NOFP16-NEXT:    ret
 532 ;
 533 ; CHECK-GI-FP16-LABEL: fmul_v16f16:
 534 ; CHECK-GI-FP16:       // %bb.0: // %entry
 535 ; CHECK-GI-FP16-NEXT:    fmul v0.8h, v0.8h, v2.8h
 536 ; CHECK-GI-FP16-NEXT:    fmul v1.8h, v1.8h, v3.8h
 537 ; CHECK-GI-FP16-NEXT:    ret
 538 entry:
 539   %c = fmul <16 x half> %a, %b
 540   ret <16 x half> %c
 541 }
 542