llvm/test/CodeGen/AArch64/sve-masked-gather-vec-plus-reg.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=aarch64--linux-gnu -mattr=+sve < %s | FileCheck %s
   3
   4 define <vscale x 2 x i64> @masked_gather_nxv2i8(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
   5 ; CHECK-LABEL: masked_gather_nxv2i8:
   6 ; CHECK:       // %bb.0:
   7 ; CHECK-NEXT:    ld1b { z0.d }, p0/z, [x0, z0.d]
   8 ; CHECK-NEXT:    ret
   9   %ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  10   %vals = call <vscale x 2 x i8> @llvm.masked.gather.nxv2i8(<vscale x 2 x ptr> %ptrs, i32 1, <vscale x 2 x i1> %mask, <vscale x 2 x i8> undef)
  11   %vals.zext = zext <vscale x 2 x i8> %vals to <vscale x 2 x i64>
  12   ret <vscale x 2 x i64> %vals.zext
  13 }
  14
  15 define <vscale x 2 x i64> @masked_gather_nxv2i16(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
  16 ; CHECK-LABEL: masked_gather_nxv2i16:
  17 ; CHECK:       // %bb.0:
  18 ; CHECK-NEXT:    ld1h { z0.d }, p0/z, [x0, z0.d]
  19 ; CHECK-NEXT:    ret
  20   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  21   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
  22   %vals = call <vscale x 2 x i16> @llvm.masked.gather.nxv2i16(<vscale x 2 x ptr> %ptrs, i32 2, <vscale x 2 x i1> %mask, <vscale x 2 x i16> undef)
  23   %vals.zext = zext <vscale x 2 x i16> %vals to <vscale x 2 x i64>
  24   ret <vscale x 2 x i64> %vals.zext
  25 }
  26
  27 define <vscale x 2 x i64> @masked_gather_nxv2i32(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
  28 ; CHECK-LABEL: masked_gather_nxv2i32:
  29 ; CHECK:       // %bb.0:
  30 ; CHECK-NEXT:    ld1w { z0.d }, p0/z, [x0, z0.d]
  31 ; CHECK-NEXT:    ret
  32   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  33   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
  34   %vals = call <vscale x 2 x i32> @llvm.masked.gather.nxv2i32(<vscale x 2 x ptr> %ptrs, i32 4, <vscale x 2 x i1> %mask, <vscale x 2 x i32> undef)
  35   %vals.zext = zext <vscale x 2 x i32> %vals to <vscale x 2 x i64>
  36   ret <vscale x 2 x i64> %vals.zext
  37 }
  38
  39 define <vscale x 2 x i64> @masked_gather_nxv2i64(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
  40 ; CHECK-LABEL: masked_gather_nxv2i64:
  41 ; CHECK:       // %bb.0:
  42 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0, z0.d]
  43 ; CHECK-NEXT:    ret
  44   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  45   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
  46   %vals = call <vscale x 2 x i64> @llvm.masked.gather.nxv2i64(<vscale x 2 x ptr> %ptrs, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x i64> undef)
  47   ret <vscale x 2 x i64> %vals
  48 }
  49
  50 define <vscale x 2 x half> @masked_gather_nxv2f16(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
  51 ; CHECK-LABEL: masked_gather_nxv2f16:
  52 ; CHECK:       // %bb.0:
  53 ; CHECK-NEXT:    ld1h { z0.d }, p0/z, [x0, z0.d]
  54 ; CHECK-NEXT:    ret
  55   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  56   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
  57   %vals = call <vscale x 2 x half> @llvm.masked.gather.nxv2f16(<vscale x 2 x ptr> %ptrs, i32 2, <vscale x 2 x i1> %mask, <vscale x 2 x half> undef)
  58   ret <vscale x 2 x half> %vals
  59 }
  60
  61 define <vscale x 2 x bfloat> @masked_gather_nxv2bf16(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) #0 {
  62 ; CHECK-LABEL: masked_gather_nxv2bf16:
  63 ; CHECK:       // %bb.0:
  64 ; CHECK-NEXT:    ld1h { z0.d }, p0/z, [x0, z0.d]
  65 ; CHECK-NEXT:    ret
  66   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  67   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
  68   %vals = call <vscale x 2 x bfloat> @llvm.masked.gather.nxv2bf16(<vscale x 2 x ptr> %ptrs, i32 2, <vscale x 2 x i1> %mask, <vscale x 2 x bfloat> undef)
  69   ret <vscale x 2 x bfloat> %vals
  70 }
  71
  72 define <vscale x 2 x float> @masked_gather_nxv2f32(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
  73 ; CHECK-LABEL: masked_gather_nxv2f32:
  74 ; CHECK:       // %bb.0:
  75 ; CHECK-NEXT:    ld1w { z0.d }, p0/z, [x0, z0.d]
  76 ; CHECK-NEXT:    ret
  77   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  78   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
  79   %vals = call <vscale x 2 x float> @llvm.masked.gather.nxv2f32(<vscale x 2 x ptr> %ptrs, i32 4, <vscale x 2 x i1> %mask, <vscale x 2 x float> undef)
  80   ret <vscale x 2 x float> %vals
  81 }
  82
  83 define <vscale x 2 x double> @masked_gather_nxv2f64(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
  84 ; CHECK-LABEL: masked_gather_nxv2f64:
  85 ; CHECK:       // %bb.0:
  86 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0, z0.d]
  87 ; CHECK-NEXT:    ret
  88   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
  89   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
  90   %vals = call <vscale x 2 x double> @llvm.masked.gather.nxv2f64(<vscale x 2 x ptr> %ptrs, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x double> undef)
  91   ret <vscale x 2 x double> %vals
  92 }
  93
  94 define <vscale x 2 x i64> @masked_sgather_nxv2i8(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
  95 ; CHECK-LABEL: masked_sgather_nxv2i8:
  96 ; CHECK:       // %bb.0:
  97 ; CHECK-NEXT:    ld1sb { z0.d }, p0/z, [x0, z0.d]
  98 ; CHECK-NEXT:    ret
  99   %ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
 100   %vals = call <vscale x 2 x i8> @llvm.masked.gather.nxv2i8(<vscale x 2 x ptr> %ptrs, i32 1, <vscale x 2 x i1> %mask, <vscale x 2 x i8> undef)
 101   %vals.sext = sext <vscale x 2 x i8> %vals to <vscale x 2 x i64>
 102   ret <vscale x 2 x i64> %vals.sext
 103 }
 104
 105 define <vscale x 2 x i64> @masked_sgather_nxv2i16(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
 106 ; CHECK-LABEL: masked_sgather_nxv2i16:
 107 ; CHECK:       // %bb.0:
 108 ; CHECK-NEXT:    ld1sh { z0.d }, p0/z, [x0, z0.d]
 109 ; CHECK-NEXT:    ret
 110   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
 111   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
 112   %vals = call <vscale x 2 x i16> @llvm.masked.gather.nxv2i16(<vscale x 2 x ptr> %ptrs, i32 2, <vscale x 2 x i1> %mask, <vscale x 2 x i16> undef)
 113   %vals.sext = sext <vscale x 2 x i16> %vals to <vscale x 2 x i64>
 114   ret <vscale x 2 x i64> %vals.sext
 115 }
 116
 117 define <vscale x 2 x i64> @masked_sgather_nxv2i32(<vscale x 2 x ptr> %bases, i64 %offset, <vscale x 2 x i1> %mask) {
 118 ; CHECK-LABEL: masked_sgather_nxv2i32:
 119 ; CHECK:       // %bb.0:
 120 ; CHECK-NEXT:    ld1sw { z0.d }, p0/z, [x0, z0.d]
 121 ; CHECK-NEXT:    ret
 122   %byte_ptrs = getelementptr i8, <vscale x 2 x ptr> %bases, i64 %offset
 123   %ptrs = bitcast <vscale x 2 x ptr> %byte_ptrs to <vscale x 2 x ptr>
 124   %vals = call <vscale x 2 x i32> @llvm.masked.gather.nxv2i32(<vscale x 2 x ptr> %ptrs, i32 4, <vscale x 2 x i1> %mask, <vscale x 2 x i32> undef)
 125   %vals.sext = sext <vscale x 2 x i32> %vals to <vscale x 2 x i64>
 126   ret <vscale x 2 x i64> %vals.sext
 127 }
 128
 129 declare <vscale x 2 x i8> @llvm.masked.gather.nxv2i8(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x i8>)
 130 declare <vscale x 2 x i16> @llvm.masked.gather.nxv2i16(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x i16>)
 131 declare <vscale x 2 x i32> @llvm.masked.gather.nxv2i32(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x i32>)
 132 declare <vscale x 2 x i64> @llvm.masked.gather.nxv2i64(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x i64>)
 133 declare <vscale x 2 x half> @llvm.masked.gather.nxv2f16(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x half>)
 134 declare <vscale x 2 x bfloat> @llvm.masked.gather.nxv2bf16(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x bfloat>)
 135 declare <vscale x 2 x float> @llvm.masked.gather.nxv2f32(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x float>)
 136 declare <vscale x 2 x double> @llvm.masked.gather.nxv2f64(<vscale x 2 x ptr>, i32, <vscale x 2 x i1>, <vscale x 2 x double>)
 137 attributes #0 = { "target-features"="+sve,+bf16" }