llvm/test/CodeGen/AArch64/sve-intrinsics-ld1-addressing-mode-reg-reg.ll

   1 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve < %s | FileCheck %s
   2
   3 ;
   4 ; LD1B
   5 ;
   6
   7 define <vscale x 16 x i8> @ld1b_i8(<vscale x 16 x i1> %pg, i8* %a, i64 %index) {
   8 ; CHECK-LABEL: ld1b_i8
   9 ; CHECK: ld1b { z0.b }, p0/z, [x0, x1]
  10 ; CHECK-NEXT: ret
  11   %base = getelementptr i8, i8* %a, i64 %index
  12   %load = call <vscale x 16 x i8> @llvm.aarch64.sve.ld1.nxv16i8(<vscale x 16 x i1> %pg, i8* %base)
  13   ret <vscale x 16 x i8> %load
  14 }
  15
  16 define <vscale x 8 x i16> @ld1b_h(<vscale x 8 x i1> %pred, i8* %a, i64 %index) {
  17 ; CHECK-LABEL: ld1b_h:
  18 ; CHECK: ld1b { z0.h }, p0/z, [x0, x1]
  19 ; CHECK-NEXT: ret
  20   %base = getelementptr i8, i8* %a, i64 %index
  21   %load = call <vscale x 8 x i8> @llvm.aarch64.sve.ld1.nxv8i8(<vscale x 8 x i1> %pred, i8* %base)
  22   %res = zext <vscale x 8 x i8> %load to <vscale x 8 x i16>
  23   ret <vscale x 8 x i16> %res
  24 }
  25
  26 define <vscale x 8 x i16> @ld1sb_h(<vscale x 8 x i1> %pred, i8* %a, i64 %index) {
  27 ; CHECK-LABEL: ld1sb_h:
  28 ; CHECK: ld1sb { z0.h }, p0/z, [x0, x1]
  29 ; CHECK-NEXT: ret
  30   %base = getelementptr i8, i8* %a, i64 %index
  31   %load = call <vscale x 8 x i8> @llvm.aarch64.sve.ld1.nxv8i8(<vscale x 8 x i1> %pred, i8* %base)
  32   %res = sext <vscale x 8 x i8> %load to <vscale x 8 x i16>
  33   ret <vscale x 8 x i16> %res
  34 }
  35
  36 define <vscale x 4 x i32> @ld1b_s(<vscale x 4 x i1> %pred, i8* %a, i64 %index) {
  37 ; CHECK-LABEL: ld1b_s:
  38 ; CHECK: ld1b { z0.s }, p0/z, [x0, x1]
  39 ; CHECK-NEXT: ret
  40   %base = getelementptr i8, i8* %a, i64 %index
  41   %load = call <vscale x 4 x i8> @llvm.aarch64.sve.ld1.nxv4i8(<vscale x 4 x i1> %pred, i8* %base)
  42   %res = zext <vscale x 4 x i8> %load to <vscale x 4 x i32>
  43   ret <vscale x 4 x i32> %res
  44 }
  45
  46 define <vscale x 4 x i32> @ld1sb_s(<vscale x 4 x i1> %pred, i8* %a, i64 %index) {
  47 ; CHECK-LABEL: ld1sb_s:
  48 ; CHECK: ld1sb { z0.s }, p0/z, [x0, x1]
  49 ; CHECK-NEXT: ret
  50   %base = getelementptr i8, i8* %a, i64 %index
  51   %load = call <vscale x 4 x i8> @llvm.aarch64.sve.ld1.nxv4i8(<vscale x 4 x i1> %pred, i8* %base)
  52   %res = sext <vscale x 4 x i8> %load to <vscale x 4 x i32>
  53   ret <vscale x 4 x i32> %res
  54 }
  55
  56 define <vscale x 2 x i64> @ld1b_d(<vscale x 2 x i1> %pred, i8* %a, i64 %index) {
  57 ; CHECK-LABEL: ld1b_d:
  58 ; CHECK: ld1b { z0.d }, p0/z, [x0, x1]
  59 ; CHECK-NEXT: ret
  60   %base = getelementptr i8, i8* %a, i64 %index
  61   %load = call <vscale x 2 x i8> @llvm.aarch64.sve.ld1.nxv2i8(<vscale x 2 x i1> %pred, i8* %base)
  62   %res = zext <vscale x 2 x i8> %load to <vscale x 2 x i64>
  63   ret <vscale x 2 x i64> %res
  64 }
  65
  66 define <vscale x 2 x i64> @ld1sb_d(<vscale x 2 x i1> %pred, i8* %a, i64 %index) {
  67 ; CHECK-LABEL: ld1sb_d:
  68 ; CHECK: ld1sb { z0.d }, p0/z, [x0, x1]
  69 ; CHECK-NEXT: ret
  70   %base = getelementptr i8, i8* %a, i64 %index
  71   %load = call <vscale x 2 x i8> @llvm.aarch64.sve.ld1.nxv2i8(<vscale x 2 x i1> %pred, i8* %base)
  72   %res = sext <vscale x 2 x i8> %load to <vscale x 2 x i64>
  73   ret <vscale x 2 x i64> %res
  74 }
  75
  76 ;
  77 ; LD1H
  78 ;
  79
  80 define <vscale x 8 x i16> @ld1h_i16(<vscale x 8 x i1> %pg, i16* %a, i64 %index) {
  81 ; CHECK-LABEL: ld1h_i16
  82 ; CHECK: ld1h { z0.h }, p0/z, [x0, x1, lsl #1]
  83 ; CHECK-NEXT: ret
  84   %base = getelementptr i16, i16* %a, i64 %index
  85   %load = call <vscale x 8 x i16> @llvm.aarch64.sve.ld1.nxv8i16(<vscale x 8 x i1> %pg, i16* %base)
  86   ret <vscale x 8 x i16> %load
  87 }
  88
  89 define <vscale x 8 x half> @ld1h_f16(<vscale x 8 x i1> %pg, half* %a, i64 %index) {
  90 ; CHECK-LABEL: ld1h_f16
  91 ; CHECK: ld1h { z0.h }, p0/z, [x0, x1, lsl #1]
  92 ; CHECK-NEXT: ret
  93   %base = getelementptr half, half* %a, i64 %index
  94   %load = call <vscale x 8 x half> @llvm.aarch64.sve.ld1.nxv8f16(<vscale x 8 x i1> %pg, half* %base)
  95   ret <vscale x 8 x half> %load
  96 }
  97
  98 define <vscale x 8 x bfloat> @ld1h_bf16(<vscale x 8 x i1> %pg, bfloat* %a, i64 %index) #0 {
  99 ; CHECK-LABEL: ld1h_bf16
 100 ; CHECK: ld1h { z0.h }, p0/z, [x0, x1, lsl #1]
 101 ; CHECK-NEXT: ret
 102   %base = getelementptr bfloat, bfloat* %a, i64 %index
 103   %load = call <vscale x 8 x bfloat> @llvm.aarch64.sve.ld1.nxv8bf16(<vscale x 8 x i1> %pg, bfloat* %base)
 104   ret <vscale x 8 x bfloat> %load
 105 }
 106
 107 define <vscale x 4 x i32> @ld1h_s(<vscale x 4 x i1> %pred, i16* %a, i64 %index) {
 108 ; CHECK-LABEL: ld1h_s:
 109 ; CHECK: ld1h { z0.s }, p0/z, [x0, x1, lsl #1]
 110 ; CHECK-NEXT: ret
 111   %base = getelementptr i16, i16* %a, i64 %index
 112   %load = call <vscale x 4 x i16> @llvm.aarch64.sve.ld1.nxv4i16(<vscale x 4 x i1> %pred, i16* %base)
 113   %res = zext <vscale x 4 x i16> %load to <vscale x 4 x i32>
 114   ret <vscale x 4 x i32> %res
 115 }
 116
 117 define <vscale x 4 x i32> @ld1sh_s(<vscale x 4 x i1> %pred, i16* %a, i64 %index) {
 118 ; CHECK-LABEL: ld1sh_s:
 119 ; CHECK: ld1sh { z0.s }, p0/z, [x0, x1, lsl #1]
 120 ; CHECK-NEXT: ret
 121   %base = getelementptr i16, i16* %a, i64 %index
 122   %load = call <vscale x 4 x i16> @llvm.aarch64.sve.ld1.nxv4i16(<vscale x 4 x i1> %pred, i16* %base)
 123   %res = sext <vscale x 4 x i16> %load to <vscale x 4 x i32>
 124   ret <vscale x 4 x i32> %res
 125 }
 126
 127 define <vscale x 2 x i64> @ld1h_d(<vscale x 2 x i1> %pred, i16* %a, i64 %index) {
 128 ; CHECK-LABEL: ld1h_d:
 129 ; CHECK: ld1h { z0.d }, p0/z, [x0, x1, lsl #1]
 130 ; CHECK-NEXT: ret
 131   %base = getelementptr i16, i16* %a, i64 %index
 132   %load = call <vscale x 2 x i16> @llvm.aarch64.sve.ld1.nxv2i16(<vscale x 2 x i1> %pred, i16* %base)
 133   %res = zext <vscale x 2 x i16> %load to <vscale x 2 x i64>
 134   ret <vscale x 2 x i64> %res
 135 }
 136
 137 define <vscale x 2 x i64> @ld1sh_d(<vscale x 2 x i1> %pred, i16* %a, i64 %index) {
 138 ; CHECK-LABEL: ld1sh_d:
 139 ; CHECK: ld1sh { z0.d }, p0/z, [x0, x1, lsl #1]
 140 ; CHECK-NEXT: ret
 141   %base = getelementptr i16, i16* %a, i64 %index
 142   %load = call <vscale x 2 x i16> @llvm.aarch64.sve.ld1.nxv2i16(<vscale x 2 x i1> %pred, i16* %base)
 143   %res = sext <vscale x 2 x i16> %load to <vscale x 2 x i64>
 144   ret <vscale x 2 x i64> %res
 145 }
 146
 147 ;
 148 ; LD1W
 149 ;
 150
 151 define<vscale x 4 x i32> @ld1w(<vscale x 4 x i1> %pg, i32* %a, i64 %index) {
 152 ; CHECK-LABEL: ld1w
 153 ; CHECK: ld1w { z0.s }, p0/z, [x0, x1, lsl #2]
 154 ; CHECK-NEXT: ret
 155   %base = getelementptr i32, i32* %a, i64 %index
 156   %load = call <vscale x 4 x i32> @llvm.aarch64.sve.ld1.nxv4i32(<vscale x 4 x i1> %pg, i32* %base)
 157   ret <vscale x 4 x i32> %load
 158 }
 159
 160 define<vscale x 4 x float> @ld1w_f32(<vscale x 4 x i1> %pg, float* %a, i64 %index) {
 161 ; CHECK-LABEL: ld1w_f32
 162 ; CHECK: ld1w { z0.s }, p0/z, [x0, x1, lsl #2]
 163 ; CHECK-NEXT: ret
 164   %base = getelementptr float, float* %a, i64 %index
 165   %load = call <vscale x 4 x float> @llvm.aarch64.sve.ld1.nxv4f32(<vscale x 4 x i1> %pg, float* %base)
 166   ret <vscale x 4 x float> %load
 167 }
 168
 169 define <vscale x 2 x i64> @ld1w_d(<vscale x 2 x i1> %pred, i32* %a, i64 %index) {
 170 ; CHECK-LABEL: ld1w_d:
 171 ; CHECK: ld1w { z0.d }, p0/z, [x0, x1, lsl #2]
 172 ; CHECK-NEXT: ret
 173   %base = getelementptr i32, i32* %a, i64 %index
 174   %load = call <vscale x 2 x i32> @llvm.aarch64.sve.ld1.nxv2i32(<vscale x 2 x i1> %pred, i32* %base)
 175   %res = zext <vscale x 2 x i32> %load to <vscale x 2 x i64>
 176   ret <vscale x 2 x i64> %res
 177 }
 178
 179 define <vscale x 2 x i64> @ld1sw_d(<vscale x 2 x i1> %pred, i32* %a, i64 %index) {
 180 ; CHECK-LABEL: ld1sw_d:
 181 ; CHECK: ld1sw { z0.d }, p0/z, [x0, x1, lsl #2]
 182 ; CHECK-NEXT: ret
 183   %base = getelementptr i32, i32* %a, i64 %index
 184   %load = call <vscale x 2 x i32> @llvm.aarch64.sve.ld1.nxv2i32(<vscale x 2 x i1> %pred, i32* %base)
 185   %res = sext <vscale x 2 x i32> %load to <vscale x 2 x i64>
 186   ret <vscale x 2 x i64> %res
 187 }
 188
 189 ;
 190 ; LD1D
 191 ;
 192
 193 define <vscale x 2 x i64> @ld1d(<vscale x 2 x i1> %pg, i64* %a, i64 %index) {
 194 ; CHECK-LABEL: ld1d
 195 ; CHECK: ld1d { z0.d }, p0/z, [x0, x1, lsl #3]
 196 ; CHECK-NEXT: ret
 197   %base = getelementptr i64, i64* %a, i64 %index
 198   %load = call <vscale x 2 x i64> @llvm.aarch64.sve.ld1.nxv2i64(<vscale x 2 x i1> %pg, i64* %base)
 199   ret <vscale x 2 x i64> %load
 200 }
 201
 202 define <vscale x 2 x double> @ld1d_f64(<vscale x 2 x i1> %pg, double* %a, i64 %index) {
 203 ; CHECK-LABEL: ld1d_f64
 204 ; CHECK: ld1d { z0.d }, p0/z, [x0, x1, lsl #3]
 205 ; CHECK-NEXT: ret
 206   %base = getelementptr double, double* %a, i64 %index
 207   %load = call <vscale x 2 x double> @llvm.aarch64.sve.ld1.nxv2f64(<vscale x 2 x i1> %pg, double* %base)
 208   ret <vscale x 2 x double> %load
 209 }
 210
 211 declare <vscale x 16 x i8> @llvm.aarch64.sve.ld1.nxv16i8(<vscale x 16 x i1>, i8*)
 212
 213 declare <vscale x 8 x i8> @llvm.aarch64.sve.ld1.nxv8i8(<vscale x 8 x i1>, i8*)
 214 declare <vscale x 8 x i16> @llvm.aarch64.sve.ld1.nxv8i16(<vscale x 8 x i1>, i16*)
 215 declare <vscale x 8 x half> @llvm.aarch64.sve.ld1.nxv8f16(<vscale x 8 x i1>, half*)
 216 declare <vscale x 8 x bfloat> @llvm.aarch64.sve.ld1.nxv8bf16(<vscale x 8 x i1>, bfloat*)
 217
 218 declare <vscale x 4 x i8> @llvm.aarch64.sve.ld1.nxv4i8(<vscale x 4 x i1>, i8*)
 219 declare <vscale x 4 x i16> @llvm.aarch64.sve.ld1.nxv4i16(<vscale x 4 x i1>, i16*)
 220 declare <vscale x 4 x i32> @llvm.aarch64.sve.ld1.nxv4i32(<vscale x 4 x i1>, i32*)
 221 declare <vscale x 4 x float> @llvm.aarch64.sve.ld1.nxv4f32(<vscale x 4 x i1>, float*)
 222
 223 declare <vscale x 2 x i8> @llvm.aarch64.sve.ld1.nxv2i8(<vscale x 2 x i1>, i8*)
 224 declare <vscale x 2 x i16> @llvm.aarch64.sve.ld1.nxv2i16(<vscale x 2 x i1>, i16*)
 225 declare <vscale x 2 x i32> @llvm.aarch64.sve.ld1.nxv2i32(<vscale x 2 x i1>, i32*)
 226 declare <vscale x 2 x i64> @llvm.aarch64.sve.ld1.nxv2i64(<vscale x 2 x i1>, i64*)
 227 declare <vscale x 2 x double> @llvm.aarch64.sve.ld1.nxv2f64(<vscale x 2 x i1>, double*)
 228
 229 ; +bf16 is required for the bfloat version.
 230 attributes #0 = { "target-features"="+sve,+bf16" }