llvm/test/CodeGen/AArch64/sve-intrinsics-scatter-stores-32bit-unscaled-offsets.ll

   1 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve < %s | FileCheck %s
   2
   3 ;
   4 ; ST1B, ST1W, ST1H, ST1D: base + 32-bit unscaled offset, sign (sxtw) or zero
   5 ; (uxtw) extended to 64 bits.
   6 ;   e.g. st1h { z0.d }, p0, [x0, z1.d, uxtw]
   7 ;
   8
   9 ; ST1B
  10 define void @sst1b_s_uxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i8* %base, <vscale x 4 x i32> %offsets) {
  11 ; CHECK-LABEL: sst1b_s_uxtw:
  12 ; CHECK: st1b { z0.s }, p0, [x0, z1.s, uxtw]
  13 ; CHECK-NEXT: ret
  14   %data_trunc = trunc <vscale x 4 x i32> %data to <vscale x 4 x i8>
  15   call void  @llvm.aarch64.sve.st1.scatter.uxtw.nxv4i8(<vscale x 4 x i8> %data_trunc,
  16                                                        <vscale x 4 x i1> %pg,
  17                                                        i8* %base,
  18                                                        <vscale x 4 x i32> %offsets)
  19   ret void
  20 }
  21
  22 define void @sst1b_s_sxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i8* %base, <vscale x 4 x i32> %offsets) {
  23 ; CHECK-LABEL: sst1b_s_sxtw:
  24 ; CHECK: st1b { z0.s }, p0, [x0, z1.s, sxtw]
  25 ; CHECK-NEXT: ret
  26   %data_trunc = trunc <vscale x 4 x i32> %data to <vscale x 4 x i8>
  27   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4i8(<vscale x 4 x i8> %data_trunc,
  28                                                       <vscale x 4 x i1> %pg,
  29                                                       i8* %base,
  30                                                       <vscale x 4 x i32> %offsets)
  31   ret void
  32 }
  33
  34 define void @sst1b_d_uxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i8* %base, <vscale x 2 x i32> %offsets) {
  35 ; CHECK-LABEL: sst1b_d_uxtw:
  36 ; CHECK: st1b { z0.d }, p0, [x0, z1.d, uxtw]
  37 ; CHECK-NEXT: ret
  38   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i8>
  39   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i8(<vscale x 2 x i8> %data_trunc,
  40                                                       <vscale x 2 x i1> %pg,
  41                                                       i8* %base,
  42                                                       <vscale x 2 x i32> %offsets)
  43   ret void
  44 }
  45
  46 define void @sst1b_d_sxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i8* %base, <vscale x 2 x i32> %offsets) {
  47 ; CHECK-LABEL: sst1b_d_sxtw:
  48 ; CHECK: st1b { z0.d }, p0, [x0, z1.d, sxtw]
  49 ; CHECK-NEXT: ret
  50   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i8>
  51   call void  @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i8(<vscale x 2 x i8> %data_trunc,
  52                                                        <vscale x 2 x i1> %pg,
  53                                                        i8* %base,
  54                                                        <vscale x 2 x i32> %offsets)
  55   ret void
  56 }
  57
  58 ; ST1H
  59 define void @sst1h_s_uxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i16* %base, <vscale x 4 x i32> %offsets) {
  60 ; CHECK-LABEL: sst1h_s_uxtw:
  61 ; CHECK: st1h { z0.s }, p0, [x0, z1.s, uxtw]
  62 ; CHECK-NEXT:   ret
  63   %data_trunc = trunc <vscale x 4 x i32> %data to <vscale x 4 x i16>
  64   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv4i16(<vscale x 4 x i16> %data_trunc,
  65                                                        <vscale x 4 x i1> %pg,
  66                                                        i16* %base,
  67                                                        <vscale x 4 x i32> %offsets)
  68   ret void
  69 }
  70
  71 define void @sst1h_s_sxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i16* %base, <vscale x 4 x i32> %offsets) {
  72 ; CHECK-LABEL: sst1h_s_sxtw:
  73 ; CHECK: st1h { z0.s }, p0, [x0, z1.s, sxtw]
  74 ; CHECK-NEXT: ret
  75   %data_trunc = trunc <vscale x 4 x i32> %data to <vscale x 4 x i16>
  76   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4i16(<vscale x 4 x i16> %data_trunc,
  77                                                        <vscale x 4 x i1> %pg,
  78                                                        i16* %base,
  79                                                        <vscale x 4 x i32> %offsets)
  80   ret void
  81 }
  82
  83 define void @sst1h_d_uxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i16* %base, <vscale x 2 x i32> %offsets) {
  84 ; CHECK-LABEL: sst1h_d_uxtw:
  85 ; CHECK: st1h { z0.d }, p0, [x0, z1.d, uxtw]
  86 ; CHECK-NEXT: ret
  87   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i16>
  88   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i16(<vscale x 2 x i16> %data_trunc,
  89                                                        <vscale x 2 x i1> %pg,
  90                                                        i16* %base,
  91                                                        <vscale x 2 x i32> %offsets)
  92   ret void
  93 }
  94
  95 define void @sst1h_d_sxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i16* %base, <vscale x 2 x i32> %offsets) {
  96 ; CHECK-LABEL: sst1h_d_sxtw:
  97 ; CHECK: st1h { z0.d }, p0, [x0, z1.d, sxtw]
  98 ; CHECK-NEXT: ret
  99   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i16>
 100   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i16(<vscale x 2 x i16> %data_trunc,
 101                                                        <vscale x 2 x i1> %pg,
 102                                                        i16* %base,
 103                                                        <vscale x 2 x i32> %offsets)
 104   ret void
 105 }
 106
 107 ; ST1W
 108 define void @sst1w_s_uxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i32* %base, <vscale x 4 x i32> %offsets) {
 109 ; CHECK-LABEL: sst1w_s_uxtw:
 110 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, uxtw]
 111 ; CHECK-NEXT:   ret
 112   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv4i32(<vscale x 4 x i32> %data,
 113                                                        <vscale x 4 x i1> %pg,
 114                                                        i32* %base,
 115                                                        <vscale x 4 x i32> %offsets)
 116   ret void
 117 }
 118
 119 define void @sst1w_s_sxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i32* %base, <vscale x 4 x i32> %offsets) {
 120 ; CHECK-LABEL: sst1w_s_sxtw:
 121 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, sxtw]
 122 ; CHECK-NEXT: ret
 123   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4i32(<vscale x 4 x i32> %data,
 124                                                        <vscale x 4 x i1> %pg,
 125                                                        i32* %base,
 126                                                        <vscale x 4 x i32> %offsets)
 127   ret void
 128 }
 129
 130 define void @sst1w_d_uxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i32* %base, <vscale x 2 x i32> %offsets) {
 131 ; CHECK-LABEL: sst1w_d_uxtw:
 132 ; CHECK: st1w { z0.d }, p0, [x0, z1.d, uxtw]
 133 ; CHECK-NEXT: ret
 134   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i32>
 135   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i32(<vscale x 2 x i32> %data_trunc,
 136                                                        <vscale x 2 x i1> %pg,
 137                                                        i32* %base,
 138                                                        <vscale x 2 x i32> %offsets)
 139   ret void
 140 }
 141
 142 define void @sst1w_d_sxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i32* %base, <vscale x 2 x i32> %offsets) {
 143 ; CHECK-LABEL: sst1w_d_sxtw:
 144 ; CHECK: st1w { z0.d }, p0, [x0, z1.d, sxtw]
 145 ; CHECK-NEXT: ret
 146   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i32>
 147   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i32(<vscale x 2 x i32> %data_trunc,
 148                                                        <vscale x 2 x i1> %pg,
 149                                                        i32* %base,
 150                                                        <vscale x 2 x i32> %offsets)
 151   ret void
 152 }
 153
 154 define void @sst1w_s_uxtw_float(<vscale x 4 x float> %data, <vscale x 4 x i1> %pg, float* %base, <vscale x 4 x i32> %offsets) {
 155 ; CHECK-LABEL: sst1w_s_uxtw_float:
 156 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, uxtw]
 157 ; CHECK-NEXT:   ret
 158   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv4f32(<vscale x 4 x float> %data,
 159                                                        <vscale x 4 x i1> %pg,
 160                                                        float* %base,
 161                                                        <vscale x 4 x i32> %offsets)
 162   ret void
 163 }
 164
 165 define void @sst1w_s_sxtw_float(<vscale x 4 x float> %data, <vscale x 4 x i1> %pg, float* %base, <vscale x 4 x i32> %offsets) {
 166 ; CHECK-LABEL: sst1w_s_sxtw_float:
 167 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, sxtw]
 168 ; CHECK-NEXT: ret
 169   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4f32(<vscale x 4 x float> %data,
 170                                                        <vscale x 4 x i1> %pg,
 171                                                        float* %base,
 172                                                        <vscale x 4 x i32> %offsets)
 173   ret void
 174 }
 175
 176 ; ST1D
 177 define void @sst1d_d_uxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i64* %base, <vscale x 2 x i32> %offsets) {
 178 ; CHECK-LABEL: sst1d_d_uxtw:
 179 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, uxtw]
 180 ; CHECK-NEXT: ret
 181   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i64(<vscale x 2 x i64> %data,
 182                                                        <vscale x 2 x i1> %pg,
 183                                                        i64* %base,
 184                                                        <vscale x 2 x i32> %offsets)
 185   ret void
 186 }
 187
 188 define void @sst1d_d_sxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i64* %base, <vscale x 2 x i32> %offsets) {
 189 ; CHECK-LABEL: sst1d_d_sxtw:
 190 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, sxtw]
 191 ; CHECK-NEXT: ret
 192   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i64(<vscale x 2 x i64> %data,
 193                                                        <vscale x 2 x i1> %pg,
 194                                                        i64* %base,
 195                                                        <vscale x 2 x i32> %offsets)
 196   ret void
 197 }
 198
 199 define void @sst1d_d_uxtw_double(<vscale x 2 x double> %data, <vscale x 2 x i1> %pg, double* %base, <vscale x 2 x i32> %offsets) {
 200 ; CHECK-LABEL: sst1d_d_uxtw_double:
 201 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, uxtw]
 202 ; CHECK-NEXT: ret
 203   call void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2f64(<vscale x 2 x double> %data,
 204                                                        <vscale x 2 x i1> %pg,
 205                                                        double* %base,
 206                                                        <vscale x 2 x i32> %offsets)
 207   ret void
 208 }
 209
 210 define void @sst1d_d_sxtw_double(<vscale x 2 x double> %data, <vscale x 2 x i1> %pg, double* %base, <vscale x 2 x i32> %offsets) {
 211 ; CHECK-LABEL: sst1d_d_sxtw_double:
 212 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, sxtw]
 213 ; CHECK-NEXT: ret
 214   call void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2f64(<vscale x 2 x double> %data,
 215                                                        <vscale x 2 x i1> %pg,
 216                                                        double* %base,
 217                                                        <vscale x 2 x i32> %offsets)
 218   ret void
 219 }
 220
 221
 222 ; ST1B
 223 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv4i8(<vscale x 4 x i8>, <vscale x 4 x i1>, i8*, <vscale x 4 x i32>)
 224 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i8(<vscale x 2 x i8>, <vscale x 2 x i1>, i8*, <vscale x 2 x i32>)
 225 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4i8(<vscale x 4 x i8>, <vscale x 4 x i1>, i8*, <vscale x 4 x i32>)
 226 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i8(<vscale x 2 x i8>, <vscale x 2 x i1>, i8*, <vscale x 2 x i32>)
 227
 228 ; ST1H
 229 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4i16(<vscale x 4 x i16>, <vscale x 4 x i1>, i16*, <vscale x 4 x i32>)
 230 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i16(<vscale x 2 x i16>, <vscale x 2 x i1>, i16*, <vscale x 2 x i32>)
 231 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv4i16(<vscale x 4 x i16>, <vscale x 4 x i1>, i16*, <vscale x 4 x i32>)
 232 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i16(<vscale x 2 x i16>, <vscale x 2 x i1>, i16*, <vscale x 2 x i32>)
 233
 234 ; ST1W
 235 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i1>, i32*, <vscale x 4 x i32>)
 236 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i32(<vscale x 2 x i32>, <vscale x 2 x i1>, i32*, <vscale x 2 x i32>)
 237 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i1>, i32*, <vscale x 4 x i32>)
 238 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i32(<vscale x 2 x i32>, <vscale x 2 x i1>, i32*, <vscale x 2 x i32>)
 239
 240 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv4f32(<vscale x 4 x float>, <vscale x 4 x i1>, float*, <vscale x 4 x i32>)
 241 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv4f32(<vscale x 4 x float>, <vscale x 4 x i1>, float*, <vscale x 4 x i32>)
 242
 243 ; ST1D
 244 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i1>, i64*, <vscale x 2 x i32>)
 245 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i1>, i64*, <vscale x 2 x i32>)
 246
 247 declare void @llvm.aarch64.sve.st1.scatter.sxtw.nxv2f64(<vscale x 2 x double>, <vscale x 2 x i1>, double*, <vscale x 2 x i32>)
 248 declare void @llvm.aarch64.sve.st1.scatter.uxtw.nxv2f64(<vscale x 2 x double>, <vscale x 2 x i1>, double*, <vscale x 2 x i32>)