llvm/test/CodeGen/AArch64/sve-intrinsics-scatter-stores-32bit-scaled-offsets.ll

   1 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve < %s | FileCheck %s
   2
   3 ;
   4 ; ST1H, ST1W, ST1D: base + 32-bit scaled offset, sign (sxtw) or zero
   5 ; (uxtw) extended to 64 bits.
   6 ;   e.g. st1h { z0.d }, p0, [x0, z1.d, uxtw #1]
   7 ;
   8
   9 ; ST1H
  10 define void @sst1h_s_uxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i16* %base, <vscale x 4 x i32> %indices) {
  11 ; CHECK-LABEL: sst1h_s_uxtw:
  12 ; CHECK: st1h { z0.s }, p0, [x0, z1.s, uxtw #1]
  13 ; CHECK-NEXT:   ret
  14   %data_trunc = trunc <vscale x 4 x i32> %data to <vscale x 4 x i16>
  15   call void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv4i16(<vscale x 4 x i16> %data_trunc,
  16                                                              <vscale x 4 x i1> %pg,
  17                                                              i16* %base,
  18                                                              <vscale x 4 x i32> %indices)
  19   ret void
  20 }
  21
  22 define void @sst1h_s_sxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i16* %base, <vscale x 4 x i32> %indices) {
  23 ; CHECK-LABEL: sst1h_s_sxtw:
  24 ; CHECK: st1h { z0.s }, p0, [x0, z1.s, sxtw #1]
  25 ; CHECK-NEXT: ret
  26   %data_trunc = trunc <vscale x 4 x i32> %data to <vscale x 4 x i16>
  27   call void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv4i16(<vscale x 4 x i16> %data_trunc,
  28                                                              <vscale x 4 x i1> %pg,
  29                                                              i16* %base,
  30                                                              <vscale x 4 x i32> %indices)
  31   ret void
  32 }
  33
  34 define void @sst1h_d_uxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i16* %base, <vscale x 2 x i32> %indices) {
  35 ; CHECK-LABEL: sst1h_d_uxtw:
  36 ; CHECK: st1h { z0.d }, p0, [x0, z1.d, uxtw #1]
  37 ; CHECK-NEXT: ret
  38   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i16>
  39   call void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2i16(<vscale x 2 x i16> %data_trunc,
  40                                                              <vscale x 2 x i1> %pg,
  41                                                              i16* %base,
  42                                                              <vscale x 2 x i32> %indices)
  43   ret void
  44 }
  45
  46 define void @sst1h_d_sxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i16* %base, <vscale x 2 x i32> %indices) {
  47 ; CHECK-LABEL: sst1h_d_sxtw:
  48 ; CHECK: st1h { z0.d }, p0, [x0, z1.d, sxtw #1]
  49 ; CHECK-NEXT: ret
  50   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i16>
  51   call void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2i16(<vscale x 2 x i16> %data_trunc,
  52                                                              <vscale x 2 x i1> %pg,
  53                                                              i16* %base,
  54                                                              <vscale x 2 x i32> %indices)
  55   ret void
  56 }
  57
  58 ; ST1W
  59 define void @sst1w_s_uxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i32* %base, <vscale x 4 x i32> %indices) {
  60 ; CHECK-LABEL: sst1w_s_uxtw:
  61 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, uxtw #2]
  62 ; CHECK-NEXT:   ret
  63   call void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv4i32(<vscale x 4 x i32> %data,
  64                                                              <vscale x 4 x i1> %pg,
  65                                                              i32* %base,
  66                                                              <vscale x 4 x i32> %indices)
  67   ret void
  68 }
  69
  70 define void @sst1w_s_sxtw(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pg, i32* %base, <vscale x 4 x i32> %indices) {
  71 ; CHECK-LABEL: sst1w_s_sxtw:
  72 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, sxtw #2]
  73 ; CHECK-NEXT: ret
  74   call void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv4i32(<vscale x 4 x i32> %data,
  75                                                              <vscale x 4 x i1> %pg,
  76                                                              i32* %base,
  77                                                              <vscale x 4 x i32> %indices)
  78   ret void
  79 }
  80
  81 define void @sst1w_d_uxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i32* %base, <vscale x 2 x i32> %indices) {
  82 ; CHECK-LABEL: sst1w_d_uxtw:
  83 ; CHECK: st1w { z0.d }, p0, [x0, z1.d, uxtw #2]
  84 ; CHECK-NEXT: ret
  85   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i32>
  86   call void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2i32(<vscale x 2 x i32> %data_trunc,
  87                                                              <vscale x 2 x i1> %pg,
  88                                                              i32* %base,
  89                                                              <vscale x 2 x i32> %indices)
  90   ret void
  91 }
  92
  93 define void @sst1w_d_sxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i32* %base, <vscale x 2 x i32> %indices) {
  94 ; CHECK-LABEL: sst1w_d_sxtw:
  95 ; CHECK: st1w { z0.d }, p0, [x0, z1.d, sxtw #2]
  96 ; CHECK-NEXT: ret
  97   %data_trunc = trunc <vscale x 2 x i64> %data to <vscale x 2 x i32>
  98   call void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2i32(<vscale x 2 x i32> %data_trunc,
  99                                                              <vscale x 2 x i1> %pg,
 100                                                              i32* %base,
 101                                                              <vscale x 2 x i32> %indices)
 102   ret void
 103 }
 104
 105 define void @sst1w_s_uxtw_float(<vscale x 4 x float> %data, <vscale x 4 x i1> %pg, float* %base, <vscale x 4 x i32> %indices) {
 106 ; CHECK-LABEL: sst1w_s_uxtw_float:
 107 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, uxtw #2]
 108 ; CHECK-NEXT:   ret
 109   call void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv4f32(<vscale x 4 x float> %data,
 110                                                              <vscale x 4 x i1> %pg,
 111                                                              float* %base,
 112                                                              <vscale x 4 x i32> %indices)
 113   ret void
 114 }
 115
 116 define void @sst1w_s_sxtw_float(<vscale x 4 x float> %data, <vscale x 4 x i1> %pg, float* %base, <vscale x 4 x i32> %indices) {
 117 ; CHECK-LABEL: sst1w_s_sxtw_float:
 118 ; CHECK: st1w { z0.s }, p0, [x0, z1.s, sxtw #2]
 119 ; CHECK-NEXT: ret
 120   call void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv4f32(<vscale x 4 x float> %data,
 121                                                              <vscale x 4 x i1> %pg,
 122                                                              float* %base,
 123                                                              <vscale x 4 x i32> %indices)
 124   ret void
 125 }
 126
 127 ; ST1D
 128 define void @sst1d_d_uxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i64* %base, <vscale x 2 x i32> %indices) {
 129 ; CHECK-LABEL: sst1d_d_uxtw:
 130 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, uxtw #3]
 131 ; CHECK-NEXT: ret
 132   call void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2i64(<vscale x 2 x i64> %data,
 133                                                              <vscale x 2 x i1> %pg,
 134                                                              i64* %base,
 135                                                              <vscale x 2 x i32> %indices)
 136   ret void
 137 }
 138
 139 define void @sst1d_d_sxtw(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pg, i64* %base, <vscale x 2 x i32> %indices) {
 140 ; CHECK-LABEL: sst1d_d_sxtw:
 141 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, sxtw #3]
 142 ; CHECK-NEXT: ret
 143   call void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2i64(<vscale x 2 x i64> %data,
 144                                                              <vscale x 2 x i1> %pg,
 145                                                              i64* %base,
 146                                                              <vscale x 2 x i32> %indices)
 147   ret void
 148 }
 149
 150 define void @sst1d_d_uxtw_double(<vscale x 2 x double> %data, <vscale x 2 x i1> %pg, double* %base, <vscale x 2 x i32> %indices) {
 151 ; CHECK-LABEL: sst1d_d_uxtw_double:
 152 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, uxtw #3]
 153 ; CHECK-NEXT: ret
 154   call void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2f64(<vscale x 2 x double> %data,
 155                                                              <vscale x 2 x i1> %pg,
 156                                                              double* %base,
 157                                                              <vscale x 2 x i32> %indices)
 158   ret void
 159 }
 160
 161 define void @sst1d_d_sxtw_double(<vscale x 2 x double> %data, <vscale x 2 x i1> %pg, double* %base, <vscale x 2 x i32> %indices) {
 162 ; CHECK-LABEL: sst1d_d_sxtw_double:
 163 ; CHECK: st1d { z0.d }, p0, [x0, z1.d, sxtw #3]
 164 ; CHECK-NEXT: ret
 165   call void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2f64(<vscale x 2 x double> %data,
 166                                                              <vscale x 2 x i1> %pg,
 167                                                              double* %base,
 168                                                              <vscale x 2 x i32> %indices)
 169   ret void
 170 }
 171
 172
 173 ; ST1H
 174 declare void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv4i16(<vscale x 4 x i16>, <vscale x 4 x i1>, i16*, <vscale x 4 x i32>)
 175 declare void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2i16(<vscale x 2 x i16>, <vscale x 2 x i1>, i16*, <vscale x 2 x i32>)
 176 declare void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv4i16(<vscale x 4 x i16>, <vscale x 4 x i1>, i16*, <vscale x 4 x i32>)
 177 declare void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2i16(<vscale x 2 x i16>, <vscale x 2 x i1>, i16*, <vscale x 2 x i32>)
 178
 179 ; ST1W
 180 declare void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i1>, i32*, <vscale x 4 x i32>)
 181 declare void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2i32(<vscale x 2 x i32>, <vscale x 2 x i1>, i32*, <vscale x 2 x i32>)
 182 declare void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i1>, i32*, <vscale x 4 x i32>)
 183 declare void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2i32(<vscale x 2 x i32>, <vscale x 2 x i1>, i32*, <vscale x 2 x i32>)
 184
 185 declare void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv4f32(<vscale x 4 x float>, <vscale x 4 x i1>, float*, <vscale x 4 x i32>)
 186 declare void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv4f32(<vscale x 4 x float>, <vscale x 4 x i1>, float*, <vscale x 4 x i32>)
 187
 188 ; ST1D
 189 declare void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i1>, i64*, <vscale x 2 x i32>)
 190 declare void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i1>, i64*, <vscale x 2 x i32>)
 191
 192 declare void @llvm.aarch64.sve.st1.scatter.sxtw.index.nxv2f64(<vscale x 2 x double>, <vscale x 2 x i1>, double*, <vscale x 2 x i32>)
 193 declare void @llvm.aarch64.sve.st1.scatter.uxtw.index.nxv2f64(<vscale x 2 x double>, <vscale x 2 x i1>, double*, <vscale x 2 x i32>)