llvm/test/CodeGen/AMDGPU/stack-realign.ll

   1 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=fiji -verify-machineinstrs < %s | FileCheck -check-prefix=GCN %s
   2
   3 ; Check that we properly realign the stack. While 4-byte access is all
   4 ; that is ever needed, some transformations rely on the known bits from the alignment of the pointer (e.g.
   5
   6
   7 ; 128 byte object
   8 ; 4 byte emergency stack slot
   9 ; = 144 bytes with padding between them
  10
  11 ; GCN-LABEL: {{^}}needs_align16_default_stack_align:
  12 ; GCN-DAG: v_lshlrev_b32_e32 [[SCALED_IDX:v[0-9]+]], 4, v0
  13 ; GCN-DAG: v_lshrrev_b32_e64 [[FRAMEDIFF:v[0-9]+]], 6, s32
  14 ; GCN: v_add_u32_e32 [[FI:v[0-9]+]], vcc, [[FRAMEDIFF]], [[SCALED_IDX]]
  15
  16 ; GCN-NOT: s32
  17
  18 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  19 ; GCN: v_or_b32_e32 v{{[0-9]+}}, 12
  20 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  21 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  22 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  23
  24 ; GCN-NOT: s32
  25
  26 ; GCN: ; ScratchSize: 144
  27 define void @needs_align16_default_stack_align(i32 %idx) #0 {
  28   %alloca.align16 = alloca [8 x <4 x i32>], align 16, addrspace(5)
  29   %gep0 = getelementptr inbounds [8 x <4 x i32>], [8 x <4 x i32>] addrspace(5)* %alloca.align16, i32 0, i32 %idx
  30   store volatile <4 x i32> <i32 1, i32 2, i32 3, i32 4>, <4 x i32> addrspace(5)* %gep0, align 16
  31   ret void
  32 }
  33
  34 ; GCN-LABEL: {{^}}needs_align16_stack_align4:
  35 ; GCN: s_add_i32 [[SCRATCH_REG:s[0-9]+]], s32, 0x3c0{{$}}
  36 ; GCN: s_and_b32 s33, [[SCRATCH_REG]], 0xfffffc00
  37
  38 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  39 ; GCN: v_or_b32_e32 v{{[0-9]+}}, 12
  40 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  41 ; GCN: s_addk_i32 s32, 0x2800{{$}}
  42 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  43 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  44
  45 ; GCN: s_addk_i32 s32, 0xd800
  46
  47 ; GCN: ; ScratchSize: 160
  48 define void @needs_align16_stack_align4(i32 %idx) #2 {
  49   %alloca.align16 = alloca [8 x <4 x i32>], align 16, addrspace(5)
  50   %gep0 = getelementptr inbounds [8 x <4 x i32>], [8 x <4 x i32>] addrspace(5)* %alloca.align16, i32 0, i32 %idx
  51   store volatile <4 x i32> <i32 1, i32 2, i32 3, i32 4>, <4 x i32> addrspace(5)* %gep0, align 16
  52   ret void
  53 }
  54
  55 ; GCN-LABEL: {{^}}needs_align32:
  56 ; GCN: s_add_i32 [[SCRATCH_REG:s[0-9]+]], s32, 0x7c0{{$}}
  57 ; GCN: s_and_b32 s33, [[SCRATCH_REG]], 0xfffff800
  58
  59 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  60 ; GCN: v_or_b32_e32 v{{[0-9]+}}, 12
  61 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  62 ; GCN: s_addk_i32 s32, 0x3000{{$}}
  63 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  64 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  65
  66 ; GCN: s_addk_i32 s32, 0xd000
  67
  68 ; GCN: ; ScratchSize: 192
  69 define void @needs_align32(i32 %idx) #0 {
  70   %alloca.align16 = alloca [8 x <4 x i32>], align 32, addrspace(5)
  71   %gep0 = getelementptr inbounds [8 x <4 x i32>], [8 x <4 x i32>] addrspace(5)* %alloca.align16, i32 0, i32 %idx
  72   store volatile <4 x i32> <i32 1, i32 2, i32 3, i32 4>, <4 x i32> addrspace(5)* %gep0, align 32
  73   ret void
  74 }
  75
  76 ; GCN-LABEL: {{^}}force_realign4:
  77 ; GCN: s_add_i32 [[SCRATCH_REG:s[0-9]+]], s32, 0xc0{{$}}
  78 ; GCN: s_and_b32 s33, [[SCRATCH_REG]], 0xffffff00
  79 ; GCN: s_addk_i32 s32, 0xd00{{$}}
  80
  81 ; GCN: buffer_store_dword v{{[0-9]+}}, v{{[0-9]+}}, s[0:3], 0 offen
  82 ; GCN: s_addk_i32 s32, 0xf300
  83
  84 ; GCN: ; ScratchSize: 52
  85 define void @force_realign4(i32 %idx) #1 {
  86   %alloca.align16 = alloca [8 x i32], align 4, addrspace(5)
  87   %gep0 = getelementptr inbounds [8 x i32], [8 x i32] addrspace(5)* %alloca.align16, i32 0, i32 %idx
  88   store volatile i32 3, i32 addrspace(5)* %gep0, align 4
  89   ret void
  90 }
  91
  92 ; GCN-LABEL: {{^}}kernel_call_align16_from_8:
  93 ; GCN: s_movk_i32 s32, 0x400{{$}}
  94 ; GCN-NOT: s32
  95 ; GCN: s_swappc_b64
  96 define amdgpu_kernel void @kernel_call_align16_from_8() #0 {
  97   %alloca = alloca i32, align 4, addrspace(5)
  98   store volatile i32 2, i32 addrspace(5)* %alloca
  99   call void @needs_align16_default_stack_align(i32 1)
 100   ret void
 101 }
 102
 103 ; The call sequence should keep the stack on call aligned to 4
 104 ; GCN-LABEL: {{^}}kernel_call_align16_from_5:
 105 ; GCN: s_movk_i32 s32, 0x400
 106 ; GCN: s_swappc_b64
 107 define amdgpu_kernel void @kernel_call_align16_from_5() {
 108   %alloca0 = alloca i8, align 1, addrspace(5)
 109   store volatile i8 2, i8  addrspace(5)* %alloca0
 110
 111   call void @needs_align16_default_stack_align(i32 1)
 112   ret void
 113 }
 114
 115 ; GCN-LABEL: {{^}}kernel_call_align4_from_5:
 116 ; GCN: s_movk_i32 s32, 0x400
 117 ; GCN: s_swappc_b64
 118 define amdgpu_kernel void @kernel_call_align4_from_5() {
 119   %alloca0 = alloca i8, align 1, addrspace(5)
 120   store volatile i8 2, i8  addrspace(5)* %alloca0
 121
 122   call void @needs_align16_stack_align4(i32 1)
 123   ret void
 124 }
 125
 126 ; GCN-LABEL: {{^}}default_realign_align128:
 127 ; GCN: s_mov_b32 [[FP_COPY:s[0-9]+]], s33
 128 ; GCN-NEXT: s_add_i32 s33, s32, 0x1fc0
 129 ; GCN-NEXT: s_and_b32 s33, s33, 0xffffe000
 130 ; GCN-NEXT: s_addk_i32 s32, 0x4000
 131 ; GCN-NOT: s33
 132 ; GCN: buffer_store_dword v0, off, s[0:3], s33{{$}}
 133 ; GCN: s_addk_i32 s32, 0xc000
 134 ; GCN: s_mov_b32 s33, [[FP_COPY]]
 135 define void @default_realign_align128(i32 %idx) #0 {
 136   %alloca.align = alloca i32, align 128, addrspace(5)
 137   store volatile i32 9, i32 addrspace(5)* %alloca.align, align 128
 138   ret void
 139 }
 140
 141 ; GCN-LABEL: {{^}}disable_realign_align128:
 142 ; GCN-NOT: s32
 143 ; GCN: buffer_store_dword v0, off, s[0:3], s32{{$}}
 144 ; GCN-NOT: s32
 145 define void @disable_realign_align128(i32 %idx) #3 {
 146   %alloca.align = alloca i32, align 128, addrspace(5)
 147   store volatile i32 9, i32 addrspace(5)* %alloca.align, align 128
 148   ret void
 149 }
 150
 151 declare void @extern_func(<32 x i32>, i32) #0
 152 define void @func_call_align1024_bp_gets_vgpr_spill(<32 x i32> %a, i32 %b) #0 {
 153 ; The test forces the stack to be realigned to a new boundary
 154 ; since there is a local object with an alignment of 1024.
 155 ; Should use BP to access the incoming stack arguments.
 156 ; The BP value is saved/restored with a VGPR spill.
 157
 158 ; GCN-LABEL: func_call_align1024_bp_gets_vgpr_spill:
 159 ; GCN: buffer_store_dword [[VGPR_REG:v[0-9]+]], off, s[0:3], s32 offset:1028 ; 4-byte Folded Spill
 160 ; GCN-NEXT: s_mov_b64 exec, s[16:17]
 161 ; GCN-NEXT: v_writelane_b32 [[VGPR_REG]], s33, 2
 162 ; GCN-DAG: s_add_i32 [[SCRATCH_REG:s[0-9]+]], s32, 0xffc0
 163 ; GCN: s_and_b32 s33, [[SCRATCH_REG]], 0xffff0000
 164 ; GCN: v_mov_b32_e32 v32, 0
 165 ; GCN-DAG: v_writelane_b32 [[VGPR_REG]], s34, 3
 166 ; GCN: s_mov_b32 s34, s32
 167 ; GCN: buffer_store_dword v32, off, s[0:3], s33 offset:1024
 168 ; GCN-NEXT: s_waitcnt vmcnt(0)
 169 ; GCN-NEXT: buffer_load_dword v{{[0-9]+}}, off, s[0:3], s34
 170 ; GCN-DAG: s_add_i32 s32, s32, 0x30000
 171 ; GCN: buffer_store_dword v{{[0-9]+}}, off, s[0:3], s32
 172 ; GCN: s_swappc_b64 s[30:31],
 173
 174 ; GCN: v_readlane_b32 s31, [[VGPR_REG]], 1
 175 ; GCN: v_readlane_b32 s30, [[VGPR_REG]], 0
 176 ; GCN: s_add_i32 s32, s32, 0xfffd0000
 177 ; GCN-NEXT: v_readlane_b32 s33, [[VGPR_REG]], 2
 178 ; GCN-NEXT: v_readlane_b32 s34, [[VGPR_REG]], 3
 179 ; GCN-NEXT: s_or_saveexec_b64 s[4:5], -1
 180 ; GCN-NEXT: buffer_load_dword [[VGPR_REG]], off, s[0:3], s32 offset:1028 ; 4-byte Folded Reload
 181 ; GCN-NEXT: s_mov_b64 exec, s[4:5]
 182 ; GCN: s_setpc_b64 s[30:31]
 183   %temp = alloca i32, align 1024, addrspace(5)
 184   store volatile i32 0, i32 addrspace(5)* %temp, align 1024
 185   call void @extern_func(<32 x i32> %a, i32 %b)
 186   ret void
 187 }
 188
 189 %struct.Data = type { [9 x i32] }
 190 define i32 @needs_align1024_stack_args_used_inside_loop(%struct.Data addrspace(5)* nocapture readonly byval(%struct.Data) align 8 %arg) local_unnamed_addr #4 {
 191 ; The local object allocation needed an alignment of 1024.
 192 ; Since the function argument is accessed in a loop with an
 193 ; index variable, the base pointer first get loaded into a VGPR
 194 ; and that value should be further referenced to load the incoming values.
 195 ; The BP value will get saved/restored in an SGPR at the prolgoue/epilogue.
 196
 197 ; GCN-LABEL: needs_align1024_stack_args_used_inside_loop:
 198 ; GCN: s_mov_b32 [[FP_COPY:s[0-9]+]], s33
 199 ; GCN-NEXT: s_mov_b32 [[BP_COPY:s[0-9]+]], s34
 200 ; GCN-NEXT: s_add_i32 s33, s32, 0xffc0
 201 ; GCN-NEXT: s_mov_b32 s34, s32
 202 ; GCN-NEXT: s_and_b32 s33, s33, 0xffff0000
 203 ; GCN-NEXT: v_lshrrev_b32_e64 [[VGPR_REG:v[0-9]+]], 6, s34
 204 ; GCN-NEXT: v_mov_b32_e32 v{{[0-9]+}}, 0
 205 ; GCN: s_add_i32 s32, s32, 0x30000
 206 ; GCN: buffer_store_dword v{{[0-9]+}}, off, s[0:3], s33 offset:1024
 207 ; GCN: buffer_load_dword v{{[0-9]+}}, [[VGPR_REG]], s[0:3], 0 offen
 208 ; GCN: v_add_u32_e32 [[VGPR_REG]], vcc, 4, [[VGPR_REG]]
 209 ; GCN: s_add_i32 s32, s32, 0xfffd0000
 210 ; GCN-NEXT: s_mov_b32 s33, [[FP_COPY]]
 211 ; GCN-NEXT: s_mov_b32 s34, [[BP_COPY]]
 212 ; GCN-NEXT: s_setpc_b64 s[30:31]
 213 begin:
 214   %local_var = alloca i32, align 1024, addrspace(5)
 215   store volatile i32 0, i32 addrspace(5)* %local_var, align 1024
 216   br label %loop_body
 217
 218 loop_end:                                                ; preds = %loop_body
 219   %idx_next = add nuw nsw i32 %lp_idx, 1
 220   %lp_exit_cond = icmp eq i32 %idx_next, 9
 221   br i1 %lp_exit_cond, label %exit, label %loop_body
 222
 223 loop_body:                                                ; preds = %loop_end, %begin
 224   %lp_idx = phi i32 [ 0, %begin ], [ %idx_next, %loop_end ]
 225   %ptr = getelementptr inbounds %struct.Data, %struct.Data addrspace(5)* %arg, i32 0, i32 0, i32 %lp_idx
 226   %val = load i32, i32 addrspace(5)* %ptr, align 8
 227   %lp_cond = icmp eq i32 %val, %lp_idx
 228   br i1 %lp_cond, label %loop_end, label %exit
 229
 230 exit:                                               ; preds = %loop_end, %loop_body
 231   %out = phi i32 [ 0, %loop_body ], [ 1, %loop_end ]
 232   ret i32 %out
 233 }
 234
 235 define void @no_free_scratch_sgpr_for_bp_copy(<32 x i32> %a, i32 %b) #0 {
 236 ; GCN-LABEL: no_free_scratch_sgpr_for_bp_copy:
 237 ; GCN: ; %bb.0:
 238 ; GCN: v_writelane_b32 [[VGPR_REG:v[0-9]+]], s34, 0
 239 ; GCN-NEXT: s_mov_b32 s34, s32
 240 ; GCN-NEXT: buffer_load_dword v{{[0-9]+}}, off, s[0:3], s34
 241 ; GCN: v_readlane_b32 s34, [[VGPR_REG:v[0-9]+]], 0
 242 ; GCN: buffer_store_dword v{{[0-9]+}}, off, s[0:3], s33 offset:128
 243 ; GCN-NEXT: s_waitcnt vmcnt(0)
 244 ; GCN-NEXT: ;;#ASMSTART
 245 ; GCN-NEXT: ;;#ASMEND
 246 ; GCN: s_setpc_b64 s[30:31]
 247   %local_val = alloca i32, align 128, addrspace(5)
 248   store volatile i32 %b, i32 addrspace(5)* %local_val, align 128
 249   ; Use all clobberable registers, so BP has to spill to a VGPR.
 250   call void asm sideeffect "",
 251     "~{s0},~{s1},~{s2},~{s3},~{s4},~{s5},~{s6},~{s7},~{s8},~{s9}
 252     ,~{s10},~{s11},~{s12},~{s13},~{s14},~{s15},~{s16},~{s17},~{s18},~{s19}
 253     ,~{s20},~{s21},~{s22},~{s23},~{s24},~{s25},~{s26},~{s27},~{s28},~{s29}
 254     ,~{vcc_hi}"() #0
 255   ret void
 256 }
 257
 258 define void @no_free_regs_spill_bp_to_memory(<32 x i32> %a, i32 %b) #5 {
 259 ; If there are no free SGPRs or VGPRs available we must spill the BP to memory.
 260
 261 ; GCN-LABEL: no_free_regs_spill_bp_to_mem
 262 ; GCN: s_or_saveexec_b64 s[4:5], -1
 263 ; GCN: v_mov_b32_e32 v0, s33
 264 ; GCN: buffer_store_dword v0, off, s[0:3], s32
 265 ; GCN: v_mov_b32_e32 v0, s34
 266 ; GCN-DAG: buffer_store_dword v0, off, s[0:3], s32
 267   %local_val = alloca i32, align 128, addrspace(5)
 268   store volatile i32 %b, i32 addrspace(5)* %local_val, align 128
 269
 270   call void asm sideeffect "; clobber nonpreserved SGPRs and 64 CSRs",
 271     "~{s4},~{s5},~{s6},~{s7},~{s8},~{s9}
 272     ,~{s10},~{s11},~{s12},~{s13},~{s14},~{s15},~{s16},~{s17},~{s18},~{s19}
 273     ,~{s20},~{s21},~{s22},~{s23},~{s24},~{s25},~{s26},~{s27},~{s28},~{s29}
 274     ,~{s40},~{s41},~{s42},~{s43},~{s44},~{s45},~{s46},~{s47},~{s48},~{s49}
 275     ,~{s50},~{s51},~{s52},~{s53},~{s54},~{s55},~{s56},~{s57},~{s58},~{s59}
 276     ,~{s60},~{s61},~{s62},~{s63},~{s64},~{s65},~{s66},~{s67},~{s68},~{s69}
 277     ,~{s70},~{s71},~{s72},~{s73},~{s74},~{s75},~{s76},~{s77},~{s78},~{s79}
 278     ,~{s80},~{s81},~{s82},~{s83},~{s84},~{s85},~{s86},~{s87},~{s88},~{s89}
 279     ,~{s90},~{s91},~{s92},~{s93},~{s94},~{s95},~{s96},~{s97},~{s98},~{s99}
 280     ,~{s100},~{s101},~{s102},~{s39},~{vcc}"() #0
 281
 282   call void asm sideeffect "; clobber all VGPRs",
 283     "~{v0},~{v1},~{v2},~{v3},~{v4},~{v5},~{v6},~{v7},~{v8},~{v9}
 284     ,~{v10},~{v11},~{v12},~{v13},~{v14},~{v15},~{v16},~{v17},~{v18},~{v19}
 285     ,~{v20},~{v21},~{v22},~{v23},~{v24},~{v25},~{v26},~{v27},~{v28},~{v29}
 286     ,~{v30},~{v31},~{v32},~{v33},~{v34},~{v35},~{v36},~{v37},~{v38}" () #0
 287   ret void
 288 }
 289
 290 define void @spill_bp_to_memory_scratch_reg_needed_mubuf_offset(<32 x i32> %a, i32 %b, [4096 x i8] addrspace(5)* byval([4096 x i8]) align 4 %arg) #5 {
 291 ; If the size of the offset exceeds the MUBUF offset field we need another
 292 ; scratch VGPR to hold the offset.
 293
 294 ; GCN-LABEL: spill_bp_to_memory_scratch_reg_needed_mubuf_offset
 295 ; GCN: s_or_saveexec_b64 s[4:5], -1
 296 ; GCN-NEXT: s_add_i32 s6, s32, 0x42100
 297 ; GCN-NEXT: buffer_store_dword v39, off, s[0:3], s6 ; 4-byte Folded Spill
 298 ; GCN-NEXT: s_mov_b64 exec, s[4:5]
 299 ; GCN-NEXT: v_mov_b32_e32 v0, s33
 300 ; GCN-NOT: v_mov_b32_e32 v0, 0x1088
 301 ; GCN-NEXT: s_add_i32 s6, s32, 0x42200
 302 ; GCN-NEXT: buffer_store_dword v0, off, s[0:3], s6 ; 4-byte Folded Spill
 303 ; GCN-NEXT: v_mov_b32_e32 v0, s34
 304 ; GCN-NOT: v_mov_b32_e32 v0, 0x108c
 305 ; GCN-NEXT: s_add_i32 s6, s32, 0x42300
 306 ; GCN-NEXT: s_mov_b32 s34, s32
 307 ; GCN-NEXT: buffer_store_dword v0, off, s[0:3], s6 ; 4-byte Folded Spill
 308   %local_val = alloca i32, align 128, addrspace(5)
 309   store volatile i32 %b, i32 addrspace(5)* %local_val, align 128
 310
 311   call void asm sideeffect "; clobber nonpreserved SGPRs and 64 CSRs",
 312     "~{s4},~{s5},~{s6},~{s7},~{s8},~{s9}
 313     ,~{s10},~{s11},~{s12},~{s13},~{s14},~{s15},~{s16},~{s17},~{s18},~{s19}
 314     ,~{s20},~{s21},~{s22},~{s23},~{s24},~{s25},~{s26},~{s27},~{s28},~{s29}
 315     ,~{s40},~{s41},~{s42},~{s43},~{s44},~{s45},~{s46},~{s47},~{s48},~{s49}
 316     ,~{s50},~{s51},~{s52},~{s53},~{s54},~{s55},~{s56},~{s57},~{s58},~{s59}
 317     ,~{s60},~{s61},~{s62},~{s63},~{s64},~{s65},~{s66},~{s67},~{s68},~{s69}
 318     ,~{s70},~{s71},~{s72},~{s73},~{s74},~{s75},~{s76},~{s77},~{s78},~{s79}
 319     ,~{s80},~{s81},~{s82},~{s83},~{s84},~{s85},~{s86},~{s87},~{s88},~{s89}
 320     ,~{s90},~{s91},~{s92},~{s93},~{s94},~{s95},~{s96},~{s97},~{s98},~{s99}
 321     ,~{s100},~{s101},~{s102},~{s39},~{vcc}"() #0
 322
 323   call void asm sideeffect "; clobber all VGPRs",
 324     "~{v0},~{v1},~{v2},~{v3},~{v4},~{v5},~{v6},~{v7},~{v8},~{v9}
 325     ,~{v10},~{v11},~{v12},~{v13},~{v14},~{v15},~{v16},~{v17},~{v18},~{v19}
 326     ,~{v20},~{v21},~{v22},~{v23},~{v24},~{v25},~{v26},~{v27},~{v28},~{v29}
 327     ,~{v30},~{v31},~{v32},~{v33},~{v34},~{v35},~{v36},~{v37},~{v38}"() #0
 328   ret void
 329 }
 330
 331 attributes #0 = { noinline nounwind }
 332 attributes #1 = { noinline nounwind "stackrealign" }
 333 attributes #2 = { noinline nounwind alignstack=4 }
 334 attributes #3 = { noinline nounwind "no-realign-stack" }
 335 attributes #4 = { noinline nounwind "frame-pointer"="all"}
 336 attributes #5 = { noinline nounwind "amdgpu-waves-per-eu"="6,6" }