llvm/test/CodeGen/AArch64/framelayout-sve.mir

   1 # RUN: llc -mattr=+sve -mtriple=aarch64-none-linux-gnu -run-pass=prologepilog %s -o - | FileCheck %s
   2 # RUN: llc -mtriple=aarch64-none-linux-gnu -mattr=+sve -start-before=prologepilog %s -o - | FileCheck %s --check-prefix=ASM
   3 # RUN: llc -mtriple=aarch64-none-linux-gnu -mattr=+sve -start-before=prologepilog %s -filetype=obj -o %t
   4 # RUN: llvm-objdump --dwarf=frames %t | FileCheck %s --check-prefix=UNWINDINFO
   5 # RUN: rm -rf %t
   6 #
   7 # Test allocation and deallocation of SVE objects on the stack,
   8 # as well as using a combination of scalable and non-scalable
   9 # offsets to access the SVE on the stack.
  10 #
  11 # SVE objects are allocated below the (scalar) callee saves,
  12 # and above spills/locals and the alignment gap, e.g.
  13 #
  14 #     +-------------+
  15 #     | stack arg   |
  16 #     +-------------+ <- SP before call
  17 #     | Callee Saves|
  18 #     | Frame record|       (if available)
  19 #     |-------------| <- FP (if available)
  20 #     |  SVE area   |
  21 #     +-------------+
  22 #     |/////////////| alignment gap.
  23 #     |     :       |
  24 #     | Stack objs  |
  25 #     |     :       |
  26 #     +-------------+ <- SP after call and frame-setup
  27 #
  28 --- |
  29
  30   define void @test_allocate_sve() uwtable { entry: unreachable }
  31   define void @test_allocate_sve_gpr_callee_saves() uwtable { entry: unreachable }
  32   define void @test_allocate_sve_gpr_realigned() uwtable { entry: unreachable }
  33   define void @test_address_sve() uwtable { entry: unreachable }
  34   define void @test_address_sve_fp() uwtable { entry: unreachable }
  35   define void @test_stack_arg_sve() uwtable { entry: unreachable }
  36   define void @test_address_sve_out_of_range() uwtable { entry: unreachable }
  37   define void @test_address_gpr_vla() uwtable { entry: unreachable }
  38   define aarch64_sve_vector_pcs void @save_restore_pregs_sve() uwtable { entry: unreachable }
  39   define aarch64_sve_vector_pcs void @save_restore_zregs_sve() uwtable { entry: unreachable }
  40   define aarch64_sve_vector_pcs void @save_restore_sve() uwtable { entry: unreachable }
  41   define aarch64_sve_vector_pcs void @save_restore_sve_realign() uwtable { entry: unreachable }
  42   define aarch64_sve_vector_pcs void @frame_layout() uwtable { entry: unreachable }
  43   define void @fp_relative_index_with_float_save() uwtable { entry: unreachable }
  44
  45 ...
  46 # +----------+
  47 # |scratchreg|  // x29 is used as scratch reg.
  48 # +----------+
  49 # | %stack.0 |  // scalable SVE object of n * 18 bytes, aligned to 16 bytes,
  50 # |          |  // to be materialized with 2*ADDVL (<=> 2 * n * 16bytes)
  51 # +----------+
  52 # | %stack.1 |  // not scalable
  53 # +----------+ <- SP
  54
  55 # CHECK-LABEL: name: test_allocate_sve
  56 # CHECK:       stackSize: 32
  57
  58 # CHECK:      bb.0.entry:
  59 # CHECK-NEXT: $sp = frame-setup STRXpre killed $[[SCRATCH:[a-z0-9]+]], $sp, -16
  60 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
  61 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
  62 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -2
  63 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22
  64 # CHECK-NEXT: $sp = frame-setup SUBXri $sp, 16, 0
  65 # CHECK-NEXT: CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22
  66
  67 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 2
  68 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 32
  69 # CHECK-NEXT: $sp = frame-destroy ADDXri $sp, 16, 0
  70 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 16
  71 # CHECK-NEXT: $sp, $[[SCRATCH]] = frame-destroy LDRXpost $sp, 16
  72 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
  73 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
  74 # CHECK-NEXT: RET_ReallyLR
  75
  76 # ASM-LABEL: test_allocate_sve:
  77 # ASM:       .cfi_def_cfa_offset 16
  78 # ASM-NEXT:  .cfi_offset w29, -16
  79 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 16 * VG
  80 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 16 * VG
  81 # ASM:       .cfi_def_cfa wsp, 32
  82 # ASM:       .cfi_def_cfa_offset 16
  83 # ASM:       .cfi_def_cfa_offset 0
  84 # ASM-NEXT:  .cfi_restore w29
  85
  86 #
  87 # UNWINDINFO:       DW_CFA_def_cfa_offset: +16
  88 # UNWINDINFO-NEXT:  DW_CFA_offset: reg29 -16
  89 # UNWINDINFO:       DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +16, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
  90 # UNWINDINFO:       DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +16, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
  91 # UNWINDINFO:       DW_CFA_def_cfa: reg31 +32
  92 # UNWINDINFO:       DW_CFA_def_cfa_offset: +16
  93 # UNWINDINFO:       DW_CFA_def_cfa_offset: +0
  94 # UNWINDINFO-NEXT:  DW_CFA_restore: reg29
  95
  96
  97 name:            test_allocate_sve
  98 stack:
  99   - { id: 0, stack-id: scalable-vector, size: 18, alignment: 2 }
 100   - { id: 1, stack-id: default, size: 16, alignment: 8 }
 101 body:             |
 102   bb.0.entry:
 103     RET_ReallyLR
 104 ---
 105 ...
 106 # +----------+
 107 # | x20, x21 |  // callee saves
 108 # |scratchreg|  // x29 is used as scratch reg.
 109 # +----------+
 110 # | %stack.0 |  // scalable objects
 111 # +----------+
 112 # | %stack.1 |  // not scalable
 113 # +----------+ <- SP
 114
 115 # CHECK-LABEL: name: test_allocate_sve_gpr_callee_saves
 116 # CHECK:       stackSize: 48
 117
 118 # CHECK:      bb.0.entry:
 119 # CHECK-NEXT: liveins:
 120 # CHECK-NEXT: {{  $}}
 121 # CHECK-NEXT: $sp = frame-setup STRXpre killed $[[SCRATCH:[a-z0-9]+]], $sp, -32
 122 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 32
 123 # CHECK-NEXT: frame-setup STPXi killed $x21, killed $x20, $sp, 2
 124 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w20, -8
 125 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w21, -16
 126 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -32
 127 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -2
 128 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22
 129 # CHECK-NEXT: $sp = frame-setup SUBXri $sp, 16, 0
 130 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x30, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22
 131 #
 132 # CHECK-NEXT: $x20 = IMPLICIT_DEF
 133 # CHECK-NEXT: $x21 = IMPLICIT_DEF
 134 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 2
 135 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 48
 136 # CHECK-NEXT: $sp = frame-destroy ADDXri $sp, 16, 0
 137 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 32
 138 # CHECK-NEXT: $x21, $x20 = frame-destroy LDPXi $sp, 2
 139 # CHECK-NEXT: $sp, $[[SCRATCH]] = frame-destroy LDRXpost $sp, 32
 140 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 141 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w20
 142 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w21
 143 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 144 # CHECK-NEXT: RET_ReallyLR
 145 #
 146 # ASM-LABEL: test_allocate_sve_gpr_callee_saves:
 147 # ASM:       .cfi_def_cfa_offset 32
 148 # ASM:       .cfi_offset w20, -8
 149 # ASM-NEXT:  .cfi_offset w21, -16
 150 # ASM-NEXT:  .cfi_offset w29, -32
 151 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 16 * VG
 152 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x30, 0x22, 0x11, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 48 + 16 * VG
 153 #
 154 # ASM:       .cfi_def_cfa wsp, 48
 155 # ASM:       .cfi_def_cfa_offset 32
 156 # ASM:       .cfi_def_cfa_offset 0
 157 # ASM-NEXT:  .cfi_restore w20
 158 # ASM-NEXT:  .cfi_restore w21
 159 # ASM-NEXT:  .cfi_restore w29
 160
 161 #
 162 # UNWINDINFO:       DW_CFA_def_cfa_offset: +32
 163 # UNWINDINFO:       DW_CFA_offset: reg20 -8
 164 # UNWINDINFO-NEXT:  DW_CFA_offset: reg21 -16
 165 # UNWINDINFO-NEXT:  DW_CFA_offset: reg29 -32
 166 # UNWINDINFO:       DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +16, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 167 # UNWINDINFO:       DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +48, DW_OP_plus, DW_OP_consts +16, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 168 #
 169 # UNWINDINFO:       DW_CFA_def_cfa: reg31 +48
 170 # UNWINDINFO:       DW_CFA_def_cfa_offset: +32
 171 # UNWINDINFO:       DW_CFA_def_cfa_offset: +0
 172 # UNWINDINFO-NEXT:  DW_CFA_restore: reg20
 173 # UNWINDINFO-NEXT:  DW_CFA_restore: reg21
 174 # UNWINDINFO-NEXT:  DW_CFA_restore: reg29
 175
 176 name:            test_allocate_sve_gpr_callee_saves
 177 stack:
 178   - { id: 0, stack-id: scalable-vector, size: 18, alignment: 2 }
 179   - { id: 1, stack-id: default, size: 16, alignment: 8 }
 180 body:             |
 181   bb.0.entry:
 182     $x20 = IMPLICIT_DEF
 183     $x21 = IMPLICIT_DEF
 184     RET_ReallyLR
 185 ---
 186 ...
 187 # +----------+
 188 # |  lr, fp  |  // frame record
 189 # +----------+ <- FP
 190 # | %stack.0 |  // scalable objects
 191 # +----------+
 192 # |//////////|  // alignment gap
 193 # | %stack.1 |  // not scalable
 194 # +----------+ <- SP
 195 # CHECK-LABEL: name: test_allocate_sve_gpr_realigned
 196 # CHECK:       stackSize: 32
 197
 198 # CHECK:      bb.0.entry:
 199 # CHECK-NEXT: liveins:
 200 # CHECK-NEXT: {{  $}}
 201 # CHECK-NEXT: $sp = frame-setup STPXpre killed $fp, killed $lr, $sp, -2
 202 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
 203 # CHECK-NEXT: $fp = frame-setup ADDXri $sp, 0, 0
 204 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa $w29, 16
 205 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w30, -8
 206 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
 207 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -2
 208 # CHECK-NEXT: $[[TMP:x[0-9]+]] = frame-setup SUBXri $sp, 16, 0
 209 # CHECK-NEXT: $sp = ANDXri killed $[[TMP]]
 210 # CHECK-NEXT: $sp = frame-destroy ADDXri $fp, 0, 0
 211 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 16
 212 # CHECK-NEXT: $sp, $fp, $lr = frame-destroy LDPXpost $sp, 2
 213 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 214 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w30
 215 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 216 # CHECK-NEXT: RET_ReallyLR
 217 #
 218 # ASM-LABEL: test_allocate_sve_gpr_realigned:
 219 # ASM:       .cfi_def_cfa_offset 16
 220 # ASM:       .cfi_def_cfa w29, 16
 221 # ASM-NEXT:  .cfi_offset w30, -8
 222 # ASM-NEXT:  .cfi_offset w29, -16
 223 #
 224 # ASM:        .cfi_def_cfa wsp, 16
 225 # ASM:        .cfi_def_cfa_offset 0
 226 # ASM-NEXT:   .cfi_restore w30
 227 # ASM-NEXT:   .cfi_restore w29
 228
 229 #
 230 # UNWINDINFO:       DW_CFA_def_cfa_offset: +16
 231 # UNWINDINFO:       DW_CFA_def_cfa: reg29 +16
 232 # UNWINDINFO-NEXT:  DW_CFA_offset: reg30 -8
 233 # UNWINDINFO-NEXT:  DW_CFA_offset: reg29 -16
 234 #
 235 # UNWINDINFO:       DW_CFA_def_cfa: reg31 +16
 236 # UNWINDINFO:       DW_CFA_def_cfa_offset: +0
 237 # UNWINDINFO-NEXT:  DW_CFA_restore: reg30
 238 # UNWINDINFO-NEXT:  DW_CFA_restore: reg29
 239
 240
 241 name:            test_allocate_sve_gpr_realigned
 242 stack:
 243   - { id: 0, stack-id: scalable-vector, size: 18, alignment: 2  }
 244   - { id: 1, stack-id: default, size: 16, alignment: 32 }
 245 body:             |
 246   bb.0.entry:
 247     RET_ReallyLR
 248 ---
 249 ...
 250 # +----------+
 251 # | x20, x21 |  // callee saves
 252 # +----------+
 253 # | %stack.0 |  // scalable @ SP + 16b + 32 scalable bytes
 254 # | %stack.1 |  // scalable @ SP + 16b + 16 scalable bytes
 255 # | %stack.2 |  // scalable @ SP + 16b + 14 scalable bytes
 256 # +----------+
 257 # | %stack.3 |  // not scalable
 258 # +----------+ <- SP
 259
 260 # CHECK-LABEL: name: test_address_sve
 261 # CHECK:       stackSize: 32
 262
 263 # CHECK:      bb.0.entry:
 264 # CHECK-NEXT: liveins:
 265 # CHECK-NEXT: {{  $}}
 266 # CHECK-NEXT: $sp = frame-setup STRXpre killed $[[SCRATCH:[a-z0-9]+]], $sp, -16
 267 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
 268 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
 269 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -3
 270 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22
 271 # CHECK-NEXT: $sp = frame-setup SUBXri $sp, 16, 0
 272 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22
 273
 274 # CHECK-NEXT: $[[TMP:x[0-9]+]] = ADDXri $sp, 16
 275 # CHECK-NEXT: STR_ZXI $z0, killed $[[TMP]], 2
 276 # CHECK-NEXT: $[[TMP:x[0-9]+]] = ADDXri $sp, 16
 277 # CHECK-NEXT: STR_ZXI $z1, killed $[[TMP]], 1
 278 # CHECK-NEXT: $[[TMP:x[0-9]+]] = ADDXri $sp, 16
 279 # CHECK-NEXT: STR_PXI $p0, killed $[[TMP]], 7
 280
 281 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 3
 282 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 32
 283
 284 # CHECK-NEXT: $sp = frame-destroy ADDXri $sp, 16, 0
 285 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 16
 286 # CHECK-NEXT: $sp, $[[SCRATCH]] = frame-destroy LDRXpost $sp, 16
 287 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 288 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 289 # CHECK-NEXT: RET_ReallyLR
 290 #
 291 # ASM-LABEL:  test_address_sve:
 292 # ASM:       .cfi_def_cfa_offset 16
 293 # ASM-NEXT:  .cfi_offset w29, -16
 294 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 24 * VG
 295 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 24 * VG
 296 #
 297 # ASM:       .cfi_def_cfa wsp, 32
 298 # ASM:       .cfi_def_cfa_offset 16
 299 # ASM:       .cfi_def_cfa_offset 0
 300 # ASM-NEXT:  .cfi_restore w29
 301 #
 302 # UNWINDINFO:       DW_CFA_def_cfa_offset: +16
 303 # UNWINDINFO-NEXT:  DW_CFA_offset: reg29 -16
 304 # UNWINDINFO:       DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 305 # UNWINDINFO:       DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 306 #
 307 # UNWINDINFO:       DW_CFA_def_cfa: reg31 +32
 308 # UNWINDINFO:       DW_CFA_def_cfa_offset: +16
 309 # UNWINDINFO:       DW_CFA_def_cfa_offset: +0
 310 # UNWINDINFO-NEXT:  DW_CFA_restore: reg29
 311
 312
 313 name:            test_address_sve
 314 frameInfo:
 315   maxAlignment:  16
 316 stack:
 317   - { id: 0, stack-id: scalable-vector, size: 16, alignment: 8 }
 318   - { id: 1, stack-id: scalable-vector, size: 16, alignment: 8 }
 319   - { id: 2, stack-id: scalable-vector, size:  2, alignment: 2 }
 320   - { id: 3, stack-id: default, size: 16, alignment: 8 }
 321 body:             |
 322   bb.0.entry:
 323     liveins: $z0, $z1, $p0
 324
 325     STR_ZXI $z0, %stack.0, 0
 326     STR_ZXI $z1, %stack.1, 0
 327     STR_PXI $p0, %stack.2, 0
 328
 329     RET_ReallyLR
 330 ---
 331 ...
 332 # +-----------+
 333 # | x20, x21  |  // callee saves
 334 # |  lr, fp   |  // frame record
 335 # +-----------+ <- FP
 336 # | %stack.0  |  // scalable @ FP - 16 scalable bytes
 337 # | %stack.1  |  // scalable @ FP - 32 scalable bytes
 338 # | %stack.2  |  // scalable @ FP - 34 scalable bytes
 339 # +-----------+
 340 # | %stack.3  |  // not scalable
 341 # +-----------+ <- SP
 342
 343 # CHECK-LABEL: name: test_address_sve_fp
 344 # CHECK:       stackSize: 32
 345
 346 # CHECK:      bb.0.entry:
 347 # CHECK-NEXT: liveins:
 348 # CHECK-NEXT: {{  $}}
 349 # CHECK-NEXT: $sp = frame-setup STPXpre killed $fp, killed $lr, $sp, -2
 350 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
 351 # CHECK-NEXT: $fp = frame-setup ADDXri $sp, 0, 0
 352 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa $w29, 16
 353 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w30, -8
 354 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
 355 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -3
 356 # CHECK-NEXT: $sp = frame-setup SUBXri $sp, 16, 0
 357
 358 # CHECK-NEXT: STR_ZXI $z0, $fp, -1
 359 # CHECK-NEXT: STR_ZXI $z1, $fp, -2
 360 # CHECK-NEXT: STR_PXI $p0, $fp, -17
 361
 362 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 3
 363 # CHECK:      $sp = frame-destroy ADDXri $sp, 16, 0
 364 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 16
 365 # CHECK-NEXT: $sp, $fp, $lr = frame-destroy LDPXpost $sp, 2
 366 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 367 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w30
 368 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 369 # CHECK-NEXT: RET_ReallyLR
 370 #
 371 # ASM-LABEL: test_address_sve_fp:
 372 # ASM:       .cfi_def_cfa_offset 16
 373 # ASM:       .cfi_def_cfa w29, 16
 374 # ASM-NEXT:  .cfi_offset w30, -8
 375 # ASM-NEXT:  .cfi_offset w29, -16
 376 #
 377 # ASM:       .cfi_def_cfa wsp, 16
 378 # ASM:       .cfi_def_cfa_offset 0
 379 # ASM-NEXT:  .cfi_restore w30
 380 # ASM-NEXT:  .cfi_restore w29
 381 #
 382 # UNWINDINFO:      DW_CFA_def_cfa_offset: +16
 383 # UNWINDINFO:      DW_CFA_def_cfa: reg29 +16
 384 # UNWINDINFO-NEXT: DW_CFA_offset: reg30 -8
 385 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -16
 386 #
 387 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +16
 388 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
 389 # UNWINDINFO-NEXT: DW_CFA_restore: reg30
 390 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
 391
 392 name:            test_address_sve_fp
 393 frameInfo:
 394   maxAlignment:  16
 395   isFrameAddressTaken: true
 396 stack:
 397   - { id: 0, stack-id: scalable-vector, size: 16, alignment: 8 }
 398   - { id: 1, stack-id: scalable-vector, size: 16, alignment: 8 }
 399   - { id: 2, stack-id: scalable-vector, size:  2, alignment: 2 }
 400   - { id: 3, stack-id: default, size: 16, alignment: 8 }
 401 body:             |
 402   bb.0.entry:
 403     liveins: $z0, $z1, $p0
 404
 405     STR_ZXI $z0, %stack.0, 0
 406     STR_ZXI $z1, %stack.1, 0
 407     STR_PXI $p0, %stack.2, 0
 408
 409     RET_ReallyLR
 410 ---
 411 ...
 412 # +-----------+
 413 # | %fstack.1 |  // stack arg @ SP + 16 scalable bytes + 32 bytes.
 414 # +-----------+
 415 # |callee save|  // register saved as scratch reg.
 416 # +-----------+
 417 # | %stack.0  |  // vector of 16 scalable bytes
 418 # +---------- +
 419 # | %stack.1  |  // not scalable, 16 bytes
 420 # +-----------+ <- SP
 421 # CHECK-LABEL: name: test_stack_arg_sve
 422 # CHECK:       stackSize: 32
 423
 424 # CHECK:      bb.0.entry:
 425 # CHECK-NEXT: liveins:
 426 # CHECK-NEXT: {{  $}}
 427 # CHECK-NEXT: $sp = frame-setup STRXpre killed $[[SCRATCH:[a-z0-9]+]], $sp, -16
 428 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
 429 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
 430
 431 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -1
 432 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22
 433 # CHECK-NEXT: $sp = frame-setup SUBXri $sp, 16, 0
 434 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22
 435 # CHECK:      $[[TMP:x[0-9]+]] = ADDVL_XXI $sp, 1
 436 # CHECK-NEXT: $x0 = LDRXui killed $[[TMP]], 4
 437
 438 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 1
 439 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 32
 440 # CHECK-NEXT: $sp = frame-destroy ADDXri $sp, 16, 0
 441 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 16
 442 # CHECK-NEXT: $sp, $[[SCRATCH]] = frame-destroy LDRXpost $sp, 16
 443 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 444 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 445 # CHECK-NEXT: RET_ReallyLR
 446 #
 447 # ASM-LABEL: test_stack_arg_sve:
 448 # ASM:       .cfi_def_cfa_offset 16
 449 # ASM-NEXT:  .cfi_offset w29, -16
 450 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 8 * VG
 451 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 8 * VG
 452 #
 453 # ASM:       .cfi_def_cfa wsp, 32
 454 # ASM:       .cfi_def_cfa_offset 16
 455 # ASM:       .cfi_def_cfa_offset 0
 456 # ASM-NEXT:  .cfi_restore w29
 457
 458 # UNWINDINFO:      DW_CFA_def_cfa_offset: +16
 459 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -16
 460 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 461 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 462 #
 463 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +32
 464 # UNWINDINFO:      DW_CFA_def_cfa_offset: +16
 465 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
 466 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
 467
 468 name:             test_stack_arg_sve
 469 fixedStack:
 470   - { id: 0, stack-id: default, size: 16, alignment: 16, offset: 0 }
 471 stack:
 472   - { id: 0, stack-id: scalable-vector, size: 16, alignment: 16 }
 473   - { id: 1, stack-id: default, size: 16, alignment: 16 }
 474 body:             |
 475   bb.0.entry:
 476     liveins: $x0
 477
 478     $x0 = LDRXui %fixed-stack.0, 0
 479     RET_ReallyLR
 480 ---
 481 ...
 482 # Test that the address to access an SVE data vector at an offset that
 483 # does not fit its immediate, is correctly materialized.
 484 # +----------+
 485 # |calleesave|  // register saved as scratch reg.
 486 # +----------+
 487 # | %stack.0 |  // one SVE data object @ SP + 256 scalable bytes.
 488 # |::::::::::|
 489 # |:        :|
 490 # |:%stack.1:|  // Large object
 491 # |:        :|
 492 # |::::::::::|
 493 # +----------+ <- SP
 494 # CHECK-LABEL: name: test_address_sve_out_of_range
 495 # CHECK:       stackSize: 16
 496
 497 # CHECK:      bb.0.entry:
 498 # CHECK-NEXT: liveins:
 499 # CHECK-NEXT: {{  $}}
 500 # CHECK-NEXT: $sp = frame-setup STRXpre killed $[[SCRATCH:[a-z0-9]+]], $sp, -16
 501 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
 502 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
 503 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 504 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x02, 0x92, 0x2e, 0x00, 0x1e, 0x22
 505 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 506 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x04, 0x92, 0x2e, 0x00, 0x1e, 0x22
 507 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 508 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x06, 0x92, 0x2e, 0x00, 0x1e, 0x22
 509 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 510 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22
 511 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 512 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x0a, 0x92, 0x2e, 0x00, 0x1e, 0x22
 513 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 514 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x0c, 0x92, 0x2e, 0x00, 0x1e, 0x22
 515 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 516 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x0e, 0x92, 0x2e, 0x00, 0x1e, 0x22
 517 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -32
 518 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22
 519 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -1
 520 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x88, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22
 521
 522 # CHECK-NEXT: $[[TMP2:x[0-9]+]] = ADDVL_XXI $sp, 1
 523 # CHECK-NEXT: STR_ZXI $z0, killed $[[TMP2]], 255
 524
 525 # CHECK-NEXT: $[[TMP2:x[0-9]+]] = ADDPL_XXI $sp, 1
 526 # CHECK-NEXT: STR_PXI $p0, killed $[[TMP2]], 255
 527
 528 # CHECK:      $sp = frame-destroy ADDVL_XXI $sp, 31
 529 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x90, 0x0e, 0x92, 0x2e, 0x00, 0x1e, 0x22
 530 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 31
 531 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x98, 0x0c, 0x92, 0x2e, 0x00, 0x1e, 0x22
 532 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 31
 533 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xa0, 0x0a, 0x92, 0x2e, 0x00, 0x1e, 0x22
 534 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 31
 535 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xa8, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22
 536 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 31
 537 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xb0, 0x06, 0x92, 0x2e, 0x00, 0x1e, 0x22
 538 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 31
 539 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xb8, 0x04, 0x92, 0x2e, 0x00, 0x1e, 0x22
 540 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 31
 541 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xc0, 0x02, 0x92, 0x2e, 0x00, 0x1e, 0x22
 542 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 31
 543 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xc8, 0x00, 0x92, 0x2e, 0x00, 0x1e, 0x22
 544 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 9
 545 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 16
 546 # CHECK-NEXT: $sp, $[[SCRATCH]] = frame-destroy LDRXpost $sp, 16
 547 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 548 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 549 # CHECK-NEXT: RET_ReallyLR
 550 #
 551 # ASM-LABEL: test_address_sve_out_of_range:
 552 # ASM:       .cfi_def_cfa_offset 16
 553 # ASM-NEXT:  .cfi_offset w29, -16
 554 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x02, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 256 * VG
 555 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x04, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 512 * VG
 556 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x06, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 768 * VG
 557 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1024 * VG
 558 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x0a, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1280 * VG
 559 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x0c, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1536 * VG
 560 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x0e, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1792 * VG
 561 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x80, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 2048 * VG
 562 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x88, 0x10, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 2056 * VG
 563 #
 564 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x90, 0x0e, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1808 * VG
 565 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x98, 0x0c, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1560 * VG
 566 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xa0, 0x0a, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1312 * VG
 567 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xa8, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 1064 * VG
 568 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xb0, 0x06, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 816 * VG
 569 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xb8, 0x04, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 568 * VG
 570 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xc0, 0x02, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 320 * VG
 571 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xc8, 0x00, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 72 * VG
 572 # ASM:        .cfi_def_cfa wsp, 16
 573 # ASM:       .cfi_def_cfa_offset 0
 574 # ASM-NEXT:  .cfi_restore w29
 575
 576 # UNWINDINFO:      DW_CFA_def_cfa_offset: +16
 577 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -16
 578 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +256, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 579 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +512, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 580 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +768, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 581 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1024, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 582 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1280, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 583 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1536, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 584 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1792, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 585 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +2048, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 586 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +2056, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 587 #
 588 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1808, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 589 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1560, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 590 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1312, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 591 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +1064, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 592 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +816, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 593 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +568, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 594 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +320, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 595 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +72, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 596 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +16
 597 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
 598 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
 599
 600 name:            test_address_sve_out_of_range
 601 frameInfo:
 602   maxAlignment:  16
 603 stack:
 604   - { id: 0, stack-id: scalable-vector, size:   16, alignment: 16 }
 605   - { id: 1, stack-id: scalable-vector, size: 3584, alignment: 16 }
 606   - { id: 2, stack-id: scalable-vector, size:  512, alignment: 16 }
 607
 608 body:             |
 609   bb.0.entry:
 610     liveins: $z0, $p0
 611
 612     STR_ZXI $z0, %stack.0, 0
 613     STR_PXI $p0, %stack.1, 0
 614
 615     RET_ReallyLR
 616 ---
 617 ...
 618 # Test that non-SVE objects are accessed from BP when there are
 619 # variable length arrays, because it will be more expensive to
 620 # access from the FP when there are also SVE objects on the stack.
 621 #
 622 # +----------+ <- FP
 623 # | %stack.0 |  // 16 scalable bytes
 624 # +----------+ <- @FP - 16 scalable bytes
 625 # | %stack.1 |  // 16 bytes
 626 # +----------+ <- @BP
 627 # : %stack.2 :  // variable length
 628 # +----------+ <- SP
 629
 630 # CHECK-LABEL: name: test_address_gpr_vla
 631 # CHECK: bb.0.entry:
 632 # CHECK-NEXT: liveins:
 633 # CHECK-NEXT: {{  $}}
 634 # CHECK-NEXT: early-clobber $sp = frame-setup STPXpre killed $fp, killed $lr, $sp, -4
 635 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 32
 636 # CHECK-NEXT: frame-setup STRXui killed $x19, $sp, 2
 637 # CHECK-NEXT: $fp = frame-setup ADDXri $sp, 0, 0
 638 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa $w29, 32
 639 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w19, -16
 640 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w30, -24
 641 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -32
 642 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -1
 643 # CHECK-NEXT: $sp = frame-setup SUBXri $sp, 16, 0
 644 # CHECK-NEXT: $x19 = ADDXri $sp, 0, 0
 645 # CHECK-NEXT: STRXui $xzr, $x19, 0
 646 # CHECK-NEXT: $sp = frame-destroy ADDXri $fp, 0, 0
 647 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 32
 648 # CHECK-NEXT: $x19 = frame-destroy LDRXui $sp, 2
 649 # CHECK-NEXT: early-clobber $sp, $fp, $lr = frame-destroy LDPXpost $sp, 4
 650 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 651 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w19
 652 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w30
 653 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 654 # CHECK-NEXT: RET_ReallyLR
 655 #
 656 # ASM-LABEL: test_address_gpr_vla:
 657 # ASM:       .cfi_def_cfa_offset 32
 658 # ASM:       .cfi_def_cfa w29, 32
 659 # ASM-NEXT:  .cfi_offset w19, -16
 660 # ASM-NEXT:  .cfi_offset w30, -24
 661 # ASM-NEXT:  .cfi_offset w29, -32
 662 #
 663 # ASM:       .cfi_def_cfa wsp, 32
 664 # ASM:       .cfi_def_cfa_offset 0
 665 # ASM-NEXT:  .cfi_restore w19
 666 # ASM-NEXT:  .cfi_restore w30
 667 # ASM-NEXT:  .cfi_restore w29
 668
 669 # UNWINDINFO:      DW_CFA_def_cfa_offset: +32
 670 # UNWINDINFO:      DW_CFA_def_cfa: reg29 +32
 671 # UNWINDINFO-NEXT: DW_CFA_offset: reg19 -16
 672 # UNWINDINFO-NEXT: DW_CFA_offset: reg30 -24
 673 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -32
 674 #
 675 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +32
 676 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
 677 # UNWINDINFO-NEXT: DW_CFA_restore: reg19
 678 # UNWINDINFO-NEXT: DW_CFA_restore: reg30
 679 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
 680
 681 name:            test_address_gpr_vla
 682 frameInfo:
 683   maxAlignment:  16
 684 stack:
 685   - { id: 0, stack-id: scalable-vector, size: 16, alignment: 8 }
 686   - { id: 1, stack-id: default, size: 16, alignment: 8 }
 687   - { id: 2, stack-id: default, type: variable-sized }
 688 body:             |
 689   bb.0.entry:
 690     liveins: $xzr
 691
 692     STRXui $xzr, %stack.1, 0
 693
 694     RET_ReallyLR
 695 ---
 696 ...
 697 # CHECK-LABEL: name: save_restore_pregs_sve
 698 # CHECK:      $sp = frame-setup STRXpre killed $fp, $sp, -16
 699 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
 700 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
 701 # CHECK:      $sp = frame-setup ADDVL_XXI $sp, -1
 702 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22
 703 # CHECK:      frame-setup STR_PXI killed $p6, $sp, 5
 704 # CHECK:      frame-setup STR_PXI killed $p5, $sp, 6
 705 # CHECK:      frame-setup STR_PXI killed $p4, $sp, 7
 706 # CHECK:      $sp = frame-setup SUBXri $sp, 32, 0
 707 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x30, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22
 708
 709 # CHECK:      $sp = frame-destroy ADDXri $sp, 32, 0
 710 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22
 711 # CHECK:      $p6 = frame-destroy LDR_PXI $sp, 5
 712 # CHECK:      $p5 = frame-destroy LDR_PXI $sp, 6
 713 # CHECK:      $p4 = frame-destroy LDR_PXI $sp, 7
 714 # CHECK:      $sp = frame-destroy ADDVL_XXI $sp, 1
 715 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 16
 716 # CHECK-NEXT: early-clobber $sp, $fp = frame-destroy LDRXpost $sp, 16 :: (load (s64) from %stack.4)
 717 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 718 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 719 # CHECK-NEXT: RET_ReallyLR
 720
 721 #
 722 # ASM-LABEL: save_restore_pregs_sve:
 723 # ASM:       .cfi_def_cfa_offset 16
 724 # ASM-NEXT:  .cfi_offset w29, -16
 725 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 8 * VG
 726 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x30, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 48 + 8 * VG
 727 #
 728 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 8 * VG
 729 # ASM:       .cfi_def_cfa wsp, 16
 730 # ASM:       .cfi_def_cfa_offset 0
 731 # ASM-NEXT:  .cfi_restore w29
 732
 733 # UNWINDINFO:         DW_CFA_def_cfa_offset: +16
 734 # UNWINDINFO:         DW_CFA_offset: reg29 -16
 735 # UNWINDINFO:         DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 736 # UNWINDINFO:         DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +48, DW_OP_plus, DW_OP_consts +8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 737 #
 738 # UNWINDINFO:         DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 739 # UNWINDINFO:         DW_CFA_def_cfa: reg31 +16
 740 # UNWINDINFO:         DW_CFA_def_cfa_offset: +0
 741 # UNWINDINFO-NEXT:    DW_CFA_restore: reg29
 742
 743 name: save_restore_pregs_sve
 744 stack:
 745   - { id: 0, stack-id: default, size: 32, alignment: 16 }
 746 body:             |
 747   bb.0.entry:
 748
 749     $p4 = IMPLICIT_DEF
 750     $p5 = IMPLICIT_DEF
 751     $p6 = IMPLICIT_DEF
 752
 753     RET_ReallyLR
 754 ---
 755 ...
 756 # CHECK-LABEL: name: save_restore_zregs_sve
 757 # CHECK:      $sp = frame-setup STRXpre killed $fp, $sp, -16
 758 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
 759 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
 760 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -3
 761 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22
 762 # CHECK-NEXT: frame-setup STR_ZXI killed $z10, $sp, 0
 763 # CHECK-NEXT: frame-setup STR_ZXI killed $z9, $sp, 1
 764 # CHECK-NEXT: frame-setup STR_ZXI killed $z8, $sp, 2
 765 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x48, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22
 766 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x49, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x70, 0x92, 0x2e, 0x00, 0x1e, 0x22
 767 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4a, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x68, 0x92, 0x2e, 0x00, 0x1e, 0x22
 768 # CHECK-NEXT: $sp = frame-setup SUBXri $sp, 32, 0
 769 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x30, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22
 770
 771 # CHECK:      $sp  = frame-destroy ADDXri $sp, 32, 0
 772 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22
 773 # CHECK-NEXT: $z10 = frame-destroy LDR_ZXI $sp, 0
 774 # CHECK-NEXT: $z9  = frame-destroy LDR_ZXI $sp, 1
 775 # CHECK-NEXT: $z8  = frame-destroy LDR_ZXI $sp, 2
 776 # CHECK-NEXT: $sp  = frame-destroy ADDVL_XXI $sp, 3
 777 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 16
 778 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z8
 779 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z9
 780 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z10
 781 # CHECK-NEXT: $sp, $fp = frame-destroy LDRXpost $sp, 16
 782 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 783 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 784 # CHECK-NEXT: RET_ReallyLR
 785 #
 786 # ASM-LABEL: save_restore_zregs_sve:
 787 # ASM:       .cfi_def_cfa_offset 16
 788 # ASM-NEXT:  .cfi_offset w29, -16
 789 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 24 * VG
 790 # ASM:       .cfi_escape 0x10, 0x48, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d8  @ cfa - 16 - 8 * VG
 791 # ASM-NEXT:  .cfi_escape 0x10, 0x49, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x70, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d9  @ cfa - 16 - 16 * VG
 792 # ASM-NEXT:  .cfi_escape 0x10, 0x4a, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x68, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d10  @ cfa - 16 - 24 * VG
 793 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x30, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 48 + 24 * VG
 794 #
 795 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 24 * VG
 796 # ASM:       .cfi_def_cfa wsp, 16
 797 # ASM-NEXT:  .cfi_restore z8
 798 # ASM-NEXT:  .cfi_restore z9
 799 # ASM-NEXT:  .cfi_restore z10
 800 # ASM:       .cfi_def_cfa_offset 0
 801 # ASM-NEXT:  .cfi_restore w29
 802
 803 # UNWINDINFO:      DW_CFA_def_cfa_offset: +16
 804 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -16
 805 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 806 # UNWINDINFO:      DW_CFA_expression: reg72 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 807 # UNWINDINFO-NEXT: DW_CFA_expression: reg73 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -16, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 808 # UNWINDINFO-NEXT: DW_CFA_expression: reg74 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 809 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +48, DW_OP_plus, DW_OP_consts +24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 810 #
 811 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 812 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +16
 813 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg104
 814 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg105
 815 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg106
 816 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
 817 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
 818
 819 name: save_restore_zregs_sve
 820 stack:
 821   - { id: 0, stack-id: default, size: 32, alignment: 16 }
 822 body:             |
 823   bb.0.entry:
 824
 825     $z8 = IMPLICIT_DEF
 826     $z9 = IMPLICIT_DEF
 827     $z10 = IMPLICIT_DEF
 828
 829     RET_ReallyLR
 830 ---
 831 ...
 832 # Test allocation/deallocation of the stack frame together with the
 833 # saving/restoring of callee save registers. Fixed-stack objects
 834 # are allocated before the callee-saves.
 835 # This also adds some non-SVE callee-saves, to ensure that those are
 836 # paired correctly.
 837 #
 838 # CHECK-LABEL: name: save_restore_sve
 839 # CHECK:      $sp = frame-setup STPXpre killed ${{[a-z0-9]+}}, killed $x21, $sp, -4
 840 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 32
 841 # CHECK-NEXT: frame-setup STPXi killed $x20, killed $x19, $sp, 2
 842 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w19, -8
 843 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w20, -16
 844 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w21, -24
 845 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -32
 846
 847 # CHECK:      $sp = frame-setup ADDVL_XXI $sp, -18
 848 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x90, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22
 849 # CHECK:      frame-setup STR_PXI killed $p15, $sp, 4
 850 # CHECK:      frame-setup STR_PXI killed $p14, $sp, 5
 851 # CHECK:      frame-setup STR_PXI killed $p5, $sp, 14
 852 # CHECK:      frame-setup STR_PXI killed $p4, $sp, 15
 853 # CHECK:      frame-setup STR_ZXI killed $z23, $sp, 2
 854 # CHECK:      frame-setup STR_ZXI killed $z22, $sp, 3
 855 # CHECK:      frame-setup STR_ZXI killed $z9, $sp, 16
 856 # CHECK:      frame-setup STR_ZXI killed $z8, $sp, 17
 857 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x48, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22
 858 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x49, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x70, 0x92, 0x2e, 0x00, 0x1e, 0x22
 859 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4a, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x68, 0x92, 0x2e, 0x00, 0x1e, 0x22
 860 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4b, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x60, 0x92, 0x2e, 0x00, 0x1e, 0x22
 861 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4c, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x58, 0x92, 0x2e, 0x00, 0x1e, 0x22
 862 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4d, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x50, 0x92, 0x2e, 0x00, 0x1e, 0x22
 863 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4e, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x48, 0x92, 0x2e, 0x00, 0x1e, 0x22
 864 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4f, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x40, 0x92, 0x2e, 0x00, 0x1e, 0x22
 865 # CHECK:      $sp = frame-setup ADDVL_XXI $sp, -1
 866 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x98, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22
 867 # CHECK:      $sp = frame-setup SUBXri $sp, 32, 0
 868 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0e, 0x8f, 0x00, 0x11, 0xc0, 0x00, 0x22, 0x11, 0x98, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22
 869
 870 # CHECK:      $sp = frame-destroy ADDXri $sp, 32, 0
 871 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x98, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22
 872 # CHECK:      $sp = frame-destroy ADDVL_XXI $sp, 1
 873 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x90, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22
 874 # CHECK:      $p15 = frame-destroy LDR_PXI $sp, 4
 875 # CHECK:      $p14 = frame-destroy LDR_PXI $sp, 5
 876 # CHECK:      $p5 = frame-destroy LDR_PXI $sp, 14
 877 # CHECK:      $p4 = frame-destroy LDR_PXI $sp, 15
 878 # CHECK:      $z23 = frame-destroy LDR_ZXI $sp, 2
 879 # CHECK:      $z22 = frame-destroy LDR_ZXI $sp, 3
 880 # CHECK:      $z9 = frame-destroy LDR_ZXI $sp, 16
 881 # CHECK:      $z8 = frame-destroy LDR_ZXI $sp, 17
 882 # CHECK:      $sp = frame-destroy ADDVL_XXI $sp, 18
 883 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 32
 884 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z8
 885 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z9
 886 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z10
 887 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z11
 888 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z12
 889 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z13
 890 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z14
 891 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z15
 892
 893 # CHECK: $x20, $x19 = frame-destroy LDPXi $sp, 2
 894 # CHECK: $sp, ${{[a-z0-9]+}}, $x21 = frame-destroy LDPXpost $sp, 4
 895 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
 896 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w19
 897 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w20
 898 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w21
 899 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
 900
 901 # CHECK-NEXT: RET_ReallyLR
 902 #
 903 # ASM-LABEL: save_restore_sve:
 904 # ASM:       .cfi_def_cfa_offset 32
 905 # ASM:       .cfi_offset w19, -8
 906 # ASM-NEXT:  .cfi_offset w20, -16
 907 # ASM-NEXT:  .cfi_offset w21, -24
 908 # ASM-NEXT:  .cfi_offset w29, -32
 909 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x90, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 144 * VG
 910 # ASM:       .cfi_escape 0x10, 0x48, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d8 @ cfa - 32 - 8 * VG
 911 # ASM-NEXT:  .cfi_escape 0x10, 0x49, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x70, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d9 @ cfa - 32 - 16 * VG
 912 # ASM-NEXT:  .cfi_escape 0x10, 0x4a, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x68, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d10 @ cfa - 32 - 24 * VG
 913 # ASM-NEXT:  .cfi_escape 0x10, 0x4b, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x60, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d11 @ cfa - 32 - 32 * VG
 914 # ASM-NEXT:  .cfi_escape 0x10, 0x4c, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x58, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d12 @ cfa - 32 - 40 * VG
 915 # ASM-NEXT:  .cfi_escape 0x10, 0x4d, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x50, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d13 @ cfa - 32 - 48 * VG
 916 # ASM-NEXT:  .cfi_escape 0x10, 0x4e, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x48, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d14 @ cfa - 32 - 56 * VG
 917 # ASM-NEXT:  .cfi_escape 0x10, 0x4f, 0x0a, 0x11, 0x60, 0x22, 0x11, 0x40, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d15 @ cfa - 32 - 64 * VG
 918 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x98, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 152 * VG
 919 # ASM:       .cfi_escape 0x0f, 0x0e, 0x8f, 0x00, 0x11, 0xc0, 0x00, 0x22, 0x11, 0x98, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 64 + 152 * VG
 920 #
 921 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x98, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 152 * VG
 922 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x20, 0x22, 0x11, 0x90, 0x01, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 32 + 144 * VG
 923 # ASM:       .cfi_def_cfa wsp, 32
 924 # ASM-NEXT:  .cfi_restore z8
 925 # ASM-NEXT:  .cfi_restore z9
 926 # ASM-NEXT:  .cfi_restore z10
 927 # ASM-NEXT:  .cfi_restore z11
 928 # ASM-NEXT:  .cfi_restore z12
 929 # ASM-NEXT:  .cfi_restore z13
 930 # ASM-NEXT:  .cfi_restore z14
 931 # ASM-NEXT:  .cfi_restore z15
 932 # ASM:       .cfi_def_cfa_offset 0
 933 # ASM-NEXT:  .cfi_restore w19
 934 # ASM-NEXT:  .cfi_restore w20
 935 # ASM-NEXT:  .cfi_restore w21
 936 # ASM-NEXT:  .cfi_restore w29
 937
 938 # UNWINDINFO:      DW_CFA_def_cfa_offset: +32
 939 # UNWINDINFO:      DW_CFA_offset: reg19 -8
 940 # UNWINDINFO-NEXT: DW_CFA_offset: reg20 -16
 941 # UNWINDINFO-NEXT: DW_CFA_offset: reg21 -24
 942 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -32
 943 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +144, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 944 # UNWINDINFO:      DW_CFA_expression: reg72 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 945 # UNWINDINFO-NEXT: DW_CFA_expression: reg73 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -16, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 946 # UNWINDINFO-NEXT: DW_CFA_expression: reg74 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 947 # UNWINDINFO-NEXT: DW_CFA_expression: reg75 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -32, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 948 # UNWINDINFO-NEXT: DW_CFA_expression: reg76 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -40, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 949 # UNWINDINFO-NEXT: DW_CFA_expression: reg77 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -48, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 950 # UNWINDINFO-NEXT: DW_CFA_expression: reg78 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -56, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 951 # UNWINDINFO-NEXT: DW_CFA_expression: reg79 DW_OP_consts -32, DW_OP_plus, DW_OP_consts -64, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 952 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +152, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 953 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +64, DW_OP_plus, DW_OP_consts +152, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 954 #
 955 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +152, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 956 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +32, DW_OP_plus, DW_OP_consts +144, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
 957 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +32
 958 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg104
 959 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg105
 960 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg106
 961 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg107
 962 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg108
 963 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg109
 964 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg110
 965 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg111
 966 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
 967 # UNWINDINFO-NEXT: DW_CFA_restore: reg19
 968 # UNWINDINFO-NEXT: DW_CFA_restore: reg20
 969 # UNWINDINFO-NEXT: DW_CFA_restore: reg21
 970 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
 971
 972 name: save_restore_sve
 973 stack:
 974   - { id: 0, stack-id: scalable-vector, size: 16, alignment: 16 }
 975   - { id: 1, stack-id: default, size: 32, alignment: 16 }
 976 body:             |
 977   bb.0.entry:
 978
 979     $z8_z9_z10_z11   = IMPLICIT_DEF
 980     $z12_z13_z14_z15 = IMPLICIT_DEF
 981     $z16_z17_z18_z19 = IMPLICIT_DEF
 982     $z20_z21_z22_z23 = IMPLICIT_DEF
 983     $z24_z25_z26_z27 = IMPLICIT_DEF
 984     $z28_z29_z30_z31 = IMPLICIT_DEF
 985     $p4 = IMPLICIT_DEF
 986     $p5 = IMPLICIT_DEF
 987     $p6 = IMPLICIT_DEF
 988     $p7 = IMPLICIT_DEF
 989     $p8 = IMPLICIT_DEF
 990     $p9 = IMPLICIT_DEF
 991     $p10 = IMPLICIT_DEF
 992     $p11 = IMPLICIT_DEF
 993     $p12 = IMPLICIT_DEF
 994     $p13 = IMPLICIT_DEF
 995     $p14 = IMPLICIT_DEF
 996     $p15 = IMPLICIT_DEF
 997
 998     $x19 = IMPLICIT_DEF
 999     $x20 = IMPLICIT_DEF
1000     $x21 = IMPLICIT_DEF
1001
1002     RET_ReallyLR
1003 ---
1004 ...
1005 # Test allocation/deallocation of the stack frame together with the
1006 # saving/restoring of callee save registers. Fixed-stack objects
1007 # are allocated before the callee-saves.
1008 #
1009 # CHECK-LABEL: name: save_restore_sve_realign
1010 # CHECK:      $sp = frame-setup STPXpre killed $fp, killed $lr, $sp, -2
1011 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
1012 # CHECK-NEXT: $fp = frame-setup ADDXri $sp, 0, 0
1013 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa $w29, 16
1014 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w30, -8
1015 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
1016 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -18
1017 # CHECK-NEXT: STR_PXI killed $p15, $sp, 4
1018 # CHECK-NEXT: STR_PXI killed $p14, $sp, 5
1019 # CHECK:      STR_PXI killed $p5, $sp, 14
1020 # CHECK-NEXT: STR_PXI killed $p4, $sp, 15
1021 # CHECK-NEXT: STR_ZXI killed $z23, $sp, 2
1022 # CHECK-NEXT: STR_ZXI killed $z22, $sp, 3
1023 # CHECK:      STR_ZXI killed $z9, $sp, 16
1024 # CHECK-NEXT: STR_ZXI killed $z8, $sp, 17
1025 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x48, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22
1026 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x49, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x70, 0x92, 0x2e, 0x00, 0x1e, 0x22
1027 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4a, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x68, 0x92, 0x2e, 0x00, 0x1e, 0x22
1028 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4b, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x60, 0x92, 0x2e, 0x00, 0x1e, 0x22
1029 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4c, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x58, 0x92, 0x2e, 0x00, 0x1e, 0x22
1030 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4d, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x50, 0x92, 0x2e, 0x00, 0x1e, 0x22
1031 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4e, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x48, 0x92, 0x2e, 0x00, 0x1e, 0x22
1032 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x4f, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x40, 0x92, 0x2e, 0x00, 0x1e, 0x22
1033 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -1
1034 # CHECK-NEXT: $[[TMP:x[0-9]+]] = frame-setup SUBXri $sp, 16, 0
1035 # CHECK-NEXT: $sp = ANDXri killed $[[TMP]]
1036
1037 # CHECK:      $sp = frame-destroy ADDVL_XXI $fp, -18
1038 # CHECK-NEXT: $p15 = frame-destroy LDR_PXI $sp, 4
1039 # CHECK-NEXT: $p14 = frame-destroy LDR_PXI $sp, 5
1040 # CHECK:      $p5 = frame-destroy LDR_PXI $sp, 14
1041 # CHECK-NEXT: $p4 = frame-destroy LDR_PXI $sp, 15
1042 # CHECK-NEXT: $z23 = frame-destroy LDR_ZXI $sp, 2
1043 # CHECK-NEXT: $z22 = frame-destroy LDR_ZXI $sp, 3
1044 # CHECK:      $z9 = frame-destroy LDR_ZXI $sp, 16
1045 # CHECK-NEXT: $z8 = frame-destroy LDR_ZXI $sp, 17
1046 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z8
1047 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z9
1048 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z10
1049 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z11
1050 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z12
1051 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z13
1052 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z14
1053 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z15
1054 # CHECK-NEXT: $sp = frame-destroy ADDXri $fp, 0, 0
1055 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 16
1056 # CHECK-NEXT: $sp, $fp, $lr = frame-destroy LDPXpost $sp, 2
1057 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
1058 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w30
1059 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
1060 # CHECK-NEXT: RET_ReallyLR
1061 #
1062 # ASM-LABEL: save_restore_sve_realign:
1063 # ASM:       .cfi_def_cfa_offset 16
1064 # ASM:       .cfi_def_cfa w29, 16
1065 # ASM-NEXT:  .cfi_offset w30, -8
1066 # ASM-NEXT:  .cfi_offset w29, -16
1067 # ASM:       .cfi_escape 0x10, 0x48, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d8  @ cfa - 16 - 8 * VG
1068 # ASM-NEXT:  .cfi_escape 0x10, 0x49, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x70, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d9  @ cfa - 16 - 16 * VG
1069 # ASM-NEXT:  .cfi_escape 0x10, 0x4a, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x68, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d10  @ cfa - 16 - 24 * VG
1070 # ASM-NEXT:  .cfi_escape 0x10, 0x4b, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x60, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d11  @ cfa - 16 - 32 * VG
1071 # ASM-NEXT:  .cfi_escape 0x10, 0x4c, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x58, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d12  @ cfa - 16 - 40 * VG
1072 # ASM-NEXT:  .cfi_escape 0x10, 0x4d, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x50, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d13  @ cfa - 16 - 48 * VG
1073 # ASM-NEXT:  .cfi_escape 0x10, 0x4e, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x48, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d14  @ cfa - 16 - 56 * VG
1074 # ASM-NEXT:  .cfi_escape 0x10, 0x4f, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x40, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d15  @ cfa - 16 - 64 * VG
1075 #
1076 # ASM:       .cfi_restore z8
1077 # ASM-NEXT:  .cfi_restore z9
1078 # ASM-NEXT:  .cfi_restore z10
1079 # ASM-NEXT:  .cfi_restore z11
1080 # ASM-NEXT:  .cfi_restore z12
1081 # ASM-NEXT:  .cfi_restore z13
1082 # ASM-NEXT:  .cfi_restore z14
1083 # ASM-NEXT:  .cfi_restore z15
1084 # ASM:       .cfi_def_cfa wsp, 16
1085 # ASM:       .cfi_def_cfa_offset 0
1086 # ASM-NEXT:  .cfi_restore w30
1087 # ASM-NEXT:  .cfi_restore w29
1088 #
1089 # UNWINDINFO:      DW_CFA_def_cfa_offset: +16
1090 # UNWINDINFO:      DW_CFA_def_cfa: reg29 +16
1091 # UNWINDINFO-NEXT: DW_CFA_offset: reg30 -8
1092 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -16
1093 # UNWINDINFO:      DW_CFA_expression: reg72 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1094 # UNWINDINFO-NEXT: DW_CFA_expression: reg73 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -16, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1095 # UNWINDINFO-NEXT: DW_CFA_expression: reg74 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1096 # UNWINDINFO-NEXT: DW_CFA_expression: reg75 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -32, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1097 # UNWINDINFO-NEXT: DW_CFA_expression: reg76 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -40, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1098 # UNWINDINFO-NEXT: DW_CFA_expression: reg77 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -48, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1099 # UNWINDINFO-NEXT: DW_CFA_expression: reg78 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -56, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1100 # UNWINDINFO-NEXT: DW_CFA_expression: reg79 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -64, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1101 #
1102 # UNWINDINFO:      DW_CFA_restore_extended: reg104
1103 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg105
1104 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg106
1105 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg107
1106 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg108
1107 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg109
1108 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg110
1109 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg111
1110 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +16
1111 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
1112 # UNWINDINFO-NEXT: DW_CFA_restore: reg30
1113 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
1114
1115 name: save_restore_sve_realign
1116 stack:
1117   - { id: 0, stack-id: scalable-vector, size: 16, alignment: 16 }
1118   - { id: 1, stack-id: default, size: 16, alignment: 32 }
1119 body:             |
1120   bb.0.entry:
1121
1122     $z8_z9_z10_z11   = IMPLICIT_DEF
1123     $z12_z13_z14_z15 = IMPLICIT_DEF
1124     $z16_z17_z18_z19 = IMPLICIT_DEF
1125     $z20_z21_z22_z23 = IMPLICIT_DEF
1126     $z24_z25_z26_z27 = IMPLICIT_DEF
1127     $z28_z29_z30_z31 = IMPLICIT_DEF
1128     $p4 = IMPLICIT_DEF
1129     $p5 = IMPLICIT_DEF
1130     $p6 = IMPLICIT_DEF
1131     $p7 = IMPLICIT_DEF
1132     $p8 = IMPLICIT_DEF
1133     $p9 = IMPLICIT_DEF
1134     $p10 = IMPLICIT_DEF
1135     $p11 = IMPLICIT_DEF
1136     $p12 = IMPLICIT_DEF
1137     $p13 = IMPLICIT_DEF
1138     $p14 = IMPLICIT_DEF
1139     $p15 = IMPLICIT_DEF
1140
1141     RET_ReallyLR
1142 ---
1143 # Frame layout should be:
1144 # +---------------------+ <- Old SP
1145 # | callee save z8      |@ -16
1146 # | callee save z23     |@ -32
1147 # | callee save p4      |@ -34
1148 # | callee save p15     |@ -48
1149 # | id #0 (size 32)     |@ -80
1150 # | id #1 (size 4)      |@ -84
1151 # | id #2 (size 16)     |@ -112
1152 # | id #3 (size 2)      |@ -114
1153 # | id #4 (size 16)     |@ -144
1154 # | id #5 (size 2)      |@ -146
1155 # +- - - - - - - - - - -+ <- New SP @-160
1156 # CHECK-LABEL: name: frame_layout
1157 # CHECK:       stack:
1158 # CHECK:        - { id: 0, name: '', type: default, offset: -80, size: 32, alignment: 16,
1159 # CHECK-NEXT:       stack-id: scalable-vector,
1160 # CHECK:        - { id: 1, name: '', type: default, offset: -84, size: 4, alignment: 2,
1161 # CHECK-NEXT:       stack-id: scalable-vector,
1162 # CHECK:        - { id: 2, name: '', type: default, offset: -112, size: 16, alignment: 16,
1163 # CHECK-NEXT:       stack-id: scalable-vector,
1164 # CHECK:        - { id: 3, name: '', type: default, offset: -114, size: 2, alignment: 2,
1165 # CHECK-NEXT:       stack-id: scalable-vector,
1166 # CHECK:        - { id: 4, name: '', type: spill-slot, offset: -144, size: 16, alignment: 16,
1167 # CHECK-NEXT:       stack-id: scalable-vector,
1168 # CHECK:        - { id: 5, name: '', type: spill-slot, offset: -146, size: 2, alignment: 2,
1169 # CHECK-NEXT:       stack-id: scalable-vector,
1170 # CHECK:        - { id: 6, name: '', type: spill-slot, offset: -16, size: 16, alignment: 16,
1171 # CHECK-NEXT:       stack-id: scalable-vector, callee-saved-register: '$z8',
1172 # CHECK:        - { id: 7, name: '', type: spill-slot, offset: -32, size: 16, alignment: 16,
1173 # CHECK-NEXT:       stack-id: scalable-vector, callee-saved-register: '$z23',
1174 # CHECK:        - { id: 8, name: '', type: spill-slot, offset: -34, size: 2, alignment: 2,
1175 # CHECK-NEXT:       stack-id: scalable-vector, callee-saved-register: '$p4',
1176 # CHECK:        - { id: 9, name: '', type: spill-slot, offset: -36, size: 2, alignment: 2,
1177 # CHECK-NEXT:       stack-id: scalable-vector, callee-saved-register: '$p15',
1178 # CHECK:        - { id: 10, name: '', type: spill-slot, offset: -16, size: 8, alignment: 16,
1179 # CHECK-NEXT:       stack-id: default, callee-saved-register: '$fp',
1180 #
1181 # CHECK:      bb.0.entry:
1182 # CHECK-NEXT: liveins:
1183 # CHECK-NEXT: {{  $}}
1184 # CHECK-NEXT: $sp = frame-setup STRXpre killed $[[SCRATCH:[a-z0-9]+]], $sp, -16
1185 # CHECK-NEXT: frame-setup CFI_INSTRUCTION def_cfa_offset 16
1186 # CHECK-NEXT: frame-setup CFI_INSTRUCTION offset $w29, -16
1187 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -3
1188 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22
1189 # CHECK-NEXT: STR_PXI killed $p15, $sp, 6
1190 # CHECK-NEXT: STR_PXI killed $p4, $sp, 7
1191 # CHECK-NEXT: STR_ZXI killed $z23, $sp, 1
1192 # CHECK-NEXT: STR_ZXI killed $z8, $sp, 2
1193 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x10, 0x48, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22
1194 # CHECK-NEXT: $sp = frame-setup ADDVL_XXI $sp, -7
1195 # CHECK-NEXT: frame-setup CFI_INSTRUCTION escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xd0, 0x00, 0x92, 0x2e, 0x00, 0x1e, 0x22
1196
1197 # CHECK:      $sp = frame-destroy ADDVL_XXI $sp, 7
1198 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22
1199 # CHECK-NEXT: $p15 = frame-destroy LDR_PXI $sp, 6
1200 # CHECK-NEXT: $p4 = frame-destroy LDR_PXI $sp, 7
1201 # CHECK-NEXT: $z23 = frame-destroy LDR_ZXI $sp, 1
1202 # CHECK-NEXT: $z8 = frame-destroy LDR_ZXI $sp, 2
1203 # CHECK-NEXT: $sp = frame-destroy ADDVL_XXI $sp, 3
1204 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa $wsp, 16
1205 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $z8
1206 # CHECK-NEXT: early-clobber $sp, $fp = frame-destroy LDRXpost $sp, 16 :: (load (s64) from %stack.10)
1207 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION def_cfa_offset 0
1208 # CHECK-NEXT: frame-destroy CFI_INSTRUCTION restore $w29
1209 # CHECK-NEXT: RET_ReallyLR
1210 #
1211 # ASM-LABEL: frame_layout:
1212 # ASM:       .cfi_def_cfa_offset 16
1213 # ASM-NEXT:  .cfi_offset w29, -16
1214 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 24 * VG
1215 # ASM:       .cfi_escape 0x10, 0x48, 0x0a, 0x11, 0x70, 0x22, 0x11, 0x78, 0x92, 0x2e, 0x00, 0x1e, 0x22 // $d8  @ cfa - 16 - 8 * VG
1216 # ASM:       .cfi_escape 0x0f, 0x0d, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0xd0, 0x00, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 80 * VG
1217 #
1218 # ASM:       .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 24 * VG
1219 # ASM:       .cfi_def_cfa wsp, 16
1220 # ASM-NEXT:  .cfi_restore z8
1221 # ASM:       .cfi_def_cfa_offset 0
1222 # ASM-NEXT:  .cfi_restore w29
1223
1224 # UNWINDINFO:      DW_CFA_def_cfa_offset: +16
1225 # UNWINDINFO-NEXT: DW_CFA_offset: reg29 -16
1226 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1227 # UNWINDINFO:      DW_CFA_expression: reg72 DW_OP_consts -16, DW_OP_plus, DW_OP_consts -8, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1228 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +80, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1229 #
1230 # UNWINDINFO:      DW_CFA_def_cfa_expression: DW_OP_breg31 +0, DW_OP_consts +16, DW_OP_plus, DW_OP_consts +24, DW_OP_bregx 0x2e +0, DW_OP_mul, DW_OP_plus
1231 # UNWINDINFO:      DW_CFA_def_cfa: reg31 +16
1232 # UNWINDINFO-NEXT: DW_CFA_restore_extended: reg104
1233 # UNWINDINFO:      DW_CFA_def_cfa_offset: +0
1234 # UNWINDINFO-NEXT: DW_CFA_restore: reg29
1235
1236 name: frame_layout
1237 stack:
1238   - { id: 0, type: default,    size:  32, alignment: 16, stack-id: scalable-vector }
1239   - { id: 1, type: default,    size:   4, alignment:  2, stack-id: scalable-vector }
1240   - { id: 2, type: default,    size:  16, alignment: 16, stack-id: scalable-vector }
1241   - { id: 3, type: default,    size:   2, alignment:  2, stack-id: scalable-vector }
1242   - { id: 4, type: spill-slot, size:  16, alignment: 16, stack-id: scalable-vector }
1243   - { id: 5, type: spill-slot, size:   2, alignment:  2, stack-id: scalable-vector }
1244 body:             |
1245   bb.0.entry:
1246
1247     ; Trigger some callee saves
1248     $z8  = IMPLICIT_DEF
1249     $z23 = IMPLICIT_DEF
1250     $p4  = IMPLICIT_DEF
1251     $p15 = IMPLICIT_DEF
1252
1253     RET_ReallyLR
1254
1255 ---
1256 # Make sure we account for the offset between the fp and the sve area, if it exists.
1257 # FIXME: Should there be an offset?
1258 # CHECK-LABEL: name: fp_relative_index_with_float_save
1259 # CHECK:        - { id: 0, name: '', type: default, offset: -16, size: 16, alignment: 16,
1260 # CHECK-NEXT:       stack-id: scalable-vector
1261 # CHECK:        - { id: 1, name: '', type: default, offset: -64, size: 16, alignment: 32,
1262 # CHECK-NEXT:      stack-id: default
1263 # CHECK:        - { id: 2, name: '', type: spill-slot, offset: -8, size: 8, alignment: 8,
1264 # CHECK-NEXT:      stack-id: default, callee-saved-register: '$lr'
1265 # CHECK:        - { id: 3, name: '', type: spill-slot, offset: -16, size: 8, alignment: 8,
1266 # CHECK-NEXT:      stack-id: default, callee-saved-register: '$fp'
1267 # CHECK:        - { id: 4, name: '', type: spill-slot, offset: -32, size: 8, alignment: 16,
1268 # CHECK-NEXT:      stack-id: default, callee-saved-register: '$d8'
1269
1270 # CHECK: $x8 = SUBXri $fp, 16, 0
1271 # CHECK: STR_ZXI $z0, killed $x8, -1
1272
1273 name: fp_relative_index_with_float_save
1274 stack:
1275   - { id: 0, stack-id: scalable-vector, size: 16, alignment: 16 }
1276   - { id: 1, stack-id: default, size: 16, alignment: 32 }
1277 frameInfo:
1278   maxAlignment:  16
1279   isFrameAddressTaken: true
1280 body:             |
1281   bb.0.entry:
1282     liveins: $z0
1283
1284     $d8 = IMPLICIT_DEF
1285
1286     STR_ZXI $z0, %stack.0, 0
1287
1288     RET_ReallyLR
1289 ---