test/CodeGen/AMDGPU/break-vmem-soft-clauses.mir

   1 # RUN: llc -march=amdgcn -mcpu=carrizo -verify-machineinstrs -run-pass post-RA-hazard-rec %s -o - | FileCheck -check-prefixes=GCN,XNACK %s
   2
   3 # Make sure the default assumption is xnack enabled with no cpu
   4 # RUN: llc -march=amdgcn  -verify-machineinstrs -mattr=+volcanic-islands -run-pass post-RA-hazard-rec %s -o - | FileCheck -check-prefixes=GCN,XNACK %s
   5 # RUN: llc -march=amdgcn -mcpu=fiji -verify-machineinstrs -run-pass post-RA-hazard-rec %s -o - | FileCheck -check-prefixes=GCN,NOXNACK %s
   6 ---
   7 # Trivial clause at beginning of program
   8 name: trivial_clause_load_flat4_x1
   9
  10 body: |
  11   bb.0:
  12     ; GCN-LABEL: name: trivial_clause_load_flat4_x1
  13     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  14     ; GCN-NEXT: S_ENDPGM 0
  15
  16     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  17     S_ENDPGM 0
  18 ...
  19 ---
  20 # Trivial clause at beginning of program
  21 name: trivial_clause_load_flat4_x2
  22
  23 body: |
  24   bb.0:
  25     ; GCN-LABEL: name: trivial_clause_load_flat4_x2
  26     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  27     ; GCN-NEXT: $vgpr1 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  28     ; GCN-NEXT: S_ENDPGM 0
  29
  30     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  31     $vgpr1 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  32     S_ENDPGM 0
  33 ...
  34 ---
  35 # Trivial clause at beginning of program
  36 name: trivial_clause_load_flat4_x3
  37
  38 body: |
  39   bb.0:
  40     ; GCN-LABEL: name: trivial_clause_load_flat4_x3
  41     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr3_vgpr4, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  42     ; GCN-NEXT: $vgpr1 = FLAT_LOAD_DWORD $vgpr5_vgpr6, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  43     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr7_vgpr8, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  44     ; GCN-NEXT: S_ENDPGM 0
  45
  46     $vgpr0 = FLAT_LOAD_DWORD $vgpr3_vgpr4, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  47     $vgpr1 = FLAT_LOAD_DWORD $vgpr5_vgpr6, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  48     $vgpr2 = FLAT_LOAD_DWORD $vgpr7_vgpr8, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  49     S_ENDPGM 0
  50 ...
  51 ---
  52 # Trivial clause at beginning of program
  53 name: trivial_clause_load_flat4_x4
  54
  55 body: |
  56   bb.0:
  57     ; GCN-LABEL: name: trivial_clause_load_flat4_x4
  58     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  59     ; GCN-NEXT: $vgpr1 = FLAT_LOAD_DWORD $vgpr6_vgpr7, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  60     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr8_vgpr9, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  61     ; GCN-NEXT: $vgpr3 = FLAT_LOAD_DWORD $vgpr10_vgpr11, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  62     ; GCN-NEXT: S_ENDPGM 0
  63
  64     $vgpr0 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  65     $vgpr1 = FLAT_LOAD_DWORD $vgpr6_vgpr7, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  66     $vgpr2 = FLAT_LOAD_DWORD $vgpr8_vgpr9, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  67     $vgpr3 = FLAT_LOAD_DWORD $vgpr10_vgpr11, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  68     S_ENDPGM 0
  69 ...
  70 ---
  71 # Reuse of same input pointer is OK
  72
  73 name: trivial_clause_load_flat4_x2_sameptr
  74 body: |
  75   bb.0:
  76     ; GCN-LABEL: name: trivial_clause_load_flat4_x2_sameptr
  77     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  78     ; GCN-NEXT: $vgpr1 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  79     ; GCN-NEXT: S_ENDPGM 0
  80
  81     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  82     $vgpr1 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  83     S_ENDPGM 0
  84 ...
  85 ---
  86 # 32-bit load partially clobbers its own ptr reg
  87 name: flat_load4_overwrite_ptr_lo
  88
  89 body: |
  90   bb.0:
  91     ; GCN-LABEL: name: flat_load4_overwrite_ptr_lo
  92     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  93     ; GCN-NEXT: S_ENDPGM 0
  94
  95     $vgpr0 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
  96     S_ENDPGM 0
  97 ...
  98 ---
  99 # 32-bit load partially clobbers its own ptr reg
 100 name: flat_load4_overwrite_ptr_hi
 101
 102 body: |
 103   bb.0:
 104     ; GCN-LABEL: name: flat_load4_overwrite_ptr_hi
 105     ; GCN: $vgpr1 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 106     ; GCN-NEXT: S_ENDPGM 0
 107
 108     $vgpr1 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 109     S_ENDPGM 0
 110 ...
 111 ---
 112 # 64-bit load clobbers its own ptr reg
 113 name: flat_load8_overwrite_ptr
 114
 115 body: |
 116   bb.0:
 117     ; GCN-LABEL: name: flat_load8_overwrite_ptr
 118     ; GCN: $vgpr2_vgpr3 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 119     ; GCN-NEXT: S_ENDPGM 0
 120
 121     $vgpr2_vgpr3 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 122     S_ENDPGM 0
 123 ...
 124 ---
 125 # vmcnt has 4 bits, so maximum 16 outstanding loads. The waitcnt
 126 # breaks the clause.
 127
 128
 129 name: break_clause_at_max_clause_size_flat_load4
 130
 131 body: |
 132   bb.0:
 133     ; GCN-LABEL: name: break_clause_at_max_clause_size_flat_load4
 134     ; GCN: $vgpr2 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 135     ; GCN-NEXT: $vgpr3 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 136     ; GCN-NEXT: $vgpr4 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 137     ; GCN-NEXT: $vgpr5 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 138     ; GCN-NEXT: $vgpr6 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 139     ; GCN-NEXT: $vgpr7 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 140     ; GCN-NEXT: $vgpr8 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 141     ; GCN-NEXT: $vgpr9 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 142     ; GCN-NEXT: $vgpr10 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 143     ; GCN-NEXT: $vgpr11 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 144     ; GCN-NEXT: $vgpr12 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 145     ; GCN-NEXT: $vgpr13 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 146     ; GCN-NEXT: $vgpr14 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 147     ; GCN-NEXT: $vgpr15 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 148     ; GCN-NEXT: $vgpr16 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 149     ; GCN-NEXT: $vgpr17 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 150     ; XNACK-NEXT: S_NOP 0
 151     ; GCN-NEXT: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 152     ; GCN-NEXT: $sgpr0 = S_MOV_B32 $sgpr0, implicit $vgpr2, implicit $vgpr3, implicit $vgpr4, implicit $vgpr5, implicit $vgpr6, implicit $vgpr7, implicit $vgpr8, implicit $vgpr9, implicit $vgpr10, implicit $vgpr11, implicit $vgpr12, implicit $vgpr13, implicit $vgpr14, implicit $vgpr15, implicit $vgpr16, implicit $vgpr17, implicit $vgpr18
 153     ; GCN-NEXT: S_ENDPGM 0
 154
 155     $vgpr2 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 156     $vgpr3 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 157     $vgpr4 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 158     $vgpr5 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 159
 160     $vgpr6 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 161     $vgpr7 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 162     $vgpr8 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 163     $vgpr9 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 164
 165     $vgpr10 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 166     $vgpr11 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 167     $vgpr12 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 168     $vgpr13 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 169
 170     $vgpr14 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 171     $vgpr15 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 172     $vgpr16 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 173     $vgpr17 = FLAT_LOAD_DWORD $vgpr0_vgpr1, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 174
 175     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 176     $sgpr0 = S_MOV_B32 $sgpr0, implicit $vgpr2, implicit $vgpr3, implicit $vgpr4, implicit $vgpr5, implicit $vgpr6, implicit $vgpr7, implicit $vgpr8, implicit $vgpr9, implicit $vgpr10, implicit $vgpr11, implicit $vgpr12, implicit $vgpr13, implicit $vgpr14, implicit $vgpr15, implicit $vgpr16, implicit $vgpr17, implicit $vgpr18
 177     S_ENDPGM 0
 178 ...
 179 ---
 180
 181 name: break_clause_simple_load_flat4_lo_ptr
 182
 183 body: |
 184   bb.0:
 185     ; GCN-LABEL: name: break_clause_simple_load_flat4_lo_ptr
 186     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 187     ; XNACK-NEXT: S_NOP 0
 188     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 189     ; GCN-NEXT: S_ENDPGM 0
 190
 191     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 192     $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 193     S_ENDPGM 0
 194 ...
 195 ---
 196
 197 name: break_clause_simple_load_flat4_hi_ptr
 198
 199 body: |
 200   bb.0:
 201     ; GCN-LABEL: name: break_clause_simple_load_flat4_hi_ptr
 202     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 203     ; XNACK-NEXT: S_NOP 0
 204     ; GCN-NEXT: $vgpr3 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 205     ; GCN-NEXT: S_ENDPGM 0
 206
 207     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 208     $vgpr3 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 209     S_ENDPGM 0
 210 ...
 211 ---
 212
 213 name: break_clause_simple_load_flat8_ptr
 214
 215 body: |
 216   bb.0:
 217     ; GCN-LABEL: name: break_clause_simple_load_flat8_ptr
 218     ; GCN: $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 219     ; XNACK-NEXT: S_NOP 0
 220     ; GCN-NEXT: $vgpr2_vgpr3 = FLAT_LOAD_DWORDX2 $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 221     ; GCN-NEXT: S_ENDPGM 0
 222
 223     $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 224     $vgpr2_vgpr3 = FLAT_LOAD_DWORDX2 $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 225     S_ENDPGM 0
 226 ...
 227 ---
 228
 229
 230 name: break_clause_simple_load_flat16_ptr
 231
 232 body: |
 233   bb.0:
 234     ; GCN-LABEL: name: break_clause_simple_load_flat16_ptr
 235     ; GCN: $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 236     ; XNACK-NEXT: S_NOP 0
 237     ; GCN-NEXT: $vgpr2_vgpr3_vgpr4_vgpr5 = FLAT_LOAD_DWORDX4 $vgpr6_vgpr7, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 238     ; GCN-NEXT: S_ENDPGM 0
 239     $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 240     $vgpr2_vgpr3_vgpr4_vgpr5 = FLAT_LOAD_DWORDX4 $vgpr6_vgpr7, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 241     S_ENDPGM 0
 242 ...
 243 ---
 244
 245 # The clause is broken by the waitcnt inserted at the end of the
 246 # block, so no nop is needed.
 247
 248
 249 name: break_clause_block_boundary_load_flat8_ptr
 250
 251 body: |
 252   ; GCN-LABEL: name: break_clause_block_boundary_load_flat8_ptr
 253   ; GCN: bb.0:
 254   ; GCN-NEXT:   successors: %bb.1(0x80000000)
 255   ; GCN:   $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 256   ; GCN: bb.1:
 257   ; XNACK-NEXT:  S_NOP 0
 258   ; GCN-NEXT:   $vgpr2_vgpr3 = FLAT_LOAD_DWORDX2 $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 259   ; GCN-NEXT:   S_ENDPGM 0
 260
 261   bb.0:
 262     $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 263
 264   bb.1:
 265     $vgpr2_vgpr3 = FLAT_LOAD_DWORDX2 $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 266     S_ENDPGM 0
 267 ...
 268 ---
 269 # The load clobbers the pointer of the store, so it needs to break.
 270
 271 name: break_clause_store_load_into_ptr_flat4
 272
 273 body: |
 274   bb.0:
 275     ; GCN-LABEL: name: break_clause_store_load_into_ptr_flat4
 276     ; GCN: FLAT_STORE_DWORD $vgpr2_vgpr3, $vgpr0, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 277     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 278     ; GCN-NEXT: S_ENDPGM 0
 279
 280     FLAT_STORE_DWORD $vgpr2_vgpr3, $vgpr0, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 281     $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 282     S_ENDPGM 0
 283 ...
 284 ---
 285 # The load clobbers the data of the store, so it needs to break.
 286 # FIXME: Would it be better to s_nop and wait later?
 287
 288 name: break_clause_store_load_into_data_flat4
 289
 290 body: |
 291   bb.0:
 292     ; GCN-LABEL: name: break_clause_store_load_into_data_flat4
 293     ; GCN: FLAT_STORE_DWORD $vgpr2_vgpr3, $vgpr0, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 294     ; GCN-NEXT: $vgpr0 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 295     ; GCN-NEXT: S_ENDPGM 0
 296
 297     FLAT_STORE_DWORD $vgpr2_vgpr3, $vgpr0, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 298     $vgpr0 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 299     S_ENDPGM 0
 300 ...
 301 ---
 302 # Regular VALU instruction breaks clause, no nop needed
 303
 304 name: valu_inst_breaks_clause
 305
 306 body: |
 307   bb.0:
 308     ; GCN-LABEL: name: valu_inst_breaks_clause
 309     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 310     ; GCN-NEXT: $vgpr8 = V_MOV_B32_e32 0, implicit $exec
 311     ; XNACK-NEXT: S_NOP 0
 312     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 313     ; GCN-NEXT: S_ENDPGM 0
 314
 315     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 316     $vgpr8 = V_MOV_B32_e32 0, implicit $exec
 317     $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 318     S_ENDPGM 0
 319 ...
 320 ---
 321 # Regular SALU instruction breaks clause, no nop needed
 322
 323 name: salu_inst_breaks_clause
 324
 325 body: |
 326   bb.0:
 327     ; GCN-LABEL: name: salu_inst_breaks_clause
 328     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 329     ; GCN-NEXT: $sgpr8 = S_MOV_B32 0
 330     ; XNACK-NEXT: S_NOP 0
 331     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 332     ; GCN-NEXT: S_ENDPGM 0
 333
 334     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 335     $sgpr8 = S_MOV_B32 0
 336     $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 337     S_ENDPGM 0
 338 ...
 339 ---
 340
 341 name: ds_inst_breaks_clause
 342
 343 body: |
 344   bb.0:
 345     ; GCN-LABEL: name: ds_inst_breaks_clause
 346     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 347     ; GCN-NEXT: $vgpr8 = DS_READ_B32 $vgpr9, 0, 0, implicit $m0, implicit $exec
 348     ; XNACK-NEXT: S_NOP 0
 349     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 350     ; GCN-NEXT: S_ENDPGM 0
 351
 352     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 353     $vgpr8 = DS_READ_B32 $vgpr9, 0, 0, implicit $m0, implicit $exec
 354     $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 355     S_ENDPGM 0
 356 ...
 357 ---
 358
 359 name: smrd_inst_breaks_clause
 360
 361 body: |
 362   bb.0:
 363     ; GCN-LABEL: name: smrd_inst_breaks_clause
 364     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 365     ; GCN-NEXT: $sgpr8 = S_LOAD_DWORD_IMM $sgpr0_sgpr1, 0, 0, 0
 366     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 367     ; GCN-NEXT: S_ENDPGM 0
 368
 369     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 370     $sgpr8 = S_LOAD_DWORD_IMM $sgpr0_sgpr1, 0, 0, 0
 371     $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 372     S_ENDPGM 0
 373 ...
 374 ---
 375 # FIXME: Should this be handled?
 376 name: implicit_use_breaks_clause
 377
 378 body: |
 379   bb.0:
 380     ; GCN-LABEL: name: implicit_use_breaks_clause
 381     ; GCN: $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr, implicit $vgpr4_vgpr5
 382     ; XNACK-NEXT: S_NOP 0
 383     ; GCN-NEXT: $vgpr4_vgpr5 = FLAT_LOAD_DWORDX2 $vgpr6_vgpr7, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 384     ; GCN-NEXT: S_ENDPGM 0
 385
 386     $vgpr0_vgpr1 = FLAT_LOAD_DWORDX2 $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr, implicit $vgpr4_vgpr5
 387     $vgpr4_vgpr5 = FLAT_LOAD_DWORDX2 $vgpr6_vgpr7, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 388     S_ENDPGM 0
 389 ...
 390 ---
 391 name: trivial_clause_load_mubuf4_x2
 392
 393 body: |
 394   bb.0:
 395     ; GCN-LABEL: name: trivial_clause_load_mubuf4_x2
 396     ; GCN: $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 397     ; GCN-NEXT: $vgpr3 = BUFFER_LOAD_DWORD_OFFEN $vgpr4, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 398     ; GCN-NEXT: S_ENDPGM 0
 399
 400     $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 401     $vgpr3 = BUFFER_LOAD_DWORD_OFFEN $vgpr4, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 402     S_ENDPGM 0
 403 ...
 404 ---
 405 name: break_clause_simple_load_mubuf_offen_ptr
 406
 407 body: |
 408   bb.0:
 409     ; GCN-LABEL: name: break_clause_simple_load_mubuf_offen_ptr
 410     ; GCN: $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 411     ; XNACK-NEXT: S_NOP 0
 412     ; GCN-NEXT: $vgpr2 = BUFFER_LOAD_DWORD_OFFEN $vgpr3, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 413     ; GCN-NEXT: S_ENDPGM 0
 414
 415     $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 416     $vgpr2 = BUFFER_LOAD_DWORD_OFFEN $vgpr3, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 417     S_ENDPGM 0
 418 ...
 419 ---
 420 # BUFFER instructions overwriting their own inputs is supposedly OK.
 421
 422 name: mubuf_load4_overwrite_ptr
 423
 424 body: |
 425   bb.0:
 426     ; GCN-LABEL: name: mubuf_load4_overwrite_ptr
 427     ; GCN: $vgpr0 = BUFFER_LOAD_DWORD_OFFEN $vgpr0, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 428     ; GCN-NEXT: $vgpr1 = V_MOV_B32_e32 0, implicit $exec
 429     ; GCN-NEXT: $vgpr2 = V_MOV_B32_e32 $vgpr0, implicit $exec
 430     ; GCN-NEXT: S_ENDPGM 0
 431     $vgpr0 = BUFFER_LOAD_DWORD_OFFEN $vgpr0, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 432     $vgpr1 = V_MOV_B32_e32 0, implicit $exec
 433     $vgpr2 = V_MOV_B32_e32 $vgpr0, implicit $exec
 434     S_ENDPGM 0
 435 ...
 436 ---
 437 # Break a clause from interference between mubuf and flat instructions
 438
 439 name: break_clause_flat_load_mubuf_load
 440
 441 body: |
 442   bb.0:
 443     ; GCN-LABEL: name: break_clause_flat_load_mubuf_load
 444     ; GCN: $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 445     ; XNACK-NEXT: S_NOP 0
 446     ; GCN-NEXT: $vgpr2 = BUFFER_LOAD_DWORD_OFFEN $vgpr1, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 447     ; GCN-NEXT: S_ENDPGM 0
 448
 449     $vgpr0 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 450     $vgpr2 = BUFFER_LOAD_DWORD_OFFEN $vgpr1, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 451     S_ENDPGM 0
 452 ...
 453 # Break a clause from interference between mubuf and flat instructions
 454
 455 # GCN-LABEL: name: break_clause_mubuf_load_flat_load
 456 # GCN: bb.0:
 457 # GCN-NEXT: $vgpr0 = BUFFER_LOAD_DWORD_OFFEN $vgpr1, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4
 458 # XNACK-NEXT: S_NOP 0
 459 # GCN-NEXT: $vgpr1 = FLAT_LOAD_DWORD $vgpr2_vgpr3
 460 # GCN-NEXT: S_ENDPGM 0
 461 name: break_clause_mubuf_load_flat_load
 462
 463 body: |
 464   bb.0:
 465     $vgpr0 = BUFFER_LOAD_DWORD_OFFEN $vgpr1, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 466     $vgpr1 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 467
 468     S_ENDPGM 0
 469 ...
 470 ---
 471
 472 name: break_clause_atomic_rtn_into_ptr_flat4
 473
 474 body: |
 475   bb.0:
 476     ; GCN-LABEL: name: break_clause_atomic_rtn_into_ptr_flat4
 477     ; GCN: $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 478     ; XNACK-NEXT: S_NOP 0
 479     ; GCN-NEXT: $vgpr4 = FLAT_ATOMIC_ADD_RTN $vgpr5_vgpr6, $vgpr7, 0, 0, implicit $exec, implicit $flat_scr
 480     ; GCN-NEXT: S_ENDPGM 0
 481
 482     $vgpr2 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 483     $vgpr4 = FLAT_ATOMIC_ADD_RTN $vgpr5_vgpr6, $vgpr7, 0, 0, implicit $exec, implicit $flat_scr
 484     S_ENDPGM 0
 485 ...
 486 ---
 487 name: break_clause_atomic_nortn_ptr_load_flat4
 488
 489 body: |
 490   bb.0:
 491     ; GCN-LABEL: name: break_clause_atomic_nortn_ptr_load_flat4
 492     ; GCN: FLAT_ATOMIC_ADD $vgpr0_vgpr1, $vgpr2, 0, 0, implicit $exec, implicit $flat_scr
 493     ; GCN-NEXT: $vgpr2 = FLAT_LOAD_DWORD $vgpr3_vgpr4, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 494     ; GCN-NEXT: S_ENDPGM 0
 495
 496     FLAT_ATOMIC_ADD $vgpr0_vgpr1, $vgpr2, 0, 0, implicit $exec, implicit $flat_scr
 497     $vgpr2 = FLAT_LOAD_DWORD $vgpr3_vgpr4, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 498     S_ENDPGM 0
 499 ...
 500 ---
 501
 502 name: break_clause_atomic_rtn_into_ptr_mubuf4
 503
 504 body: |
 505   bb.0:
 506     ; GCN-LABEL: name: break_clause_atomic_rtn_into_ptr_mubuf4
 507     ; GCN: $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 508     ; XNACK-NEXT: S_NOP 0
 509     ; GCN-NEXT: $vgpr2 = BUFFER_ATOMIC_ADD_OFFEN_RTN $vgpr2, $vgpr5, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, implicit $exec
 510     ; GCN-NEXT: S_ENDPGM 0
 511
 512     $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 513     $vgpr2 = BUFFER_ATOMIC_ADD_OFFEN_RTN $vgpr2, $vgpr5, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, implicit $exec
 514     S_ENDPGM 0
 515 ...
 516 ---
 517
 518 name: break_clause_atomic_nortn_ptr_load_mubuf4
 519
 520 body: |
 521   bb.0:
 522     ; GCN-LABEL: name: break_clause_atomic_nortn_ptr_load_mubuf4
 523     ; GCN: BUFFER_ATOMIC_ADD_OFFEN $vgpr0, $vgpr1, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, implicit $exec
 524     ; GCN-NEXT: $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 525     ; GCN-NEXT: S_ENDPGM 0
 526
 527     BUFFER_ATOMIC_ADD_OFFEN $vgpr0, $vgpr1, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, implicit $exec
 528     $vgpr1 = BUFFER_LOAD_DWORD_OFFEN $vgpr2, $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 529     S_ENDPGM 0
 530 ...
 531 ---
 532 # Make sure there is no assert on mubuf instructions which do not have
 533 # vaddr, and don't add register to track.
 534 name: no_break_clause_mubuf_load_novaddr
 535
 536 body: |
 537   bb.0:
 538     ; GCN-LABEL: name: no_break_clause_mubuf_load_novaddr
 539     ; GCN: $vgpr1 = BUFFER_LOAD_DWORD_OFFSET $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 540     ; GCN-NEXT: $vgpr3 = BUFFER_LOAD_DWORD_OFFSET $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 541     ; GCN-NEXT: S_ENDPGM 0
 542     $vgpr1 = BUFFER_LOAD_DWORD_OFFSET $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 543     $vgpr3 = BUFFER_LOAD_DWORD_OFFSET $sgpr0_sgpr1_sgpr2_sgpr3, $sgpr4, 0, 0, 0, 0, 0, implicit $exec
 544     S_ENDPGM 0
 545 ...
 546 ---
 547 # Loads and stores using different addresses theoretically does not
 548 # need a nop
 549 name: mix_load_store_clause
 550 body: |
 551   bb.0:
 552     ; GCN-LABEL: name: mix_load_store_clause
 553     ; GCN: FLAT_STORE_DWORD $vgpr0_vgpr1, $vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 554     ; GCN-NEXT: $vgpr10 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 555     ; XNACK-NEXT: S_NOP 0
 556     ; GCN-NEXT: FLAT_STORE_DWORD $vgpr2_vgpr3, $vgpr6, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 557     ; GCN-NEXT: $vgpr11 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 558
 559     FLAT_STORE_DWORD $vgpr0_vgpr1, $vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 560     $vgpr10 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 561     FLAT_STORE_DWORD $vgpr2_vgpr3, $vgpr6, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 562     $vgpr11 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 563     S_ENDPGM 0
 564 ...
 565 ---
 566 # Loads and stores using the same address needs a nop.
 567
 568 name: mix_load_store_clause_same_address
 569 body: |
 570   bb.0:
 571     ; GCN-LABEL: name: mix_load_store_clause_same_address
 572     ; GCN: FLAT_STORE_DWORD $vgpr0_vgpr1, $vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 573     ; GCN-NEXT: $vgpr10 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 574     ; XNACK-NEXT: S_NOP 0
 575     ; GCN-NEXT: FLAT_STORE_DWORD $vgpr0_vgpr1, $vgpr6, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 576     ; GCN-NEXT: $vgpr11 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 577
 578     FLAT_STORE_DWORD $vgpr0_vgpr1, $vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 579     $vgpr10 = FLAT_LOAD_DWORD $vgpr2_vgpr3, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 580     FLAT_STORE_DWORD $vgpr0_vgpr1, $vgpr6, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 581     $vgpr11 = FLAT_LOAD_DWORD $vgpr4_vgpr5, 0, 0, 0, 0, implicit $exec, implicit $flat_scr
 582     S_ENDPGM 0
 583 ...