test/CodeGen/AMDGPU/sdwa-peephole.ll

   1 ; RUN: llc -amdgpu-scalarize-global-loads=false -march=amdgcn -mcpu=fiji -amdgpu-sdwa-peephole=0 -mattr=-fp64-fp16-denormals -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=NOSDWA,GCN %s
   2 ; RUN: llc -amdgpu-scalarize-global-loads=false -march=amdgcn -mcpu=fiji -amdgpu-sdwa-peephole -mattr=-fp64-fp16-denormals -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=VI,GFX89,SDWA,GCN %s
   3 ; RUN: llc -amdgpu-scalarize-global-loads=false -march=amdgcn -mcpu=gfx900 -amdgpu-sdwa-peephole -mattr=-fp64-fp16-denormals -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=GFX9,GFX9_10,SDWA,GCN %s
   4 ; RUN: llc -amdgpu-scalarize-global-loads=false -march=amdgcn -mcpu=gfx1010 -amdgpu-sdwa-peephole -mattr=-fp64-fp16-denormals -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=GFX10,GFX9_10,SDWA,GCN %s
   5
   6 ; GCN-LABEL: {{^}}add_shr_i32:
   7 ; NOSDWA: v_lshrrev_b32_e32 v[[DST:[0-9]+]], 16, v{{[0-9]+}}
   8 ; NOSDWA: v_add_u32_e32 v{{[0-9]+}}, vcc, v{{[0-9]+}}, v[[DST]]
   9 ; NOSDWA-NOT: v_add_{{(_co)?}}_u32_sdwa
  10
  11 ; VI: v_add_u32_sdwa v{{[0-9]+}}, vcc, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:WORD_1
  12 ; GFX9: v_add_u32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:WORD_1
  13 ; GFX10: v_add_nc_u32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:WORD_1
  14
  15 define amdgpu_kernel void @add_shr_i32(i32 addrspace(1)* %out, i32 addrspace(1)* %in) {
  16   %a = load i32, i32 addrspace(1)* %in, align 4
  17   %shr = lshr i32 %a, 16
  18   %add = add i32 %a, %shr
  19   store i32 %add, i32 addrspace(1)* %out, align 4
  20   ret void
  21 }
  22
  23 ; GCN-LABEL: {{^}}sub_shr_i32:
  24 ; NOSDWA: v_lshrrev_b32_e32 v[[DST:[0-9]+]], 16, v{{[0-9]+}}
  25 ; NOSDWA: v_subrev_u32_e32 v{{[0-9]+}}, vcc, v{{[0-9]+}}, v[[DST]]
  26 ; NOSDWA-NOT: v_subrev_{{(_co)?}}_u32_sdwa
  27
  28 ; VI: v_subrev_u32_sdwa v{{[0-9]+}}, vcc, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:WORD_1
  29 ; GFX9: v_sub_u32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
  30 ; GFX10: v_sub_nc_u32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
  31 define amdgpu_kernel void @sub_shr_i32(i32 addrspace(1)* %out, i32 addrspace(1)* %in) {
  32   %a = load i32, i32 addrspace(1)* %in, align 4
  33   %shr = lshr i32 %a, 16
  34   %sub = sub i32 %shr, %a
  35   store i32 %sub, i32 addrspace(1)* %out, align 4
  36   ret void
  37 }
  38
  39 ; GCN-LABEL: {{^}}mul_shr_i32:
  40 ; NOSDWA: v_lshrrev_b32_e32 v[[DST0:[0-9]+]], 16, v{{[0-9]+}}
  41 ; NOSDWA: v_lshrrev_b32_e32 v[[DST1:[0-9]+]], 16, v{{[0-9]+}}
  42 ; NOSDWA: v_mul_u32_u24_e32 v{{[0-9]+}}, v[[DST0]], v[[DST1]]
  43 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
  44
  45 ; SDWA: v_mul_u32_u24_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
  46
  47 define amdgpu_kernel void @mul_shr_i32(i32 addrspace(1)* %out, i32 addrspace(1)* %in1, i32 addrspace(1)* %in2) {
  48   %a = load i32, i32 addrspace(1)* %in1, align 4
  49   %b = load i32, i32 addrspace(1)* %in2, align 4
  50   %shra = lshr i32 %a, 16
  51   %shrb = lshr i32 %b, 16
  52   %mul = mul i32 %shra, %shrb
  53   store i32 %mul, i32 addrspace(1)* %out, align 4
  54   ret void
  55 }
  56
  57 ; GCN-LABEL: {{^}}mul_i16:
  58 ; NOSDWA: v_mul_lo_u32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
  59 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
  60 ; GFX89: v_mul_lo_u32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
  61 ; GFX10: v_mul_lo_u32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
  62 ; SDWA-NOT: v_mul_u32_u24_sdwa
  63
  64 define amdgpu_kernel void @mul_i16(i16 addrspace(1)* %out, i16 addrspace(1)* %ina, i16 addrspace(1)* %inb) {
  65 entry:
  66   %a = load i16, i16 addrspace(1)* %ina, align 4
  67   %b = load i16, i16 addrspace(1)* %inb, align 4
  68   %mul = mul i16 %a, %b
  69   store i16 %mul, i16 addrspace(1)* %out, align 4
  70   ret void
  71 }
  72
  73 ; GCN-LABEL: {{^}}mul_v2i16:
  74 ; NOSDWA: v_lshrrev_b32_e32 v[[DST0:[0-9]+]], 16, v{{[0-9]+}}
  75 ; NOSDWA: v_lshrrev_b32_e32 v[[DST1:[0-9]+]], 16, v{{[0-9]+}}
  76 ; NOSDWA: v_mul_u32_u24_e32 v[[DST_MUL:[0-9]+]], v[[DST0]], v[[DST1]]
  77 ; NOSDWA: v_lshlrev_b32_e32 v[[DST_SHL:[0-9]+]], 16, v[[DST_MUL]]
  78 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v[[DST_SHL]]
  79 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
  80
  81 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL_LO:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:WORD_0
  82 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL_HI:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
  83 ; VI: v_or_b32_sdwa v{{[0-9]+}}, v[[DST_MUL_LO]], v[[DST_MUL_HI]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
  84
  85 ; GFX9_10: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
  86
  87 define amdgpu_kernel void @mul_v2i16(<2 x i16> addrspace(1)* %out, <2 x i16> addrspace(1)* %ina, <2 x i16> addrspace(1)* %inb) {
  88 entry:
  89   %a = load <2 x i16>, <2 x i16> addrspace(1)* %ina, align 4
  90   %b = load <2 x i16>, <2 x i16> addrspace(1)* %inb, align 4
  91   %mul = mul <2 x i16> %a, %b
  92   store <2 x i16> %mul, <2 x i16> addrspace(1)* %out, align 4
  93   ret void
  94 }
  95
  96 ; GCN-LABEL: {{^}}mul_v4i16:
  97 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
  98 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
  99 ; NOSDWA: v_mul_u32_u24_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 100 ; NOSDWA: v_lshlrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 101 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 102 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 103
 104 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL0:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:WORD_0
 105 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL1:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 106 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL2:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:WORD_0
 107 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL3:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 108 ; VI-DAG: v_or_b32_sdwa v{{[0-9]+}}, v[[DST_MUL2]], v[[DST_MUL3]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 109 ; VI-DAG: v_or_b32_sdwa v{{[0-9]+}}, v[[DST_MUL0]], v[[DST_MUL1]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 110
 111 ; GFX9_10-DAG: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 112 ; GFX9_10-DAG: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 113
 114 define amdgpu_kernel void @mul_v4i16(<4 x i16> addrspace(1)* %out, <4 x i16> addrspace(1)* %ina, <4 x i16> addrspace(1)* %inb) {
 115 entry:
 116   %a = load <4 x i16>, <4 x i16> addrspace(1)* %ina, align 4
 117   %b = load <4 x i16>, <4 x i16> addrspace(1)* %inb, align 4
 118   %mul = mul <4 x i16> %a, %b
 119   store <4 x i16> %mul, <4 x i16> addrspace(1)* %out, align 4
 120   ret void
 121 }
 122
 123 ; GCN-LABEL: {{^}}mul_v8i16:
 124 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 125 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 126 ; NOSDWA: v_mul_u32_u24_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 127 ; NOSDWA: v_lshlrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 128 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 129 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 130
 131 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL0:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:WORD_0
 132 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL1:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 133 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL2:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:WORD_0
 134 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL3:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 135 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL4:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:WORD_0
 136 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL5:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 137 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL6:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:WORD_0
 138 ; VI-DAG: v_mul_u32_u24_sdwa v[[DST_MUL7:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 139 ; VI-DAG: v_or_b32_sdwa v{{[0-9]+}}, v[[DST_MUL6]], v[[DST_MUL7]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 140 ; VI-DAG: v_or_b32_sdwa v{{[0-9]+}}, v[[DST_MUL4]], v[[DST_MUL5]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 141 ; VI-DAG: v_or_b32_sdwa v{{[0-9]+}}, v[[DST_MUL2]], v[[DST_MUL3]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 142 ; VI-DAG: v_or_b32_sdwa v{{[0-9]+}}, v[[DST_MUL0]], v[[DST_MUL1]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 143
 144 ; GFX9_10-DAG: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 145 ; GFX9_10-DAG: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 146 ; GFX9_10-DAG: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 147 ; GFX9_10-DAG: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 148
 149 define amdgpu_kernel void @mul_v8i16(<8 x i16> addrspace(1)* %out, <8 x i16> addrspace(1)* %ina, <8 x i16> addrspace(1)* %inb) {
 150 entry:
 151   %a = load <8 x i16>, <8 x i16> addrspace(1)* %ina, align 4
 152   %b = load <8 x i16>, <8 x i16> addrspace(1)* %inb, align 4
 153   %mul = mul <8 x i16> %a, %b
 154   store <8 x i16> %mul, <8 x i16> addrspace(1)* %out, align 4
 155   ret void
 156 }
 157
 158 ; GCN-LABEL: {{^}}mul_half:
 159 ; NOSDWA: v_mul_f16_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 160 ; NOSDWA-NOT: v_mul_f16_sdwa
 161 ; SDWA: v_mul_f16_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 162 ; SDWA-NOT: v_mul_f16_sdwa
 163
 164 define amdgpu_kernel void @mul_half(half addrspace(1)* %out, half addrspace(1)* %ina, half addrspace(1)* %inb) {
 165 entry:
 166   %a = load half, half addrspace(1)* %ina, align 4
 167   %b = load half, half addrspace(1)* %inb, align 4
 168   %mul = fmul half %a, %b
 169   store half %mul, half addrspace(1)* %out, align 4
 170   ret void
 171 }
 172
 173 ; GCN-LABEL: {{^}}mul_v2half:
 174 ; NOSDWA: v_lshrrev_b32_e32 v[[DST0:[0-9]+]], 16, v{{[0-9]+}}
 175 ; NOSDWA: v_lshrrev_b32_e32 v[[DST1:[0-9]+]], 16, v{{[0-9]+}}
 176 ; NOSDWA: v_mul_f16_e32 v[[DST_MUL:[0-9]+]], v[[DST0]], v[[DST1]]
 177 ; NOSDWA: v_lshlrev_b32_e32 v[[DST_SHL:[0-9]+]], 16, v[[DST_MUL]]
 178 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v[[DST_SHL]]
 179 ; NOSDWA-NOT: v_mul_f16_sdwa
 180
 181 ; VI-DAG: v_mul_f16_sdwa v[[DST_MUL_HI:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 182 ; VI-DAG: v_mul_f16_e32 v[[DST_MUL_LO:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}}
 183 ; VI: v_or_b32_e32 v{{[0-9]+}}, v[[DST_MUL_LO]], v[[DST_MUL_HI]]
 184
 185 ; GFX9_10: v_pk_mul_f16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 186
 187 define amdgpu_kernel void @mul_v2half(<2 x half> addrspace(1)* %out, <2 x half> addrspace(1)* %ina, <2 x half> addrspace(1)* %inb) {
 188 entry:
 189   %a = load <2 x half>, <2 x half> addrspace(1)* %ina, align 4
 190   %b = load <2 x half>, <2 x half> addrspace(1)* %inb, align 4
 191   %mul = fmul <2 x half> %a, %b
 192   store <2 x half> %mul, <2 x half> addrspace(1)* %out, align 4
 193   ret void
 194 }
 195
 196 ; GCN-LABEL: {{^}}mul_v4half:
 197 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 198 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 199 ; NOSDWA: v_mul_f16_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 200 ; NOSDWA: v_lshlrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 201 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 202 ; NOSDWA-NOT: v_mul_f16_sdwa
 203
 204 ; VI-DAG: v_mul_f16_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 205 ; VI-DAG: v_mul_f16_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 206 ; VI-DAG: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 207 ; VI-DAG: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 208
 209 ; GFX9_10-DAG: v_pk_mul_f16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 210 ; GFX9_10-DAG: v_pk_mul_f16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 211
 212 define amdgpu_kernel void @mul_v4half(<4 x half> addrspace(1)* %out, <4 x half> addrspace(1)* %ina, <4 x half> addrspace(1)* %inb) {
 213 entry:
 214   %a = load <4 x half>, <4 x half> addrspace(1)* %ina, align 4
 215   %b = load <4 x half>, <4 x half> addrspace(1)* %inb, align 4
 216   %mul = fmul <4 x half> %a, %b
 217   store <4 x half> %mul, <4 x half> addrspace(1)* %out, align 4
 218   ret void
 219 }
 220
 221 ; GCN-LABEL: {{^}}mul_v8half:
 222 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 223 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 224 ; NOSDWA: v_mul_f16_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 225 ; NOSDWA: v_lshlrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 226 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 227 ; NOSDWA-NOT: v_mul_f16_sdwa
 228
 229 ; VI-DAG: v_mul_f16_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 230 ; VI-DAG: v_mul_f16_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 231 ; VI-DAG: v_mul_f16_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 232 ; VI-DAG: v_mul_f16_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 233 ; VI-DAG: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 234 ; VI-DAG: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 235 ; VI-DAG: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 236 ; VI-DAG: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 237
 238 ; GFX9_10-DAG: v_pk_mul_f16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 239 ; GFX9_10-DAG: v_pk_mul_f16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 240 ; GFX9_10-DAG: v_pk_mul_f16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 241 ; GFX9_10-DAG: v_pk_mul_f16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 242
 243 define amdgpu_kernel void @mul_v8half(<8 x half> addrspace(1)* %out, <8 x half> addrspace(1)* %ina, <8 x half> addrspace(1)* %inb) {
 244 entry:
 245   %a = load <8 x half>, <8 x half> addrspace(1)* %ina, align 4
 246   %b = load <8 x half>, <8 x half> addrspace(1)* %inb, align 4
 247   %mul = fmul <8 x half> %a, %b
 248   store <8 x half> %mul, <8 x half> addrspace(1)* %out, align 4
 249   ret void
 250 }
 251
 252 ; GCN-LABEL: {{^}}mul_i8:
 253 ; NOSDWA: v_mul_lo_u32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 254 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 255 ; GFX89: v_mul_lo_u32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 256 ; GFX10: v_mul_lo_u32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 257 ; SDWA-NOT: v_mul_u32_u24_sdwa
 258
 259 define amdgpu_kernel void @mul_i8(i8 addrspace(1)* %out, i8 addrspace(1)* %ina, i8 addrspace(1)* %inb) {
 260 entry:
 261   %a = load i8, i8 addrspace(1)* %ina, align 4
 262   %b = load i8, i8 addrspace(1)* %inb, align 4
 263   %mul = mul i8 %a, %b
 264   store i8 %mul, i8 addrspace(1)* %out, align 4
 265   ret void
 266 }
 267
 268 ; GCN-LABEL: {{^}}mul_v2i8:
 269 ; NOSDWA: v_lshrrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 270 ; NOSDWA: v_lshrrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 271 ; NOSDWA: v_mul_u32_u24_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 272 ; NOSDWA: v_lshlrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 273 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 274 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 275
 276 ; VI: v_mul_u32_u24_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:BYTE_1 dst_unused:UNUSED_PAD src0_sel:BYTE_1 src1_sel:BYTE_1
 277
 278 ; GFX9-DAG: v_mul_lo_u16_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:BYTE_1 dst_unused:UNUSED_PAD src0_sel:BYTE_1 src1_sel:BYTE_1
 279 ; GFX9-DAG: v_mul_lo_u16_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 280
 281 ; GFX10-DAG: v_mul_lo_u16_e64
 282 ; GFX10-DAG: v_mul_lo_u16_e64
 283
 284 ; GFX9: v_or_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:BYTE_0 src1_sel:DWORD
 285
 286 ; GFX10-DAG: v_and_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 287 ; GFX10-DAG: v_and_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:BYTE_1 dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:DWORD
 288 ; GFX10: v_or_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:WORD_0
 289
 290
 291 define amdgpu_kernel void @mul_v2i8(<2 x i8> addrspace(1)* %out, <2 x i8> addrspace(1)* %ina, <2 x i8> addrspace(1)* %inb) {
 292 entry:
 293   %a = load <2 x i8>, <2 x i8> addrspace(1)* %ina, align 4
 294   %b = load <2 x i8>, <2 x i8> addrspace(1)* %inb, align 4
 295   %mul = mul <2 x i8> %a, %b
 296   store <2 x i8> %mul, <2 x i8> addrspace(1)* %out, align 4
 297   ret void
 298 }
 299
 300 ; GCN-LABEL: {{^}}mul_v4i8:
 301 ; NOSDWA: v_lshrrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 302 ; NOSDWA: v_lshrrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 303 ; NOSDWA: v_mul_u32_u24_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 304 ; NOSDWA: v_lshlrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 305 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 306 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 307
 308 ; VI-DAG: v_mul_u32_u24_sdwa
 309 ; VI-DAG: v_mul_u32_u24_sdwa
 310 ; VI-DAG: v_mul_u32_u24_sdwa
 311
 312 ; GFX9-DAG: v_mul_lo_u16_sdwa
 313 ; GFX9-DAG: v_mul_lo_u16_sdwa
 314 ; GFX9-DAG: v_mul_lo_u16_sdwa
 315
 316 ; GFX10-DAG: v_mul_lo_u16_e64
 317 ; GFX10-DAG: v_mul_lo_u16_e64
 318 ; GFX10-DAG: v_mul_lo_u16_e64
 319 ; GFX10-DAG: v_mul_lo_u16_e64
 320
 321 define amdgpu_kernel void @mul_v4i8(<4 x i8> addrspace(1)* %out, <4 x i8> addrspace(1)* %ina, <4 x i8> addrspace(1)* %inb) {
 322 entry:
 323   %a = load <4 x i8>, <4 x i8> addrspace(1)* %ina, align 4
 324   %b = load <4 x i8>, <4 x i8> addrspace(1)* %inb, align 4
 325   %mul = mul <4 x i8> %a, %b
 326   store <4 x i8> %mul, <4 x i8> addrspace(1)* %out, align 4
 327   ret void
 328 }
 329
 330 ; GCN-LABEL: {{^}}mul_v8i8:
 331 ; NOSDWA: v_lshrrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 332 ; NOSDWA: v_lshrrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 333 ; NOSDWA: v_mul_u32_u24_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 334 ; NOSDWA: v_lshlrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 335 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 336 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 337
 338 ; VI-DAG: v_mul_u32_u24_sdwa
 339 ; VI-DAG: v_mul_u32_u24_sdwa
 340 ; VI-DAG: v_mul_u32_u24_sdwa
 341 ; VI-DAG: v_mul_u32_u24_sdwa
 342 ; VI-DAG: v_mul_u32_u24_sdwa
 343 ; VI-DAG: v_mul_u32_u24_sdwa
 344
 345 ; GFX9-DAG: v_mul_lo_u16_sdwa
 346 ; GFX9-DAG: v_mul_lo_u16_sdwa
 347 ; GFX9-DAG: v_mul_lo_u16_sdwa
 348 ; GFX9-DAG: v_mul_lo_u16_sdwa
 349 ; GFX9-DAG: v_mul_lo_u16_sdwa
 350 ; GFX9-DAG: v_mul_lo_u16_sdwa
 351
 352 ; GFX10-DAG: v_mul_lo_u16_e64
 353 ; GFX10-DAG: v_mul_lo_u16_e64
 354 ; GFX10-DAG: v_mul_lo_u16_e64
 355 ; GFX10-DAG: v_mul_lo_u16_e64
 356 ; GFX10-DAG: v_mul_lo_u16_e64
 357 ; GFX10-DAG: v_mul_lo_u16_e64
 358 ; GFX10-DAG: v_mul_lo_u16_e64
 359 ; GFX10-DAG: v_mul_lo_u16_e64
 360
 361 define amdgpu_kernel void @mul_v8i8(<8 x i8> addrspace(1)* %out, <8 x i8> addrspace(1)* %ina, <8 x i8> addrspace(1)* %inb) {
 362 entry:
 363   %a = load <8 x i8>, <8 x i8> addrspace(1)* %ina, align 4
 364   %b = load <8 x i8>, <8 x i8> addrspace(1)* %inb, align 4
 365   %mul = mul <8 x i8> %a, %b
 366   store <8 x i8> %mul, <8 x i8> addrspace(1)* %out, align 4
 367   ret void
 368 }
 369
 370 ; GCN-LABEL: {{^}}sitofp_v2i16_to_v2f16:
 371 ; NOSDWA-DAG: v_bfe_i32 v{{[0-9]+}}, v{{[0-9]+}}, 0, 16
 372 ; NOSDWA-DAG: v_ashrrev_i32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 373 ; NOSDWA-DAG: v_cvt_f32_i32_e32 v{{[0-9]+}}, v{{[0-9]+}}
 374 ; NOSDWA-DAG: v_cvt_f32_i32_e32 v{{[0-9]+}}, v{{[0-9]+}}
 375 ; NOSDWA-NOT: v_cvt_f32_i32_sdwa
 376
 377 ; SDWA-DAG: v_cvt_f32_i32_sdwa v{{[0-9]+}}, sext(v{{[0-9]+}}) dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0
 378 ; SDWA-DAG: v_cvt_f32_i32_sdwa v{{[0-9]+}}, sext(v{{[0-9]+}}) dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1
 379
 380 define amdgpu_kernel void @sitofp_v2i16_to_v2f16(
 381     <2 x half> addrspace(1)* %r,
 382     <2 x i16> addrspace(1)* %a) {
 383 entry:
 384   %a.val = load <2 x i16>, <2 x i16> addrspace(1)* %a
 385   %r.val = sitofp <2 x i16> %a.val to <2 x half>
 386   store <2 x half> %r.val, <2 x half> addrspace(1)* %r
 387   ret void
 388 }
 389
 390
 391 ; GCN-LABEL: {{^}}mac_v2half:
 392 ; NOSDWA: v_lshrrev_b32_e32 v[[DST0:[0-9]+]], 16, v{{[0-9]+}}
 393 ; NOSDWA: v_lshrrev_b32_e32 v[[DST1:[0-9]+]], 16, v{{[0-9]+}}
 394 ; NOSDWA: v_mac_f16_e32 v[[DST_MAC:[0-9]+]], v[[DST0]], v[[DST1]]
 395 ; NOSDWA: v_lshlrev_b32_e32 v[[DST_SHL:[0-9]+]], 16, v[[DST_MAC]]
 396 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v[[DST_SHL]]
 397 ; NOSDWA-NOT: v_mac_f16_sdwa
 398
 399 ; VI: v_mac_f16_sdwa v[[DST_MAC:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 400 ; VI: v_lshlrev_b32_e32 v[[DST_SHL:[0-9]+]], 16, v[[DST_MAC]]
 401
 402 ; GFX9_10: v_pk_mul_f16 v[[DST_MUL:[0-9]+]], v{{[0-9]+}}, v[[SRC:[0-9]+]]
 403 ; GFX9_10: v_pk_add_f16 v{{[0-9]+}}, v[[DST_MUL]], v[[SRC]]
 404
 405 define amdgpu_kernel void @mac_v2half(<2 x half> addrspace(1)* %out, <2 x half> addrspace(1)* %ina, <2 x half> addrspace(1)* %inb) {
 406 entry:
 407   %a = load <2 x half>, <2 x half> addrspace(1)* %ina, align 4
 408   %b = load <2 x half>, <2 x half> addrspace(1)* %inb, align 4
 409   %mul = fmul <2 x half> %a, %b
 410   %mac = fadd <2 x half> %mul, %b
 411   store <2 x half> %mac, <2 x half> addrspace(1)* %out, align 4
 412   ret void
 413 }
 414
 415 ; GCN-LABEL: {{^}}immediate_mul_v2i16:
 416 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 417 ; VI-DAG: v_mov_b32_e32 v[[M321:[0-9]+]], 0x141
 418 ; VI-DAG: v_mov_b32_e32 v[[M123:[0-9]+]], 0x7b
 419 ; VI-DAG: v_mul_u32_u24_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v[[M123]] dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 420 ; VI-DAG: v_mul_u32_u24_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v[[M321]] dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
 421
 422 ; GFX9: s_mov_b32 s[[IMM:[0-9]+]], 0x141007b
 423 ; GFX9: v_pk_mul_lo_u16 v{{[0-9]+}}, v{{[0-9]+}}, s[[IMM]]
 424
 425 ; GFX10: v_pk_mul_lo_u16 v{{[0-9]+}}, 0x141007b, v{{[0-9]+}}
 426
 427 define amdgpu_kernel void @immediate_mul_v2i16(<2 x i16> addrspace(1)* %out, <2 x i16> addrspace(1)* %in) {
 428 entry:
 429   %a = load <2 x i16>, <2 x i16> addrspace(1)* %in, align 4
 430   %mul = mul <2 x i16> %a, <i16 123, i16 321>
 431   store <2 x i16> %mul, <2 x i16> addrspace(1)* %out, align 4
 432   ret void
 433 }
 434
 435 ; Double use of same src - should not convert it
 436 ; GCN-LABEL: {{^}}mulmul_v2i16:
 437 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 438 ; NOSDWA: v_lshrrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 439 ; NOSDWA: v_mul_u32_u24_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 440 ; NOSDWA: v_lshlrev_b32_e32 v{{[0-9]+}}, 16, v{{[0-9]+}}
 441 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 442 ; NOSDWA-NOT: v_mul_u32_u24_sdwa
 443
 444 ; VI: v_mul_u32_u24_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
 445
 446 ; GFX9_10: v_pk_mul_lo_u16 v[[DST1:[0-9]+]], v{{[0-9]+}}, v{{[0-9]+}}
 447 ; GFX9_10: v_pk_mul_lo_u16 v{{[0-9]+}}, v[[DST1]], v{{[0-9]+}}
 448
 449 define amdgpu_kernel void @mulmul_v2i16(<2 x i16> addrspace(1)* %out, <2 x i16> addrspace(1)* %ina, <2 x i16> addrspace(1)* %inb) {
 450 entry:
 451   %a = load <2 x i16>, <2 x i16> addrspace(1)* %ina, align 4
 452   %b = load <2 x i16>, <2 x i16> addrspace(1)* %inb, align 4
 453   %mul = mul <2 x i16> %a, %b
 454   %mul2 = mul <2 x i16> %mul, %b
 455   store <2 x i16> %mul2, <2 x i16> addrspace(1)* %out, align 4
 456   ret void
 457 }
 458
 459 ; GCN-LABEL: {{^}}add_bb_v2i16:
 460 ; NOSDWA-NOT: v_add_{{(_co)?}}_u32_sdwa
 461
 462 ; VI: v_add_u32_sdwa v{{[0-9]+}}, vcc, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:WORD_1
 463
 464 ; GFX9_10: v_pk_add_u16 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 465
 466 define amdgpu_kernel void @add_bb_v2i16(<2 x i16> addrspace(1)* %out, <2 x i16> addrspace(1)* %ina, <2 x i16> addrspace(1)* %inb) {
 467 entry:
 468   %a = load <2 x i16>, <2 x i16> addrspace(1)* %ina, align 4
 469   %b = load <2 x i16>, <2 x i16> addrspace(1)* %inb, align 4
 470   br label %add_label
 471 add_label:
 472   %add = add <2 x i16> %a, %b
 473   br label %store_label
 474 store_label:
 475   store <2 x i16> %add, <2 x i16> addrspace(1)* %out, align 4
 476   ret void
 477 }
 478
 479
 480 ; Check that "pulling out" SDWA operands works correctly.
 481 ; GCN-LABEL: {{^}}pulled_out_test:
 482 ; NOSDWA-DAG: v_and_b32_e32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}
 483 ; NOSDWA-DAG: v_lshlrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 484 ; NOSDWA-DAG: v_and_b32_e32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}
 485 ; NOSDWA-DAG: v_lshlrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 486 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}
 487 ; NOSDWA-NOT: v_and_b32_sdwa
 488 ; NOSDWA-NOT: v_or_b32_sdwa
 489
 490 ; VI-DAG: v_and_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
 491 ; GFX9_10-DAG: v_and_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, s{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
 492 ; GFX89-DAG: v_lshlrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 493 ;
 494 ; GFX10-DAG: v_lshrrev_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:BYTE_1 dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:DWORD
 495 ;
 496 ; VI-DAG: v_and_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
 497 ; GFX9_10-DAG: v_and_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, s{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_1 src1_sel:DWORD
 498 ; GFX89-DAG: v_lshlrev_b16_e32 v{{[0-9]+}}, 8, v{{[0-9]+}}
 499 ;
 500 ; GFX10-DAG: v_lshrrev_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:BYTE_1 dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:DWORD
 501 ;
 502 ; GFX89: v_or_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:DWORD
 503 ;
 504 ; GFX10: v_or_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:WORD_0
 505 ; GFX10: v_or_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:DWORD src1_sel:WORD_0
 506 ; GFX10: v_or_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 507 ; GFX10: v_or_b32_sdwa v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} dst_sel:DWORD dst_unused:UNUSED_PAD src0_sel:WORD_0 src1_sel:DWORD
 508
 509 define amdgpu_kernel void @pulled_out_test(<8 x i8> addrspace(1)* %sourceA, <8 x i8> addrspace(1)* %destValues) {
 510 entry:
 511   %idxprom = ashr exact i64 15, 32
 512   %arrayidx = getelementptr inbounds <8 x i8>, <8 x i8> addrspace(1)* %sourceA, i64 %idxprom
 513   %tmp = load <8 x i8>, <8 x i8> addrspace(1)* %arrayidx, align 8
 514
 515   %tmp1 = extractelement <8 x i8> %tmp, i32 0
 516   %tmp2 = extractelement <8 x i8> %tmp, i32 1
 517   %tmp3 = extractelement <8 x i8> %tmp, i32 2
 518   %tmp4 = extractelement <8 x i8> %tmp, i32 3
 519   %tmp5 = extractelement <8 x i8> %tmp, i32 4
 520   %tmp6 = extractelement <8 x i8> %tmp, i32 5
 521   %tmp7 = extractelement <8 x i8> %tmp, i32 6
 522   %tmp8 = extractelement <8 x i8> %tmp, i32 7
 523
 524   %tmp9 = insertelement <2 x i8> undef, i8 %tmp1, i32 0
 525   %tmp10 = insertelement <2 x i8> %tmp9, i8 %tmp2, i32 1
 526   %tmp11 = insertelement <2 x i8> undef, i8 %tmp3, i32 0
 527   %tmp12 = insertelement <2 x i8> %tmp11, i8 %tmp4, i32 1
 528   %tmp13 = insertelement <2 x i8> undef, i8 %tmp5, i32 0
 529   %tmp14 = insertelement <2 x i8> %tmp13, i8 %tmp6, i32 1
 530   %tmp15 = insertelement <2 x i8> undef, i8 %tmp7, i32 0
 531   %tmp16 = insertelement <2 x i8> %tmp15, i8 %tmp8, i32 1
 532
 533   %tmp17 = shufflevector <2 x i8> %tmp10, <2 x i8> %tmp12, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 534   %tmp18 = shufflevector <2 x i8> %tmp14, <2 x i8> %tmp16, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 535   %tmp19 = shufflevector <4 x i8> %tmp17, <4 x i8> %tmp18, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 536
 537   %arrayidx5 = getelementptr inbounds <8 x i8>, <8 x i8> addrspace(1)* %destValues, i64 %idxprom
 538   store <8 x i8> %tmp19, <8 x i8> addrspace(1)* %arrayidx5, align 8
 539   ret void
 540 }
 541
 542 ; GCN-LABEL: {{^}}sdwa_crash_inlineasm_def:
 543 ; GCN: s_mov_b32 s{{[0-9]+}}, 0xffff
 544 ; GCN: v_and_b32_e32 v{{[0-9]+}}, s{{[0-9]+}}, v{{[0-9]+}}
 545 ;
 546 ; TODO: Why is the constant not peepholed into the v_or_b32_e32?
 547 ;
 548 ; NOSDWA: s_mov_b32 [[CONST:s[0-9]+]], 0x10000
 549 ; NOSDWA: v_or_b32_e32 v{{[0-9]+}}, s0,
 550 ; SDWA: v_or_b32_e32 v{{[0-9]+}}, 0x10000,
 551 define amdgpu_kernel void @sdwa_crash_inlineasm_def() #0 {
 552 bb:
 553   br label %bb1
 554
 555 bb1:                                              ; preds = %bb11, %bb
 556   %tmp = phi <2 x i32> [ %tmp12, %bb11 ], [ undef, %bb ]
 557   br i1 true, label %bb2, label %bb11
 558
 559 bb2:                                              ; preds = %bb1
 560   %tmp3 = call i32 asm "v_and_b32_e32 $0, $1, $2", "=v,s,v"(i32 65535, i32 undef) #1
 561   %tmp5 = or i32 %tmp3, 65536
 562   %tmp6 = insertelement <2 x i32> %tmp, i32 %tmp5, i64 0
 563   br label %bb11
 564
 565 bb11:                                             ; preds = %bb10, %bb2
 566   %tmp12 = phi <2 x i32> [ %tmp6, %bb2 ], [ %tmp, %bb1 ]
 567   store volatile <2 x i32> %tmp12, <2 x i32> addrspace(1)* undef
 568   br label %bb1
 569 }