llvm/test/Transforms/VectorCombine/X86/shuffle-of-binops.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py UTC_ARGS: --version 4
   2 ; RUN: opt < %s -passes=vector-combine -S -mtriple=x86_64-- -mattr=SSE2 | FileCheck %s --check-prefixes=CHECK,SSE
   3 ; RUN: opt < %s -passes=vector-combine -S -mtriple=x86_64-- -mattr=AVX2 | FileCheck %s --check-prefixes=CHECK,AVX
   4
   5 declare void @use(<4 x i32>)
   6
   7 ; Shuffle is much cheaper than fdiv. FMF are intersected.
   8
   9 define <4 x float> @shuf_fdiv_v4f32_yy(<4 x float> %x, <4 x float> %y, <4 x float> %z) {
  10 ; CHECK-LABEL: define <4 x float> @shuf_fdiv_v4f32_yy(
  11 ; CHECK-SAME: <4 x float> [[X:%.*]], <4 x float> [[Y:%.*]], <4 x float> [[Z:%.*]]) #[[ATTR0:[0-9]+]] {
  12 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x float> [[X]], <4 x float> [[Z]], <4 x i32> <i32 1, i32 3, i32 5, i32 7>
  13 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <4 x float> [[Y]], <4 x float> poison, <4 x i32> <i32 1, i32 3, i32 1, i32 3>
  14 ; CHECK-NEXT:    [[R:%.*]] = fdiv arcp <4 x float> [[TMP2]], [[TMP3]]
  15 ; CHECK-NEXT:    ret <4 x float> [[R]]
  16 ;
  17   %b0 = fdiv fast <4 x float> %x, %y
  18   %b1 = fdiv arcp <4 x float> %z, %y
  19   %r = shufflevector <4 x float> %b0, <4 x float> %b1, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
  20   ret <4 x float> %r
  21 }
  22
  23 ; Common operand is op0 of the binops.
  24
  25 define <4 x i32> @shuf_add_v4i32_xx(<4 x i32> %x, <4 x i32> %y, <4 x i32> %z) {
  26 ; CHECK-LABEL: define <4 x i32> @shuf_add_v4i32_xx(
  27 ; CHECK-SAME: <4 x i32> [[X:%.*]], <4 x i32> [[Y:%.*]], <4 x i32> [[Z:%.*]]) #[[ATTR0]] {
  28 ; CHECK-NEXT:    [[B0:%.*]] = add <4 x i32> [[X]], [[Y]]
  29 ; CHECK-NEXT:    [[B1:%.*]] = add <4 x i32> [[X]], [[Z]]
  30 ; CHECK-NEXT:    [[R2:%.*]] = shufflevector <4 x i32> [[B0]], <4 x i32> [[B1]], <4 x i32> <i32 poison, i32 poison, i32 6, i32 0>
  31 ; CHECK-NEXT:    ret <4 x i32> [[R2]]
  32 ;
  33   %b0 = add <4 x i32> %x, %y
  34   %b1 = add <4 x i32> %x, %z
  35   %r = shufflevector <4 x i32> %b0, <4 x i32> %b1, <4 x i32> <i32 poison, i32 poison, i32 6, i32 0>
  36   ret <4 x i32> %r
  37 }
  38
  39 ; For commutative instructions, common operand may be swapped (SSE - expensive fmul vs AVX - cheap fmul)
  40
  41 define <4 x float> @shuf_fmul_v4f32_xx_swap(<4 x float> %x, <4 x float> %y, <4 x float> %z) {
  42 ; SSE-LABEL: define <4 x float> @shuf_fmul_v4f32_xx_swap(
  43 ; SSE-SAME: <4 x float> [[X:%.*]], <4 x float> [[Y:%.*]], <4 x float> [[Z:%.*]]) #[[ATTR0]] {
  44 ; SSE-NEXT:    [[TMP1:%.*]] = shufflevector <4 x float> [[Y]], <4 x float> [[Z]], <4 x i32> <i32 0, i32 3, i32 4, i32 7>
  45 ; SSE-NEXT:    [[TMP2:%.*]] = shufflevector <4 x float> [[X]], <4 x float> poison, <4 x i32> <i32 0, i32 3, i32 0, i32 3>
  46 ; SSE-NEXT:    [[R:%.*]] = fmul <4 x float> [[TMP1]], [[TMP2]]
  47 ; SSE-NEXT:    ret <4 x float> [[R]]
  48 ;
  49 ; AVX-LABEL: define <4 x float> @shuf_fmul_v4f32_xx_swap(
  50 ; AVX-SAME: <4 x float> [[X:%.*]], <4 x float> [[Y:%.*]], <4 x float> [[Z:%.*]]) #[[ATTR0]] {
  51 ; AVX-NEXT:    [[B0:%.*]] = fmul <4 x float> [[X]], [[Y]]
  52 ; AVX-NEXT:    [[B1:%.*]] = fmul <4 x float> [[Z]], [[X]]
  53 ; AVX-NEXT:    [[R:%.*]] = shufflevector <4 x float> [[B0]], <4 x float> [[B1]], <4 x i32> <i32 0, i32 3, i32 4, i32 7>
  54 ; AVX-NEXT:    ret <4 x float> [[R]]
  55 ;
  56   %b0 = fmul <4 x float> %x, %y
  57   %b1 = fmul <4 x float> %z, %x
  58   %r = shufflevector <4 x float> %b0, <4 x float> %b1, <4 x i32> <i32 0, i32 3, i32 4, i32 7>
  59   ret <4 x float> %r
  60 }
  61
  62 ; For commutative instructions, common operand may be swapped.
  63
  64 define <2 x i64> @shuf_and_v2i64_yy_swap(<2 x i64> %x, <2 x i64> %y, <2 x i64> %z) {
  65 ; CHECK-LABEL: define <2 x i64> @shuf_and_v2i64_yy_swap(
  66 ; CHECK-SAME: <2 x i64> [[X:%.*]], <2 x i64> [[Y:%.*]], <2 x i64> [[Z:%.*]]) #[[ATTR0]] {
  67 ; CHECK-NEXT:    [[B0:%.*]] = and <2 x i64> [[X]], [[Y]]
  68 ; CHECK-NEXT:    [[B1:%.*]] = and <2 x i64> [[Y]], [[Z]]
  69 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <2 x i64> [[B0]], <2 x i64> [[B1]], <2 x i32> <i32 3, i32 0>
  70 ; CHECK-NEXT:    ret <2 x i64> [[R]]
  71 ;
  72   %b0 = and <2 x i64> %x, %y
  73   %b1 = and <2 x i64> %y, %z
  74   %r = shufflevector <2 x i64> %b0, <2 x i64> %b1, <2 x i32> <i32 3, i32 0>
  75   ret <2 x i64> %r
  76 }
  77
  78 ; non-commutative binop, but common op0
  79
  80 define <4 x i32> @shuf_shl_v4i32_xx(<4 x i32> %x, <4 x i32> %y, <4 x i32> %z) {
  81 ; CHECK-LABEL: define <4 x i32> @shuf_shl_v4i32_xx(
  82 ; CHECK-SAME: <4 x i32> [[X:%.*]], <4 x i32> [[Y:%.*]], <4 x i32> [[Z:%.*]]) #[[ATTR0]] {
  83 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <4 x i32> [[X]], <4 x i32> poison, <4 x i32> <i32 3, i32 1, i32 1, i32 2>
  84 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x i32> [[Y]], <4 x i32> [[Z]], <4 x i32> <i32 3, i32 1, i32 1, i32 6>
  85 ; CHECK-NEXT:    [[R:%.*]] = shl <4 x i32> [[TMP1]], [[TMP2]]
  86 ; CHECK-NEXT:    ret <4 x i32> [[R]]
  87 ;
  88   %b0 = shl <4 x i32> %x, %y
  89   %b1 = shl <4 x i32> %x, %z
  90   %r = shufflevector <4 x i32> %b0, <4 x i32> %b1, <4 x i32> <i32 3, i32 1, i32 1, i32 6>
  91   ret <4 x i32> %r
  92 }
  93
  94 ; common operand, but not commutable (SSE - expensive vector shift vs AVX2 - cheap vector shift)
  95
  96 define <4 x i32> @shuf_shl_v4i32_xx_swap(<4 x i32> %x, <4 x i32> %y, <4 x i32> %z) {
  97 ; SSE-LABEL: define <4 x i32> @shuf_shl_v4i32_xx_swap(
  98 ; SSE-SAME: <4 x i32> [[X:%.*]], <4 x i32> [[Y:%.*]], <4 x i32> [[Z:%.*]]) #[[ATTR0]] {
  99 ; SSE-NEXT:    [[TMP1:%.*]] = shufflevector <4 x i32> [[X]], <4 x i32> [[Z]], <4 x i32> <i32 3, i32 2, i32 2, i32 5>
 100 ; SSE-NEXT:    [[TMP2:%.*]] = shufflevector <4 x i32> [[Y]], <4 x i32> [[X]], <4 x i32> <i32 3, i32 2, i32 2, i32 5>
 101 ; SSE-NEXT:    [[R:%.*]] = shl <4 x i32> [[TMP1]], [[TMP2]]
 102 ; SSE-NEXT:    ret <4 x i32> [[R]]
 103 ;
 104 ; AVX-LABEL: define <4 x i32> @shuf_shl_v4i32_xx_swap(
 105 ; AVX-SAME: <4 x i32> [[X:%.*]], <4 x i32> [[Y:%.*]], <4 x i32> [[Z:%.*]]) #[[ATTR0]] {
 106 ; AVX-NEXT:    [[B0:%.*]] = shl <4 x i32> [[X]], [[Y]]
 107 ; AVX-NEXT:    [[B1:%.*]] = shl <4 x i32> [[Z]], [[X]]
 108 ; AVX-NEXT:    [[R:%.*]] = shufflevector <4 x i32> [[B0]], <4 x i32> [[B1]], <4 x i32> <i32 3, i32 2, i32 2, i32 5>
 109 ; AVX-NEXT:    ret <4 x i32> [[R]]
 110 ;
 111   %b0 = shl <4 x i32> %x, %y
 112   %b1 = shl <4 x i32> %z, %x
 113   %r = shufflevector <4 x i32> %b0, <4 x i32> %b1, <4 x i32> <i32 3, i32 2, i32 2, i32 5>
 114   ret <4 x i32> %r
 115 }
 116
 117 ; negative test - mismatched opcodes
 118
 119 define <2 x i64> @shuf_sub_add_v2i64_yy(<2 x i64> %x, <2 x i64> %y, <2 x i64> %z) {
 120 ; CHECK-LABEL: define <2 x i64> @shuf_sub_add_v2i64_yy(
 121 ; CHECK-SAME: <2 x i64> [[X:%.*]], <2 x i64> [[Y:%.*]], <2 x i64> [[Z:%.*]]) #[[ATTR0]] {
 122 ; CHECK-NEXT:    [[B0:%.*]] = sub <2 x i64> [[X]], [[Y]]
 123 ; CHECK-NEXT:    [[B1:%.*]] = add <2 x i64> [[Z]], [[Y]]
 124 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <2 x i64> [[B0]], <2 x i64> [[B1]], <2 x i32> <i32 3, i32 0>
 125 ; CHECK-NEXT:    ret <2 x i64> [[R]]
 126 ;
 127   %b0 = sub <2 x i64> %x, %y
 128   %b1 = add <2 x i64> %z, %y
 129   %r = shufflevector <2 x i64> %b0, <2 x i64> %b1, <2 x i32> <i32 3, i32 0>
 130   ret <2 x i64> %r
 131 }
 132
 133 ; type change via shuffle
 134
 135 define <8 x float> @shuf_fmul_v4f32_xx_type(<4 x float> %x, <4 x float> %y, <4 x float> %z) {
 136 ; CHECK-LABEL: define <8 x float> @shuf_fmul_v4f32_xx_type(
 137 ; CHECK-SAME: <4 x float> [[X:%.*]], <4 x float> [[Y:%.*]], <4 x float> [[Z:%.*]]) #[[ATTR0]] {
 138 ; CHECK-NEXT:    [[B0:%.*]] = fmul <4 x float> [[X]], [[Y]]
 139 ; CHECK-NEXT:    [[B1:%.*]] = fmul <4 x float> [[Z]], [[X]]
 140 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x float> [[B0]], <4 x float> [[B1]], <8 x i32> <i32 0, i32 3, i32 4, i32 7, i32 0, i32 1, i32 1, i32 6>
 141 ; CHECK-NEXT:    ret <8 x float> [[R]]
 142 ;
 143   %b0 = fmul <4 x float> %x, %y
 144   %b1 = fmul <4 x float> %z, %x
 145   %r = shufflevector <4 x float> %b0, <4 x float> %b1, <8 x i32> <i32 0, i32 3, i32 4, i32 7, i32 0, i32 1, i32 1, i32 6>
 146   ret <8 x float> %r
 147 }
 148
 149 ; negative test - uses
 150
 151 define <4 x i32> @shuf_lshr_v4i32_yy_use1(<4 x i32> %x, <4 x i32> %y, <4 x i32> %z) {
 152 ; CHECK-LABEL: define <4 x i32> @shuf_lshr_v4i32_yy_use1(
 153 ; CHECK-SAME: <4 x i32> [[X:%.*]], <4 x i32> [[Y:%.*]], <4 x i32> [[Z:%.*]]) #[[ATTR0]] {
 154 ; CHECK-NEXT:    [[B0:%.*]] = lshr <4 x i32> [[X]], [[Y]]
 155 ; CHECK-NEXT:    call void @use(<4 x i32> [[B0]])
 156 ; CHECK-NEXT:    [[B1:%.*]] = lshr <4 x i32> [[Z]], [[Y]]
 157 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i32> [[B0]], <4 x i32> [[B1]], <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 158 ; CHECK-NEXT:    ret <4 x i32> [[R]]
 159 ;
 160   %b0 = lshr <4 x i32> %x, %y
 161   call void @use(<4 x i32> %b0)
 162   %b1 = lshr <4 x i32> %z, %y
 163   %r = shufflevector <4 x i32> %b0, <4 x i32> %b1, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 164   ret <4 x i32> %r
 165 }
 166
 167 ; negative test - uses
 168
 169 define <4 x i32> @shuf_mul_v4i32_yy_use2(<4 x i32> %x, <4 x i32> %y, <4 x i32> %z) {
 170 ; CHECK-LABEL: define <4 x i32> @shuf_mul_v4i32_yy_use2(
 171 ; CHECK-SAME: <4 x i32> [[X:%.*]], <4 x i32> [[Y:%.*]], <4 x i32> [[Z:%.*]]) #[[ATTR0]] {
 172 ; CHECK-NEXT:    [[B0:%.*]] = mul <4 x i32> [[X]], [[Y]]
 173 ; CHECK-NEXT:    [[B1:%.*]] = mul <4 x i32> [[Z]], [[Y]]
 174 ; CHECK-NEXT:    call void @use(<4 x i32> [[B1]])
 175 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i32> [[B0]], <4 x i32> [[B1]], <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 176 ; CHECK-NEXT:    ret <4 x i32> [[R]]
 177 ;
 178   %b0 = mul <4 x i32> %x, %y
 179   %b1 = mul <4 x i32> %z, %y
 180   call void @use(<4 x i32> %b1)
 181   %r = shufflevector <4 x i32> %b0, <4 x i32> %b1, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 182   ret <4 x i32> %r
 183 }
 184
 185 ; non-matching operands (not commutable)
 186
 187 define <4 x float> @shuf_fdiv_v4f32_no_common_op(<4 x float> %x, <4 x float> %y, <4 x float> %z, <4 x float> %w) {
 188 ; CHECK-LABEL: define <4 x float> @shuf_fdiv_v4f32_no_common_op(
 189 ; CHECK-SAME: <4 x float> [[X:%.*]], <4 x float> [[Y:%.*]], <4 x float> [[Z:%.*]], <4 x float> [[W:%.*]]) #[[ATTR0]] {
 190 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <4 x float> [[X]], <4 x float> [[Z]], <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 191 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x float> [[Y]], <4 x float> [[W]], <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 192 ; CHECK-NEXT:    [[R:%.*]] = fdiv <4 x float> [[TMP1]], [[TMP2]]
 193 ; CHECK-NEXT:    ret <4 x float> [[R]]
 194 ;
 195   %b0 = fdiv <4 x float> %x, %y
 196   %b1 = fdiv <4 x float> %z, %w
 197   %r = shufflevector <4 x float> %b0, <4 x float> %b1, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 198   ret <4 x float> %r
 199 }
 200
 201 ; negative test - binops may be relatively cheap
 202
 203 define <16 x i16> @shuf_and_v16i16_yy_expensive_shuf(<16 x i16> %x, <16 x i16> %y, <16 x i16> %z) {
 204 ; CHECK-LABEL: define <16 x i16> @shuf_and_v16i16_yy_expensive_shuf(
 205 ; CHECK-SAME: <16 x i16> [[X:%.*]], <16 x i16> [[Y:%.*]], <16 x i16> [[Z:%.*]]) #[[ATTR0]] {
 206 ; CHECK-NEXT:    [[B0:%.*]] = and <16 x i16> [[X]], [[Y]]
 207 ; CHECK-NEXT:    [[B1:%.*]] = and <16 x i16> [[Y]], [[Z]]
 208 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <16 x i16> [[B0]], <16 x i16> [[B1]], <16 x i32> <i32 15, i32 22, i32 25, i32 13, i32 28, i32 0, i32 poison, i32 3, i32 0, i32 30, i32 3, i32 7, i32 9, i32 19, i32 2, i32 22>
 209 ; CHECK-NEXT:    ret <16 x i16> [[R]]
 210 ;
 211   %b0 = and <16 x i16> %x, %y
 212   %b1 = and <16 x i16> %y, %z
 213   %r = shufflevector <16 x i16> %b0, <16 x i16> %b1, <16 x i32> <i32 15, i32 22, i32 25, i32 13, i32 28, i32 0, i32 poison, i32 3, i32 0, i32 30, i32 3, i32 7, i32 9, i32 19, i32 2, i32 22>
 214   ret <16 x i16> %r
 215 }
 216
 217 ; negative test - don't fold shuffle(divrem(x,y),divrem(z,w)) if mask contains poison (PR89390)
 218
 219 define <4 x i32> @shuf_srem_v4i32_poison(<4 x i32> %a0, <4 x i32> %a1) {
 220 ; CHECK-LABEL: define <4 x i32> @shuf_srem_v4i32_poison(
 221 ; CHECK-SAME: <4 x i32> [[A0:%.*]], <4 x i32> [[A1:%.*]]) #[[ATTR0]] {
 222 ; CHECK-NEXT:    [[SREM0:%.*]] = srem <4 x i32> [[A1]], [[A0]]
 223 ; CHECK-NEXT:    [[SREM1:%.*]] = srem <4 x i32> splat (i32 1), [[A0]]
 224 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i32> [[SREM0]], <4 x i32> [[SREM1]], <4 x i32> <i32 0, i32 poison, i32 6, i32 3>
 225 ; CHECK-NEXT:    ret <4 x i32> [[R]]
 226 ;
 227   %srem0 = srem <4 x i32> %a1, %a0
 228   %srem1 = srem <4 x i32> <i32 1, i32 1, i32 1, i32 1>, %a0
 229   %r = shufflevector <4 x i32> %srem0, <4 x i32> %srem1, <4 x i32> <i32 0, i32 poison, i32 6, i32 3>
 230   ret <4 x i32> %r
 231 }
 232