llvm/test/Transforms/SLPVectorizer/AArch64/slp-fma-loss.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt -passes=slp-vectorizer -mtriple=arm64-apple-ios -S %s | FileCheck %s
   3
   4 ; Test case where not vectorizing is more profitable because multiple
   5 ; fmul/{fadd,fsub} pairs can be lowered to fma instructions.
   6 define void @slp_not_profitable_with_fast_fmf(ptr %A, ptr %B) {
   7 ; CHECK-LABEL: @slp_not_profitable_with_fast_fmf(
   8 ; CHECK-NEXT:    [[GEP_B_1:%.*]] = getelementptr inbounds float, ptr [[B:%.*]], i64 1
   9 ; CHECK-NEXT:    [[A_0:%.*]] = load float, ptr [[A:%.*]], align 4
  10 ; CHECK-NEXT:    [[B_0:%.*]] = load float, ptr [[B]], align 4
  11 ; CHECK-NEXT:    [[GEP_B_2:%.*]] = getelementptr inbounds float, ptr [[B]], i64 2
  12 ; CHECK-NEXT:    [[B_2:%.*]] = load float, ptr [[GEP_B_2]], align 4
  13 ; CHECK-NEXT:    [[TMP1:%.*]] = load <2 x float>, ptr [[GEP_B_1]], align 4
  14 ; CHECK-NEXT:    [[TMP2:%.*]] = insertelement <2 x float> poison, float [[B_0]], i32 0
  15 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <2 x float> [[TMP2]], <2 x float> poison, <2 x i32> zeroinitializer
  16 ; CHECK-NEXT:    [[TMP4:%.*]] = fmul fast <2 x float> [[TMP3]], [[TMP1]]
  17 ; CHECK-NEXT:    [[TMP5:%.*]] = shufflevector <2 x float> [[TMP4]], <2 x float> poison, <2 x i32> <i32 1, i32 0>
  18 ; CHECK-NEXT:    [[TMP6:%.*]] = insertelement <2 x float> poison, float [[A_0]], i32 0
  19 ; CHECK-NEXT:    [[TMP7:%.*]] = shufflevector <2 x float> [[TMP6]], <2 x float> poison, <2 x i32> zeroinitializer
  20 ; CHECK-NEXT:    [[TMP8:%.*]] = fmul fast <2 x float> [[TMP1]], [[TMP7]]
  21 ; CHECK-NEXT:    [[TMP9:%.*]] = fsub fast <2 x float> [[TMP8]], [[TMP5]]
  22 ; CHECK-NEXT:    [[TMP10:%.*]] = fadd fast <2 x float> [[TMP8]], [[TMP5]]
  23 ; CHECK-NEXT:    [[TMP11:%.*]] = shufflevector <2 x float> [[TMP9]], <2 x float> [[TMP10]], <2 x i32> <i32 0, i32 3>
  24 ; CHECK-NEXT:    store <2 x float> [[TMP11]], ptr [[A]], align 4
  25 ; CHECK-NEXT:    store float [[B_2]], ptr [[B]], align 4
  26 ; CHECK-NEXT:    ret void
  27 ;
  28   %gep.B.1 = getelementptr inbounds float, ptr %B, i64 1
  29   %A.0 = load float, ptr %A, align 4
  30   %B.1 = load float, ptr %gep.B.1, align 4
  31   %mul.0 = fmul fast float %B.1, %A.0
  32   %B.0 = load float, ptr %B, align 4
  33   %gep.B.2 = getelementptr inbounds float, ptr %B, i64 2
  34   %B.2 = load float, ptr %gep.B.2, align 4
  35   %mul.1 = fmul fast float %B.2, %B.0
  36   %sub = fsub fast float %mul.0, %mul.1
  37   %mul.2  = fmul fast float %B.0, %B.1
  38   %mul.3 = fmul fast float %B.2, %A.0
  39   %add = fadd fast float %mul.3, %mul.2
  40   store float %sub, ptr %A, align 4
  41   %gep.A.1 = getelementptr inbounds float, ptr %A, i64 1
  42   store float %add, ptr %gep.A.1, align 4
  43   store float %B.2, ptr %B, align 4
  44   ret void
  45 }
  46
  47 define void @slp_not_profitable_with_reassoc_fmf(ptr %A, ptr %B) {
  48 ; CHECK-LABEL: @slp_not_profitable_with_reassoc_fmf(
  49 ; CHECK-NEXT:    [[GEP_B_1:%.*]] = getelementptr inbounds float, ptr [[B:%.*]], i64 1
  50 ; CHECK-NEXT:    [[A_0:%.*]] = load float, ptr [[A:%.*]], align 4
  51 ; CHECK-NEXT:    [[B_0:%.*]] = load float, ptr [[B]], align 4
  52 ; CHECK-NEXT:    [[GEP_B_2:%.*]] = getelementptr inbounds float, ptr [[B]], i64 2
  53 ; CHECK-NEXT:    [[B_2:%.*]] = load float, ptr [[GEP_B_2]], align 4
  54 ; CHECK-NEXT:    [[TMP1:%.*]] = load <2 x float>, ptr [[GEP_B_1]], align 4
  55 ; CHECK-NEXT:    [[TMP2:%.*]] = insertelement <2 x float> poison, float [[B_0]], i32 0
  56 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <2 x float> [[TMP2]], <2 x float> poison, <2 x i32> zeroinitializer
  57 ; CHECK-NEXT:    [[TMP4:%.*]] = fmul <2 x float> [[TMP3]], [[TMP1]]
  58 ; CHECK-NEXT:    [[TMP5:%.*]] = shufflevector <2 x float> [[TMP4]], <2 x float> poison, <2 x i32> <i32 1, i32 0>
  59 ; CHECK-NEXT:    [[TMP6:%.*]] = insertelement <2 x float> poison, float [[A_0]], i32 0
  60 ; CHECK-NEXT:    [[TMP7:%.*]] = shufflevector <2 x float> [[TMP6]], <2 x float> poison, <2 x i32> zeroinitializer
  61 ; CHECK-NEXT:    [[TMP8:%.*]] = fmul reassoc <2 x float> [[TMP1]], [[TMP7]]
  62 ; CHECK-NEXT:    [[TMP9:%.*]] = fsub reassoc <2 x float> [[TMP8]], [[TMP5]]
  63 ; CHECK-NEXT:    [[TMP10:%.*]] = fadd reassoc <2 x float> [[TMP8]], [[TMP5]]
  64 ; CHECK-NEXT:    [[TMP11:%.*]] = shufflevector <2 x float> [[TMP9]], <2 x float> [[TMP10]], <2 x i32> <i32 0, i32 3>
  65 ; CHECK-NEXT:    store <2 x float> [[TMP11]], ptr [[A]], align 4
  66 ; CHECK-NEXT:    store float [[B_2]], ptr [[B]], align 4
  67 ; CHECK-NEXT:    ret void
  68 ;
  69   %gep.B.1 = getelementptr inbounds float, ptr %B, i64 1
  70   %A.0 = load float, ptr %A, align 4
  71   %B.1 = load float, ptr %gep.B.1, align 4
  72   %mul.0 = fmul reassoc float %B.1, %A.0
  73   %B.0 = load float, ptr %B, align 4
  74   %gep.B.2 = getelementptr inbounds float, ptr %B, i64 2
  75   %B.2 = load float, ptr %gep.B.2, align 4
  76   %mul.1 = fmul float %B.2, %B.0
  77   %sub = fsub reassoc float %mul.0, %mul.1
  78   %mul.2  = fmul float %B.0, %B.1
  79   %mul.3 = fmul reassoc float %B.2, %A.0
  80   %add = fadd reassoc float %mul.3, %mul.2
  81   store float %sub, ptr %A, align 4
  82   %gep.A.1 = getelementptr inbounds float, ptr %A, i64 1
  83   store float %add, ptr %gep.A.1, align 4
  84   store float %B.2, ptr %B, align 4
  85   ret void
  86 }
  87
  88 ; FMA cannot be used due to missing fast-math flags, so SLP should kick in.
  89 define void @slp_profitable_missing_fmf_on_fadd_fsub(ptr %A, ptr %B) {
  90 ; CHECK-LABEL: @slp_profitable_missing_fmf_on_fadd_fsub(
  91 ; CHECK-NEXT:    [[GEP_B_1:%.*]] = getelementptr inbounds float, ptr [[B:%.*]], i64 1
  92 ; CHECK-NEXT:    [[A_0:%.*]] = load float, ptr [[A:%.*]], align 4
  93 ; CHECK-NEXT:    [[B_0:%.*]] = load float, ptr [[B]], align 4
  94 ; CHECK-NEXT:    [[GEP_B_2:%.*]] = getelementptr inbounds float, ptr [[B]], i64 2
  95 ; CHECK-NEXT:    [[B_2:%.*]] = load float, ptr [[GEP_B_2]], align 4
  96 ; CHECK-NEXT:    [[TMP1:%.*]] = load <2 x float>, ptr [[GEP_B_1]], align 4
  97 ; CHECK-NEXT:    [[TMP2:%.*]] = insertelement <2 x float> poison, float [[B_0]], i32 0
  98 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <2 x float> [[TMP2]], <2 x float> poison, <2 x i32> zeroinitializer
  99 ; CHECK-NEXT:    [[TMP4:%.*]] = fmul fast <2 x float> [[TMP3]], [[TMP1]]
 100 ; CHECK-NEXT:    [[TMP5:%.*]] = shufflevector <2 x float> [[TMP4]], <2 x float> poison, <2 x i32> <i32 1, i32 0>
 101 ; CHECK-NEXT:    [[TMP6:%.*]] = insertelement <2 x float> poison, float [[A_0]], i32 0
 102 ; CHECK-NEXT:    [[TMP7:%.*]] = shufflevector <2 x float> [[TMP6]], <2 x float> poison, <2 x i32> zeroinitializer
 103 ; CHECK-NEXT:    [[TMP8:%.*]] = fmul fast <2 x float> [[TMP1]], [[TMP7]]
 104 ; CHECK-NEXT:    [[TMP9:%.*]] = fsub <2 x float> [[TMP8]], [[TMP5]]
 105 ; CHECK-NEXT:    [[TMP10:%.*]] = fadd <2 x float> [[TMP8]], [[TMP5]]
 106 ; CHECK-NEXT:    [[TMP11:%.*]] = shufflevector <2 x float> [[TMP9]], <2 x float> [[TMP10]], <2 x i32> <i32 0, i32 3>
 107 ; CHECK-NEXT:    store <2 x float> [[TMP11]], ptr [[A]], align 4
 108 ; CHECK-NEXT:    store float [[B_2]], ptr [[B]], align 4
 109 ; CHECK-NEXT:    ret void
 110 ;
 111   %gep.B.1 = getelementptr inbounds float, ptr %B, i64 1
 112   %A.0 = load float, ptr %A, align 4
 113   %B.1 = load float, ptr %gep.B.1, align 4
 114   %mul.0 = fmul fast float %B.1, %A.0
 115   %B.0 = load float, ptr %B, align 4
 116   %gep.B.2 = getelementptr inbounds float, ptr %B, i64 2
 117   %B.2 = load float, ptr %gep.B.2, align 4
 118   %mul.1 = fmul fast float %B.2, %B.0
 119   %sub = fsub float %mul.0, %mul.1
 120   %mul.2  = fmul fast float %B.0, %B.1
 121   %mul.3 = fmul fast float %B.2, %A.0
 122   %add = fadd float %mul.3, %mul.2
 123   store float %sub, ptr %A, align 4
 124   %gep.A.1 = getelementptr inbounds float, ptr %A, i64 1
 125   store float %add, ptr %gep.A.1, align 4
 126   store float %B.2, ptr %B, align 4
 127   ret void
 128 }
 129
 130 ; FMA cannot be used due to missing fast-math flags, so SLP should kick in.
 131 define void @slp_profitable_missing_fmf_on_fmul_fadd_fsub(ptr %A, ptr %B) {
 132 ; CHECK-LABEL: @slp_profitable_missing_fmf_on_fmul_fadd_fsub(
 133 ; CHECK-NEXT:    [[GEP_B_1:%.*]] = getelementptr inbounds float, ptr [[B:%.*]], i64 1
 134 ; CHECK-NEXT:    [[A_0:%.*]] = load float, ptr [[A:%.*]], align 4
 135 ; CHECK-NEXT:    [[B_0:%.*]] = load float, ptr [[B]], align 4
 136 ; CHECK-NEXT:    [[GEP_B_2:%.*]] = getelementptr inbounds float, ptr [[B]], i64 2
 137 ; CHECK-NEXT:    [[B_2:%.*]] = load float, ptr [[GEP_B_2]], align 4
 138 ; CHECK-NEXT:    [[TMP1:%.*]] = load <2 x float>, ptr [[GEP_B_1]], align 4
 139 ; CHECK-NEXT:    [[TMP2:%.*]] = insertelement <2 x float> poison, float [[B_0]], i32 0
 140 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <2 x float> [[TMP2]], <2 x float> poison, <2 x i32> zeroinitializer
 141 ; CHECK-NEXT:    [[TMP4:%.*]] = fmul <2 x float> [[TMP3]], [[TMP1]]
 142 ; CHECK-NEXT:    [[TMP5:%.*]] = shufflevector <2 x float> [[TMP4]], <2 x float> poison, <2 x i32> <i32 1, i32 0>
 143 ; CHECK-NEXT:    [[TMP6:%.*]] = insertelement <2 x float> poison, float [[A_0]], i32 0
 144 ; CHECK-NEXT:    [[TMP7:%.*]] = shufflevector <2 x float> [[TMP6]], <2 x float> poison, <2 x i32> zeroinitializer
 145 ; CHECK-NEXT:    [[TMP8:%.*]] = fmul <2 x float> [[TMP1]], [[TMP7]]
 146 ; CHECK-NEXT:    [[TMP9:%.*]] = fsub <2 x float> [[TMP8]], [[TMP5]]
 147 ; CHECK-NEXT:    [[TMP10:%.*]] = fadd <2 x float> [[TMP8]], [[TMP5]]
 148 ; CHECK-NEXT:    [[TMP11:%.*]] = shufflevector <2 x float> [[TMP9]], <2 x float> [[TMP10]], <2 x i32> <i32 0, i32 3>
 149 ; CHECK-NEXT:    store <2 x float> [[TMP11]], ptr [[A]], align 4
 150 ; CHECK-NEXT:    store float [[B_2]], ptr [[B]], align 4
 151 ; CHECK-NEXT:    ret void
 152 ;
 153   %gep.B.1 = getelementptr inbounds float, ptr %B, i64 1
 154   %A.0 = load float, ptr %A, align 4
 155   %B.1 = load float, ptr %gep.B.1, align 4
 156   %mul.0 = fmul float %B.1, %A.0
 157   %B.0 = load float, ptr %B, align 4
 158   %gep.B.2 = getelementptr inbounds float, ptr %B, i64 2
 159   %B.2 = load float, ptr %gep.B.2, align 4
 160   %mul.1 = fmul float %B.2, %B.0
 161   %sub = fsub float %mul.0, %mul.1
 162   %mul.2  = fmul float %B.0, %B.1
 163   %mul.3 = fmul float %B.2, %A.0
 164   %add = fadd float %mul.3, %mul.2
 165   store float %sub, ptr %A, align 4
 166   %gep.A.1 = getelementptr inbounds float, ptr %A, i64 1
 167   store float %add, ptr %gep.A.1, align 4
 168   store float %B.2, ptr %B, align 4
 169   ret void
 170 }
 171
 172 ; FMA cannot be used due to missing fast-math flags, so SLP should kick in.
 173 define void @slp_profitable_missing_fmf_nnans_only(ptr %A, ptr %B) {
 174 ; CHECK-LABEL: @slp_profitable_missing_fmf_nnans_only(
 175 ; CHECK-NEXT:    [[GEP_B_1:%.*]] = getelementptr inbounds float, ptr [[B:%.*]], i64 1
 176 ; CHECK-NEXT:    [[A_0:%.*]] = load float, ptr [[A:%.*]], align 4
 177 ; CHECK-NEXT:    [[B_0:%.*]] = load float, ptr [[B]], align 4
 178 ; CHECK-NEXT:    [[GEP_B_2:%.*]] = getelementptr inbounds float, ptr [[B]], i64 2
 179 ; CHECK-NEXT:    [[B_2:%.*]] = load float, ptr [[GEP_B_2]], align 4
 180 ; CHECK-NEXT:    [[TMP1:%.*]] = load <2 x float>, ptr [[GEP_B_1]], align 4
 181 ; CHECK-NEXT:    [[TMP2:%.*]] = insertelement <2 x float> poison, float [[B_0]], i32 0
 182 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <2 x float> [[TMP2]], <2 x float> poison, <2 x i32> zeroinitializer
 183 ; CHECK-NEXT:    [[TMP4:%.*]] = fmul nnan <2 x float> [[TMP3]], [[TMP1]]
 184 ; CHECK-NEXT:    [[TMP5:%.*]] = shufflevector <2 x float> [[TMP4]], <2 x float> poison, <2 x i32> <i32 1, i32 0>
 185 ; CHECK-NEXT:    [[TMP6:%.*]] = insertelement <2 x float> poison, float [[A_0]], i32 0
 186 ; CHECK-NEXT:    [[TMP7:%.*]] = shufflevector <2 x float> [[TMP6]], <2 x float> poison, <2 x i32> zeroinitializer
 187 ; CHECK-NEXT:    [[TMP8:%.*]] = fmul nnan <2 x float> [[TMP1]], [[TMP7]]
 188 ; CHECK-NEXT:    [[TMP9:%.*]] = fsub nnan <2 x float> [[TMP8]], [[TMP5]]
 189 ; CHECK-NEXT:    [[TMP10:%.*]] = fadd nnan <2 x float> [[TMP8]], [[TMP5]]
 190 ; CHECK-NEXT:    [[TMP11:%.*]] = shufflevector <2 x float> [[TMP9]], <2 x float> [[TMP10]], <2 x i32> <i32 0, i32 3>
 191 ; CHECK-NEXT:    store <2 x float> [[TMP11]], ptr [[A]], align 4
 192 ; CHECK-NEXT:    store float [[B_2]], ptr [[B]], align 4
 193 ; CHECK-NEXT:    ret void
 194 ;
 195   %gep.B.1 = getelementptr inbounds float, ptr %B, i64 1
 196   %A.0 = load float, ptr %A, align 4
 197   %B.1 = load float, ptr %gep.B.1, align 4
 198   %mul.0 = fmul nnan float %B.1, %A.0
 199   %B.0 = load float, ptr %B, align 4
 200   %gep.B.2 = getelementptr inbounds float, ptr %B, i64 2
 201   %B.2 = load float, ptr %gep.B.2, align 4
 202   %mul.1 = fmul nnan float %B.2, %B.0
 203   %sub = fsub nnan float %mul.0, %mul.1
 204   %mul.2  = fmul nnan float %B.0, %B.1
 205   %mul.3 = fmul nnan float %B.2, %A.0
 206   %add = fadd nnan float %mul.3, %mul.2
 207   store float %sub, ptr %A, align 4
 208   %gep.A.1 = getelementptr inbounds float, ptr %A, i64 1
 209   store float %add, ptr %gep.A.1, align 4
 210   store float %B.2, ptr %B, align 4
 211   ret void
 212 }
 213
 214 ; Test case where not vectorizing is more profitable because multiple
 215 ; fmul/{fadd,fsub} pairs can be lowered to fma instructions.
 216 define float @slp_not_profitable_in_loop(float %x, ptr %A) {
 217 ; CHECK-LABEL: @slp_not_profitable_in_loop(
 218 ; CHECK-NEXT:  entry:
 219 ; CHECK-NEXT:    [[GEP_A_2:%.*]] = getelementptr inbounds float, ptr [[A:%.*]], i64 2
 220 ; CHECK-NEXT:    [[L_1:%.*]] = load float, ptr [[GEP_A_2]], align 4
 221 ; CHECK-NEXT:    [[TMP0:%.*]] = load <2 x float>, ptr [[A]], align 4
 222 ; CHECK-NEXT:    [[L_3:%.*]] = load float, ptr [[A]], align 4
 223 ; CHECK-NEXT:    [[TMP1:%.*]] = insertelement <2 x float> <float poison, float 3.000000e+00>, float [[X:%.*]], i32 0
 224 ; CHECK-NEXT:    br label [[LOOP:%.*]]
 225 ; CHECK:       loop:
 226 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ 0, [[ENTRY:%.*]] ], [ [[IV_NEXT:%.*]], [[LOOP]] ]
 227 ; CHECK-NEXT:    [[RED:%.*]] = phi float [ 0.000000e+00, [[ENTRY]] ], [ [[RED_NEXT:%.*]], [[LOOP]] ]
 228 ; CHECK-NEXT:    [[TMP2:%.*]] = fmul fast <2 x float> [[TMP1]], [[TMP0]]
 229 ; CHECK-NEXT:    [[MUL12:%.*]] = fmul fast float 3.000000e+00, [[L_1]]
 230 ; CHECK-NEXT:    [[MUL16:%.*]] = fmul fast float 3.000000e+00, [[L_3]]
 231 ; CHECK-NEXT:    [[TMP3:%.*]] = extractelement <2 x float> [[TMP2]], i32 1
 232 ; CHECK-NEXT:    [[ADD:%.*]] = fadd fast float [[MUL12]], [[TMP3]]
 233 ; CHECK-NEXT:    [[TMP4:%.*]] = extractelement <2 x float> [[TMP2]], i32 0
 234 ; CHECK-NEXT:    [[ADD13:%.*]] = fadd fast float [[ADD]], [[TMP4]]
 235 ; CHECK-NEXT:    [[RED_NEXT]] = fadd fast float [[ADD13]], [[MUL16]]
 236 ; CHECK-NEXT:    [[IV_NEXT]] = add nuw nsw i64 [[IV]], 1
 237 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i64 [[IV]], 10
 238 ; CHECK-NEXT:    br i1 [[CMP]], label [[EXIT:%.*]], label [[LOOP]]
 239 ; CHECK:       exit:
 240 ; CHECK-NEXT:    ret float [[RED_NEXT]]
 241 ;
 242 entry:
 243   %gep.A.1 = getelementptr inbounds float, ptr %A, i64 1
 244   %l.0 = load float, ptr %gep.A.1, align 4
 245   %gep.A.2 = getelementptr inbounds float, ptr %A, i64 2
 246   %l.1 = load float, ptr %gep.A.2, align 4
 247   %l.2 = load float, ptr %A, align 4
 248   %l.3 = load float, ptr %A, align 4
 249   br label %loop
 250
 251 loop:
 252   %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]
 253   %red = phi float [ 0.000000e+00, %entry ], [ %red.next, %loop ]
 254   %mul11 = fmul fast float 3.000000e+00, %l.0
 255   %mul12 = fmul fast float 3.000000e+00, %l.1
 256   %mul14 = fmul fast float %x, %l.2
 257   %mul16 = fmul fast float 3.000000e+00, %l.3
 258   %add = fadd fast float %mul12, %mul11
 259   %add13 = fadd fast float %add, %mul14
 260   %red.next = fadd fast float %add13, %mul16
 261   %iv.next = add nuw nsw i64 %iv, 1
 262   %cmp = icmp eq i64 %iv, 10
 263   br i1 %cmp, label %exit, label %loop
 264
 265 exit:
 266   ret float %red.next
 267 }
 268
 269 define void @slp_profitable(ptr %A, ptr %B, float %0) {
 270 ; CHECK-LABEL: @slp_profitable(
 271 ; CHECK-NEXT:  entry:
 272 ; CHECK-NEXT:    [[SUB_I1096:%.*]] = fsub fast float 1.000000e+00, [[TMP0:%.*]]
 273 ; CHECK-NEXT:    [[TMP1:%.*]] = load <2 x float>, ptr [[A:%.*]], align 4
 274 ; CHECK-NEXT:    [[TMP2:%.*]] = insertelement <2 x float> poison, float [[TMP0]], i32 0
 275 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <2 x float> [[TMP2]], <2 x float> poison, <2 x i32> zeroinitializer
 276 ; CHECK-NEXT:    [[TMP4:%.*]] = fmul fast <2 x float> [[TMP1]], [[TMP3]]
 277 ; CHECK-NEXT:    [[TMP5:%.*]] = shufflevector <2 x float> [[TMP4]], <2 x float> poison, <2 x i32> <i32 1, i32 0>
 278 ; CHECK-NEXT:    [[TMP6:%.*]] = insertelement <2 x float> poison, float [[SUB_I1096]], i32 0
 279 ; CHECK-NEXT:    [[TMP7:%.*]] = shufflevector <2 x float> [[TMP6]], <2 x float> poison, <2 x i32> zeroinitializer
 280 ; CHECK-NEXT:    [[TMP8:%.*]] = fmul fast <2 x float> [[TMP1]], [[TMP7]]
 281 ; CHECK-NEXT:    [[TMP9:%.*]] = fadd fast <2 x float> [[TMP5]], [[TMP8]]
 282 ; CHECK-NEXT:    [[TMP10:%.*]] = fsub fast <2 x float> [[TMP5]], [[TMP8]]
 283 ; CHECK-NEXT:    [[TMP11:%.*]] = shufflevector <2 x float> [[TMP9]], <2 x float> [[TMP10]], <2 x i32> <i32 0, i32 3>
 284 ; CHECK-NEXT:    store <2 x float> [[TMP11]], ptr [[B:%.*]], align 4
 285 ; CHECK-NEXT:    ret void
 286 ;
 287 entry:
 288   %gep.A.1 = getelementptr inbounds float, ptr %A, i64 1
 289   %sub.i1096 = fsub fast float 1.000000e+00, %0
 290   %1 = load float, ptr %A, align 4
 291   %mul.i1100 = fmul fast float %1, %sub.i1096
 292   %2 = load float, ptr %gep.A.1, align 4
 293   %mul7.i1101 = fmul fast float %2, %0
 294   %add.i1102 = fadd fast float %mul7.i1101, %mul.i1100
 295   %mul14.i = fmul fast float %1, %0
 296   %3 = fmul fast float %2, %sub.i1096
 297   %add15.i = fsub fast float %mul14.i, %3
 298   store float %add.i1102, ptr %B, align 4
 299   %gep.B.1 = getelementptr inbounds float, ptr %B, i64 1
 300   store float %add15.i, ptr %gep.B.1, align 4
 301   ret void
 302 }