test/Transforms/LoopVectorize/X86/interleaved-accesses-waw-dependency.ll

   1 ; RUN: opt < %s -loop-vectorize -force-vector-width=4 -force-vector-interleave=2 -debug-only=vectorutils -disable-output -enable-interleaved-mem-accesses=true 2>&1 | FileCheck %s
   2 ; REQUIRES: asserts
   3 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   4 target triple = "x86_64-unknown-linux-gnu"
   5
   6 ; PR40291
   7 ; The loop does the following operation 3 times:
   8 ; 1. Load x from memory;
   9 ; 2. Store (x + 1) to this memory;
  10 ; 3. if (x < 1), store 0 to this memory.
  11
  12 ; When scalar version stores 0 in all locations, the vector version should do
  13 ; the same thing. However, with interleaving it does not honour the WAW dependency between
  14 ; store 0 and store (x + 1) to the same memory.
  15 ; For now, we identify such unsafe dependency and disable adding the
  16 ; store into the interleaved group.
  17 ; In this test case, because we disable adding store into i32* %storeaddr12 and
  18 ; storeaddr22, we create interleaved groups with gaps and
  19 ; disable that interleaved group. So, we are only left with valid interleaved
  20 ; groups.
  21
  22
  23
  24
  25 ; CHECK:      LV: Analyzing interleaved accesses...
  26 ; CHECK:      LV: Creating an interleave group with:  store i32 %tmp34, i32* %storeaddr32, align 4
  27 ; CHECK-NEXT: LV: Inserted:  store i32 %tmp24, i32* %storeaddr22, align 4
  28 ; CHECK-NEXT:     into the interleave group with  store i32 %tmp34, i32* %storeaddr32, align 4
  29 ; CHECK-NEXT: LV: Inserted:  store i32 %tmp14, i32* %storeaddr12, align 4
  30 ; CHECK-NEXT:     into the interleave group with  store i32 %tmp34, i32* %storeaddr32, align 4
  31 ; CHECK:      LV: Invalidated store group due to dependence between   store i32 %tmp24, i32* %storeaddr22, align 4 and   store i32 0, i32* %storeaddr22, align 4
  32 ; CHECK-NEXT: LV: Creating an interleave group with:  store i32 %tmp24, i32* %storeaddr22, align 4
  33 ; CHECK-NEXT: LV: Inserted:  store i32 %tmp14, i32* %storeaddr12, align 4
  34 ; CHECK-NEXT:     into the interleave group with  store i32 %tmp24, i32* %storeaddr22, align 4
  35 ; CHECK-NEXT: LV: Invalidated store group due to dependence between   store i32 %tmp14, i32* %storeaddr12, align 4 and   store i32 0, i32* %storeaddr12, align 4
  36
  37
  38 define void @test(i8* nonnull align 8 dereferenceable_or_null(24) %arg) {
  39 bb:
  40   %tmp = getelementptr inbounds i8, i8* %arg, i64 16
  41   %tmp1 = bitcast i8* %tmp to i8**
  42   %tmp2 = load i8*, i8** %tmp1, align 8
  43   %tmp3 = getelementptr inbounds i8, i8* %arg, i64 8
  44   %tmp4 = bitcast i8* %tmp3 to i8**
  45   %tmp5 = load i8*, i8** %tmp4, align 8
  46   %tmp6 = getelementptr inbounds i8, i8* %tmp5, i64 12
  47   %tmp7 = bitcast i8* %tmp6 to i32*
  48   %tmp8 = getelementptr inbounds i8, i8* %tmp2, i64 12
  49   br label %header
  50
  51 header:                                              ; preds = %latch, %bb
  52   %tmp10 = phi i64 [ %tmp41, %latch ], [ 3, %bb ]
  53   %tmp11 = add nsw i64 %tmp10, -1
  54   %storeaddr12 = getelementptr inbounds i32, i32* %tmp7, i64 %tmp11
  55   %tmp13 = load i32, i32* %storeaddr12, align 4
  56   %tmp14 = add i32 %tmp13, 1
  57   store i32 %tmp14, i32* %storeaddr12, align 4
  58   %tmp15 = icmp slt i32 %tmp13, 1
  59   %tmp16 = xor i1 %tmp15, true
  60   %tmp17 = zext i1 %tmp16 to i8
  61   %tmp18 = getelementptr inbounds i8, i8* %tmp8, i64 %tmp10
  62   store i8 %tmp17, i8* %tmp18, align 1
  63   br i1 %tmp15, label %bb19, label %bb20
  64
  65 bb19:                                             ; preds = %header
  66   store i32 0, i32* %storeaddr12, align 4
  67   br label %bb20
  68
  69 bb20:                                             ; preds = %bb19, %header
  70   %tmp21 = add nuw nsw i64 %tmp10, 1
  71   %storeaddr22 = getelementptr inbounds i32, i32* %tmp7, i64 %tmp10
  72   %tmp23 = load i32, i32* %storeaddr22, align 4
  73   %tmp24 = add i32 %tmp23, 1
  74   store i32 %tmp24, i32* %storeaddr22, align 4
  75   %tmp25 = icmp slt i32 %tmp23, 1
  76   %tmp26 = xor i1 %tmp25, true
  77   %tmp27 = zext i1 %tmp26 to i8
  78   %tmp28 = getelementptr inbounds i8, i8* %tmp8, i64 %tmp21
  79   store i8 %tmp27, i8* %tmp28, align 1
  80   br i1 %tmp25, label %bb29, label %bb30
  81
  82 bb29:                                             ; preds = %bb20
  83   store i32 0, i32* %storeaddr22, align 4
  84   br label %bb30
  85
  86 bb30:                                             ; preds = %bb29, %bb20
  87   %tmp31 = add nuw nsw i64 %tmp10, 2
  88   %storeaddr32 = getelementptr inbounds i32, i32* %tmp7, i64 %tmp21
  89   %tmp33 = load i32, i32* %storeaddr32, align 4
  90   %tmp34 = add i32 %tmp33, 1
  91   store i32 %tmp34, i32* %storeaddr32, align 4
  92   %tmp35 = icmp slt i32 %tmp33, 1
  93   %tmp36 = xor i1 %tmp35, true
  94   %tmp37 = zext i1 %tmp36 to i8
  95   %tmp38 = getelementptr inbounds i8, i8* %tmp8, i64 %tmp31
  96   store i8 %tmp37, i8* %tmp38, align 1
  97   br i1 %tmp35, label %bb39, label %latch
  98
  99 bb39:                                             ; preds = %bb30
 100   store i32 0, i32* %storeaddr32, align 4
 101   br label %latch
 102
 103 latch:                                             ; preds = %bb39, %bb30
 104   %tmp41 = add nuw nsw i64 %tmp10, 3
 105   %tmp42 = icmp ugt i64 %tmp31, 67
 106   br i1 %tmp42, label %exit, label %header
 107
 108 exit:                                             ; preds = %latch
 109   ret void
 110 }