llvm/test/Transforms/LoopVectorize/AArch64/store-costs-sve.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py UTC_ARGS: --version 4
   2 ; RUN: opt -p loop-vectorize -S %s | FileCheck --check-prefixes=DEFAULT %s
   3 ; RUN: opt -p loop-vectorize -prefer-predicate-over-epilogue=predicate-else-scalar-epilogue -S %s | FileCheck --check-prefixes=PRED %s
   4
   5 target datalayout = "e-m:o-i64:64-i128:128-n32:64-S128"
   6 target triple = "arm64-apple-macosx14.0.0"
   7
   8 define void @cost_store_i8(ptr %dst) #0 {
   9 ; DEFAULT-LABEL: define void @cost_store_i8(
  10 ; DEFAULT-SAME: ptr [[DST:%.*]]) #[[ATTR0:[0-9]+]] {
  11 ; DEFAULT-NEXT:  iter.check:
  12 ; DEFAULT-NEXT:    [[TMP0:%.*]] = call i64 @llvm.vscale.i64()
  13 ; DEFAULT-NEXT:    [[TMP1:%.*]] = mul i64 [[TMP0]], 8
  14 ; DEFAULT-NEXT:    [[MIN_ITERS_CHECK:%.*]] = icmp ult i64 101, [[TMP1]]
  15 ; DEFAULT-NEXT:    br i1 [[MIN_ITERS_CHECK]], label [[VEC_EPILOG_SCALAR_PH:%.*]], label [[VECTOR_MAIN_LOOP_ITER_CHECK:%.*]]
  16 ; DEFAULT:       vector.main.loop.iter.check:
  17 ; DEFAULT-NEXT:    [[TMP2:%.*]] = call i64 @llvm.vscale.i64()
  18 ; DEFAULT-NEXT:    [[TMP3:%.*]] = mul i64 [[TMP2]], 32
  19 ; DEFAULT-NEXT:    [[MIN_ITERS_CHECK1:%.*]] = icmp ult i64 101, [[TMP3]]
  20 ; DEFAULT-NEXT:    br i1 [[MIN_ITERS_CHECK1]], label [[VEC_EPILOG_PH:%.*]], label [[VECTOR_PH:%.*]]
  21 ; DEFAULT:       vector.ph:
  22 ; DEFAULT-NEXT:    [[TMP4:%.*]] = call i64 @llvm.vscale.i64()
  23 ; DEFAULT-NEXT:    [[TMP5:%.*]] = mul i64 [[TMP4]], 32
  24 ; DEFAULT-NEXT:    [[N_MOD_VF:%.*]] = urem i64 101, [[TMP5]]
  25 ; DEFAULT-NEXT:    [[N_VEC:%.*]] = sub i64 101, [[N_MOD_VF]]
  26 ; DEFAULT-NEXT:    [[TMP6:%.*]] = call i64 @llvm.vscale.i64()
  27 ; DEFAULT-NEXT:    [[TMP7:%.*]] = mul i64 [[TMP6]], 32
  28 ; DEFAULT-NEXT:    br label [[VECTOR_BODY:%.*]]
  29 ; DEFAULT:       vector.body:
  30 ; DEFAULT-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
  31 ; DEFAULT-NEXT:    [[TMP8:%.*]] = add i64 [[INDEX]], 0
  32 ; DEFAULT-NEXT:    [[TMP9:%.*]] = getelementptr i8, ptr [[DST]], i64 [[TMP8]]
  33 ; DEFAULT-NEXT:    [[TMP10:%.*]] = getelementptr i8, ptr [[TMP9]], i32 0
  34 ; DEFAULT-NEXT:    [[TMP22:%.*]] = call i64 @llvm.vscale.i64()
  35 ; DEFAULT-NEXT:    [[TMP23:%.*]] = mul i64 [[TMP22]], 16
  36 ; DEFAULT-NEXT:    [[TMP24:%.*]] = getelementptr i8, ptr [[TMP9]], i64 [[TMP23]]
  37 ; DEFAULT-NEXT:    store <vscale x 16 x i8> zeroinitializer, ptr [[TMP10]], align 1
  38 ; DEFAULT-NEXT:    store <vscale x 16 x i8> zeroinitializer, ptr [[TMP24]], align 1
  39 ; DEFAULT-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], [[TMP7]]
  40 ; DEFAULT-NEXT:    [[TMP11:%.*]] = icmp eq i64 [[INDEX_NEXT]], [[N_VEC]]
  41 ; DEFAULT-NEXT:    br i1 [[TMP11]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop [[LOOP0:![0-9]+]]
  42 ; DEFAULT:       middle.block:
  43 ; DEFAULT-NEXT:    [[CMP_N:%.*]] = icmp eq i64 101, [[N_VEC]]
  44 ; DEFAULT-NEXT:    br i1 [[CMP_N]], label [[EXIT:%.*]], label [[VEC_EPILOG_ITER_CHECK:%.*]]
  45 ; DEFAULT:       vec.epilog.iter.check:
  46 ; DEFAULT-NEXT:    [[N_VEC_REMAINING:%.*]] = sub i64 101, [[N_VEC]]
  47 ; DEFAULT-NEXT:    [[TMP12:%.*]] = call i64 @llvm.vscale.i64()
  48 ; DEFAULT-NEXT:    [[TMP13:%.*]] = mul i64 [[TMP12]], 8
  49 ; DEFAULT-NEXT:    [[MIN_EPILOG_ITERS_CHECK:%.*]] = icmp ult i64 [[N_VEC_REMAINING]], [[TMP13]]
  50 ; DEFAULT-NEXT:    br i1 [[MIN_EPILOG_ITERS_CHECK]], label [[VEC_EPILOG_SCALAR_PH]], label [[VEC_EPILOG_PH]]
  51 ; DEFAULT:       vec.epilog.ph:
  52 ; DEFAULT-NEXT:    [[VEC_EPILOG_RESUME_VAL:%.*]] = phi i64 [ [[N_VEC]], [[VEC_EPILOG_ITER_CHECK]] ], [ 0, [[VECTOR_MAIN_LOOP_ITER_CHECK]] ]
  53 ; DEFAULT-NEXT:    [[TMP14:%.*]] = call i64 @llvm.vscale.i64()
  54 ; DEFAULT-NEXT:    [[TMP15:%.*]] = mul i64 [[TMP14]], 8
  55 ; DEFAULT-NEXT:    [[N_MOD_VF2:%.*]] = urem i64 101, [[TMP15]]
  56 ; DEFAULT-NEXT:    [[N_VEC3:%.*]] = sub i64 101, [[N_MOD_VF2]]
  57 ; DEFAULT-NEXT:    [[TMP16:%.*]] = call i64 @llvm.vscale.i64()
  58 ; DEFAULT-NEXT:    [[TMP17:%.*]] = mul i64 [[TMP16]], 8
  59 ; DEFAULT-NEXT:    br label [[VEC_EPILOG_VECTOR_BODY:%.*]]
  60 ; DEFAULT:       vec.epilog.vector.body:
  61 ; DEFAULT-NEXT:    [[INDEX5:%.*]] = phi i64 [ [[VEC_EPILOG_RESUME_VAL]], [[VEC_EPILOG_PH]] ], [ [[INDEX_NEXT6:%.*]], [[VEC_EPILOG_VECTOR_BODY]] ]
  62 ; DEFAULT-NEXT:    [[TMP18:%.*]] = add i64 [[INDEX5]], 0
  63 ; DEFAULT-NEXT:    [[TMP19:%.*]] = getelementptr i8, ptr [[DST]], i64 [[TMP18]]
  64 ; DEFAULT-NEXT:    [[TMP20:%.*]] = getelementptr i8, ptr [[TMP19]], i32 0
  65 ; DEFAULT-NEXT:    store <vscale x 8 x i8> zeroinitializer, ptr [[TMP20]], align 1
  66 ; DEFAULT-NEXT:    [[INDEX_NEXT6]] = add nuw i64 [[INDEX5]], [[TMP17]]
  67 ; DEFAULT-NEXT:    [[TMP21:%.*]] = icmp eq i64 [[INDEX_NEXT6]], [[N_VEC3]]
  68 ; DEFAULT-NEXT:    br i1 [[TMP21]], label [[VEC_EPILOG_MIDDLE_BLOCK:%.*]], label [[VEC_EPILOG_VECTOR_BODY]], !llvm.loop [[LOOP3:![0-9]+]]
  69 ; DEFAULT:       vec.epilog.middle.block:
  70 ; DEFAULT-NEXT:    [[CMP_N4:%.*]] = icmp eq i64 101, [[N_VEC3]]
  71 ; DEFAULT-NEXT:    br i1 [[CMP_N4]], label [[EXIT]], label [[VEC_EPILOG_SCALAR_PH]]
  72 ; DEFAULT:       vec.epilog.scalar.ph:
  73 ; DEFAULT-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ [[N_VEC3]], [[VEC_EPILOG_MIDDLE_BLOCK]] ], [ [[N_VEC]], [[VEC_EPILOG_ITER_CHECK]] ], [ 0, [[ITER_CHECK:%.*]] ]
  74 ; DEFAULT-NEXT:    br label [[LOOP:%.*]]
  75 ; DEFAULT:       loop:
  76 ; DEFAULT-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[VEC_EPILOG_SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LOOP]] ]
  77 ; DEFAULT-NEXT:    [[GEP:%.*]] = getelementptr i8, ptr [[DST]], i64 [[IV]]
  78 ; DEFAULT-NEXT:    store i8 0, ptr [[GEP]], align 1
  79 ; DEFAULT-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
  80 ; DEFAULT-NEXT:    [[EC:%.*]] = icmp eq i64 [[IV]], 100
  81 ; DEFAULT-NEXT:    br i1 [[EC]], label [[EXIT]], label [[LOOP]], !llvm.loop [[LOOP4:![0-9]+]]
  82 ; DEFAULT:       exit:
  83 ; DEFAULT-NEXT:    ret void
  84 ;
  85 ; PRED-LABEL: define void @cost_store_i8(
  86 ; PRED-SAME: ptr [[DST:%.*]]) #[[ATTR0:[0-9]+]] {
  87 ; PRED-NEXT:  entry:
  88 ; PRED-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
  89 ; PRED:       vector.ph:
  90 ; PRED-NEXT:    [[TMP0:%.*]] = call i64 @llvm.vscale.i64()
  91 ; PRED-NEXT:    [[TMP1:%.*]] = mul i64 [[TMP0]], 16
  92 ; PRED-NEXT:    [[TMP4:%.*]] = sub i64 [[TMP1]], 1
  93 ; PRED-NEXT:    [[N_RND_UP:%.*]] = add i64 101, [[TMP4]]
  94 ; PRED-NEXT:    [[N_MOD_VF:%.*]] = urem i64 [[N_RND_UP]], [[TMP1]]
  95 ; PRED-NEXT:    [[N_VEC:%.*]] = sub i64 [[N_RND_UP]], [[N_MOD_VF]]
  96 ; PRED-NEXT:    [[TMP5:%.*]] = call i64 @llvm.vscale.i64()
  97 ; PRED-NEXT:    [[TMP6:%.*]] = mul i64 [[TMP5]], 16
  98 ; PRED-NEXT:    [[TMP7:%.*]] = call i64 @llvm.vscale.i64()
  99 ; PRED-NEXT:    [[TMP8:%.*]] = mul i64 [[TMP7]], 16
 100 ; PRED-NEXT:    [[TMP9:%.*]] = sub i64 101, [[TMP8]]
 101 ; PRED-NEXT:    [[TMP10:%.*]] = icmp ugt i64 101, [[TMP8]]
 102 ; PRED-NEXT:    [[TMP11:%.*]] = select i1 [[TMP10]], i64 [[TMP9]], i64 0
 103 ; PRED-NEXT:    [[ACTIVE_LANE_MASK_ENTRY:%.*]] = call <vscale x 16 x i1> @llvm.get.active.lane.mask.nxv16i1.i64(i64 0, i64 101)
 104 ; PRED-NEXT:    br label [[VECTOR_BODY:%.*]]
 105 ; PRED:       vector.body:
 106 ; PRED-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
 107 ; PRED-NEXT:    [[ACTIVE_LANE_MASK:%.*]] = phi <vscale x 16 x i1> [ [[ACTIVE_LANE_MASK_ENTRY]], [[VECTOR_PH]] ], [ [[ACTIVE_LANE_MASK_NEXT:%.*]], [[VECTOR_BODY]] ]
 108 ; PRED-NEXT:    [[TMP12:%.*]] = add i64 [[INDEX]], 0
 109 ; PRED-NEXT:    [[TMP13:%.*]] = getelementptr i8, ptr [[DST]], i64 [[TMP12]]
 110 ; PRED-NEXT:    [[TMP14:%.*]] = getelementptr i8, ptr [[TMP13]], i32 0
 111 ; PRED-NEXT:    call void @llvm.masked.store.nxv16i8.p0(<vscale x 16 x i8> zeroinitializer, ptr [[TMP14]], i32 1, <vscale x 16 x i1> [[ACTIVE_LANE_MASK]])
 112 ; PRED-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], [[TMP6]]
 113 ; PRED-NEXT:    [[ACTIVE_LANE_MASK_NEXT]] = call <vscale x 16 x i1> @llvm.get.active.lane.mask.nxv16i1.i64(i64 [[INDEX]], i64 [[TMP11]])
 114 ; PRED-NEXT:    [[TMP15:%.*]] = xor <vscale x 16 x i1> [[ACTIVE_LANE_MASK_NEXT]], splat (i1 true)
 115 ; PRED-NEXT:    [[TMP16:%.*]] = extractelement <vscale x 16 x i1> [[TMP15]], i32 0
 116 ; PRED-NEXT:    br i1 [[TMP16]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop [[LOOP0:![0-9]+]]
 117 ; PRED:       middle.block:
 118 ; PRED-NEXT:    br i1 true, label [[EXIT:%.*]], label [[SCALAR_PH]]
 119 ; PRED:       scalar.ph:
 120 ; PRED-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ [[N_VEC]], [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
 121 ; PRED-NEXT:    br label [[LOOP:%.*]]
 122 ; PRED:       loop:
 123 ; PRED-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LOOP]] ]
 124 ; PRED-NEXT:    [[GEP:%.*]] = getelementptr i8, ptr [[DST]], i64 [[IV]]
 125 ; PRED-NEXT:    store i8 0, ptr [[GEP]], align 1
 126 ; PRED-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 127 ; PRED-NEXT:    [[EC:%.*]] = icmp eq i64 [[IV]], 100
 128 ; PRED-NEXT:    br i1 [[EC]], label [[EXIT]], label [[LOOP]], !llvm.loop [[LOOP3:![0-9]+]]
 129 ; PRED:       exit:
 130 ; PRED-NEXT:    ret void
 131 ;
 132 entry:
 133   br label %loop
 134
 135 loop:
 136   %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]
 137   %gep = getelementptr i8, ptr %dst, i64 %iv
 138   store i8 0, ptr %gep, align 1
 139   %iv.next = add i64 %iv, 1
 140   %ec = icmp eq i64 %iv, 100
 141   br i1 %ec, label %exit, label %loop
 142
 143 exit:
 144   ret void
 145 }
 146
 147 define void @trunc_store(ptr %dst, ptr %src, i16 %x) #1 {
 148 ; DEFAULT-LABEL: define void @trunc_store(
 149 ; DEFAULT-SAME: ptr [[DST:%.*]], ptr [[SRC:%.*]], i16 [[X:%.*]]) #[[ATTR1:[0-9]+]] {
 150 ; DEFAULT-NEXT:  iter.check:
 151 ; DEFAULT-NEXT:    [[TMP0:%.*]] = call i64 @llvm.vscale.i64()
 152 ; DEFAULT-NEXT:    [[TMP1:%.*]] = mul i64 [[TMP0]], 2
 153 ; DEFAULT-NEXT:    [[MIN_ITERS_CHECK:%.*]] = icmp ult i64 0, [[TMP1]]
 154 ; DEFAULT-NEXT:    br i1 [[MIN_ITERS_CHECK]], label [[VEC_EPILOG_SCALAR_PH:%.*]], label [[VECTOR_MEMCHECK:%.*]]
 155 ; DEFAULT:       vector.memcheck:
 156 ; DEFAULT-NEXT:    [[SCEVGEP:%.*]] = getelementptr i8, ptr [[SRC]], i64 8
 157 ; DEFAULT-NEXT:    [[BOUND0:%.*]] = icmp ult ptr [[DST]], [[SCEVGEP]]
 158 ; DEFAULT-NEXT:    [[BOUND1:%.*]] = icmp ult ptr [[SRC]], [[DST]]
 159 ; DEFAULT-NEXT:    [[FOUND_CONFLICT:%.*]] = and i1 [[BOUND0]], [[BOUND1]]
 160 ; DEFAULT-NEXT:    br i1 [[FOUND_CONFLICT]], label [[VEC_EPILOG_SCALAR_PH]], label [[VECTOR_MAIN_LOOP_ITER_CHECK:%.*]]
 161 ; DEFAULT:       vector.main.loop.iter.check:
 162 ; DEFAULT-NEXT:    br i1 true, label [[VEC_EPILOG_PH:%.*]], label [[VECTOR_PH:%.*]]
 163 ; DEFAULT:       vector.ph:
 164 ; DEFAULT-NEXT:    [[BROADCAST_SPLATINSERT3:%.*]] = insertelement <16 x i16> poison, i16 [[X]], i64 0
 165 ; DEFAULT-NEXT:    [[BROADCAST_SPLAT4:%.*]] = shufflevector <16 x i16> [[BROADCAST_SPLATINSERT3]], <16 x i16> poison, <16 x i32> zeroinitializer
 166 ; DEFAULT-NEXT:    [[TMP7:%.*]] = trunc <16 x i16> [[BROADCAST_SPLAT4]] to <16 x i8>
 167 ; DEFAULT-NEXT:    br label [[VECTOR_BODY:%.*]]
 168 ; DEFAULT:       vector.body:
 169 ; DEFAULT-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
 170 ; DEFAULT-NEXT:    [[TMP2:%.*]] = add i64 [[INDEX]], 0
 171 ; DEFAULT-NEXT:    [[TMP4:%.*]] = load i64, ptr [[SRC]], align 8, !alias.scope [[META5:![0-9]+]]
 172 ; DEFAULT-NEXT:    [[BROADCAST_SPLATINSERT1:%.*]] = insertelement <16 x i64> poison, i64 [[TMP4]], i64 0
 173 ; DEFAULT-NEXT:    [[BROADCAST_SPLAT2:%.*]] = shufflevector <16 x i64> [[BROADCAST_SPLATINSERT1]], <16 x i64> poison, <16 x i32> zeroinitializer
 174 ; DEFAULT-NEXT:    [[TMP5:%.*]] = trunc <16 x i64> [[BROADCAST_SPLAT2]] to <16 x i8>
 175 ; DEFAULT-NEXT:    [[TMP8:%.*]] = and <16 x i8> [[TMP5]], [[TMP7]]
 176 ; DEFAULT-NEXT:    [[TMP9:%.*]] = and <16 x i8> [[TMP5]], [[TMP7]]
 177 ; DEFAULT-NEXT:    [[TMP10:%.*]] = getelementptr i8, ptr [[DST]], i64 [[TMP2]]
 178 ; DEFAULT-NEXT:    [[TMP12:%.*]] = getelementptr i8, ptr [[TMP10]], i32 0
 179 ; DEFAULT-NEXT:    [[TMP13:%.*]] = getelementptr i8, ptr [[TMP10]], i32 16
 180 ; DEFAULT-NEXT:    store <16 x i8> [[TMP8]], ptr [[TMP12]], align 1, !alias.scope [[META8:![0-9]+]], !noalias [[META5]]
 181 ; DEFAULT-NEXT:    store <16 x i8> [[TMP9]], ptr [[TMP13]], align 1, !alias.scope [[META8]], !noalias [[META5]]
 182 ; DEFAULT-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], 32
 183 ; DEFAULT-NEXT:    [[TMP14:%.*]] = icmp eq i64 [[INDEX_NEXT]], 0
 184 ; DEFAULT-NEXT:    br i1 [[TMP14]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop [[LOOP10:![0-9]+]]
 185 ; DEFAULT:       middle.block:
 186 ; DEFAULT-NEXT:    br i1 true, label [[EXIT:%.*]], label [[VEC_EPILOG_ITER_CHECK:%.*]]
 187 ; DEFAULT:       vec.epilog.iter.check:
 188 ; DEFAULT-NEXT:    [[TMP15:%.*]] = call i64 @llvm.vscale.i64()
 189 ; DEFAULT-NEXT:    [[TMP16:%.*]] = mul i64 [[TMP15]], 2
 190 ; DEFAULT-NEXT:    [[MIN_EPILOG_ITERS_CHECK:%.*]] = icmp ult i64 0, [[TMP16]]
 191 ; DEFAULT-NEXT:    br i1 [[MIN_EPILOG_ITERS_CHECK]], label [[VEC_EPILOG_SCALAR_PH]], label [[VEC_EPILOG_PH]]
 192 ; DEFAULT:       vec.epilog.ph:
 193 ; DEFAULT-NEXT:    [[VEC_EPILOG_RESUME_VAL:%.*]] = phi i64 [ 0, [[VEC_EPILOG_ITER_CHECK]] ], [ 0, [[VECTOR_MAIN_LOOP_ITER_CHECK]] ]
 194 ; DEFAULT-NEXT:    [[TMP17:%.*]] = call i64 @llvm.vscale.i64()
 195 ; DEFAULT-NEXT:    [[TMP18:%.*]] = mul i64 [[TMP17]], 2
 196 ; DEFAULT-NEXT:    [[N_MOD_VF:%.*]] = urem i64 0, [[TMP18]]
 197 ; DEFAULT-NEXT:    [[N_VEC:%.*]] = sub i64 0, [[N_MOD_VF]]
 198 ; DEFAULT-NEXT:    [[TMP19:%.*]] = call i64 @llvm.vscale.i64()
 199 ; DEFAULT-NEXT:    [[TMP20:%.*]] = mul i64 [[TMP19]], 2
 200 ; DEFAULT-NEXT:    [[BROADCAST_SPLATINSERT6:%.*]] = insertelement <vscale x 2 x i16> poison, i16 [[X]], i64 0
 201 ; DEFAULT-NEXT:    [[BROADCAST_SPLAT7:%.*]] = shufflevector <vscale x 2 x i16> [[BROADCAST_SPLATINSERT6]], <vscale x 2 x i16> poison, <vscale x 2 x i32> zeroinitializer
 202 ; DEFAULT-NEXT:    [[TMP24:%.*]] = trunc <vscale x 2 x i16> [[BROADCAST_SPLAT7]] to <vscale x 2 x i8>
 203 ; DEFAULT-NEXT:    br label [[VEC_EPILOG_VECTOR_BODY:%.*]]
 204 ; DEFAULT:       vec.epilog.vector.body:
 205 ; DEFAULT-NEXT:    [[INDEX5:%.*]] = phi i64 [ [[VEC_EPILOG_RESUME_VAL]], [[VEC_EPILOG_PH]] ], [ [[INDEX_NEXT8:%.*]], [[VEC_EPILOG_VECTOR_BODY]] ]
 206 ; DEFAULT-NEXT:    [[TMP21:%.*]] = add i64 [[INDEX5]], 0
 207 ; DEFAULT-NEXT:    [[TMP22:%.*]] = load i64, ptr [[SRC]], align 8, !alias.scope [[META11:![0-9]+]]
 208 ; DEFAULT-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <vscale x 2 x i64> poison, i64 [[TMP22]], i64 0
 209 ; DEFAULT-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <vscale x 2 x i64> [[BROADCAST_SPLATINSERT]], <vscale x 2 x i64> poison, <vscale x 2 x i32> zeroinitializer
 210 ; DEFAULT-NEXT:    [[TMP23:%.*]] = trunc <vscale x 2 x i64> [[BROADCAST_SPLAT]] to <vscale x 2 x i8>
 211 ; DEFAULT-NEXT:    [[TMP25:%.*]] = and <vscale x 2 x i8> [[TMP23]], [[TMP24]]
 212 ; DEFAULT-NEXT:    [[TMP26:%.*]] = getelementptr i8, ptr [[DST]], i64 [[TMP21]]
 213 ; DEFAULT-NEXT:    [[TMP27:%.*]] = getelementptr i8, ptr [[TMP26]], i32 0
 214 ; DEFAULT-NEXT:    store <vscale x 2 x i8> [[TMP25]], ptr [[TMP27]], align 1, !alias.scope [[META14:![0-9]+]], !noalias [[META11]]
 215 ; DEFAULT-NEXT:    [[INDEX_NEXT8]] = add nuw i64 [[INDEX5]], [[TMP20]]
 216 ; DEFAULT-NEXT:    [[TMP28:%.*]] = icmp eq i64 [[INDEX_NEXT8]], [[N_VEC]]
 217 ; DEFAULT-NEXT:    br i1 [[TMP28]], label [[VEC_EPILOG_MIDDLE_BLOCK:%.*]], label [[VEC_EPILOG_VECTOR_BODY]], !llvm.loop [[LOOP16:![0-9]+]]
 218 ; DEFAULT:       vec.epilog.middle.block:
 219 ; DEFAULT-NEXT:    [[CMP_N:%.*]] = icmp eq i64 0, [[N_VEC]]
 220 ; DEFAULT-NEXT:    br i1 [[CMP_N]], label [[EXIT]], label [[VEC_EPILOG_SCALAR_PH]]
 221 ; DEFAULT:       vec.epilog.scalar.ph:
 222 ; DEFAULT-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ [[N_VEC]], [[VEC_EPILOG_MIDDLE_BLOCK]] ], [ 0, [[VEC_EPILOG_ITER_CHECK]] ], [ 0, [[ITER_CHECK:%.*]] ], [ 0, [[VECTOR_MEMCHECK]] ]
 223 ; DEFAULT-NEXT:    br label [[LOOP:%.*]]
 224 ; DEFAULT:       loop:
 225 ; DEFAULT-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[VEC_EPILOG_SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LOOP]] ]
 226 ; DEFAULT-NEXT:    [[X_EXT:%.*]] = zext i16 [[X]] to i64
 227 ; DEFAULT-NEXT:    [[L:%.*]] = load i64, ptr [[SRC]], align 8
 228 ; DEFAULT-NEXT:    [[AND:%.*]] = and i64 [[L]], [[X_EXT]]
 229 ; DEFAULT-NEXT:    [[TRUNC:%.*]] = trunc i64 [[AND]] to i8
 230 ; DEFAULT-NEXT:    [[GEP:%.*]] = getelementptr i8, ptr [[DST]], i64 [[IV]]
 231 ; DEFAULT-NEXT:    store i8 [[TRUNC]], ptr [[GEP]], align 1
 232 ; DEFAULT-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 233 ; DEFAULT-NEXT:    [[EC:%.*]] = icmp eq i64 [[IV_NEXT]], 0
 234 ; DEFAULT-NEXT:    br i1 [[EC]], label [[EXIT]], label [[LOOP]], !llvm.loop [[LOOP17:![0-9]+]]
 235 ; DEFAULT:       exit:
 236 ; DEFAULT-NEXT:    ret void
 237 ;
 238 ; PRED-LABEL: define void @trunc_store(
 239 ; PRED-SAME: ptr [[DST:%.*]], ptr [[SRC:%.*]], i16 [[X:%.*]]) #[[ATTR1:[0-9]+]] {
 240 ; PRED-NEXT:  entry:
 241 ; PRED-NEXT:    br i1 true, label [[SCALAR_PH:%.*]], label [[VECTOR_MEMCHECK:%.*]]
 242 ; PRED:       vector.memcheck:
 243 ; PRED-NEXT:    [[SCEVGEP:%.*]] = getelementptr i8, ptr [[SRC]], i64 8
 244 ; PRED-NEXT:    [[BOUND0:%.*]] = icmp ult ptr [[DST]], [[SCEVGEP]]
 245 ; PRED-NEXT:    [[BOUND1:%.*]] = icmp ult ptr [[SRC]], [[DST]]
 246 ; PRED-NEXT:    [[FOUND_CONFLICT:%.*]] = and i1 [[BOUND0]], [[BOUND1]]
 247 ; PRED-NEXT:    br i1 [[FOUND_CONFLICT]], label [[SCALAR_PH]], label [[VECTOR_PH:%.*]]
 248 ; PRED:       vector.ph:
 249 ; PRED-NEXT:    [[BROADCAST_SPLATINSERT1:%.*]] = insertelement <16 x i16> poison, i16 [[X]], i64 0
 250 ; PRED-NEXT:    [[BROADCAST_SPLAT2:%.*]] = shufflevector <16 x i16> [[BROADCAST_SPLATINSERT1]], <16 x i16> poison, <16 x i32> zeroinitializer
 251 ; PRED-NEXT:    [[TMP3:%.*]] = trunc <16 x i16> [[BROADCAST_SPLAT2]] to <16 x i8>
 252 ; PRED-NEXT:    br label [[VECTOR_BODY:%.*]]
 253 ; PRED:       vector.body:
 254 ; PRED-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
 255 ; PRED-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
 256 ; PRED-NEXT:    [[TMP1:%.*]] = load i64, ptr [[SRC]], align 8, !alias.scope [[META4:![0-9]+]]
 257 ; PRED-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <16 x i64> poison, i64 [[TMP1]], i64 0
 258 ; PRED-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <16 x i64> [[BROADCAST_SPLATINSERT]], <16 x i64> poison, <16 x i32> zeroinitializer
 259 ; PRED-NEXT:    [[TMP2:%.*]] = trunc <16 x i64> [[BROADCAST_SPLAT]] to <16 x i8>
 260 ; PRED-NEXT:    [[TMP4:%.*]] = and <16 x i8> [[TMP2]], [[TMP3]]
 261 ; PRED-NEXT:    [[TMP5:%.*]] = getelementptr i8, ptr [[DST]], i64 [[TMP0]]
 262 ; PRED-NEXT:    [[TMP6:%.*]] = getelementptr i8, ptr [[TMP5]], i32 0
 263 ; PRED-NEXT:    store <16 x i8> [[TMP4]], ptr [[TMP6]], align 1, !alias.scope [[META7:![0-9]+]], !noalias [[META4]]
 264 ; PRED-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], 16
 265 ; PRED-NEXT:    [[TMP7:%.*]] = icmp eq i64 [[INDEX_NEXT]], 0
 266 ; PRED-NEXT:    br i1 [[TMP7]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop [[LOOP9:![0-9]+]]
 267 ; PRED:       middle.block:
 268 ; PRED-NEXT:    br i1 true, label [[EXIT:%.*]], label [[SCALAR_PH]]
 269 ; PRED:       scalar.ph:
 270 ; PRED-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 0, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ], [ 0, [[VECTOR_MEMCHECK]] ]
 271 ; PRED-NEXT:    br label [[LOOP:%.*]]
 272 ; PRED:       loop:
 273 ; PRED-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LOOP]] ]
 274 ; PRED-NEXT:    [[X_EXT:%.*]] = zext i16 [[X]] to i64
 275 ; PRED-NEXT:    [[L:%.*]] = load i64, ptr [[SRC]], align 8
 276 ; PRED-NEXT:    [[AND:%.*]] = and i64 [[L]], [[X_EXT]]
 277 ; PRED-NEXT:    [[TRUNC:%.*]] = trunc i64 [[AND]] to i8
 278 ; PRED-NEXT:    [[GEP:%.*]] = getelementptr i8, ptr [[DST]], i64 [[IV]]
 279 ; PRED-NEXT:    store i8 [[TRUNC]], ptr [[GEP]], align 1
 280 ; PRED-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 281 ; PRED-NEXT:    [[EC:%.*]] = icmp eq i64 [[IV_NEXT]], 0
 282 ; PRED-NEXT:    br i1 [[EC]], label [[EXIT]], label [[LOOP]], !llvm.loop [[LOOP10:![0-9]+]]
 283 ; PRED:       exit:
 284 ; PRED-NEXT:    ret void
 285 ;
 286 entry:
 287   br label %loop
 288
 289 loop:
 290   %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]
 291   %x.ext = zext i16 %x to i64
 292   %l = load i64, ptr %src, align 8
 293   %and = and i64 %l, %x.ext
 294   %trunc = trunc i64 %and to i8
 295   %gep = getelementptr i8, ptr %dst, i64 %iv
 296   store i8 %trunc, ptr %gep, align 1
 297   %iv.next = add i64 %iv, 1
 298   %ec = icmp eq i64 %iv.next, 0
 299   br i1 %ec, label %exit, label %loop
 300
 301 exit:
 302   ret void
 303 }
 304
 305 attributes #0 = { "target-features"="+sve" }
 306 attributes #1 = { vscale_range(1,16) "target-features"="+sve" }
 307
 308
 309 ;.
 310 ; DEFAULT: [[LOOP0]] = distinct !{[[LOOP0]], [[META1:![0-9]+]], [[META2:![0-9]+]]}
 311 ; DEFAULT: [[META1]] = !{!"llvm.loop.isvectorized", i32 1}
 312 ; DEFAULT: [[META2]] = !{!"llvm.loop.unroll.runtime.disable"}
 313 ; DEFAULT: [[LOOP3]] = distinct !{[[LOOP3]], [[META1]], [[META2]]}
 314 ; DEFAULT: [[LOOP4]] = distinct !{[[LOOP4]], [[META2]], [[META1]]}
 315 ; DEFAULT: [[META5]] = !{[[META6:![0-9]+]]}
 316 ; DEFAULT: [[META6]] = distinct !{[[META6]], [[META7:![0-9]+]]}
 317 ; DEFAULT: [[META7]] = distinct !{[[META7]], !"LVerDomain"}
 318 ; DEFAULT: [[META8]] = !{[[META9:![0-9]+]]}
 319 ; DEFAULT: [[META9]] = distinct !{[[META9]], [[META7]]}
 320 ; DEFAULT: [[LOOP10]] = distinct !{[[LOOP10]], [[META1]], [[META2]]}
 321 ; DEFAULT: [[META11]] = !{[[META12:![0-9]+]]}
 322 ; DEFAULT: [[META12]] = distinct !{[[META12]], [[META13:![0-9]+]]}
 323 ; DEFAULT: [[META13]] = distinct !{[[META13]], !"LVerDomain"}
 324 ; DEFAULT: [[META14]] = !{[[META15:![0-9]+]]}
 325 ; DEFAULT: [[META15]] = distinct !{[[META15]], [[META13]]}
 326 ; DEFAULT: [[LOOP16]] = distinct !{[[LOOP16]], [[META1]], [[META2]]}
 327 ; DEFAULT: [[LOOP17]] = distinct !{[[LOOP17]], [[META1]]}
 328 ;.
 329 ; PRED: [[LOOP0]] = distinct !{[[LOOP0]], [[META1:![0-9]+]], [[META2:![0-9]+]]}
 330 ; PRED: [[META1]] = !{!"llvm.loop.isvectorized", i32 1}
 331 ; PRED: [[META2]] = !{!"llvm.loop.unroll.runtime.disable"}
 332 ; PRED: [[LOOP3]] = distinct !{[[LOOP3]], [[META2]], [[META1]]}
 333 ; PRED: [[META4]] = !{[[META5:![0-9]+]]}
 334 ; PRED: [[META5]] = distinct !{[[META5]], [[META6:![0-9]+]]}
 335 ; PRED: [[META6]] = distinct !{[[META6]], !"LVerDomain"}
 336 ; PRED: [[META7]] = !{[[META8:![0-9]+]]}
 337 ; PRED: [[META8]] = distinct !{[[META8]], [[META6]]}
 338 ; PRED: [[LOOP9]] = distinct !{[[LOOP9]], [[META1]], [[META2]]}
 339 ; PRED: [[LOOP10]] = distinct !{[[LOOP10]], [[META1]]}
 340 ;.