llvm/test/CodeGen/AArch64/wide-scalar-shift-legalization.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=aarch64-- | FileCheck %s --check-prefixes=ALL
   3 define void @lshr_4bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
   4 ; ALL-LABEL: lshr_4bytes:
   5 ; ALL:       // %bb.0:
   6 ; ALL-NEXT:    ldr w8, [x0]
   7 ; ALL-NEXT:    ldr w9, [x1]
   8 ; ALL-NEXT:    lsr w8, w8, w9
   9 ; ALL-NEXT:    str w8, [x2]
  10 ; ALL-NEXT:    ret
  11   %src = load i32, ptr %src.ptr, align 1
  12   %bitOff = load i32, ptr %bitOff.ptr, align 1
  13   %res = lshr i32 %src, %bitOff
  14   store i32 %res, ptr %dst, align 1
  15   ret void
  16 }
  17 define void @shl_4bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
  18 ; ALL-LABEL: shl_4bytes:
  19 ; ALL:       // %bb.0:
  20 ; ALL-NEXT:    ldr w8, [x0]
  21 ; ALL-NEXT:    ldr w9, [x1]
  22 ; ALL-NEXT:    lsl w8, w8, w9
  23 ; ALL-NEXT:    str w8, [x2]
  24 ; ALL-NEXT:    ret
  25   %src = load i32, ptr %src.ptr, align 1
  26   %bitOff = load i32, ptr %bitOff.ptr, align 1
  27   %res = shl i32 %src, %bitOff
  28   store i32 %res, ptr %dst, align 1
  29   ret void
  30 }
  31 define void @ashr_4bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
  32 ; ALL-LABEL: ashr_4bytes:
  33 ; ALL:       // %bb.0:
  34 ; ALL-NEXT:    ldr w8, [x0]
  35 ; ALL-NEXT:    ldr w9, [x1]
  36 ; ALL-NEXT:    asr w8, w8, w9
  37 ; ALL-NEXT:    str w8, [x2]
  38 ; ALL-NEXT:    ret
  39   %src = load i32, ptr %src.ptr, align 1
  40   %bitOff = load i32, ptr %bitOff.ptr, align 1
  41   %res = ashr i32 %src, %bitOff
  42   store i32 %res, ptr %dst, align 1
  43   ret void
  44 }
  45 define void @lshr_8bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
  46 ; ALL-LABEL: lshr_8bytes:
  47 ; ALL:       // %bb.0:
  48 ; ALL-NEXT:    ldr x8, [x0]
  49 ; ALL-NEXT:    ldr x9, [x1]
  50 ; ALL-NEXT:    lsr x8, x8, x9
  51 ; ALL-NEXT:    str x8, [x2]
  52 ; ALL-NEXT:    ret
  53   %src = load i64, ptr %src.ptr, align 1
  54   %bitOff = load i64, ptr %bitOff.ptr, align 1
  55   %res = lshr i64 %src, %bitOff
  56   store i64 %res, ptr %dst, align 1
  57   ret void
  58 }
  59 define void @shl_8bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
  60 ; ALL-LABEL: shl_8bytes:
  61 ; ALL:       // %bb.0:
  62 ; ALL-NEXT:    ldr x8, [x0]
  63 ; ALL-NEXT:    ldr x9, [x1]
  64 ; ALL-NEXT:    lsl x8, x8, x9
  65 ; ALL-NEXT:    str x8, [x2]
  66 ; ALL-NEXT:    ret
  67   %src = load i64, ptr %src.ptr, align 1
  68   %bitOff = load i64, ptr %bitOff.ptr, align 1
  69   %res = shl i64 %src, %bitOff
  70   store i64 %res, ptr %dst, align 1
  71   ret void
  72 }
  73 define void @ashr_8bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
  74 ; ALL-LABEL: ashr_8bytes:
  75 ; ALL:       // %bb.0:
  76 ; ALL-NEXT:    ldr x8, [x0]
  77 ; ALL-NEXT:    ldr x9, [x1]
  78 ; ALL-NEXT:    asr x8, x8, x9
  79 ; ALL-NEXT:    str x8, [x2]
  80 ; ALL-NEXT:    ret
  81   %src = load i64, ptr %src.ptr, align 1
  82   %bitOff = load i64, ptr %bitOff.ptr, align 1
  83   %res = ashr i64 %src, %bitOff
  84   store i64 %res, ptr %dst, align 1
  85   ret void
  86 }
  87 define void @lshr_16bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
  88 ; ALL-LABEL: lshr_16bytes:
  89 ; ALL:       // %bb.0:
  90 ; ALL-NEXT:    ldp x10, x8, [x0]
  91 ; ALL-NEXT:    ldr x9, [x1]
  92 ; ALL-NEXT:    mvn w12, w9
  93 ; ALL-NEXT:    tst x9, #0x40
  94 ; ALL-NEXT:    lsl x11, x8, #1
  95 ; ALL-NEXT:    lsr x10, x10, x9
  96 ; ALL-NEXT:    lsr x8, x8, x9
  97 ; ALL-NEXT:    lsl x11, x11, x12
  98 ; ALL-NEXT:    orr x9, x11, x10
  99 ; ALL-NEXT:    csel x10, xzr, x8, ne
 100 ; ALL-NEXT:    csel x8, x8, x9, ne
 101 ; ALL-NEXT:    stp x8, x10, [x2]
 102 ; ALL-NEXT:    ret
 103   %src = load i128, ptr %src.ptr, align 1
 104   %bitOff = load i128, ptr %bitOff.ptr, align 1
 105   %res = lshr i128 %src, %bitOff
 106   store i128 %res, ptr %dst, align 1
 107   ret void
 108 }
 109 define void @shl_16bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
 110 ; ALL-LABEL: shl_16bytes:
 111 ; ALL:       // %bb.0:
 112 ; ALL-NEXT:    ldp x8, x10, [x0]
 113 ; ALL-NEXT:    ldr x9, [x1]
 114 ; ALL-NEXT:    mvn w12, w9
 115 ; ALL-NEXT:    tst x9, #0x40
 116 ; ALL-NEXT:    lsr x11, x8, #1
 117 ; ALL-NEXT:    lsl x10, x10, x9
 118 ; ALL-NEXT:    lsl x8, x8, x9
 119 ; ALL-NEXT:    lsr x11, x11, x12
 120 ; ALL-NEXT:    orr x9, x10, x11
 121 ; ALL-NEXT:    csel x10, xzr, x8, ne
 122 ; ALL-NEXT:    csel x8, x8, x9, ne
 123 ; ALL-NEXT:    stp x10, x8, [x2]
 124 ; ALL-NEXT:    ret
 125   %src = load i128, ptr %src.ptr, align 1
 126   %bitOff = load i128, ptr %bitOff.ptr, align 1
 127   %res = shl i128 %src, %bitOff
 128   store i128 %res, ptr %dst, align 1
 129   ret void
 130 }
 131 define void @ashr_16bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
 132 ; ALL-LABEL: ashr_16bytes:
 133 ; ALL:       // %bb.0:
 134 ; ALL-NEXT:    ldp x9, x8, [x0]
 135 ; ALL-NEXT:    ldr x10, [x1]
 136 ; ALL-NEXT:    mvn w12, w10
 137 ; ALL-NEXT:    tst x10, #0x40
 138 ; ALL-NEXT:    lsl x11, x8, #1
 139 ; ALL-NEXT:    lsr x9, x9, x10
 140 ; ALL-NEXT:    lsl x11, x11, x12
 141 ; ALL-NEXT:    asr x12, x8, x10
 142 ; ALL-NEXT:    asr x8, x8, #63
 143 ; ALL-NEXT:    orr x9, x11, x9
 144 ; ALL-NEXT:    csel x8, x8, x12, ne
 145 ; ALL-NEXT:    csel x9, x12, x9, ne
 146 ; ALL-NEXT:    stp x9, x8, [x2]
 147 ; ALL-NEXT:    ret
 148   %src = load i128, ptr %src.ptr, align 1
 149   %bitOff = load i128, ptr %bitOff.ptr, align 1
 150   %res = ashr i128 %src, %bitOff
 151   store i128 %res, ptr %dst, align 1
 152   ret void
 153 }
 154 define void @lshr_32bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
 155 ; ALL-LABEL: lshr_32bytes:
 156 ; ALL:       // %bb.0:
 157 ; ALL-NEXT:    sub sp, sp, #64
 158 ; ALL-NEXT:    ldp x9, x8, [x0, #16]
 159 ; ALL-NEXT:    movi v0.2d, #0000000000000000
 160 ; ALL-NEXT:    ldr x10, [x1]
 161 ; ALL-NEXT:    ldr q1, [x0]
 162 ; ALL-NEXT:    stp x9, x8, [sp, #16]
 163 ; ALL-NEXT:    lsr x8, x10, #3
 164 ; ALL-NEXT:    mov x9, sp
 165 ; ALL-NEXT:    str q1, [sp]
 166 ; ALL-NEXT:    and x12, x10, #0x3f
 167 ; ALL-NEXT:    and x8, x8, #0x18
 168 ; ALL-NEXT:    stp q0, q0, [sp, #32]
 169 ; ALL-NEXT:    eor x12, x12, #0x3f
 170 ; ALL-NEXT:    add x8, x9, x8
 171 ; ALL-NEXT:    ldp x13, x11, [x8]
 172 ; ALL-NEXT:    ldr x9, [x8, #24]
 173 ; ALL-NEXT:    ldr x8, [x8, #16]
 174 ; ALL-NEXT:    lsl x14, x9, #1
 175 ; ALL-NEXT:    lsr x9, x9, x10
 176 ; ALL-NEXT:    lsl x15, x11, #1
 177 ; ALL-NEXT:    lsr x11, x11, x10
 178 ; ALL-NEXT:    lsr x13, x13, x10
 179 ; ALL-NEXT:    lsl x14, x14, x12
 180 ; ALL-NEXT:    lsl x12, x15, x12
 181 ; ALL-NEXT:    lsl x15, x8, #1
 182 ; ALL-NEXT:    lsr x8, x8, x10
 183 ; ALL-NEXT:    mvn w10, w10
 184 ; ALL-NEXT:    lsl x10, x15, x10
 185 ; ALL-NEXT:    orr x8, x14, x8
 186 ; ALL-NEXT:    stp x8, x9, [x2, #16]
 187 ; ALL-NEXT:    orr x9, x12, x13
 188 ; ALL-NEXT:    orr x8, x11, x10
 189 ; ALL-NEXT:    stp x9, x8, [x2]
 190 ; ALL-NEXT:    add sp, sp, #64
 191 ; ALL-NEXT:    ret
 192   %src = load i256, ptr %src.ptr, align 1
 193   %bitOff = load i256, ptr %bitOff.ptr, align 1
 194   %res = lshr i256 %src, %bitOff
 195   store i256 %res, ptr %dst, align 1
 196   ret void
 197 }
 198 define void @shl_32bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
 199 ; ALL-LABEL: shl_32bytes:
 200 ; ALL:       // %bb.0:
 201 ; ALL-NEXT:    sub sp, sp, #64
 202 ; ALL-NEXT:    ldp x9, x8, [x0, #16]
 203 ; ALL-NEXT:    movi v0.2d, #0000000000000000
 204 ; ALL-NEXT:    ldr x10, [x1]
 205 ; ALL-NEXT:    ldr q1, [x0]
 206 ; ALL-NEXT:    stp x9, x8, [sp, #48]
 207 ; ALL-NEXT:    lsr x8, x10, #3
 208 ; ALL-NEXT:    mov x9, sp
 209 ; ALL-NEXT:    add x9, x9, #32
 210 ; ALL-NEXT:    stp q0, q1, [sp, #16]
 211 ; ALL-NEXT:    and x12, x10, #0x3f
 212 ; ALL-NEXT:    and x8, x8, #0x18
 213 ; ALL-NEXT:    str q0, [sp]
 214 ; ALL-NEXT:    eor x12, x12, #0x3f
 215 ; ALL-NEXT:    sub x8, x9, x8
 216 ; ALL-NEXT:    ldp x11, x13, [x8, #16]
 217 ; ALL-NEXT:    ldr x9, [x8]
 218 ; ALL-NEXT:    ldr x8, [x8, #8]
 219 ; ALL-NEXT:    lsr x15, x9, #1
 220 ; ALL-NEXT:    lsl x9, x9, x10
 221 ; ALL-NEXT:    lsr x14, x11, #1
 222 ; ALL-NEXT:    lsl x11, x11, x10
 223 ; ALL-NEXT:    lsl x13, x13, x10
 224 ; ALL-NEXT:    lsr x14, x14, x12
 225 ; ALL-NEXT:    lsr x12, x15, x12
 226 ; ALL-NEXT:    lsr x15, x8, #1
 227 ; ALL-NEXT:    lsl x8, x8, x10
 228 ; ALL-NEXT:    mvn w10, w10
 229 ; ALL-NEXT:    lsr x10, x15, x10
 230 ; ALL-NEXT:    orr x8, x8, x12
 231 ; ALL-NEXT:    stp x9, x8, [x2]
 232 ; ALL-NEXT:    orr x9, x13, x14
 233 ; ALL-NEXT:    orr x8, x11, x10
 234 ; ALL-NEXT:    stp x8, x9, [x2, #16]
 235 ; ALL-NEXT:    add sp, sp, #64
 236 ; ALL-NEXT:    ret
 237   %src = load i256, ptr %src.ptr, align 1
 238   %bitOff = load i256, ptr %bitOff.ptr, align 1
 239   %res = shl i256 %src, %bitOff
 240   store i256 %res, ptr %dst, align 1
 241   ret void
 242 }
 243 define void @ashr_32bytes(ptr %src.ptr, ptr %bitOff.ptr, ptr %dst) nounwind {
 244 ; ALL-LABEL: ashr_32bytes:
 245 ; ALL:       // %bb.0:
 246 ; ALL-NEXT:    sub sp, sp, #64
 247 ; ALL-NEXT:    ldp x9, x8, [x0, #16]
 248 ; ALL-NEXT:    mov x11, sp
 249 ; ALL-NEXT:    ldr x10, [x1]
 250 ; ALL-NEXT:    ldr q0, [x0]
 251 ; ALL-NEXT:    stp x9, x8, [sp, #16]
 252 ; ALL-NEXT:    lsr x9, x10, #3
 253 ; ALL-NEXT:    asr x8, x8, #63
 254 ; ALL-NEXT:    str q0, [sp]
 255 ; ALL-NEXT:    and x12, x10, #0x3f
 256 ; ALL-NEXT:    and x9, x9, #0x18
 257 ; ALL-NEXT:    stp x8, x8, [sp, #48]
 258 ; ALL-NEXT:    eor x12, x12, #0x3f
 259 ; ALL-NEXT:    stp x8, x8, [sp, #32]
 260 ; ALL-NEXT:    add x8, x11, x9
 261 ; ALL-NEXT:    ldp x13, x11, [x8]
 262 ; ALL-NEXT:    ldr x9, [x8, #24]
 263 ; ALL-NEXT:    ldr x8, [x8, #16]
 264 ; ALL-NEXT:    lsl x14, x9, #1
 265 ; ALL-NEXT:    asr x9, x9, x10
 266 ; ALL-NEXT:    lsl x15, x11, #1
 267 ; ALL-NEXT:    lsr x11, x11, x10
 268 ; ALL-NEXT:    lsr x13, x13, x10
 269 ; ALL-NEXT:    lsl x14, x14, x12
 270 ; ALL-NEXT:    lsl x12, x15, x12
 271 ; ALL-NEXT:    lsl x15, x8, #1
 272 ; ALL-NEXT:    lsr x8, x8, x10
 273 ; ALL-NEXT:    mvn w10, w10
 274 ; ALL-NEXT:    lsl x10, x15, x10
 275 ; ALL-NEXT:    orr x8, x14, x8
 276 ; ALL-NEXT:    stp x8, x9, [x2, #16]
 277 ; ALL-NEXT:    orr x9, x12, x13
 278 ; ALL-NEXT:    orr x8, x11, x10
 279 ; ALL-NEXT:    stp x9, x8, [x2]
 280 ; ALL-NEXT:    add sp, sp, #64
 281 ; ALL-NEXT:    ret
 282   %src = load i256, ptr %src.ptr, align 1
 283   %bitOff = load i256, ptr %bitOff.ptr, align 1
 284   %res = ashr i256 %src, %bitOff
 285   store i256 %res, ptr %dst, align 1
 286   ret void
 287 }