test/CodeGen/AArch64/arm64-vabs.ll

   1 ; RUN: llc < %s -mtriple=arm64-eabi -aarch64-neon-syntax=apple | FileCheck %s
   2
   3
   4 define <8 x i16> @sabdl8h(<8 x i8>* %A, <8 x i8>* %B) nounwind {
   5 ;CHECK-LABEL: sabdl8h:
   6 ;CHECK: sabdl.8h
   7         %tmp1 = load <8 x i8>, <8 x i8>* %A
   8         %tmp2 = load <8 x i8>, <8 x i8>* %B
   9         %tmp3 = call <8 x i8> @llvm.aarch64.neon.sabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
  10         %tmp4 = zext <8 x i8> %tmp3 to <8 x i16>
  11         ret <8 x i16> %tmp4
  12 }
  13
  14 define <4 x i32> @sabdl4s(<4 x i16>* %A, <4 x i16>* %B) nounwind {
  15 ;CHECK-LABEL: sabdl4s:
  16 ;CHECK: sabdl.4s
  17         %tmp1 = load <4 x i16>, <4 x i16>* %A
  18         %tmp2 = load <4 x i16>, <4 x i16>* %B
  19         %tmp3 = call <4 x i16> @llvm.aarch64.neon.sabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
  20         %tmp4 = zext <4 x i16> %tmp3 to <4 x i32>
  21         ret <4 x i32> %tmp4
  22 }
  23
  24 define <2 x i64> @sabdl2d(<2 x i32>* %A, <2 x i32>* %B) nounwind {
  25 ;CHECK-LABEL: sabdl2d:
  26 ;CHECK: sabdl.2d
  27         %tmp1 = load <2 x i32>, <2 x i32>* %A
  28         %tmp2 = load <2 x i32>, <2 x i32>* %B
  29         %tmp3 = call <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
  30         %tmp4 = zext <2 x i32> %tmp3 to <2 x i64>
  31         ret <2 x i64> %tmp4
  32 }
  33
  34 define <8 x i16> @sabdl2_8h(<16 x i8>* %A, <16 x i8>* %B) nounwind {
  35 ;CHECK-LABEL: sabdl2_8h:
  36 ;CHECK: sabdl.8h
  37         %load1 = load <16 x i8>, <16 x i8>* %A
  38         %load2 = load <16 x i8>, <16 x i8>* %B
  39         %tmp1 = shufflevector <16 x i8> %load1, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
  40         %tmp2 = shufflevector <16 x i8> %load2, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
  41         %tmp3 = call <8 x i8> @llvm.aarch64.neon.sabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
  42         %tmp4 = zext <8 x i8> %tmp3 to <8 x i16>
  43         ret <8 x i16> %tmp4
  44 }
  45
  46 define <4 x i32> @sabdl2_4s(<8 x i16>* %A, <8 x i16>* %B) nounwind {
  47 ;CHECK-LABEL: sabdl2_4s:
  48 ;CHECK: sabdl.4s
  49         %load1 = load <8 x i16>, <8 x i16>* %A
  50         %load2 = load <8 x i16>, <8 x i16>* %B
  51         %tmp1 = shufflevector <8 x i16> %load1, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
  52         %tmp2 = shufflevector <8 x i16> %load2, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
  53         %tmp3 = call <4 x i16> @llvm.aarch64.neon.sabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
  54         %tmp4 = zext <4 x i16> %tmp3 to <4 x i32>
  55         ret <4 x i32> %tmp4
  56 }
  57
  58 define <2 x i64> @sabdl2_2d(<4 x i32>* %A, <4 x i32>* %B) nounwind {
  59 ;CHECK-LABEL: sabdl2_2d:
  60 ;CHECK: sabdl.2d
  61         %load1 = load <4 x i32>, <4 x i32>* %A
  62         %load2 = load <4 x i32>, <4 x i32>* %B
  63         %tmp1 = shufflevector <4 x i32> %load1, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
  64         %tmp2 = shufflevector <4 x i32> %load2, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
  65         %tmp3 = call <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
  66         %tmp4 = zext <2 x i32> %tmp3 to <2 x i64>
  67         ret <2 x i64> %tmp4
  68 }
  69
  70 define <8 x i16> @uabdl8h(<8 x i8>* %A, <8 x i8>* %B) nounwind {
  71 ;CHECK-LABEL: uabdl8h:
  72 ;CHECK: uabdl.8h
  73   %tmp1 = load <8 x i8>, <8 x i8>* %A
  74   %tmp2 = load <8 x i8>, <8 x i8>* %B
  75   %tmp3 = call <8 x i8> @llvm.aarch64.neon.uabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
  76   %tmp4 = zext <8 x i8> %tmp3 to <8 x i16>
  77   ret <8 x i16> %tmp4
  78 }
  79
  80 define <4 x i32> @uabdl4s(<4 x i16>* %A, <4 x i16>* %B) nounwind {
  81 ;CHECK-LABEL: uabdl4s:
  82 ;CHECK: uabdl.4s
  83   %tmp1 = load <4 x i16>, <4 x i16>* %A
  84   %tmp2 = load <4 x i16>, <4 x i16>* %B
  85   %tmp3 = call <4 x i16> @llvm.aarch64.neon.uabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
  86   %tmp4 = zext <4 x i16> %tmp3 to <4 x i32>
  87   ret <4 x i32> %tmp4
  88 }
  89
  90 define <2 x i64> @uabdl2d(<2 x i32>* %A, <2 x i32>* %B) nounwind {
  91 ;CHECK-LABEL: uabdl2d:
  92 ;CHECK: uabdl.2d
  93   %tmp1 = load <2 x i32>, <2 x i32>* %A
  94   %tmp2 = load <2 x i32>, <2 x i32>* %B
  95   %tmp3 = call <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
  96   %tmp4 = zext <2 x i32> %tmp3 to <2 x i64>
  97   ret <2 x i64> %tmp4
  98 }
  99
 100 define <8 x i16> @uabdl2_8h(<16 x i8>* %A, <16 x i8>* %B) nounwind {
 101 ;CHECK-LABEL: uabdl2_8h:
 102 ;CHECK: uabdl.8h
 103   %load1 = load <16 x i8>, <16 x i8>* %A
 104   %load2 = load <16 x i8>, <16 x i8>* %B
 105   %tmp1 = shufflevector <16 x i8> %load1, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 106   %tmp2 = shufflevector <16 x i8> %load2, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 107
 108   %tmp3 = call <8 x i8> @llvm.aarch64.neon.uabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 109   %tmp4 = zext <8 x i8> %tmp3 to <8 x i16>
 110   ret <8 x i16> %tmp4
 111 }
 112
 113 define <4 x i32> @uabdl2_4s(<8 x i16>* %A, <8 x i16>* %B) nounwind {
 114 ;CHECK-LABEL: uabdl2_4s:
 115 ;CHECK: uabdl.4s
 116   %load1 = load <8 x i16>, <8 x i16>* %A
 117   %load2 = load <8 x i16>, <8 x i16>* %B
 118   %tmp1 = shufflevector <8 x i16> %load1, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 119   %tmp2 = shufflevector <8 x i16> %load2, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 120   %tmp3 = call <4 x i16> @llvm.aarch64.neon.uabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 121   %tmp4 = zext <4 x i16> %tmp3 to <4 x i32>
 122   ret <4 x i32> %tmp4
 123 }
 124
 125 define <2 x i64> @uabdl2_2d(<4 x i32>* %A, <4 x i32>* %B) nounwind {
 126 ;CHECK-LABEL: uabdl2_2d:
 127 ;CHECK: uabdl.2d
 128   %load1 = load <4 x i32>, <4 x i32>* %A
 129   %load2 = load <4 x i32>, <4 x i32>* %B
 130   %tmp1 = shufflevector <4 x i32> %load1, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 131   %tmp2 = shufflevector <4 x i32> %load2, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 132   %tmp3 = call <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 133   %tmp4 = zext <2 x i32> %tmp3 to <2 x i64>
 134   ret <2 x i64> %tmp4
 135 }
 136
 137 declare i16 @llvm.experimental.vector.reduce.add.i16.v16i16(<16 x i16>)
 138
 139 define i16 @uabdl8h_rdx(<16 x i8>* %a, <16 x i8>* %b) {
 140 ; CHECK-LABEL: uabdl8h_rdx
 141 ; CHECK: uabdl2.8h
 142 ; CHECK: uabdl.8h
 143   %aload = load <16 x i8>, <16 x i8>* %a, align 1
 144   %bload = load <16 x i8>, <16 x i8>* %b, align 1
 145   %aext = zext <16 x i8> %aload to <16 x i16>
 146   %bext = zext <16 x i8> %bload to <16 x i16>
 147   %abdiff = sub nsw <16 x i16> %aext, %bext
 148   %abcmp = icmp slt <16 x i16> %abdiff, zeroinitializer
 149   %ababs = sub nsw <16 x i16> zeroinitializer, %abdiff
 150   %absel = select <16 x i1> %abcmp, <16 x i16> %ababs, <16 x i16> %abdiff
 151   %reduced_v = call i16 @llvm.experimental.vector.reduce.add.i16.v16i16(<16 x i16> %absel)
 152   ret i16 %reduced_v
 153 }
 154
 155 declare i32 @llvm.experimental.vector.reduce.add.i32.v8i32(<8 x i32>)
 156
 157 define i32 @uabdl4s_rdx(<8 x i16>* %a, <8 x i16>* %b) {
 158 ; CHECK-LABEL: uabdl4s_rdx
 159 ; CHECK: uabdl2.4s
 160 ; CHECK: uabdl.4s
 161   %aload = load <8 x i16>, <8 x i16>* %a, align 1
 162   %bload = load <8 x i16>, <8 x i16>* %b, align 1
 163   %aext = zext <8 x i16> %aload to <8 x i32>
 164   %bext = zext <8 x i16> %bload to <8 x i32>
 165   %abdiff = sub nsw <8 x i32> %aext, %bext
 166   %abcmp = icmp slt <8 x i32> %abdiff, zeroinitializer
 167   %ababs = sub nsw <8 x i32> zeroinitializer, %abdiff
 168   %absel = select <8 x i1> %abcmp, <8 x i32> %ababs, <8 x i32> %abdiff
 169   %reduced_v = call i32 @llvm.experimental.vector.reduce.add.i32.v8i32(<8 x i32> %absel)
 170   ret i32 %reduced_v
 171 }
 172
 173 declare i64 @llvm.experimental.vector.reduce.add.i64.v4i64(<4 x i64>)
 174
 175 define i64 @uabdl2d_rdx(<4 x i32>* %a, <4 x i32>* %b, i32 %h) {
 176 ; CHECK: uabdl2d_rdx
 177 ; CHECK: uabdl2.2d
 178 ; CHECK: uabdl.2d
 179   %aload = load <4 x i32>, <4 x i32>* %a, align 1
 180   %bload = load <4 x i32>, <4 x i32>* %b, align 1
 181   %aext = zext <4 x i32> %aload to <4 x i64>
 182   %bext = zext <4 x i32> %bload to <4 x i64>
 183   %abdiff = sub nsw <4 x i64> %aext, %bext
 184   %abcmp = icmp slt <4 x i64> %abdiff, zeroinitializer
 185   %ababs = sub nsw <4 x i64> zeroinitializer, %abdiff
 186   %absel = select <4 x i1> %abcmp, <4 x i64> %ababs, <4 x i64> %abdiff
 187   %reduced_v = call i64 @llvm.experimental.vector.reduce.add.i64.v4i64(<4 x i64> %absel)
 188   ret i64 %reduced_v
 189 }
 190
 191 define <2 x float> @fabd_2s(<2 x float>* %A, <2 x float>* %B) nounwind {
 192 ;CHECK-LABEL: fabd_2s:
 193 ;CHECK: fabd.2s
 194         %tmp1 = load <2 x float>, <2 x float>* %A
 195         %tmp2 = load <2 x float>, <2 x float>* %B
 196         %tmp3 = call <2 x float> @llvm.aarch64.neon.fabd.v2f32(<2 x float> %tmp1, <2 x float> %tmp2)
 197         ret <2 x float> %tmp3
 198 }
 199
 200 define <4 x float> @fabd_4s(<4 x float>* %A, <4 x float>* %B) nounwind {
 201 ;CHECK-LABEL: fabd_4s:
 202 ;CHECK: fabd.4s
 203         %tmp1 = load <4 x float>, <4 x float>* %A
 204         %tmp2 = load <4 x float>, <4 x float>* %B
 205         %tmp3 = call <4 x float> @llvm.aarch64.neon.fabd.v4f32(<4 x float> %tmp1, <4 x float> %tmp2)
 206         ret <4 x float> %tmp3
 207 }
 208
 209 define <2 x double> @fabd_2d(<2 x double>* %A, <2 x double>* %B) nounwind {
 210 ;CHECK-LABEL: fabd_2d:
 211 ;CHECK: fabd.2d
 212         %tmp1 = load <2 x double>, <2 x double>* %A
 213         %tmp2 = load <2 x double>, <2 x double>* %B
 214         %tmp3 = call <2 x double> @llvm.aarch64.neon.fabd.v2f64(<2 x double> %tmp1, <2 x double> %tmp2)
 215         ret <2 x double> %tmp3
 216 }
 217
 218 declare <2 x float> @llvm.aarch64.neon.fabd.v2f32(<2 x float>, <2 x float>) nounwind readnone
 219 declare <4 x float> @llvm.aarch64.neon.fabd.v4f32(<4 x float>, <4 x float>) nounwind readnone
 220 declare <2 x double> @llvm.aarch64.neon.fabd.v2f64(<2 x double>, <2 x double>) nounwind readnone
 221
 222 define <8 x i8> @sabd_8b(<8 x i8>* %A, <8 x i8>* %B) nounwind {
 223 ;CHECK-LABEL: sabd_8b:
 224 ;CHECK: sabd.8b
 225         %tmp1 = load <8 x i8>, <8 x i8>* %A
 226         %tmp2 = load <8 x i8>, <8 x i8>* %B
 227         %tmp3 = call <8 x i8> @llvm.aarch64.neon.sabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 228         ret <8 x i8> %tmp3
 229 }
 230
 231 define <16 x i8> @sabd_16b(<16 x i8>* %A, <16 x i8>* %B) nounwind {
 232 ;CHECK-LABEL: sabd_16b:
 233 ;CHECK: sabd.16b
 234         %tmp1 = load <16 x i8>, <16 x i8>* %A
 235         %tmp2 = load <16 x i8>, <16 x i8>* %B
 236         %tmp3 = call <16 x i8> @llvm.aarch64.neon.sabd.v16i8(<16 x i8> %tmp1, <16 x i8> %tmp2)
 237         ret <16 x i8> %tmp3
 238 }
 239
 240 define <4 x i16> @sabd_4h(<4 x i16>* %A, <4 x i16>* %B) nounwind {
 241 ;CHECK-LABEL: sabd_4h:
 242 ;CHECK: sabd.4h
 243         %tmp1 = load <4 x i16>, <4 x i16>* %A
 244         %tmp2 = load <4 x i16>, <4 x i16>* %B
 245         %tmp3 = call <4 x i16> @llvm.aarch64.neon.sabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 246         ret <4 x i16> %tmp3
 247 }
 248
 249 define <8 x i16> @sabd_8h(<8 x i16>* %A, <8 x i16>* %B) nounwind {
 250 ;CHECK-LABEL: sabd_8h:
 251 ;CHECK: sabd.8h
 252         %tmp1 = load <8 x i16>, <8 x i16>* %A
 253         %tmp2 = load <8 x i16>, <8 x i16>* %B
 254         %tmp3 = call <8 x i16> @llvm.aarch64.neon.sabd.v8i16(<8 x i16> %tmp1, <8 x i16> %tmp2)
 255         ret <8 x i16> %tmp3
 256 }
 257
 258 define <2 x i32> @sabd_2s(<2 x i32>* %A, <2 x i32>* %B) nounwind {
 259 ;CHECK-LABEL: sabd_2s:
 260 ;CHECK: sabd.2s
 261         %tmp1 = load <2 x i32>, <2 x i32>* %A
 262         %tmp2 = load <2 x i32>, <2 x i32>* %B
 263         %tmp3 = call <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 264         ret <2 x i32> %tmp3
 265 }
 266
 267 define <4 x i32> @sabd_4s(<4 x i32>* %A, <4 x i32>* %B) nounwind {
 268 ;CHECK-LABEL: sabd_4s:
 269 ;CHECK: sabd.4s
 270         %tmp1 = load <4 x i32>, <4 x i32>* %A
 271         %tmp2 = load <4 x i32>, <4 x i32>* %B
 272         %tmp3 = call <4 x i32> @llvm.aarch64.neon.sabd.v4i32(<4 x i32> %tmp1, <4 x i32> %tmp2)
 273         ret <4 x i32> %tmp3
 274 }
 275
 276 declare <8 x i8> @llvm.aarch64.neon.sabd.v8i8(<8 x i8>, <8 x i8>) nounwind readnone
 277 declare <16 x i8> @llvm.aarch64.neon.sabd.v16i8(<16 x i8>, <16 x i8>) nounwind readnone
 278 declare <4 x i16> @llvm.aarch64.neon.sabd.v4i16(<4 x i16>, <4 x i16>) nounwind readnone
 279 declare <8 x i16> @llvm.aarch64.neon.sabd.v8i16(<8 x i16>, <8 x i16>) nounwind readnone
 280 declare <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32>, <2 x i32>) nounwind readnone
 281 declare <4 x i32> @llvm.aarch64.neon.sabd.v4i32(<4 x i32>, <4 x i32>) nounwind readnone
 282
 283 define <8 x i8> @uabd_8b(<8 x i8>* %A, <8 x i8>* %B) nounwind {
 284 ;CHECK-LABEL: uabd_8b:
 285 ;CHECK: uabd.8b
 286         %tmp1 = load <8 x i8>, <8 x i8>* %A
 287         %tmp2 = load <8 x i8>, <8 x i8>* %B
 288         %tmp3 = call <8 x i8> @llvm.aarch64.neon.uabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 289         ret <8 x i8> %tmp3
 290 }
 291
 292 define <16 x i8> @uabd_16b(<16 x i8>* %A, <16 x i8>* %B) nounwind {
 293 ;CHECK-LABEL: uabd_16b:
 294 ;CHECK: uabd.16b
 295         %tmp1 = load <16 x i8>, <16 x i8>* %A
 296         %tmp2 = load <16 x i8>, <16 x i8>* %B
 297         %tmp3 = call <16 x i8> @llvm.aarch64.neon.uabd.v16i8(<16 x i8> %tmp1, <16 x i8> %tmp2)
 298         ret <16 x i8> %tmp3
 299 }
 300
 301 define <4 x i16> @uabd_4h(<4 x i16>* %A, <4 x i16>* %B) nounwind {
 302 ;CHECK-LABEL: uabd_4h:
 303 ;CHECK: uabd.4h
 304         %tmp1 = load <4 x i16>, <4 x i16>* %A
 305         %tmp2 = load <4 x i16>, <4 x i16>* %B
 306         %tmp3 = call <4 x i16> @llvm.aarch64.neon.uabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 307         ret <4 x i16> %tmp3
 308 }
 309
 310 define <8 x i16> @uabd_8h(<8 x i16>* %A, <8 x i16>* %B) nounwind {
 311 ;CHECK-LABEL: uabd_8h:
 312 ;CHECK: uabd.8h
 313         %tmp1 = load <8 x i16>, <8 x i16>* %A
 314         %tmp2 = load <8 x i16>, <8 x i16>* %B
 315         %tmp3 = call <8 x i16> @llvm.aarch64.neon.uabd.v8i16(<8 x i16> %tmp1, <8 x i16> %tmp2)
 316         ret <8 x i16> %tmp3
 317 }
 318
 319 define <2 x i32> @uabd_2s(<2 x i32>* %A, <2 x i32>* %B) nounwind {
 320 ;CHECK-LABEL: uabd_2s:
 321 ;CHECK: uabd.2s
 322         %tmp1 = load <2 x i32>, <2 x i32>* %A
 323         %tmp2 = load <2 x i32>, <2 x i32>* %B
 324         %tmp3 = call <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 325         ret <2 x i32> %tmp3
 326 }
 327
 328 define <4 x i32> @uabd_4s(<4 x i32>* %A, <4 x i32>* %B) nounwind {
 329 ;CHECK-LABEL: uabd_4s:
 330 ;CHECK: uabd.4s
 331         %tmp1 = load <4 x i32>, <4 x i32>* %A
 332         %tmp2 = load <4 x i32>, <4 x i32>* %B
 333         %tmp3 = call <4 x i32> @llvm.aarch64.neon.uabd.v4i32(<4 x i32> %tmp1, <4 x i32> %tmp2)
 334         ret <4 x i32> %tmp3
 335 }
 336
 337 declare <8 x i8> @llvm.aarch64.neon.uabd.v8i8(<8 x i8>, <8 x i8>) nounwind readnone
 338 declare <16 x i8> @llvm.aarch64.neon.uabd.v16i8(<16 x i8>, <16 x i8>) nounwind readnone
 339 declare <4 x i16> @llvm.aarch64.neon.uabd.v4i16(<4 x i16>, <4 x i16>) nounwind readnone
 340 declare <8 x i16> @llvm.aarch64.neon.uabd.v8i16(<8 x i16>, <8 x i16>) nounwind readnone
 341 declare <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32>, <2 x i32>) nounwind readnone
 342 declare <4 x i32> @llvm.aarch64.neon.uabd.v4i32(<4 x i32>, <4 x i32>) nounwind readnone
 343
 344 define <8 x i8> @sqabs_8b(<8 x i8>* %A) nounwind {
 345 ;CHECK-LABEL: sqabs_8b:
 346 ;CHECK: sqabs.8b
 347         %tmp1 = load <8 x i8>, <8 x i8>* %A
 348         %tmp3 = call <8 x i8> @llvm.aarch64.neon.sqabs.v8i8(<8 x i8> %tmp1)
 349         ret <8 x i8> %tmp3
 350 }
 351
 352 define <16 x i8> @sqabs_16b(<16 x i8>* %A) nounwind {
 353 ;CHECK-LABEL: sqabs_16b:
 354 ;CHECK: sqabs.16b
 355         %tmp1 = load <16 x i8>, <16 x i8>* %A
 356         %tmp3 = call <16 x i8> @llvm.aarch64.neon.sqabs.v16i8(<16 x i8> %tmp1)
 357         ret <16 x i8> %tmp3
 358 }
 359
 360 define <4 x i16> @sqabs_4h(<4 x i16>* %A) nounwind {
 361 ;CHECK-LABEL: sqabs_4h:
 362 ;CHECK: sqabs.4h
 363         %tmp1 = load <4 x i16>, <4 x i16>* %A
 364         %tmp3 = call <4 x i16> @llvm.aarch64.neon.sqabs.v4i16(<4 x i16> %tmp1)
 365         ret <4 x i16> %tmp3
 366 }
 367
 368 define <8 x i16> @sqabs_8h(<8 x i16>* %A) nounwind {
 369 ;CHECK-LABEL: sqabs_8h:
 370 ;CHECK: sqabs.8h
 371         %tmp1 = load <8 x i16>, <8 x i16>* %A
 372         %tmp3 = call <8 x i16> @llvm.aarch64.neon.sqabs.v8i16(<8 x i16> %tmp1)
 373         ret <8 x i16> %tmp3
 374 }
 375
 376 define <2 x i32> @sqabs_2s(<2 x i32>* %A) nounwind {
 377 ;CHECK-LABEL: sqabs_2s:
 378 ;CHECK: sqabs.2s
 379         %tmp1 = load <2 x i32>, <2 x i32>* %A
 380         %tmp3 = call <2 x i32> @llvm.aarch64.neon.sqabs.v2i32(<2 x i32> %tmp1)
 381         ret <2 x i32> %tmp3
 382 }
 383
 384 define <4 x i32> @sqabs_4s(<4 x i32>* %A) nounwind {
 385 ;CHECK-LABEL: sqabs_4s:
 386 ;CHECK: sqabs.4s
 387         %tmp1 = load <4 x i32>, <4 x i32>* %A
 388         %tmp3 = call <4 x i32> @llvm.aarch64.neon.sqabs.v4i32(<4 x i32> %tmp1)
 389         ret <4 x i32> %tmp3
 390 }
 391
 392 declare <8 x i8> @llvm.aarch64.neon.sqabs.v8i8(<8 x i8>) nounwind readnone
 393 declare <16 x i8> @llvm.aarch64.neon.sqabs.v16i8(<16 x i8>) nounwind readnone
 394 declare <4 x i16> @llvm.aarch64.neon.sqabs.v4i16(<4 x i16>) nounwind readnone
 395 declare <8 x i16> @llvm.aarch64.neon.sqabs.v8i16(<8 x i16>) nounwind readnone
 396 declare <2 x i32> @llvm.aarch64.neon.sqabs.v2i32(<2 x i32>) nounwind readnone
 397 declare <4 x i32> @llvm.aarch64.neon.sqabs.v4i32(<4 x i32>) nounwind readnone
 398
 399 define <8 x i8> @sqneg_8b(<8 x i8>* %A) nounwind {
 400 ;CHECK-LABEL: sqneg_8b:
 401 ;CHECK: sqneg.8b
 402         %tmp1 = load <8 x i8>, <8 x i8>* %A
 403         %tmp3 = call <8 x i8> @llvm.aarch64.neon.sqneg.v8i8(<8 x i8> %tmp1)
 404         ret <8 x i8> %tmp3
 405 }
 406
 407 define <16 x i8> @sqneg_16b(<16 x i8>* %A) nounwind {
 408 ;CHECK-LABEL: sqneg_16b:
 409 ;CHECK: sqneg.16b
 410         %tmp1 = load <16 x i8>, <16 x i8>* %A
 411         %tmp3 = call <16 x i8> @llvm.aarch64.neon.sqneg.v16i8(<16 x i8> %tmp1)
 412         ret <16 x i8> %tmp3
 413 }
 414
 415 define <4 x i16> @sqneg_4h(<4 x i16>* %A) nounwind {
 416 ;CHECK-LABEL: sqneg_4h:
 417 ;CHECK: sqneg.4h
 418         %tmp1 = load <4 x i16>, <4 x i16>* %A
 419         %tmp3 = call <4 x i16> @llvm.aarch64.neon.sqneg.v4i16(<4 x i16> %tmp1)
 420         ret <4 x i16> %tmp3
 421 }
 422
 423 define <8 x i16> @sqneg_8h(<8 x i16>* %A) nounwind {
 424 ;CHECK-LABEL: sqneg_8h:
 425 ;CHECK: sqneg.8h
 426         %tmp1 = load <8 x i16>, <8 x i16>* %A
 427         %tmp3 = call <8 x i16> @llvm.aarch64.neon.sqneg.v8i16(<8 x i16> %tmp1)
 428         ret <8 x i16> %tmp3
 429 }
 430
 431 define <2 x i32> @sqneg_2s(<2 x i32>* %A) nounwind {
 432 ;CHECK-LABEL: sqneg_2s:
 433 ;CHECK: sqneg.2s
 434         %tmp1 = load <2 x i32>, <2 x i32>* %A
 435         %tmp3 = call <2 x i32> @llvm.aarch64.neon.sqneg.v2i32(<2 x i32> %tmp1)
 436         ret <2 x i32> %tmp3
 437 }
 438
 439 define <4 x i32> @sqneg_4s(<4 x i32>* %A) nounwind {
 440 ;CHECK-LABEL: sqneg_4s:
 441 ;CHECK: sqneg.4s
 442         %tmp1 = load <4 x i32>, <4 x i32>* %A
 443         %tmp3 = call <4 x i32> @llvm.aarch64.neon.sqneg.v4i32(<4 x i32> %tmp1)
 444         ret <4 x i32> %tmp3
 445 }
 446
 447 declare <8 x i8> @llvm.aarch64.neon.sqneg.v8i8(<8 x i8>) nounwind readnone
 448 declare <16 x i8> @llvm.aarch64.neon.sqneg.v16i8(<16 x i8>) nounwind readnone
 449 declare <4 x i16> @llvm.aarch64.neon.sqneg.v4i16(<4 x i16>) nounwind readnone
 450 declare <8 x i16> @llvm.aarch64.neon.sqneg.v8i16(<8 x i16>) nounwind readnone
 451 declare <2 x i32> @llvm.aarch64.neon.sqneg.v2i32(<2 x i32>) nounwind readnone
 452 declare <4 x i32> @llvm.aarch64.neon.sqneg.v4i32(<4 x i32>) nounwind readnone
 453
 454 define <8 x i8> @abs_8b(<8 x i8>* %A) nounwind {
 455 ;CHECK-LABEL: abs_8b:
 456 ;CHECK: abs.8b
 457         %tmp1 = load <8 x i8>, <8 x i8>* %A
 458         %tmp3 = call <8 x i8> @llvm.aarch64.neon.abs.v8i8(<8 x i8> %tmp1)
 459         ret <8 x i8> %tmp3
 460 }
 461
 462 define <16 x i8> @abs_16b(<16 x i8>* %A) nounwind {
 463 ;CHECK-LABEL: abs_16b:
 464 ;CHECK: abs.16b
 465         %tmp1 = load <16 x i8>, <16 x i8>* %A
 466         %tmp3 = call <16 x i8> @llvm.aarch64.neon.abs.v16i8(<16 x i8> %tmp1)
 467         ret <16 x i8> %tmp3
 468 }
 469
 470 define <4 x i16> @abs_4h(<4 x i16>* %A) nounwind {
 471 ;CHECK-LABEL: abs_4h:
 472 ;CHECK: abs.4h
 473         %tmp1 = load <4 x i16>, <4 x i16>* %A
 474         %tmp3 = call <4 x i16> @llvm.aarch64.neon.abs.v4i16(<4 x i16> %tmp1)
 475         ret <4 x i16> %tmp3
 476 }
 477
 478 define <8 x i16> @abs_8h(<8 x i16>* %A) nounwind {
 479 ;CHECK-LABEL: abs_8h:
 480 ;CHECK: abs.8h
 481         %tmp1 = load <8 x i16>, <8 x i16>* %A
 482         %tmp3 = call <8 x i16> @llvm.aarch64.neon.abs.v8i16(<8 x i16> %tmp1)
 483         ret <8 x i16> %tmp3
 484 }
 485
 486 define <2 x i32> @abs_2s(<2 x i32>* %A) nounwind {
 487 ;CHECK-LABEL: abs_2s:
 488 ;CHECK: abs.2s
 489         %tmp1 = load <2 x i32>, <2 x i32>* %A
 490         %tmp3 = call <2 x i32> @llvm.aarch64.neon.abs.v2i32(<2 x i32> %tmp1)
 491         ret <2 x i32> %tmp3
 492 }
 493
 494 define <4 x i32> @abs_4s(<4 x i32>* %A) nounwind {
 495 ;CHECK-LABEL: abs_4s:
 496 ;CHECK: abs.4s
 497         %tmp1 = load <4 x i32>, <4 x i32>* %A
 498         %tmp3 = call <4 x i32> @llvm.aarch64.neon.abs.v4i32(<4 x i32> %tmp1)
 499         ret <4 x i32> %tmp3
 500 }
 501
 502 define <1 x i64> @abs_1d(<1 x i64> %A) nounwind {
 503 ; CHECK-LABEL: abs_1d:
 504 ; CHECK: abs d0, d0
 505   %abs = call <1 x i64> @llvm.aarch64.neon.abs.v1i64(<1 x i64> %A)
 506   ret <1 x i64> %abs
 507 }
 508
 509 define i64 @abs_1d_honestly(i64 %A) nounwind {
 510 ; CHECK-LABEL: abs_1d_honestly:
 511 ; CHECK: abs d0, d0
 512   %abs = call i64 @llvm.aarch64.neon.abs.i64(i64 %A)
 513   ret i64 %abs
 514 }
 515
 516 declare <8 x i8> @llvm.aarch64.neon.abs.v8i8(<8 x i8>) nounwind readnone
 517 declare <16 x i8> @llvm.aarch64.neon.abs.v16i8(<16 x i8>) nounwind readnone
 518 declare <4 x i16> @llvm.aarch64.neon.abs.v4i16(<4 x i16>) nounwind readnone
 519 declare <8 x i16> @llvm.aarch64.neon.abs.v8i16(<8 x i16>) nounwind readnone
 520 declare <2 x i32> @llvm.aarch64.neon.abs.v2i32(<2 x i32>) nounwind readnone
 521 declare <4 x i32> @llvm.aarch64.neon.abs.v4i32(<4 x i32>) nounwind readnone
 522 declare <1 x i64> @llvm.aarch64.neon.abs.v1i64(<1 x i64>) nounwind readnone
 523 declare i64 @llvm.aarch64.neon.abs.i64(i64) nounwind readnone
 524
 525 define <8 x i16> @sabal8h(<8 x i8>* %A, <8 x i8>* %B,  <8 x i16>* %C) nounwind {
 526 ;CHECK-LABEL: sabal8h:
 527 ;CHECK: sabal.8h
 528         %tmp1 = load <8 x i8>, <8 x i8>* %A
 529         %tmp2 = load <8 x i8>, <8 x i8>* %B
 530         %tmp3 = load <8 x i16>, <8 x i16>* %C
 531         %tmp4 = call <8 x i8> @llvm.aarch64.neon.sabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 532         %tmp4.1 = zext <8 x i8> %tmp4 to <8 x i16>
 533         %tmp5 = add <8 x i16> %tmp3, %tmp4.1
 534         ret <8 x i16> %tmp5
 535 }
 536
 537 define <4 x i32> @sabal4s(<4 x i16>* %A, <4 x i16>* %B, <4 x i32>* %C) nounwind {
 538 ;CHECK-LABEL: sabal4s:
 539 ;CHECK: sabal.4s
 540         %tmp1 = load <4 x i16>, <4 x i16>* %A
 541         %tmp2 = load <4 x i16>, <4 x i16>* %B
 542         %tmp3 = load <4 x i32>, <4 x i32>* %C
 543         %tmp4 = call <4 x i16> @llvm.aarch64.neon.sabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 544         %tmp4.1 = zext <4 x i16> %tmp4 to <4 x i32>
 545         %tmp5 = add <4 x i32> %tmp3, %tmp4.1
 546         ret <4 x i32> %tmp5
 547 }
 548
 549 define <2 x i64> @sabal2d(<2 x i32>* %A, <2 x i32>* %B, <2 x i64>* %C) nounwind {
 550 ;CHECK-LABEL: sabal2d:
 551 ;CHECK: sabal.2d
 552         %tmp1 = load <2 x i32>, <2 x i32>* %A
 553         %tmp2 = load <2 x i32>, <2 x i32>* %B
 554         %tmp3 = load <2 x i64>, <2 x i64>* %C
 555         %tmp4 = call <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 556         %tmp4.1 = zext <2 x i32> %tmp4 to <2 x i64>
 557         %tmp4.1.1 = zext <2 x i32> %tmp4 to <2 x i64>
 558         %tmp5 = add <2 x i64> %tmp3, %tmp4.1
 559         ret <2 x i64> %tmp5
 560 }
 561
 562 define <8 x i16> @sabal2_8h(<16 x i8>* %A, <16 x i8>* %B, <8 x i16>* %C) nounwind {
 563 ;CHECK-LABEL: sabal2_8h:
 564 ;CHECK: sabal.8h
 565         %load1 = load <16 x i8>, <16 x i8>* %A
 566         %load2 = load <16 x i8>, <16 x i8>* %B
 567         %tmp3 = load <8 x i16>, <8 x i16>* %C
 568         %tmp1 = shufflevector <16 x i8> %load1, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 569         %tmp2 = shufflevector <16 x i8> %load2, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 570         %tmp4 = call <8 x i8> @llvm.aarch64.neon.sabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 571         %tmp4.1 = zext <8 x i8> %tmp4 to <8 x i16>
 572         %tmp5 = add <8 x i16> %tmp3, %tmp4.1
 573         ret <8 x i16> %tmp5
 574 }
 575
 576 define <4 x i32> @sabal2_4s(<8 x i16>* %A, <8 x i16>* %B, <4 x i32>* %C) nounwind {
 577 ;CHECK-LABEL: sabal2_4s:
 578 ;CHECK: sabal.4s
 579         %load1 = load <8 x i16>, <8 x i16>* %A
 580         %load2 = load <8 x i16>, <8 x i16>* %B
 581         %tmp3 = load <4 x i32>, <4 x i32>* %C
 582         %tmp1 = shufflevector <8 x i16> %load1, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 583         %tmp2 = shufflevector <8 x i16> %load2, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 584         %tmp4 = call <4 x i16> @llvm.aarch64.neon.sabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 585         %tmp4.1 = zext <4 x i16> %tmp4 to <4 x i32>
 586         %tmp5 = add <4 x i32> %tmp3, %tmp4.1
 587         ret <4 x i32> %tmp5
 588 }
 589
 590 define <2 x i64> @sabal2_2d(<4 x i32>* %A, <4 x i32>* %B, <2 x i64>* %C) nounwind {
 591 ;CHECK-LABEL: sabal2_2d:
 592 ;CHECK: sabal.2d
 593         %load1 = load <4 x i32>, <4 x i32>* %A
 594         %load2 = load <4 x i32>, <4 x i32>* %B
 595         %tmp3 = load <2 x i64>, <2 x i64>* %C
 596         %tmp1 = shufflevector <4 x i32> %load1, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 597         %tmp2 = shufflevector <4 x i32> %load2, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 598         %tmp4 = call <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 599         %tmp4.1 = zext <2 x i32> %tmp4 to <2 x i64>
 600         %tmp5 = add <2 x i64> %tmp3, %tmp4.1
 601         ret <2 x i64> %tmp5
 602 }
 603
 604 define <8 x i16> @uabal8h(<8 x i8>* %A, <8 x i8>* %B,  <8 x i16>* %C) nounwind {
 605 ;CHECK-LABEL: uabal8h:
 606 ;CHECK: uabal.8h
 607         %tmp1 = load <8 x i8>, <8 x i8>* %A
 608         %tmp2 = load <8 x i8>, <8 x i8>* %B
 609         %tmp3 = load <8 x i16>, <8 x i16>* %C
 610         %tmp4 = call <8 x i8> @llvm.aarch64.neon.uabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 611         %tmp4.1 = zext <8 x i8> %tmp4 to <8 x i16>
 612         %tmp5 = add <8 x i16> %tmp3, %tmp4.1
 613         ret <8 x i16> %tmp5
 614 }
 615
 616 define <4 x i32> @uabal4s(<4 x i16>* %A, <4 x i16>* %B, <4 x i32>* %C) nounwind {
 617 ;CHECK-LABEL: uabal4s:
 618 ;CHECK: uabal.4s
 619         %tmp1 = load <4 x i16>, <4 x i16>* %A
 620         %tmp2 = load <4 x i16>, <4 x i16>* %B
 621         %tmp3 = load <4 x i32>, <4 x i32>* %C
 622         %tmp4 = call <4 x i16> @llvm.aarch64.neon.uabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 623         %tmp4.1 = zext <4 x i16> %tmp4 to <4 x i32>
 624         %tmp5 = add <4 x i32> %tmp3, %tmp4.1
 625         ret <4 x i32> %tmp5
 626 }
 627
 628 define <2 x i64> @uabal2d(<2 x i32>* %A, <2 x i32>* %B, <2 x i64>* %C) nounwind {
 629 ;CHECK-LABEL: uabal2d:
 630 ;CHECK: uabal.2d
 631         %tmp1 = load <2 x i32>, <2 x i32>* %A
 632         %tmp2 = load <2 x i32>, <2 x i32>* %B
 633         %tmp3 = load <2 x i64>, <2 x i64>* %C
 634         %tmp4 = call <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 635         %tmp4.1 = zext <2 x i32> %tmp4 to <2 x i64>
 636         %tmp5 = add <2 x i64> %tmp3, %tmp4.1
 637         ret <2 x i64> %tmp5
 638 }
 639
 640 define <8 x i16> @uabal2_8h(<16 x i8>* %A, <16 x i8>* %B, <8 x i16>* %C) nounwind {
 641 ;CHECK-LABEL: uabal2_8h:
 642 ;CHECK: uabal.8h
 643         %load1 = load <16 x i8>, <16 x i8>* %A
 644         %load2 = load <16 x i8>, <16 x i8>* %B
 645         %tmp3 = load <8 x i16>, <8 x i16>* %C
 646         %tmp1 = shufflevector <16 x i8> %load1, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 647         %tmp2 = shufflevector <16 x i8> %load2, <16 x i8> undef, <8 x i32> <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 648         %tmp4 = call <8 x i8> @llvm.aarch64.neon.uabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 649         %tmp4.1 = zext <8 x i8> %tmp4 to <8 x i16>
 650         %tmp5 = add <8 x i16> %tmp3, %tmp4.1
 651         ret <8 x i16> %tmp5
 652 }
 653
 654 define <4 x i32> @uabal2_4s(<8 x i16>* %A, <8 x i16>* %B, <4 x i32>* %C) nounwind {
 655 ;CHECK-LABEL: uabal2_4s:
 656 ;CHECK: uabal.4s
 657         %load1 = load <8 x i16>, <8 x i16>* %A
 658         %load2 = load <8 x i16>, <8 x i16>* %B
 659         %tmp3 = load <4 x i32>, <4 x i32>* %C
 660         %tmp1 = shufflevector <8 x i16> %load1, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 661         %tmp2 = shufflevector <8 x i16> %load2, <8 x i16> undef, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 662         %tmp4 = call <4 x i16> @llvm.aarch64.neon.uabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 663         %tmp4.1 = zext <4 x i16> %tmp4 to <4 x i32>
 664         %tmp5 = add <4 x i32> %tmp3, %tmp4.1
 665         ret <4 x i32> %tmp5
 666 }
 667
 668 define <2 x i64> @uabal2_2d(<4 x i32>* %A, <4 x i32>* %B, <2 x i64>* %C) nounwind {
 669 ;CHECK-LABEL: uabal2_2d:
 670 ;CHECK: uabal.2d
 671         %load1 = load <4 x i32>, <4 x i32>* %A
 672         %load2 = load <4 x i32>, <4 x i32>* %B
 673         %tmp3 = load <2 x i64>, <2 x i64>* %C
 674         %tmp1 = shufflevector <4 x i32> %load1, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 675         %tmp2 = shufflevector <4 x i32> %load2, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 676         %tmp4 = call <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 677         %tmp4.1 = zext <2 x i32> %tmp4 to <2 x i64>
 678         %tmp5 = add <2 x i64> %tmp3, %tmp4.1
 679         ret <2 x i64> %tmp5
 680 }
 681
 682 define <8 x i8> @saba_8b(<8 x i8>* %A, <8 x i8>* %B, <8 x i8>* %C) nounwind {
 683 ;CHECK-LABEL: saba_8b:
 684 ;CHECK: saba.8b
 685         %tmp1 = load <8 x i8>, <8 x i8>* %A
 686         %tmp2 = load <8 x i8>, <8 x i8>* %B
 687         %tmp3 = call <8 x i8> @llvm.aarch64.neon.sabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 688         %tmp4 = load <8 x i8>, <8 x i8>* %C
 689         %tmp5 = add <8 x i8> %tmp3, %tmp4
 690         ret <8 x i8> %tmp5
 691 }
 692
 693 define <16 x i8> @saba_16b(<16 x i8>* %A, <16 x i8>* %B, <16 x i8>* %C) nounwind {
 694 ;CHECK-LABEL: saba_16b:
 695 ;CHECK: saba.16b
 696         %tmp1 = load <16 x i8>, <16 x i8>* %A
 697         %tmp2 = load <16 x i8>, <16 x i8>* %B
 698         %tmp3 = call <16 x i8> @llvm.aarch64.neon.sabd.v16i8(<16 x i8> %tmp1, <16 x i8> %tmp2)
 699         %tmp4 = load <16 x i8>, <16 x i8>* %C
 700         %tmp5 = add <16 x i8> %tmp3, %tmp4
 701         ret <16 x i8> %tmp5
 702 }
 703
 704 define <4 x i16> @saba_4h(<4 x i16>* %A, <4 x i16>* %B, <4 x i16>* %C) nounwind {
 705 ;CHECK-LABEL: saba_4h:
 706 ;CHECK: saba.4h
 707         %tmp1 = load <4 x i16>, <4 x i16>* %A
 708         %tmp2 = load <4 x i16>, <4 x i16>* %B
 709         %tmp3 = call <4 x i16> @llvm.aarch64.neon.sabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 710         %tmp4 = load <4 x i16>, <4 x i16>* %C
 711         %tmp5 = add <4 x i16> %tmp3, %tmp4
 712         ret <4 x i16> %tmp5
 713 }
 714
 715 define <8 x i16> @saba_8h(<8 x i16>* %A, <8 x i16>* %B, <8 x i16>* %C) nounwind {
 716 ;CHECK-LABEL: saba_8h:
 717 ;CHECK: saba.8h
 718         %tmp1 = load <8 x i16>, <8 x i16>* %A
 719         %tmp2 = load <8 x i16>, <8 x i16>* %B
 720         %tmp3 = call <8 x i16> @llvm.aarch64.neon.sabd.v8i16(<8 x i16> %tmp1, <8 x i16> %tmp2)
 721         %tmp4 = load <8 x i16>, <8 x i16>* %C
 722         %tmp5 = add <8 x i16> %tmp3, %tmp4
 723         ret <8 x i16> %tmp5
 724 }
 725
 726 define <2 x i32> @saba_2s(<2 x i32>* %A, <2 x i32>* %B, <2 x i32>* %C) nounwind {
 727 ;CHECK-LABEL: saba_2s:
 728 ;CHECK: saba.2s
 729         %tmp1 = load <2 x i32>, <2 x i32>* %A
 730         %tmp2 = load <2 x i32>, <2 x i32>* %B
 731         %tmp3 = call <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 732         %tmp4 = load <2 x i32>, <2 x i32>* %C
 733         %tmp5 = add <2 x i32> %tmp3, %tmp4
 734         ret <2 x i32> %tmp5
 735 }
 736
 737 define <4 x i32> @saba_4s(<4 x i32>* %A, <4 x i32>* %B, <4 x i32>* %C) nounwind {
 738 ;CHECK-LABEL: saba_4s:
 739 ;CHECK: saba.4s
 740         %tmp1 = load <4 x i32>, <4 x i32>* %A
 741         %tmp2 = load <4 x i32>, <4 x i32>* %B
 742         %tmp3 = call <4 x i32> @llvm.aarch64.neon.sabd.v4i32(<4 x i32> %tmp1, <4 x i32> %tmp2)
 743         %tmp4 = load <4 x i32>, <4 x i32>* %C
 744         %tmp5 = add <4 x i32> %tmp3, %tmp4
 745         ret <4 x i32> %tmp5
 746 }
 747
 748 define <8 x i8> @uaba_8b(<8 x i8>* %A, <8 x i8>* %B, <8 x i8>* %C) nounwind {
 749 ;CHECK-LABEL: uaba_8b:
 750 ;CHECK: uaba.8b
 751         %tmp1 = load <8 x i8>, <8 x i8>* %A
 752         %tmp2 = load <8 x i8>, <8 x i8>* %B
 753         %tmp3 = call <8 x i8> @llvm.aarch64.neon.uabd.v8i8(<8 x i8> %tmp1, <8 x i8> %tmp2)
 754         %tmp4 = load <8 x i8>, <8 x i8>* %C
 755         %tmp5 = add <8 x i8> %tmp3, %tmp4
 756         ret <8 x i8> %tmp5
 757 }
 758
 759 define <16 x i8> @uaba_16b(<16 x i8>* %A, <16 x i8>* %B, <16 x i8>* %C) nounwind {
 760 ;CHECK-LABEL: uaba_16b:
 761 ;CHECK: uaba.16b
 762         %tmp1 = load <16 x i8>, <16 x i8>* %A
 763         %tmp2 = load <16 x i8>, <16 x i8>* %B
 764         %tmp3 = call <16 x i8> @llvm.aarch64.neon.uabd.v16i8(<16 x i8> %tmp1, <16 x i8> %tmp2)
 765         %tmp4 = load <16 x i8>, <16 x i8>* %C
 766         %tmp5 = add <16 x i8> %tmp3, %tmp4
 767         ret <16 x i8> %tmp5
 768 }
 769
 770 define <4 x i16> @uaba_4h(<4 x i16>* %A, <4 x i16>* %B, <4 x i16>* %C) nounwind {
 771 ;CHECK-LABEL: uaba_4h:
 772 ;CHECK: uaba.4h
 773         %tmp1 = load <4 x i16>, <4 x i16>* %A
 774         %tmp2 = load <4 x i16>, <4 x i16>* %B
 775         %tmp3 = call <4 x i16> @llvm.aarch64.neon.uabd.v4i16(<4 x i16> %tmp1, <4 x i16> %tmp2)
 776         %tmp4 = load <4 x i16>, <4 x i16>* %C
 777         %tmp5 = add <4 x i16> %tmp3, %tmp4
 778         ret <4 x i16> %tmp5
 779 }
 780
 781 define <8 x i16> @uaba_8h(<8 x i16>* %A, <8 x i16>* %B, <8 x i16>* %C) nounwind {
 782 ;CHECK-LABEL: uaba_8h:
 783 ;CHECK: uaba.8h
 784         %tmp1 = load <8 x i16>, <8 x i16>* %A
 785         %tmp2 = load <8 x i16>, <8 x i16>* %B
 786         %tmp3 = call <8 x i16> @llvm.aarch64.neon.uabd.v8i16(<8 x i16> %tmp1, <8 x i16> %tmp2)
 787         %tmp4 = load <8 x i16>, <8 x i16>* %C
 788         %tmp5 = add <8 x i16> %tmp3, %tmp4
 789         ret <8 x i16> %tmp5
 790 }
 791
 792 define <2 x i32> @uaba_2s(<2 x i32>* %A, <2 x i32>* %B, <2 x i32>* %C) nounwind {
 793 ;CHECK-LABEL: uaba_2s:
 794 ;CHECK: uaba.2s
 795         %tmp1 = load <2 x i32>, <2 x i32>* %A
 796         %tmp2 = load <2 x i32>, <2 x i32>* %B
 797         %tmp3 = call <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32> %tmp1, <2 x i32> %tmp2)
 798         %tmp4 = load <2 x i32>, <2 x i32>* %C
 799         %tmp5 = add <2 x i32> %tmp3, %tmp4
 800         ret <2 x i32> %tmp5
 801 }
 802
 803 define <4 x i32> @uaba_4s(<4 x i32>* %A, <4 x i32>* %B, <4 x i32>* %C) nounwind {
 804 ;CHECK-LABEL: uaba_4s:
 805 ;CHECK: uaba.4s
 806         %tmp1 = load <4 x i32>, <4 x i32>* %A
 807         %tmp2 = load <4 x i32>, <4 x i32>* %B
 808         %tmp3 = call <4 x i32> @llvm.aarch64.neon.uabd.v4i32(<4 x i32> %tmp1, <4 x i32> %tmp2)
 809         %tmp4 = load <4 x i32>, <4 x i32>* %C
 810         %tmp5 = add <4 x i32> %tmp3, %tmp4
 811         ret <4 x i32> %tmp5
 812 }
 813
 814 ; Scalar FABD
 815 define float @fabds(float %a, float %b) nounwind {
 816 ; CHECK-LABEL: fabds:
 817 ; CHECK: fabd s0, s0, s1
 818   %vabd.i = tail call float @llvm.aarch64.sisd.fabd.f32(float %a, float %b) nounwind
 819   ret float %vabd.i
 820 }
 821
 822 define double @fabdd(double %a, double %b) nounwind {
 823 ; CHECK-LABEL: fabdd:
 824 ; CHECK: fabd d0, d0, d1
 825   %vabd.i = tail call double @llvm.aarch64.sisd.fabd.f64(double %a, double %b) nounwind
 826   ret double %vabd.i
 827 }
 828
 829 declare double @llvm.aarch64.sisd.fabd.f64(double, double) nounwind readnone
 830 declare float @llvm.aarch64.sisd.fabd.f32(float, float) nounwind readnone
 831
 832 define <2 x i64> @uabdl_from_extract_dup(<4 x i32> %lhs, i32 %rhs) {
 833 ; CHECK-LABEL: uabdl_from_extract_dup:
 834 ; CHECK-NOT: ext.16b
 835 ; CHECK: uabdl2.2d
 836   %rhsvec.tmp = insertelement <2 x i32> undef, i32 %rhs, i32 0
 837   %rhsvec = insertelement <2 x i32> %rhsvec.tmp, i32 %rhs, i32 1
 838
 839   %lhs.high = shufflevector <4 x i32> %lhs, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 840
 841   %res = tail call <2 x i32> @llvm.aarch64.neon.uabd.v2i32(<2 x i32> %lhs.high, <2 x i32> %rhsvec) nounwind
 842   %res1 = zext <2 x i32> %res to <2 x i64>
 843   ret <2 x i64> %res1
 844 }
 845
 846 define <2 x i64> @sabdl_from_extract_dup(<4 x i32> %lhs, i32 %rhs) {
 847 ; CHECK-LABEL: sabdl_from_extract_dup:
 848 ; CHECK-NOT: ext.16b
 849 ; CHECK: sabdl2.2d
 850   %rhsvec.tmp = insertelement <2 x i32> undef, i32 %rhs, i32 0
 851   %rhsvec = insertelement <2 x i32> %rhsvec.tmp, i32 %rhs, i32 1
 852
 853   %lhs.high = shufflevector <4 x i32> %lhs, <4 x i32> undef, <2 x i32> <i32 2, i32 3>
 854
 855   %res = tail call <2 x i32> @llvm.aarch64.neon.sabd.v2i32(<2 x i32> %lhs.high, <2 x i32> %rhsvec) nounwind
 856   %res1 = zext <2 x i32> %res to <2 x i64>
 857   ret <2 x i64> %res1
 858 }
 859
 860 define <2 x i32> @abspattern1(<2 x i32> %a) nounwind {
 861 ; CHECK-LABEL: abspattern1:
 862 ; CHECK: abs.2s
 863 ; CHECK-NEXT: ret
 864         %tmp1neg = sub <2 x i32> zeroinitializer, %a
 865         %b = icmp sge <2 x i32> %a, zeroinitializer
 866         %abs = select <2 x i1> %b, <2 x i32> %a, <2 x i32> %tmp1neg
 867         ret <2 x i32> %abs
 868 }
 869
 870 define <4 x i16> @abspattern2(<4 x i16> %a) nounwind {
 871 ; CHECK-LABEL: abspattern2:
 872 ; CHECK: abs.4h
 873 ; CHECK-NEXT: ret
 874         %tmp1neg = sub <4 x i16> zeroinitializer, %a
 875         %b = icmp sgt <4 x i16> %a, zeroinitializer
 876         %abs = select <4 x i1> %b, <4 x i16> %a, <4 x i16> %tmp1neg
 877         ret <4 x i16> %abs
 878 }
 879
 880 define <8 x i8> @abspattern3(<8 x i8> %a) nounwind {
 881 ; CHECK-LABEL: abspattern3:
 882 ; CHECK: abs.8b
 883 ; CHECK-NEXT: ret
 884         %tmp1neg = sub <8 x i8> zeroinitializer, %a
 885         %b = icmp slt <8 x i8> %a, zeroinitializer
 886         %abs = select <8 x i1> %b, <8 x i8> %tmp1neg, <8 x i8> %a
 887         ret <8 x i8> %abs
 888 }
 889
 890 define <4 x i32> @abspattern4(<4 x i32> %a) nounwind {
 891 ; CHECK-LABEL: abspattern4:
 892 ; CHECK: abs.4s
 893 ; CHECK-NEXT: ret
 894         %tmp1neg = sub <4 x i32> zeroinitializer, %a
 895         %b = icmp sge <4 x i32> %a, zeroinitializer
 896         %abs = select <4 x i1> %b, <4 x i32> %a, <4 x i32> %tmp1neg
 897         ret <4 x i32> %abs
 898 }
 899
 900 define <8 x i16> @abspattern5(<8 x i16> %a) nounwind {
 901 ; CHECK-LABEL: abspattern5:
 902 ; CHECK: abs.8h
 903 ; CHECK-NEXT: ret
 904         %tmp1neg = sub <8 x i16> zeroinitializer, %a
 905         %b = icmp sgt <8 x i16> %a, zeroinitializer
 906         %abs = select <8 x i1> %b, <8 x i16> %a, <8 x i16> %tmp1neg
 907         ret <8 x i16> %abs
 908 }
 909
 910 define <16 x i8> @abspattern6(<16 x i8> %a) nounwind {
 911 ; CHECK-LABEL: abspattern6:
 912 ; CHECK: abs.16b
 913 ; CHECK-NEXT: ret
 914         %tmp1neg = sub <16 x i8> zeroinitializer, %a
 915         %b = icmp slt <16 x i8> %a, zeroinitializer
 916         %abs = select <16 x i1> %b, <16 x i8> %tmp1neg, <16 x i8> %a
 917         ret <16 x i8> %abs
 918 }
 919
 920 define <2 x i64> @abspattern7(<2 x i64> %a) nounwind {
 921 ; CHECK-LABEL: abspattern7:
 922 ; CHECK: abs.2d
 923 ; CHECK-NEXT: ret
 924         %tmp1neg = sub <2 x i64> zeroinitializer, %a
 925         %b = icmp sle <2 x i64> %a, zeroinitializer
 926         %abs = select <2 x i1> %b, <2 x i64> %tmp1neg, <2 x i64> %a
 927         ret <2 x i64> %abs
 928 }