llvm/test/CodeGen/X86/vec_usubo.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefixes=CHECK,SSE,SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+ssse3 | FileCheck %s --check-prefixes=CHECK,SSE,SSSE3
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=CHECK,SSE,SSE41
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=CHECK,AVX,AVX1
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=CHECK,AVX,AVX2
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+avx512vl,+fast-variable-crosslane-shuffle,+fast-variable-perlane-shuffle | FileCheck %s --check-prefixes=CHECK,AVX512
   8 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+avx512vl,+fast-variable-perlane-shuffle | FileCheck %s --check-prefixes=CHECK,AVX512
   9
  10 declare {<1 x i32>, <1 x i1>} @llvm.usub.with.overflow.v1i32(<1 x i32>, <1 x i32>)
  11 declare {<2 x i32>, <2 x i1>} @llvm.usub.with.overflow.v2i32(<2 x i32>, <2 x i32>)
  12 declare {<3 x i32>, <3 x i1>} @llvm.usub.with.overflow.v3i32(<3 x i32>, <3 x i32>)
  13 declare {<4 x i32>, <4 x i1>} @llvm.usub.with.overflow.v4i32(<4 x i32>, <4 x i32>)
  14 declare {<6 x i32>, <6 x i1>} @llvm.usub.with.overflow.v6i32(<6 x i32>, <6 x i32>)
  15 declare {<8 x i32>, <8 x i1>} @llvm.usub.with.overflow.v8i32(<8 x i32>, <8 x i32>)
  16 declare {<16 x i32>, <16 x i1>} @llvm.usub.with.overflow.v16i32(<16 x i32>, <16 x i32>)
  17
  18 declare {<16 x i8>, <16 x i1>} @llvm.usub.with.overflow.v16i8(<16 x i8>, <16 x i8>)
  19 declare {<8 x i16>, <8 x i1>} @llvm.usub.with.overflow.v8i16(<8 x i16>, <8 x i16>)
  20 declare {<2 x i64>, <2 x i1>} @llvm.usub.with.overflow.v2i64(<2 x i64>, <2 x i64>)
  21
  22 declare {<4 x i24>, <4 x i1>} @llvm.usub.with.overflow.v4i24(<4 x i24>, <4 x i24>)
  23 declare {<4 x i1>, <4 x i1>} @llvm.usub.with.overflow.v4i1(<4 x i1>, <4 x i1>)
  24 declare {<2 x i128>, <2 x i1>} @llvm.usub.with.overflow.v2i128(<2 x i128>, <2 x i128>)
  25
  26 define <1 x i32> @usubo_v1i32(<1 x i32> %a0, <1 x i32> %a1, <1 x i32>* %p2) nounwind {
  27 ; CHECK-LABEL: usubo_v1i32:
  28 ; CHECK:       # %bb.0:
  29 ; CHECK-NEXT:    subl %esi, %edi
  30 ; CHECK-NEXT:    sbbl %eax, %eax
  31 ; CHECK-NEXT:    movl %edi, (%rdx)
  32 ; CHECK-NEXT:    retq
  33   %t = call {<1 x i32>, <1 x i1>} @llvm.usub.with.overflow.v1i32(<1 x i32> %a0, <1 x i32> %a1)
  34   %val = extractvalue {<1 x i32>, <1 x i1>} %t, 0
  35   %obit = extractvalue {<1 x i32>, <1 x i1>} %t, 1
  36   %res = sext <1 x i1> %obit to <1 x i32>
  37   store <1 x i32> %val, <1 x i32>* %p2
  38   ret <1 x i32> %res
  39 }
  40
  41 define <2 x i32> @usubo_v2i32(<2 x i32> %a0, <2 x i32> %a1, <2 x i32>* %p2) nounwind {
  42 ; SSE2-LABEL: usubo_v2i32:
  43 ; SSE2:       # %bb.0:
  44 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
  45 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
  46 ; SSE2-NEXT:    pxor %xmm2, %xmm3
  47 ; SSE2-NEXT:    psubd %xmm1, %xmm0
  48 ; SSE2-NEXT:    pxor %xmm0, %xmm2
  49 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm2
  50 ; SSE2-NEXT:    movq %xmm0, (%rdi)
  51 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
  52 ; SSE2-NEXT:    retq
  53 ;
  54 ; SSSE3-LABEL: usubo_v2i32:
  55 ; SSSE3:       # %bb.0:
  56 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
  57 ; SSSE3-NEXT:    movdqa %xmm0, %xmm3
  58 ; SSSE3-NEXT:    pxor %xmm2, %xmm3
  59 ; SSSE3-NEXT:    psubd %xmm1, %xmm0
  60 ; SSSE3-NEXT:    pxor %xmm0, %xmm2
  61 ; SSSE3-NEXT:    pcmpgtd %xmm3, %xmm2
  62 ; SSSE3-NEXT:    movq %xmm0, (%rdi)
  63 ; SSSE3-NEXT:    movdqa %xmm2, %xmm0
  64 ; SSSE3-NEXT:    retq
  65 ;
  66 ; SSE41-LABEL: usubo_v2i32:
  67 ; SSE41:       # %bb.0:
  68 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
  69 ; SSE41-NEXT:    psubd %xmm1, %xmm2
  70 ; SSE41-NEXT:    pminud %xmm2, %xmm0
  71 ; SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
  72 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
  73 ; SSE41-NEXT:    pxor %xmm1, %xmm0
  74 ; SSE41-NEXT:    movq %xmm2, (%rdi)
  75 ; SSE41-NEXT:    retq
  76 ;
  77 ; AVX-LABEL: usubo_v2i32:
  78 ; AVX:       # %bb.0:
  79 ; AVX-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
  80 ; AVX-NEXT:    vpminud %xmm0, %xmm1, %xmm0
  81 ; AVX-NEXT:    vpcmpeqd %xmm0, %xmm1, %xmm0
  82 ; AVX-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
  83 ; AVX-NEXT:    vpxor %xmm2, %xmm0, %xmm0
  84 ; AVX-NEXT:    vmovq %xmm1, (%rdi)
  85 ; AVX-NEXT:    retq
  86 ;
  87 ; AVX512-LABEL: usubo_v2i32:
  88 ; AVX512:       # %bb.0:
  89 ; AVX512-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
  90 ; AVX512-NEXT:    vpcmpnleud %xmm0, %xmm1, %k1
  91 ; AVX512-NEXT:    vpcmpeqd %xmm0, %xmm0, %xmm0
  92 ; AVX512-NEXT:    vmovdqa32 %xmm0, %xmm0 {%k1} {z}
  93 ; AVX512-NEXT:    vmovq %xmm1, (%rdi)
  94 ; AVX512-NEXT:    retq
  95   %t = call {<2 x i32>, <2 x i1>} @llvm.usub.with.overflow.v2i32(<2 x i32> %a0, <2 x i32> %a1)
  96   %val = extractvalue {<2 x i32>, <2 x i1>} %t, 0
  97   %obit = extractvalue {<2 x i32>, <2 x i1>} %t, 1
  98   %res = sext <2 x i1> %obit to <2 x i32>
  99   store <2 x i32> %val, <2 x i32>* %p2
 100   ret <2 x i32> %res
 101 }
 102
 103 define <3 x i32> @usubo_v3i32(<3 x i32> %a0, <3 x i32> %a1, <3 x i32>* %p2) nounwind {
 104 ; SSE2-LABEL: usubo_v3i32:
 105 ; SSE2:       # %bb.0:
 106 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 107 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 108 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 109 ; SSE2-NEXT:    psubd %xmm1, %xmm0
 110 ; SSE2-NEXT:    pxor %xmm0, %xmm2
 111 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm2
 112 ; SSE2-NEXT:    movq %xmm0, (%rdi)
 113 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
 114 ; SSE2-NEXT:    movd %xmm0, 8(%rdi)
 115 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
 116 ; SSE2-NEXT:    retq
 117 ;
 118 ; SSSE3-LABEL: usubo_v3i32:
 119 ; SSSE3:       # %bb.0:
 120 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 121 ; SSSE3-NEXT:    movdqa %xmm0, %xmm3
 122 ; SSSE3-NEXT:    pxor %xmm2, %xmm3
 123 ; SSSE3-NEXT:    psubd %xmm1, %xmm0
 124 ; SSSE3-NEXT:    pxor %xmm0, %xmm2
 125 ; SSSE3-NEXT:    pcmpgtd %xmm3, %xmm2
 126 ; SSSE3-NEXT:    movq %xmm0, (%rdi)
 127 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
 128 ; SSSE3-NEXT:    movd %xmm0, 8(%rdi)
 129 ; SSSE3-NEXT:    movdqa %xmm2, %xmm0
 130 ; SSSE3-NEXT:    retq
 131 ;
 132 ; SSE41-LABEL: usubo_v3i32:
 133 ; SSE41:       # %bb.0:
 134 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 135 ; SSE41-NEXT:    psubd %xmm1, %xmm2
 136 ; SSE41-NEXT:    pminud %xmm2, %xmm0
 137 ; SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
 138 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
 139 ; SSE41-NEXT:    pxor %xmm1, %xmm0
 140 ; SSE41-NEXT:    pextrd $2, %xmm2, 8(%rdi)
 141 ; SSE41-NEXT:    movq %xmm2, (%rdi)
 142 ; SSE41-NEXT:    retq
 143 ;
 144 ; AVX-LABEL: usubo_v3i32:
 145 ; AVX:       # %bb.0:
 146 ; AVX-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
 147 ; AVX-NEXT:    vpminud %xmm0, %xmm1, %xmm0
 148 ; AVX-NEXT:    vpcmpeqd %xmm0, %xmm1, %xmm0
 149 ; AVX-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
 150 ; AVX-NEXT:    vpxor %xmm2, %xmm0, %xmm0
 151 ; AVX-NEXT:    vpextrd $2, %xmm1, 8(%rdi)
 152 ; AVX-NEXT:    vmovq %xmm1, (%rdi)
 153 ; AVX-NEXT:    retq
 154 ;
 155 ; AVX512-LABEL: usubo_v3i32:
 156 ; AVX512:       # %bb.0:
 157 ; AVX512-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
 158 ; AVX512-NEXT:    vpcmpnleud %xmm0, %xmm1, %k1
 159 ; AVX512-NEXT:    vpcmpeqd %xmm0, %xmm0, %xmm0
 160 ; AVX512-NEXT:    vmovdqa32 %xmm0, %xmm0 {%k1} {z}
 161 ; AVX512-NEXT:    vpextrd $2, %xmm1, 8(%rdi)
 162 ; AVX512-NEXT:    vmovq %xmm1, (%rdi)
 163 ; AVX512-NEXT:    retq
 164   %t = call {<3 x i32>, <3 x i1>} @llvm.usub.with.overflow.v3i32(<3 x i32> %a0, <3 x i32> %a1)
 165   %val = extractvalue {<3 x i32>, <3 x i1>} %t, 0
 166   %obit = extractvalue {<3 x i32>, <3 x i1>} %t, 1
 167   %res = sext <3 x i1> %obit to <3 x i32>
 168   store <3 x i32> %val, <3 x i32>* %p2
 169   ret <3 x i32> %res
 170 }
 171
 172 define <4 x i32> @usubo_v4i32(<4 x i32> %a0, <4 x i32> %a1, <4 x i32>* %p2) nounwind {
 173 ; SSE2-LABEL: usubo_v4i32:
 174 ; SSE2:       # %bb.0:
 175 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 176 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 177 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 178 ; SSE2-NEXT:    psubd %xmm1, %xmm0
 179 ; SSE2-NEXT:    pxor %xmm0, %xmm2
 180 ; SSE2-NEXT:    pcmpgtd %xmm3, %xmm2
 181 ; SSE2-NEXT:    movdqa %xmm0, (%rdi)
 182 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
 183 ; SSE2-NEXT:    retq
 184 ;
 185 ; SSSE3-LABEL: usubo_v4i32:
 186 ; SSSE3:       # %bb.0:
 187 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 188 ; SSSE3-NEXT:    movdqa %xmm0, %xmm3
 189 ; SSSE3-NEXT:    pxor %xmm2, %xmm3
 190 ; SSSE3-NEXT:    psubd %xmm1, %xmm0
 191 ; SSSE3-NEXT:    pxor %xmm0, %xmm2
 192 ; SSSE3-NEXT:    pcmpgtd %xmm3, %xmm2
 193 ; SSSE3-NEXT:    movdqa %xmm0, (%rdi)
 194 ; SSSE3-NEXT:    movdqa %xmm2, %xmm0
 195 ; SSSE3-NEXT:    retq
 196 ;
 197 ; SSE41-LABEL: usubo_v4i32:
 198 ; SSE41:       # %bb.0:
 199 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 200 ; SSE41-NEXT:    psubd %xmm1, %xmm2
 201 ; SSE41-NEXT:    pminud %xmm2, %xmm0
 202 ; SSE41-NEXT:    pcmpeqd %xmm2, %xmm0
 203 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
 204 ; SSE41-NEXT:    pxor %xmm1, %xmm0
 205 ; SSE41-NEXT:    movdqa %xmm2, (%rdi)
 206 ; SSE41-NEXT:    retq
 207 ;
 208 ; AVX-LABEL: usubo_v4i32:
 209 ; AVX:       # %bb.0:
 210 ; AVX-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
 211 ; AVX-NEXT:    vpminud %xmm0, %xmm1, %xmm0
 212 ; AVX-NEXT:    vpcmpeqd %xmm0, %xmm1, %xmm0
 213 ; AVX-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
 214 ; AVX-NEXT:    vpxor %xmm2, %xmm0, %xmm0
 215 ; AVX-NEXT:    vmovdqa %xmm1, (%rdi)
 216 ; AVX-NEXT:    retq
 217 ;
 218 ; AVX512-LABEL: usubo_v4i32:
 219 ; AVX512:       # %bb.0:
 220 ; AVX512-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
 221 ; AVX512-NEXT:    vpcmpnleud %xmm0, %xmm1, %k1
 222 ; AVX512-NEXT:    vpcmpeqd %xmm0, %xmm0, %xmm0
 223 ; AVX512-NEXT:    vmovdqa32 %xmm0, %xmm0 {%k1} {z}
 224 ; AVX512-NEXT:    vmovdqa %xmm1, (%rdi)
 225 ; AVX512-NEXT:    retq
 226   %t = call {<4 x i32>, <4 x i1>} @llvm.usub.with.overflow.v4i32(<4 x i32> %a0, <4 x i32> %a1)
 227   %val = extractvalue {<4 x i32>, <4 x i1>} %t, 0
 228   %obit = extractvalue {<4 x i32>, <4 x i1>} %t, 1
 229   %res = sext <4 x i1> %obit to <4 x i32>
 230   store <4 x i32> %val, <4 x i32>* %p2
 231   ret <4 x i32> %res
 232 }
 233
 234 define <6 x i32> @usubo_v6i32(<6 x i32> %a0, <6 x i32> %a1, <6 x i32>* %p2) nounwind {
 235 ; SSE2-LABEL: usubo_v6i32:
 236 ; SSE2:       # %bb.0:
 237 ; SSE2-NEXT:    movq %rdi, %rax
 238 ; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 239 ; SSE2-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 240 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
 241 ; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 242 ; SSE2-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero
 243 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
 244 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm1[0]
 245 ; SSE2-NEXT:    movd %r8d, %xmm0
 246 ; SSE2-NEXT:    movd %ecx, %xmm1
 247 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
 248 ; SSE2-NEXT:    movd %edx, %xmm3
 249 ; SSE2-NEXT:    movd %esi, %xmm0
 250 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 251 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 252 ; SSE2-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 253 ; SSE2-NEXT:    movd {{.*#+}} xmm3 = mem[0],zero,zero,zero
 254 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
 255 ; SSE2-NEXT:    movd %r9d, %xmm1
 256 ; SSE2-NEXT:    movd {{.*#+}} xmm4 = mem[0],zero,zero,zero
 257 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[1]
 258 ; SSE2-NEXT:    movq {{[0-9]+}}(%rsp), %rcx
 259 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
 260 ; SSE2-NEXT:    psubd %xmm2, %xmm4
 261 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 262 ; SSE2-NEXT:    movdqa %xmm4, (%rcx)
 263 ; SSE2-NEXT:    pxor %xmm2, %xmm4
 264 ; SSE2-NEXT:    pxor %xmm2, %xmm0
 265 ; SSE2-NEXT:    pcmpgtd %xmm0, %xmm4
 266 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
 267 ; SSE2-NEXT:    psubd %xmm3, %xmm0
 268 ; SSE2-NEXT:    movq %xmm0, 16(%rcx)
 269 ; SSE2-NEXT:    pxor %xmm2, %xmm0
 270 ; SSE2-NEXT:    pxor %xmm2, %xmm1
 271 ; SSE2-NEXT:    pcmpgtd %xmm1, %xmm0
 272 ; SSE2-NEXT:    movq %xmm0, 16(%rdi)
 273 ; SSE2-NEXT:    movdqa %xmm4, (%rdi)
 274 ; SSE2-NEXT:    retq
 275 ;
 276 ; SSSE3-LABEL: usubo_v6i32:
 277 ; SSSE3:       # %bb.0:
 278 ; SSSE3-NEXT:    movq %rdi, %rax
 279 ; SSSE3-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 280 ; SSSE3-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 281 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
 282 ; SSSE3-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
 283 ; SSSE3-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero
 284 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
 285 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm1[0]
 286 ; SSSE3-NEXT:    movd %r8d, %xmm0
 287 ; SSSE3-NEXT:    movd %ecx, %xmm1
 288 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
 289 ; SSSE3-NEXT:    movd %edx, %xmm3
 290 ; SSSE3-NEXT:    movd %esi, %xmm0
 291 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 292 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 293 ; SSSE3-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 294 ; SSSE3-NEXT:    movd {{.*#+}} xmm3 = mem[0],zero,zero,zero
 295 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
 296 ; SSSE3-NEXT:    movd %r9d, %xmm1
 297 ; SSSE3-NEXT:    movd {{.*#+}} xmm4 = mem[0],zero,zero,zero
 298 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[1]
 299 ; SSSE3-NEXT:    movq {{[0-9]+}}(%rsp), %rcx
 300 ; SSSE3-NEXT:    movdqa %xmm0, %xmm4
 301 ; SSSE3-NEXT:    psubd %xmm2, %xmm4
 302 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm2 = [2147483648,2147483648,2147483648,2147483648]
 303 ; SSSE3-NEXT:    movdqa %xmm4, (%rcx)
 304 ; SSSE3-NEXT:    pxor %xmm2, %xmm4
 305 ; SSSE3-NEXT:    pxor %xmm2, %xmm0
 306 ; SSSE3-NEXT:    pcmpgtd %xmm0, %xmm4
 307 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 308 ; SSSE3-NEXT:    psubd %xmm3, %xmm0
 309 ; SSSE3-NEXT:    movq %xmm0, 16(%rcx)
 310 ; SSSE3-NEXT:    pxor %xmm2, %xmm0
 311 ; SSSE3-NEXT:    pxor %xmm2, %xmm1
 312 ; SSSE3-NEXT:    pcmpgtd %xmm1, %xmm0
 313 ; SSSE3-NEXT:    movq %xmm0, 16(%rdi)
 314 ; SSSE3-NEXT:    movdqa %xmm4, (%rdi)
 315 ; SSSE3-NEXT:    retq
 316 ;
 317 ; SSE41-LABEL: usubo_v6i32:
 318 ; SSE41:       # %bb.0:
 319 ; SSE41-NEXT:    movq %rdi, %rax
 320 ; SSE41-NEXT:    movd %esi, %xmm0
 321 ; SSE41-NEXT:    pinsrd $1, %edx, %xmm0
 322 ; SSE41-NEXT:    pinsrd $2, %ecx, %xmm0
 323 ; SSE41-NEXT:    pinsrd $3, %r8d, %xmm0
 324 ; SSE41-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
 325 ; SSE41-NEXT:    pinsrd $1, {{[0-9]+}}(%rsp), %xmm1
 326 ; SSE41-NEXT:    movd %r9d, %xmm2
 327 ; SSE41-NEXT:    pinsrd $1, {{[0-9]+}}(%rsp), %xmm2
 328 ; SSE41-NEXT:    movd {{.*#+}} xmm3 = mem[0],zero,zero,zero
 329 ; SSE41-NEXT:    pinsrd $1, {{[0-9]+}}(%rsp), %xmm3
 330 ; SSE41-NEXT:    pinsrd $2, {{[0-9]+}}(%rsp), %xmm3
 331 ; SSE41-NEXT:    pinsrd $3, {{[0-9]+}}(%rsp), %xmm3
 332 ; SSE41-NEXT:    movq {{[0-9]+}}(%rsp), %rcx
 333 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 334 ; SSE41-NEXT:    psubd %xmm3, %xmm4
 335 ; SSE41-NEXT:    pminud %xmm4, %xmm0
 336 ; SSE41-NEXT:    pcmpeqd %xmm4, %xmm0
 337 ; SSE41-NEXT:    pcmpeqd %xmm3, %xmm3
 338 ; SSE41-NEXT:    pxor %xmm3, %xmm0
 339 ; SSE41-NEXT:    movdqa %xmm2, %xmm5
 340 ; SSE41-NEXT:    psubd %xmm1, %xmm5
 341 ; SSE41-NEXT:    pminud %xmm5, %xmm2
 342 ; SSE41-NEXT:    pcmpeqd %xmm5, %xmm2
 343 ; SSE41-NEXT:    pxor %xmm3, %xmm2
 344 ; SSE41-NEXT:    movq %xmm5, 16(%rcx)
 345 ; SSE41-NEXT:    movdqa %xmm4, (%rcx)
 346 ; SSE41-NEXT:    movq %xmm2, 16(%rdi)
 347 ; SSE41-NEXT:    movdqa %xmm0, (%rdi)
 348 ; SSE41-NEXT:    retq
 349 ;
 350 ; AVX1-LABEL: usubo_v6i32:
 351 ; AVX1:       # %bb.0:
 352 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 353 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 354 ; AVX1-NEXT:    vpsubd %xmm2, %xmm3, %xmm2
 355 ; AVX1-NEXT:    vpminud %xmm3, %xmm2, %xmm3
 356 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm3
 357 ; AVX1-NEXT:    vpcmpeqd %xmm4, %xmm4, %xmm4
 358 ; AVX1-NEXT:    vpxor %xmm4, %xmm3, %xmm3
 359 ; AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
 360 ; AVX1-NEXT:    vpminud %xmm0, %xmm1, %xmm0
 361 ; AVX1-NEXT:    vpcmpeqd %xmm0, %xmm1, %xmm0
 362 ; AVX1-NEXT:    vpxor %xmm4, %xmm0, %xmm0
 363 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm0, %ymm0
 364 ; AVX1-NEXT:    vmovq %xmm2, 16(%rdi)
 365 ; AVX1-NEXT:    vmovdqa %xmm1, (%rdi)
 366 ; AVX1-NEXT:    retq
 367 ;
 368 ; AVX2-LABEL: usubo_v6i32:
 369 ; AVX2:       # %bb.0:
 370 ; AVX2-NEXT:    vpsubd %ymm1, %ymm0, %ymm1
 371 ; AVX2-NEXT:    vpminud %ymm0, %ymm1, %ymm0
 372 ; AVX2-NEXT:    vpcmpeqd %ymm0, %ymm1, %ymm0
 373 ; AVX2-NEXT:    vpcmpeqd %ymm2, %ymm2, %ymm2
 374 ; AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
 375 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
 376 ; AVX2-NEXT:    vmovq %xmm2, 16(%rdi)
 377 ; AVX2-NEXT:    vmovdqa %xmm1, (%rdi)
 378 ; AVX2-NEXT:    retq
 379 ;
 380 ; AVX512-LABEL: usubo_v6i32:
 381 ; AVX512:       # %bb.0:
 382 ; AVX512-NEXT:    vpsubd %ymm1, %ymm0, %ymm1
 383 ; AVX512-NEXT:    vpcmpnleud %ymm0, %ymm1, %k1
 384 ; AVX512-NEXT:    vpcmpeqd %ymm0, %ymm0, %ymm0
 385 ; AVX512-NEXT:    vmovdqa32 %ymm0, %ymm0 {%k1} {z}
 386 ; AVX512-NEXT:    vextracti128 $1, %ymm1, %xmm2
 387 ; AVX512-NEXT:    vmovq %xmm2, 16(%rdi)
 388 ; AVX512-NEXT:    vmovdqa %xmm1, (%rdi)
 389 ; AVX512-NEXT:    retq
 390   %t = call {<6 x i32>, <6 x i1>} @llvm.usub.with.overflow.v6i32(<6 x i32> %a0, <6 x i32> %a1)
 391   %val = extractvalue {<6 x i32>, <6 x i1>} %t, 0
 392   %obit = extractvalue {<6 x i32>, <6 x i1>} %t, 1
 393   %res = sext <6 x i1> %obit to <6 x i32>
 394   store <6 x i32> %val, <6 x i32>* %p2
 395   ret <6 x i32> %res
 396 }
 397
 398 define <8 x i32> @usubo_v8i32(<8 x i32> %a0, <8 x i32> %a1, <8 x i32>* %p2) nounwind {
 399 ; SSE2-LABEL: usubo_v8i32:
 400 ; SSE2:       # %bb.0:
 401 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648,2147483648,2147483648]
 402 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
 403 ; SSE2-NEXT:    pxor %xmm4, %xmm5
 404 ; SSE2-NEXT:    psubd %xmm2, %xmm0
 405 ; SSE2-NEXT:    movdqa %xmm0, (%rdi)
 406 ; SSE2-NEXT:    pxor %xmm4, %xmm0
 407 ; SSE2-NEXT:    pcmpgtd %xmm5, %xmm0
 408 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 409 ; SSE2-NEXT:    pxor %xmm4, %xmm2
 410 ; SSE2-NEXT:    psubd %xmm3, %xmm1
 411 ; SSE2-NEXT:    pxor %xmm1, %xmm4
 412 ; SSE2-NEXT:    pcmpgtd %xmm2, %xmm4
 413 ; SSE2-NEXT:    movdqa %xmm1, 16(%rdi)
 414 ; SSE2-NEXT:    movdqa %xmm4, %xmm1
 415 ; SSE2-NEXT:    retq
 416 ;
 417 ; SSSE3-LABEL: usubo_v8i32:
 418 ; SSSE3:       # %bb.0:
 419 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648,2147483648,2147483648]
 420 ; SSSE3-NEXT:    movdqa %xmm0, %xmm5
 421 ; SSSE3-NEXT:    pxor %xmm4, %xmm5
 422 ; SSSE3-NEXT:    psubd %xmm2, %xmm0
 423 ; SSSE3-NEXT:    movdqa %xmm0, (%rdi)
 424 ; SSSE3-NEXT:    pxor %xmm4, %xmm0
 425 ; SSSE3-NEXT:    pcmpgtd %xmm5, %xmm0
 426 ; SSSE3-NEXT:    movdqa %xmm1, %xmm2
 427 ; SSSE3-NEXT:    pxor %xmm4, %xmm2
 428 ; SSSE3-NEXT:    psubd %xmm3, %xmm1
 429 ; SSSE3-NEXT:    pxor %xmm1, %xmm4
 430 ; SSSE3-NEXT:    pcmpgtd %xmm2, %xmm4
 431 ; SSSE3-NEXT:    movdqa %xmm1, 16(%rdi)
 432 ; SSSE3-NEXT:    movdqa %xmm4, %xmm1
 433 ; SSSE3-NEXT:    retq
 434 ;
 435 ; SSE41-LABEL: usubo_v8i32:
 436 ; SSE41:       # %bb.0:
 437 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 438 ; SSE41-NEXT:    psubd %xmm2, %xmm4
 439 ; SSE41-NEXT:    pminud %xmm4, %xmm0
 440 ; SSE41-NEXT:    pcmpeqd %xmm4, %xmm0
 441 ; SSE41-NEXT:    pcmpeqd %xmm2, %xmm2
 442 ; SSE41-NEXT:    pxor %xmm2, %xmm0
 443 ; SSE41-NEXT:    movdqa %xmm1, %xmm5
 444 ; SSE41-NEXT:    psubd %xmm3, %xmm5
 445 ; SSE41-NEXT:    pminud %xmm5, %xmm1
 446 ; SSE41-NEXT:    pcmpeqd %xmm5, %xmm1
 447 ; SSE41-NEXT:    pxor %xmm2, %xmm1
 448 ; SSE41-NEXT:    movdqa %xmm5, 16(%rdi)
 449 ; SSE41-NEXT:    movdqa %xmm4, (%rdi)
 450 ; SSE41-NEXT:    retq
 451 ;
 452 ; AVX1-LABEL: usubo_v8i32:
 453 ; AVX1:       # %bb.0:
 454 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 455 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 456 ; AVX1-NEXT:    vpsubd %xmm2, %xmm3, %xmm2
 457 ; AVX1-NEXT:    vpminud %xmm3, %xmm2, %xmm3
 458 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm3
 459 ; AVX1-NEXT:    vpcmpeqd %xmm4, %xmm4, %xmm4
 460 ; AVX1-NEXT:    vpxor %xmm4, %xmm3, %xmm3
 461 ; AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
 462 ; AVX1-NEXT:    vpminud %xmm0, %xmm1, %xmm0
 463 ; AVX1-NEXT:    vpcmpeqd %xmm0, %xmm1, %xmm0
 464 ; AVX1-NEXT:    vpxor %xmm4, %xmm0, %xmm0
 465 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm0, %ymm0
 466 ; AVX1-NEXT:    vmovdqa %xmm2, 16(%rdi)
 467 ; AVX1-NEXT:    vmovdqa %xmm1, (%rdi)
 468 ; AVX1-NEXT:    retq
 469 ;
 470 ; AVX2-LABEL: usubo_v8i32:
 471 ; AVX2:       # %bb.0:
 472 ; AVX2-NEXT:    vpsubd %ymm1, %ymm0, %ymm1
 473 ; AVX2-NEXT:    vpminud %ymm0, %ymm1, %ymm0
 474 ; AVX2-NEXT:    vpcmpeqd %ymm0, %ymm1, %ymm0
 475 ; AVX2-NEXT:    vpcmpeqd %ymm2, %ymm2, %ymm2
 476 ; AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
 477 ; AVX2-NEXT:    vmovdqa %ymm1, (%rdi)
 478 ; AVX2-NEXT:    retq
 479 ;
 480 ; AVX512-LABEL: usubo_v8i32:
 481 ; AVX512:       # %bb.0:
 482 ; AVX512-NEXT:    vpsubd %ymm1, %ymm0, %ymm1
 483 ; AVX512-NEXT:    vpcmpnleud %ymm0, %ymm1, %k1
 484 ; AVX512-NEXT:    vpcmpeqd %ymm0, %ymm0, %ymm0
 485 ; AVX512-NEXT:    vmovdqa32 %ymm0, %ymm0 {%k1} {z}
 486 ; AVX512-NEXT:    vmovdqa %ymm1, (%rdi)
 487 ; AVX512-NEXT:    retq
 488   %t = call {<8 x i32>, <8 x i1>} @llvm.usub.with.overflow.v8i32(<8 x i32> %a0, <8 x i32> %a1)
 489   %val = extractvalue {<8 x i32>, <8 x i1>} %t, 0
 490   %obit = extractvalue {<8 x i32>, <8 x i1>} %t, 1
 491   %res = sext <8 x i1> %obit to <8 x i32>
 492   store <8 x i32> %val, <8 x i32>* %p2
 493   ret <8 x i32> %res
 494 }
 495
 496 define <16 x i32> @usubo_v16i32(<16 x i32> %a0, <16 x i32> %a1, <16 x i32>* %p2) nounwind {
 497 ; SSE2-LABEL: usubo_v16i32:
 498 ; SSE2:       # %bb.0:
 499 ; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2147483648,2147483648,2147483648,2147483648]
 500 ; SSE2-NEXT:    movdqa %xmm0, %xmm9
 501 ; SSE2-NEXT:    pxor %xmm8, %xmm9
 502 ; SSE2-NEXT:    psubd %xmm4, %xmm0
 503 ; SSE2-NEXT:    movdqa %xmm0, (%rdi)
 504 ; SSE2-NEXT:    pxor %xmm8, %xmm0
 505 ; SSE2-NEXT:    pcmpgtd %xmm9, %xmm0
 506 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 507 ; SSE2-NEXT:    pxor %xmm8, %xmm4
 508 ; SSE2-NEXT:    psubd %xmm5, %xmm1
 509 ; SSE2-NEXT:    movdqa %xmm1, 16(%rdi)
 510 ; SSE2-NEXT:    pxor %xmm8, %xmm1
 511 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm1
 512 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 513 ; SSE2-NEXT:    pxor %xmm8, %xmm4
 514 ; SSE2-NEXT:    psubd %xmm6, %xmm2
 515 ; SSE2-NEXT:    movdqa %xmm2, 32(%rdi)
 516 ; SSE2-NEXT:    pxor %xmm8, %xmm2
 517 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm2
 518 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
 519 ; SSE2-NEXT:    pxor %xmm8, %xmm4
 520 ; SSE2-NEXT:    psubd %xmm7, %xmm3
 521 ; SSE2-NEXT:    pxor %xmm3, %xmm8
 522 ; SSE2-NEXT:    pcmpgtd %xmm4, %xmm8
 523 ; SSE2-NEXT:    movdqa %xmm3, 48(%rdi)
 524 ; SSE2-NEXT:    movdqa %xmm8, %xmm3
 525 ; SSE2-NEXT:    retq
 526 ;
 527 ; SSSE3-LABEL: usubo_v16i32:
 528 ; SSSE3:       # %bb.0:
 529 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm8 = [2147483648,2147483648,2147483648,2147483648]
 530 ; SSSE3-NEXT:    movdqa %xmm0, %xmm9
 531 ; SSSE3-NEXT:    pxor %xmm8, %xmm9
 532 ; SSSE3-NEXT:    psubd %xmm4, %xmm0
 533 ; SSSE3-NEXT:    movdqa %xmm0, (%rdi)
 534 ; SSSE3-NEXT:    pxor %xmm8, %xmm0
 535 ; SSSE3-NEXT:    pcmpgtd %xmm9, %xmm0
 536 ; SSSE3-NEXT:    movdqa %xmm1, %xmm4
 537 ; SSSE3-NEXT:    pxor %xmm8, %xmm4
 538 ; SSSE3-NEXT:    psubd %xmm5, %xmm1
 539 ; SSSE3-NEXT:    movdqa %xmm1, 16(%rdi)
 540 ; SSSE3-NEXT:    pxor %xmm8, %xmm1
 541 ; SSSE3-NEXT:    pcmpgtd %xmm4, %xmm1
 542 ; SSSE3-NEXT:    movdqa %xmm2, %xmm4
 543 ; SSSE3-NEXT:    pxor %xmm8, %xmm4
 544 ; SSSE3-NEXT:    psubd %xmm6, %xmm2
 545 ; SSSE3-NEXT:    movdqa %xmm2, 32(%rdi)
 546 ; SSSE3-NEXT:    pxor %xmm8, %xmm2
 547 ; SSSE3-NEXT:    pcmpgtd %xmm4, %xmm2
 548 ; SSSE3-NEXT:    movdqa %xmm3, %xmm4
 549 ; SSSE3-NEXT:    pxor %xmm8, %xmm4
 550 ; SSSE3-NEXT:    psubd %xmm7, %xmm3
 551 ; SSSE3-NEXT:    pxor %xmm3, %xmm8
 552 ; SSSE3-NEXT:    pcmpgtd %xmm4, %xmm8
 553 ; SSSE3-NEXT:    movdqa %xmm3, 48(%rdi)
 554 ; SSSE3-NEXT:    movdqa %xmm8, %xmm3
 555 ; SSSE3-NEXT:    retq
 556 ;
 557 ; SSE41-LABEL: usubo_v16i32:
 558 ; SSE41:       # %bb.0:
 559 ; SSE41-NEXT:    movdqa %xmm0, %xmm8
 560 ; SSE41-NEXT:    psubd %xmm4, %xmm8
 561 ; SSE41-NEXT:    pminud %xmm8, %xmm0
 562 ; SSE41-NEXT:    pcmpeqd %xmm8, %xmm0
 563 ; SSE41-NEXT:    pcmpeqd %xmm9, %xmm9
 564 ; SSE41-NEXT:    pxor %xmm9, %xmm0
 565 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 566 ; SSE41-NEXT:    psubd %xmm5, %xmm4
 567 ; SSE41-NEXT:    pminud %xmm4, %xmm1
 568 ; SSE41-NEXT:    pcmpeqd %xmm4, %xmm1
 569 ; SSE41-NEXT:    pxor %xmm9, %xmm1
 570 ; SSE41-NEXT:    movdqa %xmm2, %xmm5
 571 ; SSE41-NEXT:    psubd %xmm6, %xmm5
 572 ; SSE41-NEXT:    pminud %xmm5, %xmm2
 573 ; SSE41-NEXT:    pcmpeqd %xmm5, %xmm2
 574 ; SSE41-NEXT:    pxor %xmm9, %xmm2
 575 ; SSE41-NEXT:    movdqa %xmm3, %xmm6
 576 ; SSE41-NEXT:    psubd %xmm7, %xmm6
 577 ; SSE41-NEXT:    pminud %xmm6, %xmm3
 578 ; SSE41-NEXT:    pcmpeqd %xmm6, %xmm3
 579 ; SSE41-NEXT:    pxor %xmm9, %xmm3
 580 ; SSE41-NEXT:    movdqa %xmm6, 48(%rdi)
 581 ; SSE41-NEXT:    movdqa %xmm5, 32(%rdi)
 582 ; SSE41-NEXT:    movdqa %xmm4, 16(%rdi)
 583 ; SSE41-NEXT:    movdqa %xmm8, (%rdi)
 584 ; SSE41-NEXT:    retq
 585 ;
 586 ; AVX1-LABEL: usubo_v16i32:
 587 ; AVX1:       # %bb.0:
 588 ; AVX1-NEXT:    vextractf128 $1, %ymm3, %xmm4
 589 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm5
 590 ; AVX1-NEXT:    vpsubd %xmm4, %xmm5, %xmm4
 591 ; AVX1-NEXT:    vpminud %xmm5, %xmm4, %xmm5
 592 ; AVX1-NEXT:    vpcmpeqd %xmm5, %xmm4, %xmm5
 593 ; AVX1-NEXT:    vpcmpeqd %xmm6, %xmm6, %xmm6
 594 ; AVX1-NEXT:    vpxor %xmm6, %xmm5, %xmm5
 595 ; AVX1-NEXT:    vpsubd %xmm3, %xmm1, %xmm3
 596 ; AVX1-NEXT:    vpminud %xmm1, %xmm3, %xmm1
 597 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm3, %xmm1
 598 ; AVX1-NEXT:    vpxor %xmm6, %xmm1, %xmm1
 599 ; AVX1-NEXT:    vpackssdw %xmm5, %xmm1, %xmm1
 600 ; AVX1-NEXT:    vextractf128 $1, %ymm2, %xmm5
 601 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm7
 602 ; AVX1-NEXT:    vpsubd %xmm5, %xmm7, %xmm5
 603 ; AVX1-NEXT:    vpminud %xmm7, %xmm5, %xmm7
 604 ; AVX1-NEXT:    vpcmpeqd %xmm7, %xmm5, %xmm7
 605 ; AVX1-NEXT:    vpxor %xmm6, %xmm7, %xmm7
 606 ; AVX1-NEXT:    vpsubd %xmm2, %xmm0, %xmm2
 607 ; AVX1-NEXT:    vpminud %xmm0, %xmm2, %xmm0
 608 ; AVX1-NEXT:    vpcmpeqd %xmm0, %xmm2, %xmm0
 609 ; AVX1-NEXT:    vpxor %xmm6, %xmm0, %xmm0
 610 ; AVX1-NEXT:    vpackssdw %xmm7, %xmm0, %xmm0
 611 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm0, %xmm0
 612 ; AVX1-NEXT:    vpmovsxbd %xmm0, %xmm6
 613 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,1,1]
 614 ; AVX1-NEXT:    vpmovsxbd %xmm0, %xmm0
 615 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm6, %ymm0
 616 ; AVX1-NEXT:    vpacksswb %xmm1, %xmm1, %xmm1
 617 ; AVX1-NEXT:    vpmovsxbd %xmm1, %xmm6
 618 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[1,1,1,1]
 619 ; AVX1-NEXT:    vpmovsxbd %xmm1, %xmm1
 620 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm6, %ymm1
 621 ; AVX1-NEXT:    vmovdqa %xmm4, 48(%rdi)
 622 ; AVX1-NEXT:    vmovdqa %xmm3, 32(%rdi)
 623 ; AVX1-NEXT:    vmovdqa %xmm5, 16(%rdi)
 624 ; AVX1-NEXT:    vmovdqa %xmm2, (%rdi)
 625 ; AVX1-NEXT:    retq
 626 ;
 627 ; AVX2-LABEL: usubo_v16i32:
 628 ; AVX2:       # %bb.0:
 629 ; AVX2-NEXT:    vpsubd %ymm3, %ymm1, %ymm3
 630 ; AVX2-NEXT:    vpminud %ymm1, %ymm3, %ymm1
 631 ; AVX2-NEXT:    vpcmpeqd %ymm1, %ymm3, %ymm1
 632 ; AVX2-NEXT:    vpcmpeqd %ymm4, %ymm4, %ymm4
 633 ; AVX2-NEXT:    vpxor %ymm4, %ymm1, %ymm1
 634 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm5
 635 ; AVX2-NEXT:    vpackssdw %xmm5, %xmm1, %xmm1
 636 ; AVX2-NEXT:    vpsubd %ymm2, %ymm0, %ymm2
 637 ; AVX2-NEXT:    vpminud %ymm0, %ymm2, %ymm0
 638 ; AVX2-NEXT:    vpcmpeqd %ymm0, %ymm2, %ymm0
 639 ; AVX2-NEXT:    vpxor %ymm4, %ymm0, %ymm0
 640 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
 641 ; AVX2-NEXT:    vpackssdw %xmm4, %xmm0, %xmm0
 642 ; AVX2-NEXT:    vpacksswb %xmm0, %xmm0, %xmm0
 643 ; AVX2-NEXT:    vpmovsxbd %xmm0, %ymm0
 644 ; AVX2-NEXT:    vpacksswb %xmm1, %xmm1, %xmm1
 645 ; AVX2-NEXT:    vpmovsxbd %xmm1, %ymm1
 646 ; AVX2-NEXT:    vmovdqa %ymm3, 32(%rdi)
 647 ; AVX2-NEXT:    vmovdqa %ymm2, (%rdi)
 648 ; AVX2-NEXT:    retq
 649 ;
 650 ; AVX512-LABEL: usubo_v16i32:
 651 ; AVX512:       # %bb.0:
 652 ; AVX512-NEXT:    vpsubd %zmm1, %zmm0, %zmm1
 653 ; AVX512-NEXT:    vpcmpnleud %zmm0, %zmm1, %k1
 654 ; AVX512-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
 655 ; AVX512-NEXT:    vmovdqa64 %zmm1, (%rdi)
 656 ; AVX512-NEXT:    retq
 657   %t = call {<16 x i32>, <16 x i1>} @llvm.usub.with.overflow.v16i32(<16 x i32> %a0, <16 x i32> %a1)
 658   %val = extractvalue {<16 x i32>, <16 x i1>} %t, 0
 659   %obit = extractvalue {<16 x i32>, <16 x i1>} %t, 1
 660   %res = sext <16 x i1> %obit to <16 x i32>
 661   store <16 x i32> %val, <16 x i32>* %p2
 662   ret <16 x i32> %res
 663 }
 664
 665 define <16 x i32> @usubo_v16i8(<16 x i8> %a0, <16 x i8> %a1, <16 x i8>* %p2) nounwind {
 666 ; SSE2-LABEL: usubo_v16i8:
 667 ; SSE2:       # %bb.0:
 668 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
 669 ; SSE2-NEXT:    psubb %xmm1, %xmm4
 670 ; SSE2-NEXT:    pminub %xmm4, %xmm0
 671 ; SSE2-NEXT:    pcmpeqb %xmm4, %xmm0
 672 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm3
 673 ; SSE2-NEXT:    pxor %xmm0, %xmm3
 674 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
 675 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 676 ; SSE2-NEXT:    psrad $24, %xmm0
 677 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
 678 ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 679 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4,4,5,5,6,6,7,7]
 680 ; SSE2-NEXT:    pslld $31, %xmm1
 681 ; SSE2-NEXT:    psrad $31, %xmm1
 682 ; SSE2-NEXT:    punpckhbw {{.*#+}} xmm3 = xmm3[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 683 ; SSE2-NEXT:    movdqa %xmm3, %xmm2
 684 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0,0,1,1,2,2,3,3]
 685 ; SSE2-NEXT:    pslld $31, %xmm2
 686 ; SSE2-NEXT:    psrad $31, %xmm2
 687 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm3 = xmm3[4,4,5,5,6,6,7,7]
 688 ; SSE2-NEXT:    pslld $31, %xmm3
 689 ; SSE2-NEXT:    psrad $31, %xmm3
 690 ; SSE2-NEXT:    movdqa %xmm4, (%rdi)
 691 ; SSE2-NEXT:    retq
 692 ;
 693 ; SSSE3-LABEL: usubo_v16i8:
 694 ; SSSE3:       # %bb.0:
 695 ; SSSE3-NEXT:    movdqa %xmm0, %xmm4
 696 ; SSSE3-NEXT:    psubb %xmm1, %xmm4
 697 ; SSSE3-NEXT:    pminub %xmm4, %xmm0
 698 ; SSSE3-NEXT:    pcmpeqb %xmm4, %xmm0
 699 ; SSSE3-NEXT:    pcmpeqd %xmm3, %xmm3
 700 ; SSSE3-NEXT:    pxor %xmm0, %xmm3
 701 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
 702 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 703 ; SSSE3-NEXT:    psrad $24, %xmm0
 704 ; SSSE3-NEXT:    movdqa %xmm3, %xmm1
 705 ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 706 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4,4,5,5,6,6,7,7]
 707 ; SSSE3-NEXT:    pslld $31, %xmm1
 708 ; SSSE3-NEXT:    psrad $31, %xmm1
 709 ; SSSE3-NEXT:    punpckhbw {{.*#+}} xmm3 = xmm3[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 710 ; SSSE3-NEXT:    movdqa %xmm3, %xmm2
 711 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0,0,1,1,2,2,3,3]
 712 ; SSSE3-NEXT:    pslld $31, %xmm2
 713 ; SSSE3-NEXT:    psrad $31, %xmm2
 714 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm3 = xmm3[4,4,5,5,6,6,7,7]
 715 ; SSSE3-NEXT:    pslld $31, %xmm3
 716 ; SSSE3-NEXT:    psrad $31, %xmm3
 717 ; SSSE3-NEXT:    movdqa %xmm4, (%rdi)
 718 ; SSSE3-NEXT:    retq
 719 ;
 720 ; SSE41-LABEL: usubo_v16i8:
 721 ; SSE41:       # %bb.0:
 722 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 723 ; SSE41-NEXT:    psubb %xmm1, %xmm4
 724 ; SSE41-NEXT:    pminub %xmm4, %xmm0
 725 ; SSE41-NEXT:    pcmpeqb %xmm4, %xmm0
 726 ; SSE41-NEXT:    pcmpeqd %xmm3, %xmm3
 727 ; SSE41-NEXT:    pxor %xmm0, %xmm3
 728 ; SSE41-NEXT:    pmovsxbd %xmm3, %xmm0
 729 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[1,1,1,1]
 730 ; SSE41-NEXT:    pmovzxbd {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero
 731 ; SSE41-NEXT:    pslld $31, %xmm1
 732 ; SSE41-NEXT:    psrad $31, %xmm1
 733 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[2,3,2,3]
 734 ; SSE41-NEXT:    pmovzxbd {{.*#+}} xmm2 = xmm2[0],zero,zero,zero,xmm2[1],zero,zero,zero,xmm2[2],zero,zero,zero,xmm2[3],zero,zero,zero
 735 ; SSE41-NEXT:    pslld $31, %xmm2
 736 ; SSE41-NEXT:    psrad $31, %xmm2
 737 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
 738 ; SSE41-NEXT:    pmovzxbd {{.*#+}} xmm3 = xmm3[0],zero,zero,zero,xmm3[1],zero,zero,zero,xmm3[2],zero,zero,zero,xmm3[3],zero,zero,zero
 739 ; SSE41-NEXT:    pslld $31, %xmm3
 740 ; SSE41-NEXT:    psrad $31, %xmm3
 741 ; SSE41-NEXT:    movdqa %xmm4, (%rdi)
 742 ; SSE41-NEXT:    retq
 743 ;
 744 ; AVX1-LABEL: usubo_v16i8:
 745 ; AVX1:       # %bb.0:
 746 ; AVX1-NEXT:    vpsubb %xmm1, %xmm0, %xmm2
 747 ; AVX1-NEXT:    vpminub %xmm0, %xmm2, %xmm0
 748 ; AVX1-NEXT:    vpcmpeqb %xmm0, %xmm2, %xmm0
 749 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
 750 ; AVX1-NEXT:    vpxor %xmm1, %xmm0, %xmm1
 751 ; AVX1-NEXT:    vpmovsxbd %xmm1, %xmm0
 752 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[1,1,1,1]
 753 ; AVX1-NEXT:    vpmovsxbd %xmm3, %xmm3
 754 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm0, %ymm0
 755 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[2,3,2,3]
 756 ; AVX1-NEXT:    vpmovsxbd %xmm3, %xmm3
 757 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
 758 ; AVX1-NEXT:    vpmovsxbd %xmm1, %xmm1
 759 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm3, %ymm1
 760 ; AVX1-NEXT:    vmovdqa %xmm2, (%rdi)
 761 ; AVX1-NEXT:    retq
 762 ;
 763 ; AVX2-LABEL: usubo_v16i8:
 764 ; AVX2:       # %bb.0:
 765 ; AVX2-NEXT:    vpsubb %xmm1, %xmm0, %xmm2
 766 ; AVX2-NEXT:    vpminub %xmm0, %xmm2, %xmm0
 767 ; AVX2-NEXT:    vpcmpeqb %xmm0, %xmm2, %xmm0
 768 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
 769 ; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm1
 770 ; AVX2-NEXT:    vpmovsxbd %xmm1, %ymm0
 771 ; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
 772 ; AVX2-NEXT:    vpmovsxbd %xmm1, %ymm1
 773 ; AVX2-NEXT:    vmovdqa %xmm2, (%rdi)
 774 ; AVX2-NEXT:    retq
 775 ;
 776 ; AVX512-LABEL: usubo_v16i8:
 777 ; AVX512:       # %bb.0:
 778 ; AVX512-NEXT:    vpsubb %xmm1, %xmm0, %xmm1
 779 ; AVX512-NEXT:    vpcmpnleub %xmm0, %xmm1, %k1
 780 ; AVX512-NEXT:    vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
 781 ; AVX512-NEXT:    vmovdqa %xmm1, (%rdi)
 782 ; AVX512-NEXT:    retq
 783   %t = call {<16 x i8>, <16 x i1>} @llvm.usub.with.overflow.v16i8(<16 x i8> %a0, <16 x i8> %a1)
 784   %val = extractvalue {<16 x i8>, <16 x i1>} %t, 0
 785   %obit = extractvalue {<16 x i8>, <16 x i1>} %t, 1
 786   %res = sext <16 x i1> %obit to <16 x i32>
 787   store <16 x i8> %val, <16 x i8>* %p2
 788   ret <16 x i32> %res
 789 }
 790
 791 define <8 x i32> @usubo_v8i16(<8 x i16> %a0, <8 x i16> %a1, <8 x i16>* %p2) nounwind {
 792 ; SSE2-LABEL: usubo_v8i16:
 793 ; SSE2:       # %bb.0:
 794 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [32768,32768,32768,32768,32768,32768,32768,32768]
 795 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 796 ; SSE2-NEXT:    pxor %xmm2, %xmm3
 797 ; SSE2-NEXT:    psubw %xmm1, %xmm0
 798 ; SSE2-NEXT:    pxor %xmm0, %xmm2
 799 ; SSE2-NEXT:    pcmpgtw %xmm3, %xmm2
 800 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
 801 ; SSE2-NEXT:    psrad $16, %xmm1
 802 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4,4,5,5,6,6,7,7]
 803 ; SSE2-NEXT:    pslld $31, %xmm2
 804 ; SSE2-NEXT:    psrad $31, %xmm2
 805 ; SSE2-NEXT:    movdqa %xmm0, (%rdi)
 806 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
 807 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 808 ; SSE2-NEXT:    retq
 809 ;
 810 ; SSSE3-LABEL: usubo_v8i16:
 811 ; SSSE3:       # %bb.0:
 812 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm2 = [32768,32768,32768,32768,32768,32768,32768,32768]
 813 ; SSSE3-NEXT:    movdqa %xmm0, %xmm3
 814 ; SSSE3-NEXT:    pxor %xmm2, %xmm3
 815 ; SSSE3-NEXT:    psubw %xmm1, %xmm0
 816 ; SSSE3-NEXT:    pxor %xmm0, %xmm2
 817 ; SSSE3-NEXT:    pcmpgtw %xmm3, %xmm2
 818 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
 819 ; SSSE3-NEXT:    psrad $16, %xmm1
 820 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4,4,5,5,6,6,7,7]
 821 ; SSSE3-NEXT:    pslld $31, %xmm2
 822 ; SSSE3-NEXT:    psrad $31, %xmm2
 823 ; SSSE3-NEXT:    movdqa %xmm0, (%rdi)
 824 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 825 ; SSSE3-NEXT:    movdqa %xmm2, %xmm1
 826 ; SSSE3-NEXT:    retq
 827 ;
 828 ; SSE41-LABEL: usubo_v8i16:
 829 ; SSE41:       # %bb.0:
 830 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 831 ; SSE41-NEXT:    psubw %xmm1, %xmm2
 832 ; SSE41-NEXT:    pminuw %xmm2, %xmm0
 833 ; SSE41-NEXT:    pcmpeqw %xmm2, %xmm0
 834 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
 835 ; SSE41-NEXT:    pxor %xmm0, %xmm1
 836 ; SSE41-NEXT:    pmovsxwd %xmm1, %xmm0
 837 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4,4,5,5,6,6,7,7]
 838 ; SSE41-NEXT:    pslld $31, %xmm1
 839 ; SSE41-NEXT:    psrad $31, %xmm1
 840 ; SSE41-NEXT:    movdqa %xmm2, (%rdi)
 841 ; SSE41-NEXT:    retq
 842 ;
 843 ; AVX1-LABEL: usubo_v8i16:
 844 ; AVX1:       # %bb.0:
 845 ; AVX1-NEXT:    vpsubw %xmm1, %xmm0, %xmm1
 846 ; AVX1-NEXT:    vpminuw %xmm0, %xmm1, %xmm0
 847 ; AVX1-NEXT:    vpcmpeqw %xmm0, %xmm1, %xmm0
 848 ; AVX1-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
 849 ; AVX1-NEXT:    vpxor %xmm2, %xmm0, %xmm0
 850 ; AVX1-NEXT:    vpmovsxwd %xmm0, %xmm2
 851 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
 852 ; AVX1-NEXT:    vpmovsxwd %xmm0, %xmm0
 853 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm2, %ymm0
 854 ; AVX1-NEXT:    vmovdqa %xmm1, (%rdi)
 855 ; AVX1-NEXT:    retq
 856 ;
 857 ; AVX2-LABEL: usubo_v8i16:
 858 ; AVX2:       # %bb.0:
 859 ; AVX2-NEXT:    vpsubw %xmm1, %xmm0, %xmm1
 860 ; AVX2-NEXT:    vpminuw %xmm0, %xmm1, %xmm0
 861 ; AVX2-NEXT:    vpcmpeqw %xmm0, %xmm1, %xmm0
 862 ; AVX2-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
 863 ; AVX2-NEXT:    vpxor %xmm2, %xmm0, %xmm0
 864 ; AVX2-NEXT:    vpmovsxwd %xmm0, %ymm0
 865 ; AVX2-NEXT:    vmovdqa %xmm1, (%rdi)
 866 ; AVX2-NEXT:    retq
 867 ;
 868 ; AVX512-LABEL: usubo_v8i16:
 869 ; AVX512:       # %bb.0:
 870 ; AVX512-NEXT:    vpsubw %xmm1, %xmm0, %xmm1
 871 ; AVX512-NEXT:    vpcmpnleuw %xmm0, %xmm1, %k1
 872 ; AVX512-NEXT:    vpcmpeqd %ymm0, %ymm0, %ymm0
 873 ; AVX512-NEXT:    vmovdqa32 %ymm0, %ymm0 {%k1} {z}
 874 ; AVX512-NEXT:    vmovdqa %xmm1, (%rdi)
 875 ; AVX512-NEXT:    retq
 876   %t = call {<8 x i16>, <8 x i1>} @llvm.usub.with.overflow.v8i16(<8 x i16> %a0, <8 x i16> %a1)
 877   %val = extractvalue {<8 x i16>, <8 x i1>} %t, 0
 878   %obit = extractvalue {<8 x i16>, <8 x i1>} %t, 1
 879   %res = sext <8 x i1> %obit to <8 x i32>
 880   store <8 x i16> %val, <8 x i16>* %p2
 881   ret <8 x i32> %res
 882 }
 883
 884 define <2 x i32> @usubo_v2i64(<2 x i64> %a0, <2 x i64> %a1, <2 x i64>* %p2) nounwind {
 885 ; SSE-LABEL: usubo_v2i64:
 886 ; SSE:       # %bb.0:
 887 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [9223372039002259456,9223372039002259456]
 888 ; SSE-NEXT:    movdqa %xmm0, %xmm3
 889 ; SSE-NEXT:    pxor %xmm2, %xmm3
 890 ; SSE-NEXT:    psubq %xmm1, %xmm0
 891 ; SSE-NEXT:    pxor %xmm0, %xmm2
 892 ; SSE-NEXT:    movdqa %xmm2, %xmm1
 893 ; SSE-NEXT:    pcmpeqd %xmm3, %xmm1
 894 ; SSE-NEXT:    pcmpgtd %xmm3, %xmm2
 895 ; SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[0,2,2,3]
 896 ; SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,3,3,3]
 897 ; SSE-NEXT:    pand %xmm3, %xmm4
 898 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,3,3,3]
 899 ; SSE-NEXT:    por %xmm4, %xmm1
 900 ; SSE-NEXT:    movdqa %xmm0, (%rdi)
 901 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 902 ; SSE-NEXT:    retq
 903 ;
 904 ; AVX-LABEL: usubo_v2i64:
 905 ; AVX:       # %bb.0:
 906 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
 907 ; AVX-NEXT:    vpxor %xmm2, %xmm0, %xmm3
 908 ; AVX-NEXT:    vpsubq %xmm1, %xmm0, %xmm1
 909 ; AVX-NEXT:    vpxor %xmm2, %xmm1, %xmm0
 910 ; AVX-NEXT:    vpcmpgtq %xmm3, %xmm0, %xmm0
 911 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 912 ; AVX-NEXT:    vmovdqa %xmm1, (%rdi)
 913 ; AVX-NEXT:    retq
 914 ;
 915 ; AVX512-LABEL: usubo_v2i64:
 916 ; AVX512:       # %bb.0:
 917 ; AVX512-NEXT:    vpsubq %xmm1, %xmm0, %xmm1
 918 ; AVX512-NEXT:    vpcmpnleuq %xmm0, %xmm1, %k1
 919 ; AVX512-NEXT:    vpcmpeqd %xmm0, %xmm0, %xmm0
 920 ; AVX512-NEXT:    vmovdqa32 %xmm0, %xmm0 {%k1} {z}
 921 ; AVX512-NEXT:    vmovdqa %xmm1, (%rdi)
 922 ; AVX512-NEXT:    retq
 923   %t = call {<2 x i64>, <2 x i1>} @llvm.usub.with.overflow.v2i64(<2 x i64> %a0, <2 x i64> %a1)
 924   %val = extractvalue {<2 x i64>, <2 x i1>} %t, 0
 925   %obit = extractvalue {<2 x i64>, <2 x i1>} %t, 1
 926   %res = sext <2 x i1> %obit to <2 x i32>
 927   store <2 x i64> %val, <2 x i64>* %p2
 928   ret <2 x i32> %res
 929 }
 930
 931 define <4 x i32> @usubo_v4i24(<4 x i24> %a0, <4 x i24> %a1, <4 x i24>* %p2) nounwind {
 932 ; SSE2-LABEL: usubo_v4i24:
 933 ; SSE2:       # %bb.0:
 934 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 935 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [255,255,255,0,255,255,255,0,255,255,255,0,255,255,255,0]
 936 ; SSE2-NEXT:    pand %xmm3, %xmm1
 937 ; SSE2-NEXT:    pand %xmm3, %xmm2
 938 ; SSE2-NEXT:    psubd %xmm1, %xmm2
 939 ; SSE2-NEXT:    pand %xmm2, %xmm3
 940 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm3
 941 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm0
 942 ; SSE2-NEXT:    pxor %xmm3, %xmm0
 943 ; SSE2-NEXT:    movd %xmm2, %eax
 944 ; SSE2-NEXT:    movw %ax, (%rdi)
 945 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[3,3,3,3]
 946 ; SSE2-NEXT:    movd %xmm1, %ecx
 947 ; SSE2-NEXT:    movw %cx, 9(%rdi)
 948 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[2,3,2,3]
 949 ; SSE2-NEXT:    movd %xmm1, %edx
 950 ; SSE2-NEXT:    movw %dx, 6(%rdi)
 951 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,1,1]
 952 ; SSE2-NEXT:    movd %xmm1, %esi
 953 ; SSE2-NEXT:    movw %si, 3(%rdi)
 954 ; SSE2-NEXT:    shrl $16, %eax
 955 ; SSE2-NEXT:    movb %al, 2(%rdi)
 956 ; SSE2-NEXT:    shrl $16, %ecx
 957 ; SSE2-NEXT:    movb %cl, 11(%rdi)
 958 ; SSE2-NEXT:    shrl $16, %edx
 959 ; SSE2-NEXT:    movb %dl, 8(%rdi)
 960 ; SSE2-NEXT:    shrl $16, %esi
 961 ; SSE2-NEXT:    movb %sil, 5(%rdi)
 962 ; SSE2-NEXT:    retq
 963 ;
 964 ; SSSE3-LABEL: usubo_v4i24:
 965 ; SSSE3:       # %bb.0:
 966 ; SSSE3-NEXT:    movdqa %xmm0, %xmm2
 967 ; SSSE3-NEXT:    movdqa {{.*#+}} xmm3 = [255,255,255,0,255,255,255,0,255,255,255,0,255,255,255,0]
 968 ; SSSE3-NEXT:    pand %xmm3, %xmm1
 969 ; SSSE3-NEXT:    pand %xmm3, %xmm2
 970 ; SSSE3-NEXT:    psubd %xmm1, %xmm2
 971 ; SSSE3-NEXT:    pand %xmm2, %xmm3
 972 ; SSSE3-NEXT:    pcmpeqd %xmm2, %xmm3
 973 ; SSSE3-NEXT:    pcmpeqd %xmm0, %xmm0
 974 ; SSSE3-NEXT:    pxor %xmm3, %xmm0
 975 ; SSSE3-NEXT:    movd %xmm2, %eax
 976 ; SSSE3-NEXT:    movw %ax, (%rdi)
 977 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[3,3,3,3]
 978 ; SSSE3-NEXT:    movd %xmm1, %ecx
 979 ; SSSE3-NEXT:    movw %cx, 9(%rdi)
 980 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[2,3,2,3]
 981 ; SSSE3-NEXT:    movd %xmm1, %edx
 982 ; SSSE3-NEXT:    movw %dx, 6(%rdi)
 983 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,1,1,1]
 984 ; SSSE3-NEXT:    movd %xmm1, %esi
 985 ; SSSE3-NEXT:    movw %si, 3(%rdi)
 986 ; SSSE3-NEXT:    shrl $16, %eax
 987 ; SSSE3-NEXT:    movb %al, 2(%rdi)
 988 ; SSSE3-NEXT:    shrl $16, %ecx
 989 ; SSSE3-NEXT:    movb %cl, 11(%rdi)
 990 ; SSSE3-NEXT:    shrl $16, %edx
 991 ; SSSE3-NEXT:    movb %dl, 8(%rdi)
 992 ; SSSE3-NEXT:    shrl $16, %esi
 993 ; SSSE3-NEXT:    movb %sil, 5(%rdi)
 994 ; SSSE3-NEXT:    retq
 995 ;
 996 ; SSE41-LABEL: usubo_v4i24:
 997 ; SSE41:       # %bb.0:
 998 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,0,255,255,255,0,255,255,255,0,255,255,255,0]
 999 ; SSE41-NEXT:    pand %xmm2, %xmm1
1000 ; SSE41-NEXT:    pand %xmm2, %xmm0
1001 ; SSE41-NEXT:    psubd %xmm1, %xmm0
1002 ; SSE41-NEXT:    pand %xmm0, %xmm2
1003 ; SSE41-NEXT:    pcmpeqd %xmm0, %xmm2
1004 ; SSE41-NEXT:    pcmpeqd %xmm1, %xmm1
1005 ; SSE41-NEXT:    pxor %xmm2, %xmm1
1006 ; SSE41-NEXT:    pextrd $3, %xmm0, %eax
1007 ; SSE41-NEXT:    movw %ax, 9(%rdi)
1008 ; SSE41-NEXT:    pextrd $2, %xmm0, %ecx
1009 ; SSE41-NEXT:    movw %cx, 6(%rdi)
1010 ; SSE41-NEXT:    pextrd $1, %xmm0, %edx
1011 ; SSE41-NEXT:    movw %dx, 3(%rdi)
1012 ; SSE41-NEXT:    movd %xmm0, %esi
1013 ; SSE41-NEXT:    movw %si, (%rdi)
1014 ; SSE41-NEXT:    shrl $16, %eax
1015 ; SSE41-NEXT:    movb %al, 11(%rdi)
1016 ; SSE41-NEXT:    shrl $16, %ecx
1017 ; SSE41-NEXT:    movb %cl, 8(%rdi)
1018 ; SSE41-NEXT:    shrl $16, %edx
1019 ; SSE41-NEXT:    movb %dl, 5(%rdi)
1020 ; SSE41-NEXT:    shrl $16, %esi
1021 ; SSE41-NEXT:    movb %sil, 2(%rdi)
1022 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1023 ; SSE41-NEXT:    retq
1024 ;
1025 ; AVX1-LABEL: usubo_v4i24:
1026 ; AVX1:       # %bb.0:
1027 ; AVX1-NEXT:    vbroadcastss {{.*#+}} xmm2 = [16777215,16777215,16777215,16777215]
1028 ; AVX1-NEXT:    vandps %xmm2, %xmm1, %xmm1
1029 ; AVX1-NEXT:    vandps %xmm2, %xmm0, %xmm0
1030 ; AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
1031 ; AVX1-NEXT:    vpand %xmm2, %xmm1, %xmm0
1032 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1033 ; AVX1-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
1034 ; AVX1-NEXT:    vpxor %xmm2, %xmm0, %xmm0
1035 ; AVX1-NEXT:    vpextrd $3, %xmm1, %eax
1036 ; AVX1-NEXT:    movw %ax, 9(%rdi)
1037 ; AVX1-NEXT:    vpextrd $2, %xmm1, %ecx
1038 ; AVX1-NEXT:    movw %cx, 6(%rdi)
1039 ; AVX1-NEXT:    vpextrd $1, %xmm1, %edx
1040 ; AVX1-NEXT:    movw %dx, 3(%rdi)
1041 ; AVX1-NEXT:    vmovd %xmm1, %esi
1042 ; AVX1-NEXT:    movw %si, (%rdi)
1043 ; AVX1-NEXT:    shrl $16, %eax
1044 ; AVX1-NEXT:    movb %al, 11(%rdi)
1045 ; AVX1-NEXT:    shrl $16, %ecx
1046 ; AVX1-NEXT:    movb %cl, 8(%rdi)
1047 ; AVX1-NEXT:    shrl $16, %edx
1048 ; AVX1-NEXT:    movb %dl, 5(%rdi)
1049 ; AVX1-NEXT:    shrl $16, %esi
1050 ; AVX1-NEXT:    movb %sil, 2(%rdi)
1051 ; AVX1-NEXT:    retq
1052 ;
1053 ; AVX2-LABEL: usubo_v4i24:
1054 ; AVX2:       # %bb.0:
1055 ; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [16777215,16777215,16777215,16777215]
1056 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm1
1057 ; AVX2-NEXT:    vpand %xmm2, %xmm0, %xmm0
1058 ; AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
1059 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm0
1060 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1061 ; AVX2-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
1062 ; AVX2-NEXT:    vpxor %xmm2, %xmm0, %xmm0
1063 ; AVX2-NEXT:    vpextrd $3, %xmm1, %eax
1064 ; AVX2-NEXT:    movw %ax, 9(%rdi)
1065 ; AVX2-NEXT:    vpextrd $2, %xmm1, %ecx
1066 ; AVX2-NEXT:    movw %cx, 6(%rdi)
1067 ; AVX2-NEXT:    vpextrd $1, %xmm1, %edx
1068 ; AVX2-NEXT:    movw %dx, 3(%rdi)
1069 ; AVX2-NEXT:    vmovd %xmm1, %esi
1070 ; AVX2-NEXT:    movw %si, (%rdi)
1071 ; AVX2-NEXT:    shrl $16, %eax
1072 ; AVX2-NEXT:    movb %al, 11(%rdi)
1073 ; AVX2-NEXT:    shrl $16, %ecx
1074 ; AVX2-NEXT:    movb %cl, 8(%rdi)
1075 ; AVX2-NEXT:    shrl $16, %edx
1076 ; AVX2-NEXT:    movb %dl, 5(%rdi)
1077 ; AVX2-NEXT:    shrl $16, %esi
1078 ; AVX2-NEXT:    movb %sil, 2(%rdi)
1079 ; AVX2-NEXT:    retq
1080 ;
1081 ; AVX512-LABEL: usubo_v4i24:
1082 ; AVX512:       # %bb.0:
1083 ; AVX512-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [16777215,16777215,16777215,16777215]
1084 ; AVX512-NEXT:    vpand %xmm2, %xmm1, %xmm1
1085 ; AVX512-NEXT:    vpand %xmm2, %xmm0, %xmm0
1086 ; AVX512-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
1087 ; AVX512-NEXT:    vpand %xmm2, %xmm1, %xmm0
1088 ; AVX512-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1089 ; AVX512-NEXT:    vpternlogq $15, %xmm0, %xmm0, %xmm0
1090 ; AVX512-NEXT:    vpextrd $3, %xmm1, %eax
1091 ; AVX512-NEXT:    movw %ax, 9(%rdi)
1092 ; AVX512-NEXT:    vpextrd $2, %xmm1, %ecx
1093 ; AVX512-NEXT:    movw %cx, 6(%rdi)
1094 ; AVX512-NEXT:    vpextrd $1, %xmm1, %edx
1095 ; AVX512-NEXT:    movw %dx, 3(%rdi)
1096 ; AVX512-NEXT:    vmovd %xmm1, %esi
1097 ; AVX512-NEXT:    movw %si, (%rdi)
1098 ; AVX512-NEXT:    shrl $16, %eax
1099 ; AVX512-NEXT:    movb %al, 11(%rdi)
1100 ; AVX512-NEXT:    shrl $16, %ecx
1101 ; AVX512-NEXT:    movb %cl, 8(%rdi)
1102 ; AVX512-NEXT:    shrl $16, %edx
1103 ; AVX512-NEXT:    movb %dl, 5(%rdi)
1104 ; AVX512-NEXT:    shrl $16, %esi
1105 ; AVX512-NEXT:    movb %sil, 2(%rdi)
1106 ; AVX512-NEXT:    retq
1107   %t = call {<4 x i24>, <4 x i1>} @llvm.usub.with.overflow.v4i24(<4 x i24> %a0, <4 x i24> %a1)
1108   %val = extractvalue {<4 x i24>, <4 x i1>} %t, 0
1109   %obit = extractvalue {<4 x i24>, <4 x i1>} %t, 1
1110   %res = sext <4 x i1> %obit to <4 x i32>
1111   store <4 x i24> %val, <4 x i24>* %p2
1112   ret <4 x i32> %res
1113 }
1114
1115 define <4 x i32> @usubo_v4i1(<4 x i1> %a0, <4 x i1> %a1, <4 x i1>* %p2) nounwind {
1116 ; SSE-LABEL: usubo_v4i1:
1117 ; SSE:       # %bb.0:
1118 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [1,1,1,1]
1119 ; SSE-NEXT:    pand %xmm2, %xmm1
1120 ; SSE-NEXT:    pand %xmm2, %xmm0
1121 ; SSE-NEXT:    psubd %xmm1, %xmm0
1122 ; SSE-NEXT:    pand %xmm0, %xmm2
1123 ; SSE-NEXT:    pcmpeqd %xmm0, %xmm2
1124 ; SSE-NEXT:    pcmpeqd %xmm1, %xmm1
1125 ; SSE-NEXT:    pxor %xmm2, %xmm1
1126 ; SSE-NEXT:    pslld $31, %xmm0
1127 ; SSE-NEXT:    movmskps %xmm0, %eax
1128 ; SSE-NEXT:    movb %al, (%rdi)
1129 ; SSE-NEXT:    movdqa %xmm1, %xmm0
1130 ; SSE-NEXT:    retq
1131 ;
1132 ; AVX1-LABEL: usubo_v4i1:
1133 ; AVX1:       # %bb.0:
1134 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [1,1,1,1]
1135 ; AVX1-NEXT:    vpand %xmm2, %xmm1, %xmm1
1136 ; AVX1-NEXT:    vpand %xmm2, %xmm0, %xmm0
1137 ; AVX1-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
1138 ; AVX1-NEXT:    vpand %xmm2, %xmm1, %xmm0
1139 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1140 ; AVX1-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
1141 ; AVX1-NEXT:    vpxor %xmm2, %xmm0, %xmm0
1142 ; AVX1-NEXT:    vpslld $31, %xmm1, %xmm1
1143 ; AVX1-NEXT:    vmovmskps %xmm1, %eax
1144 ; AVX1-NEXT:    movb %al, (%rdi)
1145 ; AVX1-NEXT:    retq
1146 ;
1147 ; AVX2-LABEL: usubo_v4i1:
1148 ; AVX2:       # %bb.0:
1149 ; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [1,1,1,1]
1150 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm1
1151 ; AVX2-NEXT:    vpand %xmm2, %xmm0, %xmm0
1152 ; AVX2-NEXT:    vpsubd %xmm1, %xmm0, %xmm1
1153 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm0
1154 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
1155 ; AVX2-NEXT:    vpcmpeqd %xmm2, %xmm2, %xmm2
1156 ; AVX2-NEXT:    vpxor %xmm2, %xmm0, %xmm0
1157 ; AVX2-NEXT:    vpslld $31, %xmm1, %xmm1
1158 ; AVX2-NEXT:    vmovmskps %xmm1, %eax
1159 ; AVX2-NEXT:    movb %al, (%rdi)
1160 ; AVX2-NEXT:    retq
1161 ;
1162 ; AVX512-LABEL: usubo_v4i1:
1163 ; AVX512:       # %bb.0:
1164 ; AVX512-NEXT:    vpslld $31, %xmm0, %xmm0
1165 ; AVX512-NEXT:    vptestmd %xmm0, %xmm0, %k0
1166 ; AVX512-NEXT:    vpslld $31, %xmm1, %xmm1
1167 ; AVX512-NEXT:    vptestmd %xmm1, %xmm1, %k1
1168 ; AVX512-NEXT:    kxorw %k1, %k0, %k1
1169 ; AVX512-NEXT:    vptestnmd %xmm0, %xmm0, %k2 {%k1}
1170 ; AVX512-NEXT:    vpcmpeqd %xmm0, %xmm0, %xmm0
1171 ; AVX512-NEXT:    vmovdqa32 %xmm0, %xmm0 {%k2} {z}
1172 ; AVX512-NEXT:    kshiftlw $12, %k1, %k0
1173 ; AVX512-NEXT:    kshiftrw $12, %k0, %k0
1174 ; AVX512-NEXT:    kmovd %k0, %eax
1175 ; AVX512-NEXT:    movb %al, (%rdi)
1176 ; AVX512-NEXT:    retq
1177   %t = call {<4 x i1>, <4 x i1>} @llvm.usub.with.overflow.v4i1(<4 x i1> %a0, <4 x i1> %a1)
1178   %val = extractvalue {<4 x i1>, <4 x i1>} %t, 0
1179   %obit = extractvalue {<4 x i1>, <4 x i1>} %t, 1
1180   %res = sext <4 x i1> %obit to <4 x i32>
1181   store <4 x i1> %val, <4 x i1>* %p2
1182   ret <4 x i32> %res
1183 }
1184
1185 define <2 x i32> @usubo_v2i128(<2 x i128> %a0, <2 x i128> %a1, <2 x i128>* %p2) nounwind {
1186 ; SSE2-LABEL: usubo_v2i128:
1187 ; SSE2:       # %bb.0:
1188 ; SSE2-NEXT:    movq {{[0-9]+}}(%rsp), %r10
1189 ; SSE2-NEXT:    subq {{[0-9]+}}(%rsp), %rdx
1190 ; SSE2-NEXT:    sbbq {{[0-9]+}}(%rsp), %rcx
1191 ; SSE2-NEXT:    sbbl %eax, %eax
1192 ; SSE2-NEXT:    subq %r8, %rdi
1193 ; SSE2-NEXT:    sbbq %r9, %rsi
1194 ; SSE2-NEXT:    movd %eax, %xmm1
1195 ; SSE2-NEXT:    sbbl %eax, %eax
1196 ; SSE2-NEXT:    movd %eax, %xmm0
1197 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1198 ; SSE2-NEXT:    movq %rdx, 16(%r10)
1199 ; SSE2-NEXT:    movq %rdi, (%r10)
1200 ; SSE2-NEXT:    movq %rcx, 24(%r10)
1201 ; SSE2-NEXT:    movq %rsi, 8(%r10)
1202 ; SSE2-NEXT:    retq
1203 ;
1204 ; SSSE3-LABEL: usubo_v2i128:
1205 ; SSSE3:       # %bb.0:
1206 ; SSSE3-NEXT:    movq {{[0-9]+}}(%rsp), %r10
1207 ; SSSE3-NEXT:    subq {{[0-9]+}}(%rsp), %rdx
1208 ; SSSE3-NEXT:    sbbq {{[0-9]+}}(%rsp), %rcx
1209 ; SSSE3-NEXT:    sbbl %eax, %eax
1210 ; SSSE3-NEXT:    subq %r8, %rdi
1211 ; SSSE3-NEXT:    sbbq %r9, %rsi
1212 ; SSSE3-NEXT:    movd %eax, %xmm1
1213 ; SSSE3-NEXT:    sbbl %eax, %eax
1214 ; SSSE3-NEXT:    movd %eax, %xmm0
1215 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1216 ; SSSE3-NEXT:    movq %rdx, 16(%r10)
1217 ; SSSE3-NEXT:    movq %rdi, (%r10)
1218 ; SSSE3-NEXT:    movq %rcx, 24(%r10)
1219 ; SSSE3-NEXT:    movq %rsi, 8(%r10)
1220 ; SSSE3-NEXT:    retq
1221 ;
1222 ; SSE41-LABEL: usubo_v2i128:
1223 ; SSE41:       # %bb.0:
1224 ; SSE41-NEXT:    movq {{[0-9]+}}(%rsp), %r10
1225 ; SSE41-NEXT:    subq {{[0-9]+}}(%rsp), %rdx
1226 ; SSE41-NEXT:    sbbq {{[0-9]+}}(%rsp), %rcx
1227 ; SSE41-NEXT:    sbbl %r11d, %r11d
1228 ; SSE41-NEXT:    subq %r8, %rdi
1229 ; SSE41-NEXT:    sbbq %r9, %rsi
1230 ; SSE41-NEXT:    sbbl %eax, %eax
1231 ; SSE41-NEXT:    movd %eax, %xmm0
1232 ; SSE41-NEXT:    pinsrd $1, %r11d, %xmm0
1233 ; SSE41-NEXT:    movq %rdx, 16(%r10)
1234 ; SSE41-NEXT:    movq %rdi, (%r10)
1235 ; SSE41-NEXT:    movq %rcx, 24(%r10)
1236 ; SSE41-NEXT:    movq %rsi, 8(%r10)
1237 ; SSE41-NEXT:    retq
1238 ;
1239 ; AVX-LABEL: usubo_v2i128:
1240 ; AVX:       # %bb.0:
1241 ; AVX-NEXT:    movq {{[0-9]+}}(%rsp), %r10
1242 ; AVX-NEXT:    subq {{[0-9]+}}(%rsp), %rdx
1243 ; AVX-NEXT:    sbbq {{[0-9]+}}(%rsp), %rcx
1244 ; AVX-NEXT:    sbbl %r11d, %r11d
1245 ; AVX-NEXT:    subq %r8, %rdi
1246 ; AVX-NEXT:    sbbq %r9, %rsi
1247 ; AVX-NEXT:    sbbl %eax, %eax
1248 ; AVX-NEXT:    vmovd %eax, %xmm0
1249 ; AVX-NEXT:    vpinsrd $1, %r11d, %xmm0, %xmm0
1250 ; AVX-NEXT:    movq %rdx, 16(%r10)
1251 ; AVX-NEXT:    movq %rdi, (%r10)
1252 ; AVX-NEXT:    movq %rcx, 24(%r10)
1253 ; AVX-NEXT:    movq %rsi, 8(%r10)
1254 ; AVX-NEXT:    retq
1255 ;
1256 ; AVX512-LABEL: usubo_v2i128:
1257 ; AVX512:       # %bb.0:
1258 ; AVX512-NEXT:    movq {{[0-9]+}}(%rsp), %r10
1259 ; AVX512-NEXT:    subq {{[0-9]+}}(%rsp), %rdx
1260 ; AVX512-NEXT:    sbbq {{[0-9]+}}(%rsp), %rcx
1261 ; AVX512-NEXT:    setb %al
1262 ; AVX512-NEXT:    kmovd %eax, %k0
1263 ; AVX512-NEXT:    subq %r8, %rdi
1264 ; AVX512-NEXT:    sbbq %r9, %rsi
1265 ; AVX512-NEXT:    setb %al
1266 ; AVX512-NEXT:    andl $1, %eax
1267 ; AVX512-NEXT:    kmovw %eax, %k1
1268 ; AVX512-NEXT:    kshiftlw $1, %k0, %k0
1269 ; AVX512-NEXT:    korw %k0, %k1, %k1
1270 ; AVX512-NEXT:    vpcmpeqd %xmm0, %xmm0, %xmm0
1271 ; AVX512-NEXT:    vmovdqa32 %xmm0, %xmm0 {%k1} {z}
1272 ; AVX512-NEXT:    movq %rdx, 16(%r10)
1273 ; AVX512-NEXT:    movq %rdi, (%r10)
1274 ; AVX512-NEXT:    movq %rcx, 24(%r10)
1275 ; AVX512-NEXT:    movq %rsi, 8(%r10)
1276 ; AVX512-NEXT:    retq
1277   %t = call {<2 x i128>, <2 x i1>} @llvm.usub.with.overflow.v2i128(<2 x i128> %a0, <2 x i128> %a1)
1278   %val = extractvalue {<2 x i128>, <2 x i1>} %t, 0
1279   %obit = extractvalue {<2 x i128>, <2 x i1>} %t, 1
1280   %res = sext <2 x i1> %obit to <2 x i32>
1281   store <2 x i128> %val, <2 x i128>* %p2
1282   ret <2 x i32> %res
1283 }