test/CodeGen/X86/avx2-intrinsics-x86.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -disable-peephole -mtriple=i686-unknown-unknown -mattr=avx2 -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX2 --check-prefix=X86 --check-prefix=X86-AVX
   3 ; RUN: llc < %s -disable-peephole -mtriple=i686-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl,+avx512dq -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX512VL --check-prefix=X86 --check-prefix=X86-AVX512VL
   4 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-unknown-unknown -mattr=avx2 -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX2 --check-prefix=X64 --check-prefix=X64-AVX
   5 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl,+avx512dq -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX512VL --check-prefix=X64 --check-prefix=X64-AVX512VL
   6
   7 define <16 x i16> @test_x86_avx2_packssdw(<8 x i32> %a0, <8 x i32> %a1) {
   8 ; AVX2-LABEL: test_x86_avx2_packssdw:
   9 ; AVX2:       # %bb.0:
  10 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x6b,0xc1]
  11 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  12 ;
  13 ; AVX512VL-LABEL: test_x86_avx2_packssdw:
  14 ; AVX512VL:       # %bb.0:
  15 ; AVX512VL-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6b,0xc1]
  16 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  17   %res = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
  18   ret <16 x i16> %res
  19 }
  20 declare <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32>, <8 x i32>) nounwind readnone
  21
  22
  23 define <16 x i16> @test_x86_avx2_packssdw_fold() {
  24 ; X86-AVX-LABEL: test_x86_avx2_packssdw_fold:
  25 ; X86-AVX:       # %bb.0:
  26 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  27 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  28 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
  29 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
  30 ;
  31 ; X86-AVX512VL-LABEL: test_x86_avx2_packssdw_fold:
  32 ; X86-AVX512VL:       # %bb.0:
  33 ; X86-AVX512VL-NEXT:    vmovaps {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  34 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  35 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
  36 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
  37 ;
  38 ; X64-AVX-LABEL: test_x86_avx2_packssdw_fold:
  39 ; X64-AVX:       # %bb.0:
  40 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  41 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  42 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
  43 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
  44 ;
  45 ; X64-AVX512VL-LABEL: test_x86_avx2_packssdw_fold:
  46 ; X64-AVX512VL:       # %bb.0:
  47 ; X64-AVX512VL-NEXT:    vmovaps {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  48 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  49 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
  50 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
  51   %res = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> zeroinitializer, <8 x i32> <i32 255, i32 32767, i32 65535, i32 -1, i32 -32767, i32 -65535, i32 0, i32 -256>)
  52   ret <16 x i16> %res
  53 }
  54
  55
  56 define <32 x i8> @test_x86_avx2_packsswb(<16 x i16> %a0, <16 x i16> %a1) {
  57 ; AVX2-LABEL: test_x86_avx2_packsswb:
  58 ; AVX2:       # %bb.0:
  59 ; AVX2-NEXT:    vpacksswb %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x63,0xc1]
  60 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  61 ;
  62 ; AVX512VL-LABEL: test_x86_avx2_packsswb:
  63 ; AVX512VL:       # %bb.0:
  64 ; AVX512VL-NEXT:    vpacksswb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x63,0xc1]
  65 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  66   %res = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  67   ret <32 x i8> %res
  68 }
  69 declare <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16>, <16 x i16>) nounwind readnone
  70
  71
  72 define <32 x i8> @test_x86_avx2_packsswb_fold() {
  73 ; X86-AVX-LABEL: test_x86_avx2_packsswb_fold:
  74 ; X86-AVX:       # %bb.0:
  75 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  76 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  77 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
  78 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
  79 ;
  80 ; X86-AVX512VL-LABEL: test_x86_avx2_packsswb_fold:
  81 ; X86-AVX512VL:       # %bb.0:
  82 ; X86-AVX512VL-NEXT:    vmovaps {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  83 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  84 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
  85 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
  86 ;
  87 ; X64-AVX-LABEL: test_x86_avx2_packsswb_fold:
  88 ; X64-AVX:       # %bb.0:
  89 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  90 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  91 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
  92 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
  93 ;
  94 ; X64-AVX512VL-LABEL: test_x86_avx2_packsswb_fold:
  95 ; X64-AVX512VL:       # %bb.0:
  96 ; X64-AVX512VL-NEXT:    vmovaps {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  97 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  98 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
  99 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 100   %res = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> <i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678, i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678>, <16 x i16> zeroinitializer)
 101   ret <32 x i8> %res
 102 }
 103
 104
 105 define <32 x i8> @test_x86_avx2_packuswb(<16 x i16> %a0, <16 x i16> %a1) {
 106 ; AVX2-LABEL: test_x86_avx2_packuswb:
 107 ; AVX2:       # %bb.0:
 108 ; AVX2-NEXT:    vpackuswb %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x67,0xc1]
 109 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 110 ;
 111 ; AVX512VL-LABEL: test_x86_avx2_packuswb:
 112 ; AVX512VL:       # %bb.0:
 113 ; AVX512VL-NEXT:    vpackuswb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x67,0xc1]
 114 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 115   %res = call <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
 116   ret <32 x i8> %res
 117 }
 118 declare <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16>, <16 x i16>) nounwind readnone
 119
 120
 121 define <32 x i8> @test_x86_avx2_packuswb_fold() {
 122 ; X86-AVX-LABEL: test_x86_avx2_packuswb_fold:
 123 ; X86-AVX:       # %bb.0:
 124 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 125 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 126 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
 127 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 128 ;
 129 ; X86-AVX512VL-LABEL: test_x86_avx2_packuswb_fold:
 130 ; X86-AVX512VL:       # %bb.0:
 131 ; X86-AVX512VL-NEXT:    vmovaps {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 132 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 133 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
 134 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 135 ;
 136 ; X64-AVX-LABEL: test_x86_avx2_packuswb_fold:
 137 ; X64-AVX:       # %bb.0:
 138 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 139 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 140 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
 141 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 142 ;
 143 ; X64-AVX512VL-LABEL: test_x86_avx2_packuswb_fold:
 144 ; X64-AVX512VL:       # %bb.0:
 145 ; X64-AVX512VL-NEXT:    vmovaps {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 146 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 147 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
 148 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 149   %res = call <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16> <i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678, i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678>, <16 x i16> zeroinitializer)
 150   ret <32 x i8> %res
 151 }
 152
 153
 154 define <8 x i32> @test_x86_avx2_pmadd_wd(<16 x i16> %a0, <16 x i16> %a1) {
 155 ; AVX2-LABEL: test_x86_avx2_pmadd_wd:
 156 ; AVX2:       # %bb.0:
 157 ; AVX2-NEXT:    vpmaddwd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf5,0xc1]
 158 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 159 ;
 160 ; AVX512VL-LABEL: test_x86_avx2_pmadd_wd:
 161 ; AVX512VL:       # %bb.0:
 162 ; AVX512VL-NEXT:    vpmaddwd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf5,0xc1]
 163 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 164   %res = call <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16> %a0, <16 x i16> %a1) ; <<8 x i32>> [#uses=1]
 165   ret <8 x i32> %res
 166 }
 167 declare <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16>, <16 x i16>) nounwind readnone
 168
 169
 170 define <16 x i16> @test_x86_avx2_pmaxs_w(<16 x i16> %a0, <16 x i16> %a1) {
 171 ; AVX2-LABEL: test_x86_avx2_pmaxs_w:
 172 ; AVX2:       # %bb.0:
 173 ; AVX2-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xee,0xc1]
 174 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 175 ;
 176 ; AVX512VL-LABEL: test_x86_avx2_pmaxs_w:
 177 ; AVX512VL:       # %bb.0:
 178 ; AVX512VL-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xee,0xc1]
 179 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 180   %res = call <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 181   ret <16 x i16> %res
 182 }
 183 declare <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16>, <16 x i16>) nounwind readnone
 184
 185
 186 define <32 x i8> @test_x86_avx2_pmaxu_b(<32 x i8> %a0, <32 x i8> %a1) {
 187 ; AVX2-LABEL: test_x86_avx2_pmaxu_b:
 188 ; AVX2:       # %bb.0:
 189 ; AVX2-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xde,0xc1]
 190 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 191 ;
 192 ; AVX512VL-LABEL: test_x86_avx2_pmaxu_b:
 193 ; AVX512VL:       # %bb.0:
 194 ; AVX512VL-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xde,0xc1]
 195 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 196   %res = call <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 197   ret <32 x i8> %res
 198 }
 199 declare <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8>, <32 x i8>) nounwind readnone
 200
 201
 202 define <16 x i16> @test_x86_avx2_pmins_w(<16 x i16> %a0, <16 x i16> %a1) {
 203 ; AVX2-LABEL: test_x86_avx2_pmins_w:
 204 ; AVX2:       # %bb.0:
 205 ; AVX2-NEXT:    vpminsw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xea,0xc1]
 206 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 207 ;
 208 ; AVX512VL-LABEL: test_x86_avx2_pmins_w:
 209 ; AVX512VL:       # %bb.0:
 210 ; AVX512VL-NEXT:    vpminsw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xea,0xc1]
 211 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 212   %res = call <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 213   ret <16 x i16> %res
 214 }
 215 declare <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16>, <16 x i16>) nounwind readnone
 216
 217
 218 define <32 x i8> @test_x86_avx2_pminu_b(<32 x i8> %a0, <32 x i8> %a1) {
 219 ; AVX2-LABEL: test_x86_avx2_pminu_b:
 220 ; AVX2:       # %bb.0:
 221 ; AVX2-NEXT:    vpminub %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xda,0xc1]
 222 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 223 ;
 224 ; AVX512VL-LABEL: test_x86_avx2_pminu_b:
 225 ; AVX512VL:       # %bb.0:
 226 ; AVX512VL-NEXT:    vpminub %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xda,0xc1]
 227 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 228   %res = call <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 229   ret <32 x i8> %res
 230 }
 231 declare <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8>, <32 x i8>) nounwind readnone
 232
 233
 234 define i32 @test_x86_avx2_pmovmskb(<32 x i8> %a0) {
 235 ; CHECK-LABEL: test_x86_avx2_pmovmskb:
 236 ; CHECK:       # %bb.0:
 237 ; CHECK-NEXT:    vpmovmskb %ymm0, %eax # encoding: [0xc5,0xfd,0xd7,0xc0]
 238 ; CHECK-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 239 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 240   %res = call i32 @llvm.x86.avx2.pmovmskb(<32 x i8> %a0) ; <i32> [#uses=1]
 241   ret i32 %res
 242 }
 243 declare i32 @llvm.x86.avx2.pmovmskb(<32 x i8>) nounwind readnone
 244
 245
 246 define <16 x i16> @test_x86_avx2_pmulh_w(<16 x i16> %a0, <16 x i16> %a1) {
 247 ; AVX2-LABEL: test_x86_avx2_pmulh_w:
 248 ; AVX2:       # %bb.0:
 249 ; AVX2-NEXT:    vpmulhw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe5,0xc1]
 250 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 251 ;
 252 ; AVX512VL-LABEL: test_x86_avx2_pmulh_w:
 253 ; AVX512VL:       # %bb.0:
 254 ; AVX512VL-NEXT:    vpmulhw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe5,0xc1]
 255 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 256   %res = call <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 257   ret <16 x i16> %res
 258 }
 259 declare <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16>, <16 x i16>) nounwind readnone
 260
 261
 262 define <16 x i16> @test_x86_avx2_pmulhu_w(<16 x i16> %a0, <16 x i16> %a1) {
 263 ; AVX2-LABEL: test_x86_avx2_pmulhu_w:
 264 ; AVX2:       # %bb.0:
 265 ; AVX2-NEXT:    vpmulhuw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe4,0xc1]
 266 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 267 ;
 268 ; AVX512VL-LABEL: test_x86_avx2_pmulhu_w:
 269 ; AVX512VL:       # %bb.0:
 270 ; AVX512VL-NEXT:    vpmulhuw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe4,0xc1]
 271 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 272   %res = call <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 273   ret <16 x i16> %res
 274 }
 275 declare <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16>, <16 x i16>) nounwind readnone
 276
 277
 278 define <4 x i64> @test_x86_avx2_psad_bw(<32 x i8> %a0, <32 x i8> %a1) {
 279 ; AVX2-LABEL: test_x86_avx2_psad_bw:
 280 ; AVX2:       # %bb.0:
 281 ; AVX2-NEXT:    vpsadbw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf6,0xc1]
 282 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 283 ;
 284 ; AVX512VL-LABEL: test_x86_avx2_psad_bw:
 285 ; AVX512VL:       # %bb.0:
 286 ; AVX512VL-NEXT:    vpsadbw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf6,0xc1]
 287 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 288   %res = call <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8> %a0, <32 x i8> %a1) ; <<4 x i64>> [#uses=1]
 289   ret <4 x i64> %res
 290 }
 291 declare <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8>, <32 x i8>) nounwind readnone
 292
 293
 294 define <8 x i32> @test_x86_avx2_psll_d(<8 x i32> %a0, <4 x i32> %a1) {
 295 ; AVX2-LABEL: test_x86_avx2_psll_d:
 296 ; AVX2:       # %bb.0:
 297 ; AVX2-NEXT:    vpslld %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf2,0xc1]
 298 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 299 ;
 300 ; AVX512VL-LABEL: test_x86_avx2_psll_d:
 301 ; AVX512VL:       # %bb.0:
 302 ; AVX512VL-NEXT:    vpslld %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf2,0xc1]
 303 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 304   %res = call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 305   ret <8 x i32> %res
 306 }
 307 declare <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32>, <4 x i32>) nounwind readnone
 308
 309
 310 define <4 x i64> @test_x86_avx2_psll_q(<4 x i64> %a0, <2 x i64> %a1) {
 311 ; AVX2-LABEL: test_x86_avx2_psll_q:
 312 ; AVX2:       # %bb.0:
 313 ; AVX2-NEXT:    vpsllq %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf3,0xc1]
 314 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 315 ;
 316 ; AVX512VL-LABEL: test_x86_avx2_psll_q:
 317 ; AVX512VL:       # %bb.0:
 318 ; AVX512VL-NEXT:    vpsllq %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf3,0xc1]
 319 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 320   %res = call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 321   ret <4 x i64> %res
 322 }
 323 declare <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64>, <2 x i64>) nounwind readnone
 324
 325
 326 define <16 x i16> @test_x86_avx2_psll_w(<16 x i16> %a0, <8 x i16> %a1) {
 327 ; AVX2-LABEL: test_x86_avx2_psll_w:
 328 ; AVX2:       # %bb.0:
 329 ; AVX2-NEXT:    vpsllw %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf1,0xc1]
 330 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 331 ;
 332 ; AVX512VL-LABEL: test_x86_avx2_psll_w:
 333 ; AVX512VL:       # %bb.0:
 334 ; AVX512VL-NEXT:    vpsllw %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf1,0xc1]
 335 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 336   %res = call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 337   ret <16 x i16> %res
 338 }
 339 declare <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16>, <8 x i16>) nounwind readnone
 340
 341
 342 define <8 x i32> @test_x86_avx2_pslli_d(<8 x i32> %a0) {
 343 ; AVX2-LABEL: test_x86_avx2_pslli_d:
 344 ; AVX2:       # %bb.0:
 345 ; AVX2-NEXT:    vpslld $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x72,0xf0,0x07]
 346 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 347 ;
 348 ; AVX512VL-LABEL: test_x86_avx2_pslli_d:
 349 ; AVX512VL:       # %bb.0:
 350 ; AVX512VL-NEXT:    vpslld $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x72,0xf0,0x07]
 351 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 352   %res = call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 353   ret <8 x i32> %res
 354 }
 355 declare <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32>, i32) nounwind readnone
 356
 357
 358 define <4 x i64> @test_x86_avx2_pslli_q(<4 x i64> %a0) {
 359 ; AVX2-LABEL: test_x86_avx2_pslli_q:
 360 ; AVX2:       # %bb.0:
 361 ; AVX2-NEXT:    vpsllq $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x73,0xf0,0x07]
 362 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 363 ;
 364 ; AVX512VL-LABEL: test_x86_avx2_pslli_q:
 365 ; AVX512VL:       # %bb.0:
 366 ; AVX512VL-NEXT:    vpsllq $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x73,0xf0,0x07]
 367 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 368   %res = call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 369   ret <4 x i64> %res
 370 }
 371 declare <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64>, i32) nounwind readnone
 372
 373
 374 define <16 x i16> @test_x86_avx2_pslli_w(<16 x i16> %a0) {
 375 ; AVX2-LABEL: test_x86_avx2_pslli_w:
 376 ; AVX2:       # %bb.0:
 377 ; AVX2-NEXT:    vpsllw $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x71,0xf0,0x07]
 378 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 379 ;
 380 ; AVX512VL-LABEL: test_x86_avx2_pslli_w:
 381 ; AVX512VL:       # %bb.0:
 382 ; AVX512VL-NEXT:    vpsllw $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x71,0xf0,0x07]
 383 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 384   %res = call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 385   ret <16 x i16> %res
 386 }
 387 declare <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16>, i32) nounwind readnone
 388
 389
 390 define <8 x i32> @test_x86_avx2_psra_d(<8 x i32> %a0, <4 x i32> %a1) {
 391 ; AVX2-LABEL: test_x86_avx2_psra_d:
 392 ; AVX2:       # %bb.0:
 393 ; AVX2-NEXT:    vpsrad %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe2,0xc1]
 394 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 395 ;
 396 ; AVX512VL-LABEL: test_x86_avx2_psra_d:
 397 ; AVX512VL:       # %bb.0:
 398 ; AVX512VL-NEXT:    vpsrad %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe2,0xc1]
 399 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 400   %res = call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 401   ret <8 x i32> %res
 402 }
 403 declare <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32>, <4 x i32>) nounwind readnone
 404
 405
 406 define <16 x i16> @test_x86_avx2_psra_w(<16 x i16> %a0, <8 x i16> %a1) {
 407 ; AVX2-LABEL: test_x86_avx2_psra_w:
 408 ; AVX2:       # %bb.0:
 409 ; AVX2-NEXT:    vpsraw %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe1,0xc1]
 410 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 411 ;
 412 ; AVX512VL-LABEL: test_x86_avx2_psra_w:
 413 ; AVX512VL:       # %bb.0:
 414 ; AVX512VL-NEXT:    vpsraw %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe1,0xc1]
 415 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 416   %res = call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 417   ret <16 x i16> %res
 418 }
 419 declare <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16>, <8 x i16>) nounwind readnone
 420
 421
 422 define <8 x i32> @test_x86_avx2_psrai_d(<8 x i32> %a0) {
 423 ; AVX2-LABEL: test_x86_avx2_psrai_d:
 424 ; AVX2:       # %bb.0:
 425 ; AVX2-NEXT:    vpsrad $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x72,0xe0,0x07]
 426 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 427 ;
 428 ; AVX512VL-LABEL: test_x86_avx2_psrai_d:
 429 ; AVX512VL:       # %bb.0:
 430 ; AVX512VL-NEXT:    vpsrad $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x72,0xe0,0x07]
 431 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 432   %res = call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 433   ret <8 x i32> %res
 434 }
 435 declare <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32>, i32) nounwind readnone
 436
 437
 438 define <16 x i16> @test_x86_avx2_psrai_w(<16 x i16> %a0) {
 439 ; AVX2-LABEL: test_x86_avx2_psrai_w:
 440 ; AVX2:       # %bb.0:
 441 ; AVX2-NEXT:    vpsraw $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x71,0xe0,0x07]
 442 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 443 ;
 444 ; AVX512VL-LABEL: test_x86_avx2_psrai_w:
 445 ; AVX512VL:       # %bb.0:
 446 ; AVX512VL-NEXT:    vpsraw $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x71,0xe0,0x07]
 447 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 448   %res = call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 449   ret <16 x i16> %res
 450 }
 451 declare <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16>, i32) nounwind readnone
 452
 453
 454 define <8 x i32> @test_x86_avx2_psrl_d(<8 x i32> %a0, <4 x i32> %a1) {
 455 ; AVX2-LABEL: test_x86_avx2_psrl_d:
 456 ; AVX2:       # %bb.0:
 457 ; AVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd2,0xc1]
 458 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 459 ;
 460 ; AVX512VL-LABEL: test_x86_avx2_psrl_d:
 461 ; AVX512VL:       # %bb.0:
 462 ; AVX512VL-NEXT:    vpsrld %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd2,0xc1]
 463 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 464   %res = call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 465   ret <8 x i32> %res
 466 }
 467 declare <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32>, <4 x i32>) nounwind readnone
 468
 469
 470 define <4 x i64> @test_x86_avx2_psrl_q(<4 x i64> %a0, <2 x i64> %a1) {
 471 ; AVX2-LABEL: test_x86_avx2_psrl_q:
 472 ; AVX2:       # %bb.0:
 473 ; AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd3,0xc1]
 474 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 475 ;
 476 ; AVX512VL-LABEL: test_x86_avx2_psrl_q:
 477 ; AVX512VL:       # %bb.0:
 478 ; AVX512VL-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd3,0xc1]
 479 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 480   %res = call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 481   ret <4 x i64> %res
 482 }
 483 declare <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64>, <2 x i64>) nounwind readnone
 484
 485
 486 define <16 x i16> @test_x86_avx2_psrl_w(<16 x i16> %a0, <8 x i16> %a1) {
 487 ; AVX2-LABEL: test_x86_avx2_psrl_w:
 488 ; AVX2:       # %bb.0:
 489 ; AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd1,0xc1]
 490 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 491 ;
 492 ; AVX512VL-LABEL: test_x86_avx2_psrl_w:
 493 ; AVX512VL:       # %bb.0:
 494 ; AVX512VL-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd1,0xc1]
 495 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 496   %res = call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 497   ret <16 x i16> %res
 498 }
 499 declare <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16>, <8 x i16>) nounwind readnone
 500
 501
 502 define <16 x i16> @test_x86_avx2_psrl_w_load(<16 x i16> %a0, <8 x i16>* %p) {
 503 ; X86-AVX-LABEL: test_x86_avx2_psrl_w_load:
 504 ; X86-AVX:       # %bb.0:
 505 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 506 ; X86-AVX-NEXT:    vpsrlw (%eax), %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd1,0x00]
 507 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 508 ;
 509 ; X86-AVX512VL-LABEL: test_x86_avx2_psrl_w_load:
 510 ; X86-AVX512VL:       # %bb.0:
 511 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 512 ; X86-AVX512VL-NEXT:    vpsrlw (%eax), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd1,0x00]
 513 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 514 ;
 515 ; X64-AVX-LABEL: test_x86_avx2_psrl_w_load:
 516 ; X64-AVX:       # %bb.0:
 517 ; X64-AVX-NEXT:    vpsrlw (%rdi), %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd1,0x07]
 518 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 519 ;
 520 ; X64-AVX512VL-LABEL: test_x86_avx2_psrl_w_load:
 521 ; X64-AVX512VL:       # %bb.0:
 522 ; X64-AVX512VL-NEXT:    vpsrlw (%rdi), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd1,0x07]
 523 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 524   %a1 = load <8 x i16>, <8 x i16>* %p
 525   %res = call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 526   ret <16 x i16> %res
 527 }
 528
 529
 530 define <8 x i32> @test_x86_avx2_psrli_d(<8 x i32> %a0) {
 531 ; AVX2-LABEL: test_x86_avx2_psrli_d:
 532 ; AVX2:       # %bb.0:
 533 ; AVX2-NEXT:    vpsrld $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x72,0xd0,0x07]
 534 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 535 ;
 536 ; AVX512VL-LABEL: test_x86_avx2_psrli_d:
 537 ; AVX512VL:       # %bb.0:
 538 ; AVX512VL-NEXT:    vpsrld $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x72,0xd0,0x07]
 539 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 540   %res = call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 541   ret <8 x i32> %res
 542 }
 543 declare <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32>, i32) nounwind readnone
 544
 545
 546 define <4 x i64> @test_x86_avx2_psrli_q(<4 x i64> %a0) {
 547 ; AVX2-LABEL: test_x86_avx2_psrli_q:
 548 ; AVX2:       # %bb.0:
 549 ; AVX2-NEXT:    vpsrlq $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x73,0xd0,0x07]
 550 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 551 ;
 552 ; AVX512VL-LABEL: test_x86_avx2_psrli_q:
 553 ; AVX512VL:       # %bb.0:
 554 ; AVX512VL-NEXT:    vpsrlq $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x73,0xd0,0x07]
 555 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 556   %res = call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 557   ret <4 x i64> %res
 558 }
 559 declare <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64>, i32) nounwind readnone
 560
 561
 562 define <16 x i16> @test_x86_avx2_psrli_w(<16 x i16> %a0) {
 563 ; AVX2-LABEL: test_x86_avx2_psrli_w:
 564 ; AVX2:       # %bb.0:
 565 ; AVX2-NEXT:    vpsrlw $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x71,0xd0,0x07]
 566 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 567 ;
 568 ; AVX512VL-LABEL: test_x86_avx2_psrli_w:
 569 ; AVX512VL:       # %bb.0:
 570 ; AVX512VL-NEXT:    vpsrlw $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x71,0xd0,0x07]
 571 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 572   %res = call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 573   ret <16 x i16> %res
 574 }
 575 declare <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16>, i32) nounwind readnone
 576
 577
 578 define <8 x i32> @test_x86_avx2_phadd_d(<8 x i32> %a0, <8 x i32> %a1) {
 579 ; CHECK-LABEL: test_x86_avx2_phadd_d:
 580 ; CHECK:       # %bb.0:
 581 ; CHECK-NEXT:    vphaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x02,0xc1]
 582 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 583   %res = call <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 584   ret <8 x i32> %res
 585 }
 586 declare <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32>, <8 x i32>) nounwind readnone
 587
 588
 589 define <16 x i16> @test_x86_avx2_phadd_sw(<16 x i16> %a0, <16 x i16> %a1) {
 590 ; CHECK-LABEL: test_x86_avx2_phadd_sw:
 591 ; CHECK:       # %bb.0:
 592 ; CHECK-NEXT:    vphaddsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x03,0xc1]
 593 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 594   %res = call <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 595   ret <16 x i16> %res
 596 }
 597 declare <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16>, <16 x i16>) nounwind readnone
 598
 599
 600 define <16 x i16> @test_x86_avx2_phadd_w(<16 x i16> %a0, <16 x i16> %a1) {
 601 ; CHECK-LABEL: test_x86_avx2_phadd_w:
 602 ; CHECK:       # %bb.0:
 603 ; CHECK-NEXT:    vphaddw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x01,0xc1]
 604 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 605   %res = call <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 606   ret <16 x i16> %res
 607 }
 608 declare <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16>, <16 x i16>) nounwind readnone
 609
 610
 611 define <8 x i32> @test_x86_avx2_phsub_d(<8 x i32> %a0, <8 x i32> %a1) {
 612 ; CHECK-LABEL: test_x86_avx2_phsub_d:
 613 ; CHECK:       # %bb.0:
 614 ; CHECK-NEXT:    vphsubd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x06,0xc1]
 615 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 616   %res = call <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 617   ret <8 x i32> %res
 618 }
 619 declare <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32>, <8 x i32>) nounwind readnone
 620
 621
 622 define <16 x i16> @test_x86_avx2_phsub_sw(<16 x i16> %a0, <16 x i16> %a1) {
 623 ; CHECK-LABEL: test_x86_avx2_phsub_sw:
 624 ; CHECK:       # %bb.0:
 625 ; CHECK-NEXT:    vphsubsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x07,0xc1]
 626 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 627   %res = call <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 628   ret <16 x i16> %res
 629 }
 630 declare <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16>, <16 x i16>) nounwind readnone
 631
 632
 633 define <16 x i16> @test_x86_avx2_phsub_w(<16 x i16> %a0, <16 x i16> %a1) {
 634 ; CHECK-LABEL: test_x86_avx2_phsub_w:
 635 ; CHECK:       # %bb.0:
 636 ; CHECK-NEXT:    vphsubw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x05,0xc1]
 637 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 638   %res = call <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 639   ret <16 x i16> %res
 640 }
 641 declare <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16>, <16 x i16>) nounwind readnone
 642
 643
 644 define <16 x i16> @test_x86_avx2_pmadd_ub_sw(<32 x i8> %a0, <32 x i8> %a1) {
 645 ; AVX2-LABEL: test_x86_avx2_pmadd_ub_sw:
 646 ; AVX2:       # %bb.0:
 647 ; AVX2-NEXT:    vpmaddubsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x04,0xc1]
 648 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 649 ;
 650 ; AVX512VL-LABEL: test_x86_avx2_pmadd_ub_sw:
 651 ; AVX512VL:       # %bb.0:
 652 ; AVX512VL-NEXT:    vpmaddubsw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x04,0xc1]
 653 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 654   %res = call <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i16>> [#uses=1]
 655   ret <16 x i16> %res
 656 }
 657 declare <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8>, <32 x i8>) nounwind readnone
 658
 659 ; Make sure we don't commute this operation.
 660 define <16 x i16> @test_x86_avx2_pmadd_ub_sw_load_op0(<32 x i8>* %ptr, <32 x i8> %a1) {
 661 ; X86-AVX-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 662 ; X86-AVX:       # %bb.0:
 663 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 664 ; X86-AVX-NEXT:    vmovdqa (%eax), %ymm1 # encoding: [0xc5,0xfd,0x6f,0x08]
 665 ; X86-AVX-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 666 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 667 ;
 668 ; X86-AVX512VL-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 669 ; X86-AVX512VL:       # %bb.0:
 670 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 671 ; X86-AVX512VL-NEXT:    vmovdqa (%eax), %ymm1 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6f,0x08]
 672 ; X86-AVX512VL-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 673 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 674 ;
 675 ; X64-AVX-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 676 ; X64-AVX:       # %bb.0:
 677 ; X64-AVX-NEXT:    vmovdqa (%rdi), %ymm1 # encoding: [0xc5,0xfd,0x6f,0x0f]
 678 ; X64-AVX-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 679 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 680 ;
 681 ; X64-AVX512VL-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 682 ; X64-AVX512VL:       # %bb.0:
 683 ; X64-AVX512VL-NEXT:    vmovdqa (%rdi), %ymm1 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6f,0x0f]
 684 ; X64-AVX512VL-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 685 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 686   %a0 = load <32 x i8>, <32 x i8>* %ptr
 687   %res = call <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i16>> [#uses=1]
 688   ret <16 x i16> %res
 689 }
 690
 691 define <16 x i16> @test_x86_avx2_pmul_hr_sw(<16 x i16> %a0, <16 x i16> %a1) {
 692 ; AVX2-LABEL: test_x86_avx2_pmul_hr_sw:
 693 ; AVX2:       # %bb.0:
 694 ; AVX2-NEXT:    vpmulhrsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x0b,0xc1]
 695 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 696 ;
 697 ; AVX512VL-LABEL: test_x86_avx2_pmul_hr_sw:
 698 ; AVX512VL:       # %bb.0:
 699 ; AVX512VL-NEXT:    vpmulhrsw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x0b,0xc1]
 700 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 701   %res = call <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 702   ret <16 x i16> %res
 703 }
 704 declare <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16>, <16 x i16>) nounwind readnone
 705
 706
 707 define <32 x i8> @test_x86_avx2_pshuf_b(<32 x i8> %a0, <32 x i8> %a1) {
 708 ; AVX2-LABEL: test_x86_avx2_pshuf_b:
 709 ; AVX2:       # %bb.0:
 710 ; AVX2-NEXT:    vpshufb %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x00,0xc1]
 711 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 712 ;
 713 ; AVX512VL-LABEL: test_x86_avx2_pshuf_b:
 714 ; AVX512VL:       # %bb.0:
 715 ; AVX512VL-NEXT:    vpshufb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x00,0xc1]
 716 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 717   %res = call <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i8>> [#uses=1]
 718   ret <32 x i8> %res
 719 }
 720 declare <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8>, <32 x i8>) nounwind readnone
 721
 722
 723 define <32 x i8> @test_x86_avx2_psign_b(<32 x i8> %a0, <32 x i8> %a1) {
 724 ; CHECK-LABEL: test_x86_avx2_psign_b:
 725 ; CHECK:       # %bb.0:
 726 ; CHECK-NEXT:    vpsignb %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x08,0xc1]
 727 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 728   %res = call <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 729   ret <32 x i8> %res
 730 }
 731 declare <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8>, <32 x i8>) nounwind readnone
 732
 733
 734 define <8 x i32> @test_x86_avx2_psign_d(<8 x i32> %a0, <8 x i32> %a1) {
 735 ; CHECK-LABEL: test_x86_avx2_psign_d:
 736 ; CHECK:       # %bb.0:
 737 ; CHECK-NEXT:    vpsignd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x0a,0xc1]
 738 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 739   %res = call <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i32>> [#uses=1]
 740   ret <8 x i32> %res
 741 }
 742 declare <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32>, <8 x i32>) nounwind readnone
 743
 744
 745 define <16 x i16> @test_x86_avx2_psign_w(<16 x i16> %a0, <16 x i16> %a1) {
 746 ; CHECK-LABEL: test_x86_avx2_psign_w:
 747 ; CHECK:       # %bb.0:
 748 ; CHECK-NEXT:    vpsignw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x09,0xc1]
 749 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 750   %res = call <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 751   ret <16 x i16> %res
 752 }
 753 declare <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16>, <16 x i16>) nounwind readnone
 754
 755
 756 define <16 x i16> @test_x86_avx2_mpsadbw(<32 x i8> %a0, <32 x i8> %a1) {
 757 ; CHECK-LABEL: test_x86_avx2_mpsadbw:
 758 ; CHECK:       # %bb.0:
 759 ; CHECK-NEXT:    vmpsadbw $7, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x42,0xc1,0x07]
 760 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 761   %res = call <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8> %a0, <32 x i8> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 762   ret <16 x i16> %res
 763 }
 764 declare <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8>, <32 x i8>, i8) nounwind readnone
 765
 766
 767 define <16 x i16> @test_x86_avx2_packusdw(<8 x i32> %a0, <8 x i32> %a1) {
 768 ; AVX2-LABEL: test_x86_avx2_packusdw:
 769 ; AVX2:       # %bb.0:
 770 ; AVX2-NEXT:    vpackusdw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x2b,0xc1]
 771 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 772 ;
 773 ; AVX512VL-LABEL: test_x86_avx2_packusdw:
 774 ; AVX512VL:       # %bb.0:
 775 ; AVX512VL-NEXT:    vpackusdw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x2b,0xc1]
 776 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 777   %res = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
 778   ret <16 x i16> %res
 779 }
 780 declare <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32>, <8 x i32>) nounwind readnone
 781
 782
 783 define <16 x i16> @test_x86_avx2_packusdw_fold() {
 784 ; X86-AVX-LABEL: test_x86_avx2_packusdw_fold:
 785 ; X86-AVX:       # %bb.0:
 786 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 787 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 788 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
 789 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 790 ;
 791 ; X86-AVX512VL-LABEL: test_x86_avx2_packusdw_fold:
 792 ; X86-AVX512VL:       # %bb.0:
 793 ; X86-AVX512VL-NEXT:    vmovaps {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 794 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 795 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
 796 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 797 ;
 798 ; X64-AVX-LABEL: test_x86_avx2_packusdw_fold:
 799 ; X64-AVX:       # %bb.0:
 800 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 801 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 802 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
 803 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 804 ;
 805 ; X64-AVX512VL-LABEL: test_x86_avx2_packusdw_fold:
 806 ; X64-AVX512VL:       # %bb.0:
 807 ; X64-AVX512VL-NEXT:    vmovaps {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 808 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 809 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
 810 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 811   %res = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> zeroinitializer, <8 x i32> <i32 255, i32 32767, i32 65535, i32 -1, i32 -32767, i32 -65535, i32 0, i32 -256>)
 812   ret <16 x i16> %res
 813 }
 814
 815
 816 define <32 x i8> @test_x86_avx2_pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) {
 817 ; CHECK-LABEL: test_x86_avx2_pblendvb:
 818 ; CHECK:       # %bb.0:
 819 ; CHECK-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x4c,0xc1,0x20]
 820 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 821   %res = call <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) ; <<32 x i8>> [#uses=1]
 822   ret <32 x i8> %res
 823 }
 824 declare <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8>, <32 x i8>, <32 x i8>) nounwind readnone
 825
 826
 827 define <16 x i16> @test_x86_avx2_pblendw(<16 x i16> %a0, <16 x i16> %a1) {
 828 ; CHECK-LABEL: test_x86_avx2_pblendw:
 829 ; CHECK:       # %bb.0:
 830 ; CHECK-NEXT:    vpblendw $7, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x0e,0xc1,0x07]
 831 ; CHECK-NEXT:    # ymm0 = ymm1[0,1,2],ymm0[3,4,5,6,7],ymm1[8,9,10],ymm0[11,12,13,14,15]
 832 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 833   %res = call <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16> %a0, <16 x i16> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 834   ret <16 x i16> %res
 835 }
 836 declare <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16>, <16 x i16>, i8) nounwind readnone
 837
 838
 839 define <32 x i8> @test_x86_avx2_pmaxsb(<32 x i8> %a0, <32 x i8> %a1) {
 840 ; AVX2-LABEL: test_x86_avx2_pmaxsb:
 841 ; AVX2:       # %bb.0:
 842 ; AVX2-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x3c,0xc1]
 843 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 844 ;
 845 ; AVX512VL-LABEL: test_x86_avx2_pmaxsb:
 846 ; AVX512VL:       # %bb.0:
 847 ; AVX512VL-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x3c,0xc1]
 848 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 849   %res = call <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 850   ret <32 x i8> %res
 851 }
 852 declare <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8>, <32 x i8>) nounwind readnone
 853
 854
 855 define <8 x i32> @test_x86_avx2_pmaxsd(<8 x i32> %a0, <8 x i32> %a1) {
 856 ; AVX2-LABEL: test_x86_avx2_pmaxsd:
 857 ; AVX2:       # %bb.0:
 858 ; AVX2-NEXT:    vpmaxsd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x3d,0xc1]
 859 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 860 ;
 861 ; AVX512VL-LABEL: test_x86_avx2_pmaxsd:
 862 ; AVX512VL:       # %bb.0:
 863 ; AVX512VL-NEXT:    vpmaxsd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x3d,0xc1]
 864 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 865   %res = call <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 866   ret <8 x i32> %res
 867 }
 868 declare <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32>, <8 x i32>) nounwind readnone
 869
 870
 871 define <8 x i32> @test_x86_avx2_pmaxud(<8 x i32> %a0, <8 x i32> %a1) {
 872 ; AVX2-LABEL: test_x86_avx2_pmaxud:
 873 ; AVX2:       # %bb.0:
 874 ; AVX2-NEXT:    vpmaxud %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x3f,0xc1]
 875 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 876 ;
 877 ; AVX512VL-LABEL: test_x86_avx2_pmaxud:
 878 ; AVX512VL:       # %bb.0:
 879 ; AVX512VL-NEXT:    vpmaxud %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x3f,0xc1]
 880 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 881   %res = call <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 882   ret <8 x i32> %res
 883 }
 884 declare <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32>, <8 x i32>) nounwind readnone
 885
 886
 887 define <16 x i16> @test_x86_avx2_pmaxuw(<16 x i16> %a0, <16 x i16> %a1) {
 888 ; AVX2-LABEL: test_x86_avx2_pmaxuw:
 889 ; AVX2:       # %bb.0:
 890 ; AVX2-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x3e,0xc1]
 891 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 892 ;
 893 ; AVX512VL-LABEL: test_x86_avx2_pmaxuw:
 894 ; AVX512VL:       # %bb.0:
 895 ; AVX512VL-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x3e,0xc1]
 896 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 897   %res = call <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 898   ret <16 x i16> %res
 899 }
 900 declare <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16>, <16 x i16>) nounwind readnone
 901
 902
 903 define <32 x i8> @test_x86_avx2_pminsb(<32 x i8> %a0, <32 x i8> %a1) {
 904 ; AVX2-LABEL: test_x86_avx2_pminsb:
 905 ; AVX2:       # %bb.0:
 906 ; AVX2-NEXT:    vpminsb %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x38,0xc1]
 907 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 908 ;
 909 ; AVX512VL-LABEL: test_x86_avx2_pminsb:
 910 ; AVX512VL:       # %bb.0:
 911 ; AVX512VL-NEXT:    vpminsb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x38,0xc1]
 912 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 913   %res = call <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 914   ret <32 x i8> %res
 915 }
 916 declare <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8>, <32 x i8>) nounwind readnone
 917
 918
 919 define <8 x i32> @test_x86_avx2_pminsd(<8 x i32> %a0, <8 x i32> %a1) {
 920 ; AVX2-LABEL: test_x86_avx2_pminsd:
 921 ; AVX2:       # %bb.0:
 922 ; AVX2-NEXT:    vpminsd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x39,0xc1]
 923 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 924 ;
 925 ; AVX512VL-LABEL: test_x86_avx2_pminsd:
 926 ; AVX512VL:       # %bb.0:
 927 ; AVX512VL-NEXT:    vpminsd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x39,0xc1]
 928 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 929   %res = call <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 930   ret <8 x i32> %res
 931 }
 932 declare <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32>, <8 x i32>) nounwind readnone
 933
 934
 935 define <8 x i32> @test_x86_avx2_pminud(<8 x i32> %a0, <8 x i32> %a1) {
 936 ; AVX2-LABEL: test_x86_avx2_pminud:
 937 ; AVX2:       # %bb.0:
 938 ; AVX2-NEXT:    vpminud %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x3b,0xc1]
 939 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 940 ;
 941 ; AVX512VL-LABEL: test_x86_avx2_pminud:
 942 ; AVX512VL:       # %bb.0:
 943 ; AVX512VL-NEXT:    vpminud %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x3b,0xc1]
 944 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 945   %res = call <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 946   ret <8 x i32> %res
 947 }
 948 declare <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32>, <8 x i32>) nounwind readnone
 949
 950
 951 define <16 x i16> @test_x86_avx2_pminuw(<16 x i16> %a0, <16 x i16> %a1) {
 952 ; AVX2-LABEL: test_x86_avx2_pminuw:
 953 ; AVX2:       # %bb.0:
 954 ; AVX2-NEXT:    vpminuw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x3a,0xc1]
 955 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 956 ;
 957 ; AVX512VL-LABEL: test_x86_avx2_pminuw:
 958 ; AVX512VL:       # %bb.0:
 959 ; AVX512VL-NEXT:    vpminuw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x3a,0xc1]
 960 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 961   %res = call <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 962   ret <16 x i16> %res
 963 }
 964 declare <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16>, <16 x i16>) nounwind readnone
 965
 966
 967 define <4 x i32> @test_x86_avx2_pblendd_128(<4 x i32> %a0, <4 x i32> %a1) {
 968 ; CHECK-LABEL: test_x86_avx2_pblendd_128:
 969 ; CHECK:       # %bb.0:
 970 ; CHECK-NEXT:    vblendps $8, %xmm0, %xmm1, %xmm0 # encoding: [0xc4,0xe3,0x71,0x0c,0xc0,0x08]
 971 ; CHECK-NEXT:    # xmm0 = xmm1[0,1,2],xmm0[3]
 972 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 973   %res = call <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32> %a0, <4 x i32> %a1, i8 7) ; <<4 x i32>> [#uses=1]
 974   ret <4 x i32> %res
 975 }
 976 declare <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32>, <4 x i32>, i8) nounwind readnone
 977
 978
 979 define <8 x i32> @test_x86_avx2_pblendd_256(<8 x i32> %a0, <8 x i32> %a1) {
 980 ; CHECK-LABEL: test_x86_avx2_pblendd_256:
 981 ; CHECK:       # %bb.0:
 982 ; CHECK-NEXT:    vblendps $7, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x0c,0xc1,0x07]
 983 ; CHECK-NEXT:    # ymm0 = ymm1[0,1,2],ymm0[3,4,5,6,7]
 984 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 985   %res = call <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32> %a0, <8 x i32> %a1, i8 7) ; <<8 x i32>> [#uses=1]
 986   ret <8 x i32> %res
 987 }
 988 declare <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32>, <8 x i32>, i8) nounwind readnone
 989
 990
 991 ; Check that the arguments are swapped between the intrinsic definition
 992 ; and its lowering. Indeed, the offsets are the first source in
 993 ; the instruction.
 994 define <8 x i32> @test_x86_avx2_permd(<8 x i32> %a0, <8 x i32> %a1) {
 995 ; AVX2-LABEL: test_x86_avx2_permd:
 996 ; AVX2:       # %bb.0:
 997 ; AVX2-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x16,0xc0]
 998 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 999 ;
1000 ; AVX512VL-LABEL: test_x86_avx2_permd:
1001 ; AVX512VL:       # %bb.0:
1002 ; AVX512VL-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x16,0xc0]
1003 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1004   %res = call <8 x i32> @llvm.x86.avx2.permd(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1005   ret <8 x i32> %res
1006 }
1007 declare <8 x i32> @llvm.x86.avx2.permd(<8 x i32>, <8 x i32>) nounwind readonly
1008
1009
1010 ; Check that the arguments are swapped between the intrinsic definition
1011 ; and its lowering. Indeed, the offsets are the first source in
1012 ; the instruction.
1013 define <8 x float> @test_x86_avx2_permps(<8 x float> %a0, <8 x i32> %a1) {
1014 ; AVX2-LABEL: test_x86_avx2_permps:
1015 ; AVX2:       # %bb.0:
1016 ; AVX2-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x16,0xc0]
1017 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1018 ;
1019 ; AVX512VL-LABEL: test_x86_avx2_permps:
1020 ; AVX512VL:       # %bb.0:
1021 ; AVX512VL-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x16,0xc0]
1022 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1023   %res = call <8 x float> @llvm.x86.avx2.permps(<8 x float> %a0, <8 x i32> %a1) ; <<8 x float>> [#uses=1]
1024   ret <8 x float> %res
1025 }
1026 declare <8 x float> @llvm.x86.avx2.permps(<8 x float>, <8 x i32>) nounwind readonly
1027
1028
1029 define <2 x i64> @test_x86_avx2_maskload_q(i8* %a0, <2 x i64> %a1) {
1030 ; X86-LABEL: test_x86_avx2_maskload_q:
1031 ; X86:       # %bb.0:
1032 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1033 ; X86-NEXT:    vpmaskmovq (%eax), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x8c,0x00]
1034 ; X86-NEXT:    retl # encoding: [0xc3]
1035 ;
1036 ; X64-LABEL: test_x86_avx2_maskload_q:
1037 ; X64:       # %bb.0:
1038 ; X64-NEXT:    vpmaskmovq (%rdi), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x8c,0x07]
1039 ; X64-NEXT:    retq # encoding: [0xc3]
1040   %res = call <2 x i64> @llvm.x86.avx2.maskload.q(i8* %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
1041   ret <2 x i64> %res
1042 }
1043 declare <2 x i64> @llvm.x86.avx2.maskload.q(i8*, <2 x i64>) nounwind readonly
1044
1045
1046 define <4 x i64> @test_x86_avx2_maskload_q_256(i8* %a0, <4 x i64> %a1) {
1047 ; X86-LABEL: test_x86_avx2_maskload_q_256:
1048 ; X86:       # %bb.0:
1049 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1050 ; X86-NEXT:    vpmaskmovq (%eax), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x8c,0x00]
1051 ; X86-NEXT:    retl # encoding: [0xc3]
1052 ;
1053 ; X64-LABEL: test_x86_avx2_maskload_q_256:
1054 ; X64:       # %bb.0:
1055 ; X64-NEXT:    vpmaskmovq (%rdi), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x8c,0x07]
1056 ; X64-NEXT:    retq # encoding: [0xc3]
1057   %res = call <4 x i64> @llvm.x86.avx2.maskload.q.256(i8* %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
1058   ret <4 x i64> %res
1059 }
1060 declare <4 x i64> @llvm.x86.avx2.maskload.q.256(i8*, <4 x i64>) nounwind readonly
1061
1062
1063 define <4 x i32> @test_x86_avx2_maskload_d(i8* %a0, <4 x i32> %a1) {
1064 ; X86-LABEL: test_x86_avx2_maskload_d:
1065 ; X86:       # %bb.0:
1066 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1067 ; X86-NEXT:    vpmaskmovd (%eax), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x8c,0x00]
1068 ; X86-NEXT:    retl # encoding: [0xc3]
1069 ;
1070 ; X64-LABEL: test_x86_avx2_maskload_d:
1071 ; X64:       # %bb.0:
1072 ; X64-NEXT:    vpmaskmovd (%rdi), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x8c,0x07]
1073 ; X64-NEXT:    retq # encoding: [0xc3]
1074   %res = call <4 x i32> @llvm.x86.avx2.maskload.d(i8* %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
1075   ret <4 x i32> %res
1076 }
1077 declare <4 x i32> @llvm.x86.avx2.maskload.d(i8*, <4 x i32>) nounwind readonly
1078
1079
1080 define <8 x i32> @test_x86_avx2_maskload_d_256(i8* %a0, <8 x i32> %a1) {
1081 ; X86-LABEL: test_x86_avx2_maskload_d_256:
1082 ; X86:       # %bb.0:
1083 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1084 ; X86-NEXT:    vpmaskmovd (%eax), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x8c,0x00]
1085 ; X86-NEXT:    retl # encoding: [0xc3]
1086 ;
1087 ; X64-LABEL: test_x86_avx2_maskload_d_256:
1088 ; X64:       # %bb.0:
1089 ; X64-NEXT:    vpmaskmovd (%rdi), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x8c,0x07]
1090 ; X64-NEXT:    retq # encoding: [0xc3]
1091   %res = call <8 x i32> @llvm.x86.avx2.maskload.d.256(i8* %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1092   ret <8 x i32> %res
1093 }
1094 declare <8 x i32> @llvm.x86.avx2.maskload.d.256(i8*, <8 x i32>) nounwind readonly
1095
1096
1097 define void @test_x86_avx2_maskstore_q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2) {
1098 ; X86-LABEL: test_x86_avx2_maskstore_q:
1099 ; X86:       # %bb.0:
1100 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1101 ; X86-NEXT:    vpmaskmovq %xmm1, %xmm0, (%eax) # encoding: [0xc4,0xe2,0xf9,0x8e,0x08]
1102 ; X86-NEXT:    retl # encoding: [0xc3]
1103 ;
1104 ; X64-LABEL: test_x86_avx2_maskstore_q:
1105 ; X64:       # %bb.0:
1106 ; X64-NEXT:    vpmaskmovq %xmm1, %xmm0, (%rdi) # encoding: [0xc4,0xe2,0xf9,0x8e,0x0f]
1107 ; X64-NEXT:    retq # encoding: [0xc3]
1108   call void @llvm.x86.avx2.maskstore.q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2)
1109   ret void
1110 }
1111 declare void @llvm.x86.avx2.maskstore.q(i8*, <2 x i64>, <2 x i64>) nounwind
1112
1113
1114 define void @test_x86_avx2_maskstore_q_256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2) {
1115 ; X86-LABEL: test_x86_avx2_maskstore_q_256:
1116 ; X86:       # %bb.0:
1117 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1118 ; X86-NEXT:    vpmaskmovq %ymm1, %ymm0, (%eax) # encoding: [0xc4,0xe2,0xfd,0x8e,0x08]
1119 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1120 ; X86-NEXT:    retl # encoding: [0xc3]
1121 ;
1122 ; X64-LABEL: test_x86_avx2_maskstore_q_256:
1123 ; X64:       # %bb.0:
1124 ; X64-NEXT:    vpmaskmovq %ymm1, %ymm0, (%rdi) # encoding: [0xc4,0xe2,0xfd,0x8e,0x0f]
1125 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1126 ; X64-NEXT:    retq # encoding: [0xc3]
1127   call void @llvm.x86.avx2.maskstore.q.256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2)
1128   ret void
1129 }
1130 declare void @llvm.x86.avx2.maskstore.q.256(i8*, <4 x i64>, <4 x i64>) nounwind
1131
1132
1133 define void @test_x86_avx2_maskstore_d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2) {
1134 ; X86-LABEL: test_x86_avx2_maskstore_d:
1135 ; X86:       # %bb.0:
1136 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1137 ; X86-NEXT:    vpmaskmovd %xmm1, %xmm0, (%eax) # encoding: [0xc4,0xe2,0x79,0x8e,0x08]
1138 ; X86-NEXT:    retl # encoding: [0xc3]
1139 ;
1140 ; X64-LABEL: test_x86_avx2_maskstore_d:
1141 ; X64:       # %bb.0:
1142 ; X64-NEXT:    vpmaskmovd %xmm1, %xmm0, (%rdi) # encoding: [0xc4,0xe2,0x79,0x8e,0x0f]
1143 ; X64-NEXT:    retq # encoding: [0xc3]
1144   call void @llvm.x86.avx2.maskstore.d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2)
1145   ret void
1146 }
1147 declare void @llvm.x86.avx2.maskstore.d(i8*, <4 x i32>, <4 x i32>) nounwind
1148
1149
1150 define void @test_x86_avx2_maskstore_d_256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2) {
1151 ; X86-LABEL: test_x86_avx2_maskstore_d_256:
1152 ; X86:       # %bb.0:
1153 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1154 ; X86-NEXT:    vpmaskmovd %ymm1, %ymm0, (%eax) # encoding: [0xc4,0xe2,0x7d,0x8e,0x08]
1155 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1156 ; X86-NEXT:    retl # encoding: [0xc3]
1157 ;
1158 ; X64-LABEL: test_x86_avx2_maskstore_d_256:
1159 ; X64:       # %bb.0:
1160 ; X64-NEXT:    vpmaskmovd %ymm1, %ymm0, (%rdi) # encoding: [0xc4,0xe2,0x7d,0x8e,0x0f]
1161 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1162 ; X64-NEXT:    retq # encoding: [0xc3]
1163   call void @llvm.x86.avx2.maskstore.d.256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2)
1164   ret void
1165 }
1166 declare void @llvm.x86.avx2.maskstore.d.256(i8*, <8 x i32>, <8 x i32>) nounwind
1167
1168
1169 define <4 x i32> @test_x86_avx2_psllv_d(<4 x i32> %a0, <4 x i32> %a1) {
1170 ; AVX2-LABEL: test_x86_avx2_psllv_d:
1171 ; AVX2:       # %bb.0:
1172 ; AVX2-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x47,0xc1]
1173 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1174 ;
1175 ; AVX512VL-LABEL: test_x86_avx2_psllv_d:
1176 ; AVX512VL:       # %bb.0:
1177 ; AVX512VL-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x47,0xc1]
1178 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1179   %res = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
1180   ret <4 x i32> %res
1181 }
1182
1183 define <4 x i32> @test_x86_avx2_psllv_d_const() {
1184 ; X86-AVX-LABEL: test_x86_avx2_psllv_d_const:
1185 ; X86-AVX:       # %bb.0:
1186 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1187 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1188 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1189 ; X86-AVX-NEXT:    vpsllvd {{\.LCPI.*}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1190 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1191 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,1,1,4294967295]
1192 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1193 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1194 ; X86-AVX-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1195 ; X86-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1196 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1197 ;
1198 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_d_const:
1199 ; X86-AVX512VL:       # %bb.0:
1200 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1201 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1202 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1203 ; X86-AVX512VL-NEXT:    vpsllvd {{\.LCPI.*}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1204 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1205 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %xmm1 # EVEX TO VEX Compression xmm1 = [1,1,1,4294967295]
1206 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1207 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1208 ; X86-AVX512VL-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1209 ; X86-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1210 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1211 ;
1212 ; X64-AVX-LABEL: test_x86_avx2_psllv_d_const:
1213 ; X64-AVX:       # %bb.0:
1214 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1215 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1216 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1217 ; X64-AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1218 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1219 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,1,1,4294967295]
1220 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1221 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1222 ; X64-AVX-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1223 ; X64-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1224 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1225 ;
1226 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_d_const:
1227 ; X64-AVX512VL:       # %bb.0:
1228 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1229 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1230 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1231 ; X64-AVX512VL-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1232 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1233 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %xmm1 # EVEX TO VEX Compression xmm1 = [1,1,1,4294967295]
1234 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1235 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1236 ; X64-AVX512VL-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1237 ; X64-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1238 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1239   %res0 = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> <i32 2, i32 9, i32 0, i32 -1>, <4 x i32> <i32 1, i32 0, i32 33, i32 -1>)
1240   %res1 = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> <i32 1, i32 1, i32 1, i32 -1>, <4 x i32> <i32 1, i32 1, i32 1,  i32 -1>)
1241   %res2 = add <4 x i32> %res0, %res1
1242   ret <4 x i32> %res2
1243 }
1244 declare <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32>, <4 x i32>) nounwind readnone
1245
1246
1247 define <8 x i32> @test_x86_avx2_psllv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
1248 ; AVX2-LABEL: test_x86_avx2_psllv_d_256:
1249 ; AVX2:       # %bb.0:
1250 ; AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x47,0xc1]
1251 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1252 ;
1253 ; AVX512VL-LABEL: test_x86_avx2_psllv_d_256:
1254 ; AVX512VL:       # %bb.0:
1255 ; AVX512VL-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x47,0xc1]
1256 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1257   %res = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1258   ret <8 x i32> %res
1259 }
1260
1261 define <8 x i32> @test_x86_avx2_psllv_d_256_const() {
1262 ; X86-AVX-LABEL: test_x86_avx2_psllv_d_256_const:
1263 ; X86-AVX:       # %bb.0:
1264 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1265 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1266 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1267 ; X86-AVX-NEXT:    vpsllvd {{\.LCPI.*}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1268 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1269 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1270 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1271 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1272 ; X86-AVX-NEXT:    vpsllvd {{\.LCPI.*}}, %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1273 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1274 ; X86-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1275 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1276 ;
1277 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_d_256_const:
1278 ; X86-AVX512VL:       # %bb.0:
1279 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1280 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1281 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1282 ; X86-AVX512VL-NEXT:    vpsllvd {{\.LCPI.*}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1283 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1284 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1285 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1286 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1287 ; X86-AVX512VL-NEXT:    vpsllvd {{\.LCPI.*}}, %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1288 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1289 ; X86-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1290 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1291 ;
1292 ; X64-AVX-LABEL: test_x86_avx2_psllv_d_256_const:
1293 ; X64-AVX:       # %bb.0:
1294 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1295 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1296 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1297 ; X64-AVX-NEXT:    vpsllvd {{.*}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1298 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1299 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1300 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1301 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1302 ; X64-AVX-NEXT:    vpsllvd {{.*}}(%rip), %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1303 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1304 ; X64-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1305 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1306 ;
1307 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_d_256_const:
1308 ; X64-AVX512VL:       # %bb.0:
1309 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1310 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1311 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1312 ; X64-AVX512VL-NEXT:    vpsllvd {{.*}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1313 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1314 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1315 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1316 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1317 ; X64-AVX512VL-NEXT:    vpsllvd {{.*}}(%rip), %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1318 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1319 ; X64-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1320 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1321   %res0 = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> <i32 2, i32 9, i32 0, i32 -1, i32 3, i32 7, i32 -1, i32 0>, <8 x i32> <i32 1, i32 0, i32 33, i32 -1,i32 2, i32 0, i32 34, i32 -2>)
1322   %res1 = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 -1>, <8 x i32> <i32 1, i32 1, i32 1,  i32 1, i32 1, i32 1, i32 1, i32 -1>)
1323   %res2 = add <8 x i32> %res0, %res1
1324   ret <8 x i32> %res2
1325 }
1326 declare <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
1327
1328
1329 define <2 x i64> @test_x86_avx2_psllv_q(<2 x i64> %a0, <2 x i64> %a1) {
1330 ; AVX2-LABEL: test_x86_avx2_psllv_q:
1331 ; AVX2:       # %bb.0:
1332 ; AVX2-NEXT:    vpsllvq %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x47,0xc1]
1333 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1334 ;
1335 ; AVX512VL-LABEL: test_x86_avx2_psllv_q:
1336 ; AVX512VL:       # %bb.0:
1337 ; AVX512VL-NEXT:    vpsllvq %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x47,0xc1]
1338 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1339   %res = call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
1340   ret <2 x i64> %res
1341 }
1342 define <2 x i64> @test_x86_avx2_psllv_q_const() {
1343 ; X86-AVX-LABEL: test_x86_avx2_psllv_q_const:
1344 ; X86-AVX:       # %bb.0:
1345 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,0,4294967295,4294967295]
1346 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1347 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1348 ; X86-AVX-NEXT:    vpsllvq {{\.LCPI.*}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1349 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1350 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1351 ;
1352 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_q_const:
1353 ; X86-AVX512VL:       # %bb.0:
1354 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %xmm0 # EVEX TO VEX Compression xmm0 = [4,0,4294967295,4294967295]
1355 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1356 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1357 ; X86-AVX512VL-NEXT:    vpsllvq {{\.LCPI.*}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1358 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1359 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1360 ;
1361 ; X64-AVX-LABEL: test_x86_avx2_psllv_q_const:
1362 ; X64-AVX:       # %bb.0:
1363 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,18446744073709551615]
1364 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1365 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1366 ; X64-AVX-NEXT:    vpsllvq {{.*}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1367 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1368 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1369 ;
1370 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_q_const:
1371 ; X64-AVX512VL:       # %bb.0:
1372 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [4,18446744073709551615]
1373 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1374 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1375 ; X64-AVX512VL-NEXT:    vpsllvq {{.*}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1376 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1377 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1378   %res = call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> <i64 4, i64 -1>, <2 x i64> <i64 1, i64 -1>)
1379   ret <2 x i64> %res
1380 }
1381 declare <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64>, <2 x i64>) nounwind readnone
1382
1383
1384 define <4 x i64> @test_x86_avx2_psllv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
1385 ; AVX2-LABEL: test_x86_avx2_psllv_q_256:
1386 ; AVX2:       # %bb.0:
1387 ; AVX2-NEXT:    vpsllvq %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x47,0xc1]
1388 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1389 ;
1390 ; AVX512VL-LABEL: test_x86_avx2_psllv_q_256:
1391 ; AVX512VL:       # %bb.0:
1392 ; AVX512VL-NEXT:    vpsllvq %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x47,0xc1]
1393 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1394   %res = call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
1395   ret <4 x i64> %res
1396 }
1397
1398 define <4 x i64> @test_x86_avx2_psllv_q_256_const() {
1399 ; X86-AVX-LABEL: test_x86_avx2_psllv_q_256_const:
1400 ; X86-AVX:       # %bb.0:
1401 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [4,0,4,0,4,0,4294967295,4294967295]
1402 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1403 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1404 ; X86-AVX-NEXT:    vpsllvq {{\.LCPI.*}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1405 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1406 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1407 ;
1408 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_q_256_const:
1409 ; X86-AVX512VL:       # %bb.0:
1410 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [4,0,4,0,4,0,4294967295,4294967295]
1411 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1412 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1413 ; X86-AVX512VL-NEXT:    vpsllvq {{\.LCPI.*}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1414 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1415 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1416 ;
1417 ; X64-AVX-LABEL: test_x86_avx2_psllv_q_256_const:
1418 ; X64-AVX:       # %bb.0:
1419 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [4,4,4,18446744073709551615]
1420 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1421 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1422 ; X64-AVX-NEXT:    vpsllvq {{.*}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1423 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1424 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1425 ;
1426 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_q_256_const:
1427 ; X64-AVX512VL:       # %bb.0:
1428 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [4,4,4,18446744073709551615]
1429 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1430 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1431 ; X64-AVX512VL-NEXT:    vpsllvq {{.*}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1432 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1433 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1434   %res = call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> <i64 4, i64 4, i64 4, i64 -1>, <4 x i64> <i64 1, i64 1, i64 1, i64 -1>)
1435   ret <4 x i64> %res
1436 }
1437 declare <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
1438
1439
1440 define <4 x i32> @test_x86_avx2_psrlv_d(<4 x i32> %a0, <4 x i32> %a1) {
1441 ; AVX2-LABEL: test_x86_avx2_psrlv_d:
1442 ; AVX2:       # %bb.0:
1443 ; AVX2-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x45,0xc1]
1444 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1445 ;
1446 ; AVX512VL-LABEL: test_x86_avx2_psrlv_d:
1447 ; AVX512VL:       # %bb.0:
1448 ; AVX512VL-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x45,0xc1]
1449 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1450   %res = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
1451   ret <4 x i32> %res
1452 }
1453
1454 define <4 x i32> @test_x86_avx2_psrlv_d_const() {
1455 ; X86-AVX-LABEL: test_x86_avx2_psrlv_d_const:
1456 ; X86-AVX:       # %bb.0:
1457 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1458 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1459 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1460 ; X86-AVX-NEXT:    vpsrlvd {{\.LCPI.*}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1461 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1462 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [4,4,4,4294967295]
1463 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1464 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1465 ; X86-AVX-NEXT:    vpsrlvd {{\.LCPI.*}}, %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1466 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1467 ; X86-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1468 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1469 ;
1470 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_d_const:
1471 ; X86-AVX512VL:       # %bb.0:
1472 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1473 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1474 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1475 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.LCPI.*}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1476 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1477 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %xmm1 # EVEX TO VEX Compression xmm1 = [4,4,4,4294967295]
1478 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1479 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1480 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.LCPI.*}}, %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1481 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1482 ; X86-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1483 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1484 ;
1485 ; X64-AVX-LABEL: test_x86_avx2_psrlv_d_const:
1486 ; X64-AVX:       # %bb.0:
1487 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1488 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1489 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1490 ; X64-AVX-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1491 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1492 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [4,4,4,4294967295]
1493 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1494 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1495 ; X64-AVX-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1496 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1497 ; X64-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1498 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1499 ;
1500 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_d_const:
1501 ; X64-AVX512VL:       # %bb.0:
1502 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1503 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1504 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1505 ; X64-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1506 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1507 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %xmm1 # EVEX TO VEX Compression xmm1 = [4,4,4,4294967295]
1508 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1509 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1510 ; X64-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1511 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1512 ; X64-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1513 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1514   %res0 = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> <i32 2, i32 9, i32 0, i32 -1>, <4 x i32> <i32 1, i32 0, i32 33, i32 -1>)
1515   %res1 = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> <i32 4, i32 4, i32 4, i32 -1>, <4 x i32> <i32 1, i32 1, i32 1,  i32 -1>)
1516   %res2 = add <4 x i32> %res0, %res1
1517   ret <4 x i32> %res2
1518 }
1519 declare <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32>, <4 x i32>) nounwind readnone
1520
1521
1522 define <8 x i32> @test_x86_avx2_psrlv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
1523 ; AVX2-LABEL: test_x86_avx2_psrlv_d_256:
1524 ; AVX2:       # %bb.0:
1525 ; AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x45,0xc1]
1526 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1527 ;
1528 ; AVX512VL-LABEL: test_x86_avx2_psrlv_d_256:
1529 ; AVX512VL:       # %bb.0:
1530 ; AVX512VL-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x45,0xc1]
1531 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1532   %res = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1533   ret <8 x i32> %res
1534 }
1535
1536 define <8 x i32> @test_x86_avx2_psrlv_d_256_const() {
1537 ; X86-AVX-LABEL: test_x86_avx2_psrlv_d_256_const:
1538 ; X86-AVX:       # %bb.0:
1539 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1540 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1541 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1542 ; X86-AVX-NEXT:    vpsrlvd {{\.LCPI.*}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1543 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1544 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1545 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1546 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1547 ; X86-AVX-NEXT:    vpsrlvd {{\.LCPI.*}}, %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1548 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1549 ; X86-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1550 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1551 ;
1552 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_d_256_const:
1553 ; X86-AVX512VL:       # %bb.0:
1554 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1555 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1556 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1557 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.LCPI.*}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1558 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1559 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1560 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1561 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1562 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.LCPI.*}}, %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1563 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1564 ; X86-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1565 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1566 ;
1567 ; X64-AVX-LABEL: test_x86_avx2_psrlv_d_256_const:
1568 ; X64-AVX:       # %bb.0:
1569 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1570 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1571 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1572 ; X64-AVX-NEXT:    vpsrlvd {{.*}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1573 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1574 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1575 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1576 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1577 ; X64-AVX-NEXT:    vpsrlvd {{.*}}(%rip), %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1578 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1579 ; X64-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1580 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1581 ;
1582 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_d_256_const:
1583 ; X64-AVX512VL:       # %bb.0:
1584 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1585 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1586 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1587 ; X64-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1588 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1589 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1590 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1591 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1592 ; X64-AVX512VL-NEXT:    vpsrlvd {{.*}}(%rip), %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1593 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1594 ; X64-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1595 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1596   %res0 = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> <i32 2, i32 9, i32 0, i32 -1, i32 3, i32 7, i32 -1, i32 0>, <8 x i32> <i32 1, i32 0, i32 33, i32 -1,i32 2, i32 0, i32 34, i32 -2>)
1597   %res1 = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 -1>, <8 x i32> <i32 1, i32 1, i32 1,  i32 1, i32 1, i32 1, i32 1, i32 -1>)
1598   %res2 = add <8 x i32> %res0, %res1
1599   ret <8 x i32> %res2
1600 }
1601 declare <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
1602
1603
1604 define <2 x i64> @test_x86_avx2_psrlv_q(<2 x i64> %a0, <2 x i64> %a1) {
1605 ; AVX2-LABEL: test_x86_avx2_psrlv_q:
1606 ; AVX2:       # %bb.0:
1607 ; AVX2-NEXT:    vpsrlvq %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x45,0xc1]
1608 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1609 ;
1610 ; AVX512VL-LABEL: test_x86_avx2_psrlv_q:
1611 ; AVX512VL:       # %bb.0:
1612 ; AVX512VL-NEXT:    vpsrlvq %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x45,0xc1]
1613 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1614   %res = call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
1615   ret <2 x i64> %res
1616 }
1617
1618 define <2 x i64> @test_x86_avx2_psrlv_q_const() {
1619 ; X86-AVX-LABEL: test_x86_avx2_psrlv_q_const:
1620 ; X86-AVX:       # %bb.0:
1621 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,0,4,0]
1622 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1623 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1624 ; X86-AVX-NEXT:    vpsrlvq {{\.LCPI.*}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1625 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1626 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1627 ;
1628 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_q_const:
1629 ; X86-AVX512VL:       # %bb.0:
1630 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %xmm0 # EVEX TO VEX Compression xmm0 = [4,0,4,0]
1631 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1632 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1633 ; X86-AVX512VL-NEXT:    vpsrlvq {{\.LCPI.*}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1634 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1635 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1636 ;
1637 ; X64-AVX-LABEL: test_x86_avx2_psrlv_q_const:
1638 ; X64-AVX:       # %bb.0:
1639 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,4]
1640 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1641 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1642 ; X64-AVX-NEXT:    vpsrlvq {{.*}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1643 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1644 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1645 ;
1646 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_q_const:
1647 ; X64-AVX512VL:       # %bb.0:
1648 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [4,4]
1649 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1650 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1651 ; X64-AVX512VL-NEXT:    vpsrlvq {{.*}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1652 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1653 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1654   %res = call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> <i64 4, i64 4>, <2 x i64> <i64 1, i64 -1>)
1655   ret <2 x i64> %res
1656 }
1657 declare <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64>, <2 x i64>) nounwind readnone
1658
1659
1660 define <4 x i64> @test_x86_avx2_psrlv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
1661 ; AVX2-LABEL: test_x86_avx2_psrlv_q_256:
1662 ; AVX2:       # %bb.0:
1663 ; AVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x45,0xc1]
1664 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1665 ;
1666 ; AVX512VL-LABEL: test_x86_avx2_psrlv_q_256:
1667 ; AVX512VL:       # %bb.0:
1668 ; AVX512VL-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x45,0xc1]
1669 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1670   %res = call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
1671   ret <4 x i64> %res
1672 }
1673
1674
1675 define <4 x i64> @test_x86_avx2_psrlv_q_256_const() {
1676 ; X86-AVX-LABEL: test_x86_avx2_psrlv_q_256_const:
1677 ; X86-AVX:       # %bb.0:
1678 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [4,0,4,0,4,0,4,0]
1679 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1680 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1681 ; X86-AVX-NEXT:    vpsrlvq {{\.LCPI.*}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1682 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1683 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1684 ;
1685 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_q_256_const:
1686 ; X86-AVX512VL:       # %bb.0:
1687 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [4,0,4,0,4,0,4,0]
1688 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1689 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1690 ; X86-AVX512VL-NEXT:    vpsrlvq {{\.LCPI.*}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1691 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1692 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1693 ;
1694 ; X64-AVX-LABEL: test_x86_avx2_psrlv_q_256_const:
1695 ; X64-AVX:       # %bb.0:
1696 ; X64-AVX-NEXT:    vpbroadcastq {{.*#+}} ymm0 = [4,4,4,4]
1697 ; X64-AVX-NEXT:    # encoding: [0xc4,0xe2,0x7d,0x59,0x05,A,A,A,A]
1698 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1699 ; X64-AVX-NEXT:    vpsrlvq {{.*}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1700 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1701 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1702 ;
1703 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_q_256_const:
1704 ; X64-AVX512VL:       # %bb.0:
1705 ; X64-AVX512VL-NEXT:    vpbroadcastq {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [4,4,4,4]
1706 ; X64-AVX512VL-NEXT:    # encoding: [0xc4,0xe2,0x7d,0x59,0x05,A,A,A,A]
1707 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1708 ; X64-AVX512VL-NEXT:    vpsrlvq {{.*}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1709 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1710 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1711   %res = call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> <i64 4, i64 4, i64 4, i64 4>, <4 x i64> <i64 1, i64 1, i64 1, i64 -1>)
1712   ret <4 x i64> %res
1713 }
1714 declare <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
1715
1716
1717 define <4 x i32> @test_x86_avx2_psrav_d(<4 x i32> %a0, <4 x i32> %a1) {
1718 ; AVX2-LABEL: test_x86_avx2_psrav_d:
1719 ; AVX2:       # %bb.0:
1720 ; AVX2-NEXT:    vpsravd %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x46,0xc1]
1721 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1722 ;
1723 ; AVX512VL-LABEL: test_x86_avx2_psrav_d:
1724 ; AVX512VL:       # %bb.0:
1725 ; AVX512VL-NEXT:    vpsravd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x46,0xc1]
1726 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1727   %res = call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
1728   ret <4 x i32> %res
1729 }
1730
1731 define <4 x i32> @test_x86_avx2_psrav_d_const() {
1732 ; X86-AVX-LABEL: test_x86_avx2_psrav_d_const:
1733 ; X86-AVX:       # %bb.0:
1734 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,4294967284,23]
1735 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1736 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1737 ; X86-AVX-NEXT:    vpsravd {{\.LCPI.*}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1738 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1739 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1740 ;
1741 ; X86-AVX512VL-LABEL: test_x86_avx2_psrav_d_const:
1742 ; X86-AVX512VL:       # %bb.0:
1743 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,4294967284,23]
1744 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1745 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1746 ; X86-AVX512VL-NEXT:    vpsravd {{\.LCPI.*}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1747 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1748 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1749 ;
1750 ; X64-AVX-LABEL: test_x86_avx2_psrav_d_const:
1751 ; X64-AVX:       # %bb.0:
1752 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,4294967284,23]
1753 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1754 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1755 ; X64-AVX-NEXT:    vpsravd {{.*}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1756 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1757 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1758 ;
1759 ; X64-AVX512VL-LABEL: test_x86_avx2_psrav_d_const:
1760 ; X64-AVX512VL:       # %bb.0:
1761 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,4294967284,23]
1762 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1763 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1764 ; X64-AVX512VL-NEXT:    vpsravd {{.*}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1765 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1766 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1767   %res = call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> <i32 2, i32 9, i32 -12, i32 23>, <4 x i32> <i32 1, i32 18, i32 35, i32 52>)
1768   ret <4 x i32> %res
1769 }
1770 declare <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32>, <4 x i32>) nounwind readnone
1771
1772 define <8 x i32> @test_x86_avx2_psrav_d_256(<8 x i32> %a0, <8 x i32> %a1) {
1773 ; AVX2-LABEL: test_x86_avx2_psrav_d_256:
1774 ; AVX2:       # %bb.0:
1775 ; AVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x46,0xc1]
1776 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1777 ;
1778 ; AVX512VL-LABEL: test_x86_avx2_psrav_d_256:
1779 ; AVX512VL:       # %bb.0:
1780 ; AVX512VL-NEXT:    vpsravd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x46,0xc1]
1781 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1782   %res = call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1783   ret <8 x i32> %res
1784 }
1785
1786 define <8 x i32> @test_x86_avx2_psrav_d_256_const() {
1787 ; X86-AVX-LABEL: test_x86_avx2_psrav_d_256_const:
1788 ; X86-AVX:       # %bb.0:
1789 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1790 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1791 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1792 ; X86-AVX-NEXT:    vpsravd {{\.LCPI.*}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1793 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1794 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1795 ;
1796 ; X86-AVX512VL-LABEL: test_x86_avx2_psrav_d_256_const:
1797 ; X86-AVX512VL:       # %bb.0:
1798 ; X86-AVX512VL-NEXT:    vmovdqa {{\.LCPI.*}}, %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1799 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1800 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}, kind: FK_Data_4
1801 ; X86-AVX512VL-NEXT:    vpsravd {{\.LCPI.*}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1802 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}, kind: FK_Data_4
1803 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1804 ;
1805 ; X64-AVX-LABEL: test_x86_avx2_psrav_d_256_const:
1806 ; X64-AVX:       # %bb.0:
1807 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1808 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1809 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1810 ; X64-AVX-NEXT:    vpsravd {{.*}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1811 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1812 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1813 ;
1814 ; X64-AVX512VL-LABEL: test_x86_avx2_psrav_d_256_const:
1815 ; X64-AVX512VL:       # %bb.0:
1816 ; X64-AVX512VL-NEXT:    vmovdqa {{.*}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1817 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1818 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1819 ; X64-AVX512VL-NEXT:    vpsravd {{.*}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1820 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.LCPI.*}}-4, kind: reloc_riprel_4byte
1821 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1822   %res = call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> <i32 2, i32 9, i32 -12, i32 23, i32 -26, i32 37, i32 -40, i32 51>, <8 x i32> <i32 1, i32 18, i32 35, i32 52, i32 69, i32 15, i32 32, i32 49>)
1823   ret <8 x i32> %res
1824 }
1825 declare <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32>, <8 x i32>) nounwind readnone
1826
1827 define <2 x double> @test_x86_avx2_gather_d_pd(<2 x double> %a0, i8* %a1, <4 x i32> %idx, <2 x double> %mask) {
1828 ; X86-LABEL: test_x86_avx2_gather_d_pd:
1829 ; X86:       # %bb.0:
1830 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1831 ; X86-NEXT:    vgatherdpd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x92,0x04,0x48]
1832 ; X86-NEXT:    retl # encoding: [0xc3]
1833 ;
1834 ; X64-LABEL: test_x86_avx2_gather_d_pd:
1835 ; X64:       # %bb.0:
1836 ; X64-NEXT:    vgatherdpd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x92,0x04,0x4f]
1837 ; X64-NEXT:    retq # encoding: [0xc3]
1838   %res = call <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double> %a0,
1839                             i8* %a1, <4 x i32> %idx, <2 x double> %mask, i8 2) ;
1840   ret <2 x double> %res
1841 }
1842 declare <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double>, i8*,
1843                       <4 x i32>, <2 x double>, i8) nounwind readonly
1844
1845 define <4 x double> @test_x86_avx2_gather_d_pd_256(<4 x double> %a0, i8* %a1, <4 x i32> %idx, <4 x double> %mask) {
1846 ; X86-LABEL: test_x86_avx2_gather_d_pd_256:
1847 ; X86:       # %bb.0:
1848 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1849 ; X86-NEXT:    vgatherdpd %ymm2, (%eax,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x92,0x04,0x48]
1850 ; X86-NEXT:    retl # encoding: [0xc3]
1851 ;
1852 ; X64-LABEL: test_x86_avx2_gather_d_pd_256:
1853 ; X64:       # %bb.0:
1854 ; X64-NEXT:    vgatherdpd %ymm2, (%rdi,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x92,0x04,0x4f]
1855 ; X64-NEXT:    retq # encoding: [0xc3]
1856   %res = call <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double> %a0,
1857                             i8* %a1, <4 x i32> %idx, <4 x double> %mask, i8 2) ;
1858   ret <4 x double> %res
1859 }
1860 declare <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double>, i8*,
1861                       <4 x i32>, <4 x double>, i8) nounwind readonly
1862
1863 define <2 x double> @test_x86_avx2_gather_q_pd(<2 x double> %a0, i8* %a1, <2 x i64> %idx, <2 x double> %mask) {
1864 ; X86-LABEL: test_x86_avx2_gather_q_pd:
1865 ; X86:       # %bb.0:
1866 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1867 ; X86-NEXT:    vgatherqpd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x93,0x04,0x48]
1868 ; X86-NEXT:    retl # encoding: [0xc3]
1869 ;
1870 ; X64-LABEL: test_x86_avx2_gather_q_pd:
1871 ; X64:       # %bb.0:
1872 ; X64-NEXT:    vgatherqpd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x93,0x04,0x4f]
1873 ; X64-NEXT:    retq # encoding: [0xc3]
1874   %res = call <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double> %a0,
1875                             i8* %a1, <2 x i64> %idx, <2 x double> %mask, i8 2) ;
1876   ret <2 x double> %res
1877 }
1878 declare <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double>, i8*,
1879                       <2 x i64>, <2 x double>, i8) nounwind readonly
1880
1881 define <4 x double> @test_x86_avx2_gather_q_pd_256(<4 x double> %a0, i8* %a1, <4 x i64> %idx, <4 x double> %mask) {
1882 ; X86-LABEL: test_x86_avx2_gather_q_pd_256:
1883 ; X86:       # %bb.0:
1884 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1885 ; X86-NEXT:    vgatherqpd %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x93,0x04,0x48]
1886 ; X86-NEXT:    retl # encoding: [0xc3]
1887 ;
1888 ; X64-LABEL: test_x86_avx2_gather_q_pd_256:
1889 ; X64:       # %bb.0:
1890 ; X64-NEXT:    vgatherqpd %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x93,0x04,0x4f]
1891 ; X64-NEXT:    retq # encoding: [0xc3]
1892   %res = call <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double> %a0,
1893                             i8* %a1, <4 x i64> %idx, <4 x double> %mask, i8 2) ;
1894   ret <4 x double> %res
1895 }
1896 declare <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double>, i8*,
1897                       <4 x i64>, <4 x double>, i8) nounwind readonly
1898
1899 define <4 x float> @test_x86_avx2_gather_d_ps(<4 x float> %a0, i8* %a1, <4 x i32> %idx, <4 x float> %mask) {
1900 ; X86-LABEL: test_x86_avx2_gather_d_ps:
1901 ; X86:       # %bb.0:
1902 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1903 ; X86-NEXT:    vgatherdps %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x92,0x04,0x48]
1904 ; X86-NEXT:    retl # encoding: [0xc3]
1905 ;
1906 ; X64-LABEL: test_x86_avx2_gather_d_ps:
1907 ; X64:       # %bb.0:
1908 ; X64-NEXT:    vgatherdps %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x92,0x04,0x4f]
1909 ; X64-NEXT:    retq # encoding: [0xc3]
1910   %res = call <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float> %a0,
1911                             i8* %a1, <4 x i32> %idx, <4 x float> %mask, i8 2) ;
1912   ret <4 x float> %res
1913 }
1914 declare <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float>, i8*,
1915                       <4 x i32>, <4 x float>, i8) nounwind readonly
1916
1917 define <8 x float> @test_x86_avx2_gather_d_ps_256(<8 x float> %a0, i8* %a1, <8 x i32> %idx, <8 x float> %mask) {
1918 ; X86-LABEL: test_x86_avx2_gather_d_ps_256:
1919 ; X86:       # %bb.0:
1920 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1921 ; X86-NEXT:    vgatherdps %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x92,0x04,0x48]
1922 ; X86-NEXT:    retl # encoding: [0xc3]
1923 ;
1924 ; X64-LABEL: test_x86_avx2_gather_d_ps_256:
1925 ; X64:       # %bb.0:
1926 ; X64-NEXT:    vgatherdps %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x92,0x04,0x4f]
1927 ; X64-NEXT:    retq # encoding: [0xc3]
1928   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
1929                             i8* %a1, <8 x i32> %idx, <8 x float> %mask, i8 2) ;
1930   ret <8 x float> %res
1931 }
1932 declare <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float>, i8*,
1933                       <8 x i32>, <8 x float>, i8) nounwind readonly
1934
1935 define <4 x float> @test_x86_avx2_gather_q_ps(<4 x float> %a0, i8* %a1, <2 x i64> %idx, <4 x float> %mask) {
1936 ; X86-LABEL: test_x86_avx2_gather_q_ps:
1937 ; X86:       # %bb.0:
1938 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1939 ; X86-NEXT:    vgatherqps %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x93,0x04,0x48]
1940 ; X86-NEXT:    retl # encoding: [0xc3]
1941 ;
1942 ; X64-LABEL: test_x86_avx2_gather_q_ps:
1943 ; X64:       # %bb.0:
1944 ; X64-NEXT:    vgatherqps %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x93,0x04,0x4f]
1945 ; X64-NEXT:    retq # encoding: [0xc3]
1946   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float> %a0,
1947                             i8* %a1, <2 x i64> %idx, <4 x float> %mask, i8 2) ;
1948   ret <4 x float> %res
1949 }
1950 declare <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float>, i8*,
1951                       <2 x i64>, <4 x float>, i8) nounwind readonly
1952
1953 define <4 x float> @test_x86_avx2_gather_q_ps_256(<4 x float> %a0, i8* %a1, <4 x i64> %idx, <4 x float> %mask) {
1954 ; X86-LABEL: test_x86_avx2_gather_q_ps_256:
1955 ; X86:       # %bb.0:
1956 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1957 ; X86-NEXT:    vgatherqps %xmm2, (%eax,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x93,0x04,0x48]
1958 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1959 ; X86-NEXT:    retl # encoding: [0xc3]
1960 ;
1961 ; X64-LABEL: test_x86_avx2_gather_q_ps_256:
1962 ; X64:       # %bb.0:
1963 ; X64-NEXT:    vgatherqps %xmm2, (%rdi,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x93,0x04,0x4f]
1964 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1965 ; X64-NEXT:    retq # encoding: [0xc3]
1966   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float> %a0,
1967                             i8* %a1, <4 x i64> %idx, <4 x float> %mask, i8 2) ;
1968   ret <4 x float> %res
1969 }
1970 declare <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float>, i8*,
1971                       <4 x i64>, <4 x float>, i8) nounwind readonly
1972
1973 define <2 x i64> @test_x86_avx2_gather_d_q(<2 x i64> %a0, i8* %a1, <4 x i32> %idx, <2 x i64> %mask) {
1974 ; X86-LABEL: test_x86_avx2_gather_d_q:
1975 ; X86:       # %bb.0:
1976 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1977 ; X86-NEXT:    vpgatherdq %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x90,0x04,0x48]
1978 ; X86-NEXT:    retl # encoding: [0xc3]
1979 ;
1980 ; X64-LABEL: test_x86_avx2_gather_d_q:
1981 ; X64:       # %bb.0:
1982 ; X64-NEXT:    vpgatherdq %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x90,0x04,0x4f]
1983 ; X64-NEXT:    retq # encoding: [0xc3]
1984   %res = call <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64> %a0,
1985                             i8* %a1, <4 x i32> %idx, <2 x i64> %mask, i8 2) ;
1986   ret <2 x i64> %res
1987 }
1988 declare <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64>, i8*,
1989                       <4 x i32>, <2 x i64>, i8) nounwind readonly
1990
1991 define <4 x i64> @test_x86_avx2_gather_d_q_256(<4 x i64> %a0, i8* %a1, <4 x i32> %idx, <4 x i64> %mask) {
1992 ; X86-LABEL: test_x86_avx2_gather_d_q_256:
1993 ; X86:       # %bb.0:
1994 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1995 ; X86-NEXT:    vpgatherdq %ymm2, (%eax,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x90,0x04,0x48]
1996 ; X86-NEXT:    retl # encoding: [0xc3]
1997 ;
1998 ; X64-LABEL: test_x86_avx2_gather_d_q_256:
1999 ; X64:       # %bb.0:
2000 ; X64-NEXT:    vpgatherdq %ymm2, (%rdi,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x90,0x04,0x4f]
2001 ; X64-NEXT:    retq # encoding: [0xc3]
2002   %res = call <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64> %a0,
2003                             i8* %a1, <4 x i32> %idx, <4 x i64> %mask, i8 2) ;
2004   ret <4 x i64> %res
2005 }
2006 declare <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64>, i8*,
2007                       <4 x i32>, <4 x i64>, i8) nounwind readonly
2008
2009 define <2 x i64> @test_x86_avx2_gather_q_q(<2 x i64> %a0, i8* %a1, <2 x i64> %idx, <2 x i64> %mask) {
2010 ; X86-LABEL: test_x86_avx2_gather_q_q:
2011 ; X86:       # %bb.0:
2012 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2013 ; X86-NEXT:    vpgatherqq %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x48]
2014 ; X86-NEXT:    retl # encoding: [0xc3]
2015 ;
2016 ; X64-LABEL: test_x86_avx2_gather_q_q:
2017 ; X64:       # %bb.0:
2018 ; X64-NEXT:    vpgatherqq %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x4f]
2019 ; X64-NEXT:    retq # encoding: [0xc3]
2020   %res = call <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64> %a0,
2021                             i8* %a1, <2 x i64> %idx, <2 x i64> %mask, i8 2) ;
2022   ret <2 x i64> %res
2023 }
2024 declare <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64>, i8*,
2025                       <2 x i64>, <2 x i64>, i8) nounwind readonly
2026
2027 define <4 x i64> @test_x86_avx2_gather_q_q_256(<4 x i64> %a0, i8* %a1, <4 x i64> %idx, <4 x i64> %mask) {
2028 ; X86-LABEL: test_x86_avx2_gather_q_q_256:
2029 ; X86:       # %bb.0:
2030 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2031 ; X86-NEXT:    vpgatherqq %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x91,0x04,0x48]
2032 ; X86-NEXT:    retl # encoding: [0xc3]
2033 ;
2034 ; X64-LABEL: test_x86_avx2_gather_q_q_256:
2035 ; X64:       # %bb.0:
2036 ; X64-NEXT:    vpgatherqq %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x91,0x04,0x4f]
2037 ; X64-NEXT:    retq # encoding: [0xc3]
2038   %res = call <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64> %a0,
2039                             i8* %a1, <4 x i64> %idx, <4 x i64> %mask, i8 2) ;
2040   ret <4 x i64> %res
2041 }
2042 declare <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64>, i8*,
2043                       <4 x i64>, <4 x i64>, i8) nounwind readonly
2044
2045 define <4 x i32> @test_x86_avx2_gather_d_d(<4 x i32> %a0, i8* %a1, <4 x i32> %idx, <4 x i32> %mask) {
2046 ; X86-LABEL: test_x86_avx2_gather_d_d:
2047 ; X86:       # %bb.0:
2048 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2049 ; X86-NEXT:    vpgatherdd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x90,0x04,0x48]
2050 ; X86-NEXT:    retl # encoding: [0xc3]
2051 ;
2052 ; X64-LABEL: test_x86_avx2_gather_d_d:
2053 ; X64:       # %bb.0:
2054 ; X64-NEXT:    vpgatherdd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x90,0x04,0x4f]
2055 ; X64-NEXT:    retq # encoding: [0xc3]
2056   %res = call <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32> %a0,
2057                             i8* %a1, <4 x i32> %idx, <4 x i32> %mask, i8 2) ;
2058   ret <4 x i32> %res
2059 }
2060 declare <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32>, i8*,
2061                       <4 x i32>, <4 x i32>, i8) nounwind readonly
2062
2063 define <8 x i32> @test_x86_avx2_gather_d_d_256(<8 x i32> %a0, i8* %a1, <8 x i32> %idx, <8 x i32> %mask) {
2064 ; X86-LABEL: test_x86_avx2_gather_d_d_256:
2065 ; X86:       # %bb.0:
2066 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2067 ; X86-NEXT:    vpgatherdd %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x90,0x04,0x48]
2068 ; X86-NEXT:    retl # encoding: [0xc3]
2069 ;
2070 ; X64-LABEL: test_x86_avx2_gather_d_d_256:
2071 ; X64:       # %bb.0:
2072 ; X64-NEXT:    vpgatherdd %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x90,0x04,0x4f]
2073 ; X64-NEXT:    retq # encoding: [0xc3]
2074   %res = call <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32> %a0,
2075                             i8* %a1, <8 x i32> %idx, <8 x i32> %mask, i8 2) ;
2076   ret <8 x i32> %res
2077 }
2078 declare <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32>, i8*,
2079                       <8 x i32>, <8 x i32>, i8) nounwind readonly
2080
2081 define <4 x i32> @test_x86_avx2_gather_q_d(<4 x i32> %a0, i8* %a1, <2 x i64> %idx, <4 x i32> %mask) {
2082 ; X86-LABEL: test_x86_avx2_gather_q_d:
2083 ; X86:       # %bb.0:
2084 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2085 ; X86-NEXT:    vpgatherqd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x91,0x04,0x48]
2086 ; X86-NEXT:    retl # encoding: [0xc3]
2087 ;
2088 ; X64-LABEL: test_x86_avx2_gather_q_d:
2089 ; X64:       # %bb.0:
2090 ; X64-NEXT:    vpgatherqd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x91,0x04,0x4f]
2091 ; X64-NEXT:    retq # encoding: [0xc3]
2092   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32> %a0,
2093                             i8* %a1, <2 x i64> %idx, <4 x i32> %mask, i8 2) ;
2094   ret <4 x i32> %res
2095 }
2096 declare <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32>, i8*,
2097                       <2 x i64>, <4 x i32>, i8) nounwind readonly
2098
2099 define <4 x i32> @test_x86_avx2_gather_q_d_256(<4 x i32> %a0, i8* %a1, <4 x i64> %idx, <4 x i32> %mask) {
2100 ; X86-LABEL: test_x86_avx2_gather_q_d_256:
2101 ; X86:       # %bb.0:
2102 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2103 ; X86-NEXT:    vpgatherqd %xmm2, (%eax,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x91,0x04,0x48]
2104 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
2105 ; X86-NEXT:    retl # encoding: [0xc3]
2106 ;
2107 ; X64-LABEL: test_x86_avx2_gather_q_d_256:
2108 ; X64:       # %bb.0:
2109 ; X64-NEXT:    vpgatherqd %xmm2, (%rdi,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x91,0x04,0x4f]
2110 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
2111 ; X64-NEXT:    retq # encoding: [0xc3]
2112   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32> %a0,
2113                             i8* %a1, <4 x i64> %idx, <4 x i32> %mask, i8 2) ;
2114   ret <4 x i32> %res
2115 }
2116 declare <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32>, i8*,
2117                       <4 x i64>, <4 x i32>, i8) nounwind readonly
2118
2119 ; PR13298
2120 define <8 x float>  @test_gather_mask(<8 x float> %a0, float* %a, <8 x i32> %idx, <8 x float> %mask, float* nocapture %out) {
2121 ;; gather with mask
2122 ; X86-AVX-LABEL: test_gather_mask:
2123 ; X86-AVX:       # %bb.0:
2124 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x08]
2125 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %ecx # encoding: [0x8b,0x4c,0x24,0x04]
2126 ; X86-AVX-NEXT:    vmovaps %ymm2, %ymm3 # encoding: [0xc5,0xfc,0x28,0xda]
2127 ; X86-AVX-NEXT:    vgatherdps %ymm3, (%ecx,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x89]
2128 ; X86-AVX-NEXT:    vmovups %ymm2, (%eax) # encoding: [0xc5,0xfc,0x11,0x10]
2129 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
2130 ;
2131 ; X86-AVX512VL-LABEL: test_gather_mask:
2132 ; X86-AVX512VL:       # %bb.0:
2133 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x08]
2134 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %ecx # encoding: [0x8b,0x4c,0x24,0x04]
2135 ; X86-AVX512VL-NEXT:    vmovaps %ymm2, %ymm3 # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x28,0xda]
2136 ; X86-AVX512VL-NEXT:    vgatherdps %ymm3, (%ecx,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x89]
2137 ; X86-AVX512VL-NEXT:    vmovups %ymm2, (%eax) # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x11,0x10]
2138 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
2139 ;
2140 ; X64-AVX-LABEL: test_gather_mask:
2141 ; X64-AVX:       # %bb.0:
2142 ; X64-AVX-NEXT:    vmovaps %ymm2, %ymm3 # encoding: [0xc5,0xfc,0x28,0xda]
2143 ; X64-AVX-NEXT:    vgatherdps %ymm3, (%rdi,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x8f]
2144 ; X64-AVX-NEXT:    vmovups %ymm2, (%rsi) # encoding: [0xc5,0xfc,0x11,0x16]
2145 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
2146 ;
2147 ; X64-AVX512VL-LABEL: test_gather_mask:
2148 ; X64-AVX512VL:       # %bb.0:
2149 ; X64-AVX512VL-NEXT:    vmovaps %ymm2, %ymm3 # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x28,0xda]
2150 ; X64-AVX512VL-NEXT:    vgatherdps %ymm3, (%rdi,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x8f]
2151 ; X64-AVX512VL-NEXT:    vmovups %ymm2, (%rsi) # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x11,0x16]
2152 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
2153   %a_i8 = bitcast float* %a to i8*
2154   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
2155                            i8* %a_i8, <8 x i32> %idx, <8 x float> %mask, i8 4) ;
2156
2157 ;; for debugging, we'll just dump out the mask
2158   %out_ptr = bitcast float * %out to <8 x float> *
2159   store <8 x float> %mask, <8 x float> * %out_ptr, align 4
2160
2161   ret <8 x float> %res
2162 }