llvm/test/CodeGen/X86/avx2-intrinsics-x86.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -disable-peephole -mtriple=i686-unknown-unknown -mattr=avx2 -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX2 --check-prefix=X86 --check-prefix=X86-AVX
   3 ; RUN: llc < %s -disable-peephole -mtriple=i686-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl,+avx512dq -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX512VL --check-prefix=X86 --check-prefix=X86-AVX512VL
   4 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-unknown-unknown -mattr=avx2 -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX2 --check-prefix=X64 --check-prefix=X64-AVX
   5 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl,+avx512dq -show-mc-encoding | FileCheck %s --check-prefix=CHECK --check-prefix=AVX512VL --check-prefix=X64 --check-prefix=X64-AVX512VL
   6
   7 define <16 x i16> @test_x86_avx2_packssdw(<8 x i32> %a0, <8 x i32> %a1) {
   8 ; AVX2-LABEL: test_x86_avx2_packssdw:
   9 ; AVX2:       # %bb.0:
  10 ; AVX2-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x6b,0xc1]
  11 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  12 ;
  13 ; AVX512VL-LABEL: test_x86_avx2_packssdw:
  14 ; AVX512VL:       # %bb.0:
  15 ; AVX512VL-NEXT:    vpackssdw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6b,0xc1]
  16 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  17   %res = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
  18   ret <16 x i16> %res
  19 }
  20 declare <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32>, <8 x i32>) nounwind readnone
  21
  22
  23 define <16 x i16> @test_x86_avx2_packssdw_fold() {
  24 ; X86-AVX-LABEL: test_x86_avx2_packssdw_fold:
  25 ; X86-AVX:       # %bb.0:
  26 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  27 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  28 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
  29 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
  30 ;
  31 ; X86-AVX512VL-LABEL: test_x86_avx2_packssdw_fold:
  32 ; X86-AVX512VL:       # %bb.0:
  33 ; X86-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  34 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  35 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
  36 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
  37 ;
  38 ; X64-AVX-LABEL: test_x86_avx2_packssdw_fold:
  39 ; X64-AVX:       # %bb.0:
  40 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  41 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  42 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
  43 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
  44 ;
  45 ; X64-AVX512VL-LABEL: test_x86_avx2_packssdw_fold:
  46 ; X64-AVX512VL:       # %bb.0:
  47 ; X64-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,32767,65535,0,0,0,0,32769,32768,0,65280]
  48 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  49 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
  50 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
  51   %res = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> zeroinitializer, <8 x i32> <i32 255, i32 32767, i32 65535, i32 -1, i32 -32767, i32 -65535, i32 0, i32 -256>)
  52   ret <16 x i16> %res
  53 }
  54
  55
  56 define <32 x i8> @test_x86_avx2_packsswb(<16 x i16> %a0, <16 x i16> %a1) {
  57 ; AVX2-LABEL: test_x86_avx2_packsswb:
  58 ; AVX2:       # %bb.0:
  59 ; AVX2-NEXT:    vpacksswb %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x63,0xc1]
  60 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  61 ;
  62 ; AVX512VL-LABEL: test_x86_avx2_packsswb:
  63 ; AVX512VL:       # %bb.0:
  64 ; AVX512VL-NEXT:    vpacksswb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x63,0xc1]
  65 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
  66   %res = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  67   ret <32 x i8> %res
  68 }
  69 declare <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16>, <16 x i16>) nounwind readnone
  70
  71
  72 define <32 x i8> @test_x86_avx2_packsswb_fold() {
  73 ; X86-AVX-LABEL: test_x86_avx2_packsswb_fold:
  74 ; X86-AVX:       # %bb.0:
  75 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  76 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  77 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
  78 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
  79 ;
  80 ; X86-AVX512VL-LABEL: test_x86_avx2_packsswb_fold:
  81 ; X86-AVX512VL:       # %bb.0:
  82 ; X86-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  83 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  84 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
  85 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
  86 ;
  87 ; X64-AVX-LABEL: test_x86_avx2_packsswb_fold:
  88 ; X64-AVX:       # %bb.0:
  89 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  90 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  91 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
  92 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
  93 ;
  94 ; X64-AVX512VL-LABEL: test_x86_avx2_packsswb_fold:
  95 ; X64-AVX512VL:       # %bb.0:
  96 ; X64-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0,0,127,127,255,255,128,128,128,0,0,0,0,0,0,0,0]
  97 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
  98 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
  99 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 100   %res = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> <i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678, i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678>, <16 x i16> zeroinitializer)
 101   ret <32 x i8> %res
 102 }
 103
 104
 105 define <32 x i8> @test_x86_avx2_packuswb(<16 x i16> %a0, <16 x i16> %a1) {
 106 ; AVX2-LABEL: test_x86_avx2_packuswb:
 107 ; AVX2:       # %bb.0:
 108 ; AVX2-NEXT:    vpackuswb %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x67,0xc1]
 109 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 110 ;
 111 ; AVX512VL-LABEL: test_x86_avx2_packuswb:
 112 ; AVX512VL:       # %bb.0:
 113 ; AVX512VL-NEXT:    vpackuswb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x67,0xc1]
 114 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 115   %res = call <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
 116   ret <32 x i8> %res
 117 }
 118 declare <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16>, <16 x i16>) nounwind readnone
 119
 120
 121 define <32 x i8> @test_x86_avx2_packuswb_fold() {
 122 ; X86-AVX-LABEL: test_x86_avx2_packuswb_fold:
 123 ; X86-AVX:       # %bb.0:
 124 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 125 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 126 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
 127 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 128 ;
 129 ; X86-AVX512VL-LABEL: test_x86_avx2_packuswb_fold:
 130 ; X86-AVX512VL:       # %bb.0:
 131 ; X86-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 132 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 133 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
 134 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 135 ;
 136 ; X64-AVX-LABEL: test_x86_avx2_packuswb_fold:
 137 ; X64-AVX:       # %bb.0:
 138 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 139 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 140 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
 141 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 142 ;
 143 ; X64-AVX512VL-LABEL: test_x86_avx2_packuswb_fold:
 144 ; X64-AVX512VL:       # %bb.0:
 145 ; X64-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0,0,255,255,0,0,0,0,0,0,0,0,0,0,0,0,0]
 146 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 147 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
 148 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 149   %res = call <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16> <i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678, i16 0, i16 255, i16 256, i16 65535, i16 -1, i16 -255, i16 -256, i16 -32678>, <16 x i16> zeroinitializer)
 150   ret <32 x i8> %res
 151 }
 152
 153
 154 define <32 x i8> @test_x86_avx2_pavg_b(<32 x i8> %a0, <32 x i8> %a1) {
 155 ; AVX2-LABEL: test_x86_avx2_pavg_b:
 156 ; AVX2:       # %bb.0:
 157 ; AVX2-NEXT:    vpavgb %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe0,0xc1]
 158 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 159 ;
 160 ; AVX512VL-LABEL: test_x86_avx2_pavg_b:
 161 ; AVX512VL:       # %bb.0:
 162 ; AVX512VL-NEXT:    vpavgb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe0,0xc1]
 163 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 164   %res = call <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 165   ret <32 x i8> %res
 166 }
 167 declare <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8>, <32 x i8>) nounwind readnone
 168
 169
 170 define <16 x i16> @test_x86_avx2_pavg_w(<16 x i16> %a0, <16 x i16> %a1) {
 171 ; AVX2-LABEL: test_x86_avx2_pavg_w:
 172 ; AVX2:       # %bb.0:
 173 ; AVX2-NEXT:    vpavgw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe3,0xc1]
 174 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 175 ;
 176 ; AVX512VL-LABEL: test_x86_avx2_pavg_w:
 177 ; AVX512VL:       # %bb.0:
 178 ; AVX512VL-NEXT:    vpavgw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe3,0xc1]
 179 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 180   %res = call <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 181   ret <16 x i16> %res
 182 }
 183 declare <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16>, <16 x i16>) nounwind readnone
 184
 185
 186 define <8 x i32> @test_x86_avx2_pmadd_wd(<16 x i16> %a0, <16 x i16> %a1) {
 187 ; AVX2-LABEL: test_x86_avx2_pmadd_wd:
 188 ; AVX2:       # %bb.0:
 189 ; AVX2-NEXT:    vpmaddwd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf5,0xc1]
 190 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 191 ;
 192 ; AVX512VL-LABEL: test_x86_avx2_pmadd_wd:
 193 ; AVX512VL:       # %bb.0:
 194 ; AVX512VL-NEXT:    vpmaddwd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf5,0xc1]
 195 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 196   %res = call <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16> %a0, <16 x i16> %a1) ; <<8 x i32>> [#uses=1]
 197   ret <8 x i32> %res
 198 }
 199 declare <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16>, <16 x i16>) nounwind readnone
 200
 201
 202 define i32 @test_x86_avx2_pmovmskb(<32 x i8> %a0) {
 203 ; CHECK-LABEL: test_x86_avx2_pmovmskb:
 204 ; CHECK:       # %bb.0:
 205 ; CHECK-NEXT:    vpmovmskb %ymm0, %eax # encoding: [0xc5,0xfd,0xd7,0xc0]
 206 ; CHECK-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 207 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 208   %res = call i32 @llvm.x86.avx2.pmovmskb(<32 x i8> %a0) ; <i32> [#uses=1]
 209   ret i32 %res
 210 }
 211 declare i32 @llvm.x86.avx2.pmovmskb(<32 x i8>) nounwind readnone
 212
 213
 214 define <16 x i16> @test_x86_avx2_pmulh_w(<16 x i16> %a0, <16 x i16> %a1) {
 215 ; AVX2-LABEL: test_x86_avx2_pmulh_w:
 216 ; AVX2:       # %bb.0:
 217 ; AVX2-NEXT:    vpmulhw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe5,0xc1]
 218 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 219 ;
 220 ; AVX512VL-LABEL: test_x86_avx2_pmulh_w:
 221 ; AVX512VL:       # %bb.0:
 222 ; AVX512VL-NEXT:    vpmulhw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe5,0xc1]
 223 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 224   %res = call <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 225   ret <16 x i16> %res
 226 }
 227 declare <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16>, <16 x i16>) nounwind readnone
 228
 229
 230 define <16 x i16> @test_x86_avx2_pmulhu_w(<16 x i16> %a0, <16 x i16> %a1) {
 231 ; AVX2-LABEL: test_x86_avx2_pmulhu_w:
 232 ; AVX2:       # %bb.0:
 233 ; AVX2-NEXT:    vpmulhuw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe4,0xc1]
 234 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 235 ;
 236 ; AVX512VL-LABEL: test_x86_avx2_pmulhu_w:
 237 ; AVX512VL:       # %bb.0:
 238 ; AVX512VL-NEXT:    vpmulhuw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe4,0xc1]
 239 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 240   %res = call <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 241   ret <16 x i16> %res
 242 }
 243 declare <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16>, <16 x i16>) nounwind readnone
 244
 245
 246 define <4 x i64> @test_x86_avx2_psad_bw(<32 x i8> %a0, <32 x i8> %a1) {
 247 ; AVX2-LABEL: test_x86_avx2_psad_bw:
 248 ; AVX2:       # %bb.0:
 249 ; AVX2-NEXT:    vpsadbw %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf6,0xc1]
 250 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 251 ;
 252 ; AVX512VL-LABEL: test_x86_avx2_psad_bw:
 253 ; AVX512VL:       # %bb.0:
 254 ; AVX512VL-NEXT:    vpsadbw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf6,0xc1]
 255 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 256   %res = call <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8> %a0, <32 x i8> %a1) ; <<4 x i64>> [#uses=1]
 257   ret <4 x i64> %res
 258 }
 259 declare <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8>, <32 x i8>) nounwind readnone
 260
 261
 262 define <8 x i32> @test_x86_avx2_psll_d(<8 x i32> %a0, <4 x i32> %a1) {
 263 ; AVX2-LABEL: test_x86_avx2_psll_d:
 264 ; AVX2:       # %bb.0:
 265 ; AVX2-NEXT:    vpslld %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf2,0xc1]
 266 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 267 ;
 268 ; AVX512VL-LABEL: test_x86_avx2_psll_d:
 269 ; AVX512VL:       # %bb.0:
 270 ; AVX512VL-NEXT:    vpslld %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf2,0xc1]
 271 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 272   %res = call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 273   ret <8 x i32> %res
 274 }
 275 declare <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32>, <4 x i32>) nounwind readnone
 276
 277
 278 define <4 x i64> @test_x86_avx2_psll_q(<4 x i64> %a0, <2 x i64> %a1) {
 279 ; AVX2-LABEL: test_x86_avx2_psll_q:
 280 ; AVX2:       # %bb.0:
 281 ; AVX2-NEXT:    vpsllq %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf3,0xc1]
 282 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 283 ;
 284 ; AVX512VL-LABEL: test_x86_avx2_psll_q:
 285 ; AVX512VL:       # %bb.0:
 286 ; AVX512VL-NEXT:    vpsllq %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf3,0xc1]
 287 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 288   %res = call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 289   ret <4 x i64> %res
 290 }
 291 declare <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64>, <2 x i64>) nounwind readnone
 292
 293
 294 define <16 x i16> @test_x86_avx2_psll_w(<16 x i16> %a0, <8 x i16> %a1) {
 295 ; AVX2-LABEL: test_x86_avx2_psll_w:
 296 ; AVX2:       # %bb.0:
 297 ; AVX2-NEXT:    vpsllw %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xf1,0xc1]
 298 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 299 ;
 300 ; AVX512VL-LABEL: test_x86_avx2_psll_w:
 301 ; AVX512VL:       # %bb.0:
 302 ; AVX512VL-NEXT:    vpsllw %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xf1,0xc1]
 303 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 304   %res = call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 305   ret <16 x i16> %res
 306 }
 307 declare <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16>, <8 x i16>) nounwind readnone
 308
 309
 310 define <8 x i32> @test_x86_avx2_pslli_d(<8 x i32> %a0) {
 311 ; AVX2-LABEL: test_x86_avx2_pslli_d:
 312 ; AVX2:       # %bb.0:
 313 ; AVX2-NEXT:    vpslld $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x72,0xf0,0x07]
 314 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 315 ;
 316 ; AVX512VL-LABEL: test_x86_avx2_pslli_d:
 317 ; AVX512VL:       # %bb.0:
 318 ; AVX512VL-NEXT:    vpslld $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x72,0xf0,0x07]
 319 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 320   %res = call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 321   ret <8 x i32> %res
 322 }
 323 declare <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32>, i32) nounwind readnone
 324
 325
 326 define <4 x i64> @test_x86_avx2_pslli_q(<4 x i64> %a0) {
 327 ; AVX2-LABEL: test_x86_avx2_pslli_q:
 328 ; AVX2:       # %bb.0:
 329 ; AVX2-NEXT:    vpsllq $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x73,0xf0,0x07]
 330 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 331 ;
 332 ; AVX512VL-LABEL: test_x86_avx2_pslli_q:
 333 ; AVX512VL:       # %bb.0:
 334 ; AVX512VL-NEXT:    vpsllq $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x73,0xf0,0x07]
 335 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 336   %res = call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 337   ret <4 x i64> %res
 338 }
 339 declare <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64>, i32) nounwind readnone
 340
 341
 342 define <16 x i16> @test_x86_avx2_pslli_w(<16 x i16> %a0) {
 343 ; AVX2-LABEL: test_x86_avx2_pslli_w:
 344 ; AVX2:       # %bb.0:
 345 ; AVX2-NEXT:    vpsllw $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x71,0xf0,0x07]
 346 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 347 ;
 348 ; AVX512VL-LABEL: test_x86_avx2_pslli_w:
 349 ; AVX512VL:       # %bb.0:
 350 ; AVX512VL-NEXT:    vpsllw $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x71,0xf0,0x07]
 351 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 352   %res = call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 353   ret <16 x i16> %res
 354 }
 355 declare <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16>, i32) nounwind readnone
 356
 357
 358 define <8 x i32> @test_x86_avx2_psra_d(<8 x i32> %a0, <4 x i32> %a1) {
 359 ; AVX2-LABEL: test_x86_avx2_psra_d:
 360 ; AVX2:       # %bb.0:
 361 ; AVX2-NEXT:    vpsrad %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe2,0xc1]
 362 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 363 ;
 364 ; AVX512VL-LABEL: test_x86_avx2_psra_d:
 365 ; AVX512VL:       # %bb.0:
 366 ; AVX512VL-NEXT:    vpsrad %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe2,0xc1]
 367 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 368   %res = call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 369   ret <8 x i32> %res
 370 }
 371 declare <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32>, <4 x i32>) nounwind readnone
 372
 373
 374 define <16 x i16> @test_x86_avx2_psra_w(<16 x i16> %a0, <8 x i16> %a1) {
 375 ; AVX2-LABEL: test_x86_avx2_psra_w:
 376 ; AVX2:       # %bb.0:
 377 ; AVX2-NEXT:    vpsraw %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xe1,0xc1]
 378 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 379 ;
 380 ; AVX512VL-LABEL: test_x86_avx2_psra_w:
 381 ; AVX512VL:       # %bb.0:
 382 ; AVX512VL-NEXT:    vpsraw %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xe1,0xc1]
 383 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 384   %res = call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 385   ret <16 x i16> %res
 386 }
 387 declare <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16>, <8 x i16>) nounwind readnone
 388
 389
 390 define <8 x i32> @test_x86_avx2_psrai_d(<8 x i32> %a0) {
 391 ; AVX2-LABEL: test_x86_avx2_psrai_d:
 392 ; AVX2:       # %bb.0:
 393 ; AVX2-NEXT:    vpsrad $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x72,0xe0,0x07]
 394 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 395 ;
 396 ; AVX512VL-LABEL: test_x86_avx2_psrai_d:
 397 ; AVX512VL:       # %bb.0:
 398 ; AVX512VL-NEXT:    vpsrad $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x72,0xe0,0x07]
 399 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 400   %res = call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 401   ret <8 x i32> %res
 402 }
 403 declare <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32>, i32) nounwind readnone
 404
 405
 406 define <16 x i16> @test_x86_avx2_psrai_w(<16 x i16> %a0) {
 407 ; AVX2-LABEL: test_x86_avx2_psrai_w:
 408 ; AVX2:       # %bb.0:
 409 ; AVX2-NEXT:    vpsraw $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x71,0xe0,0x07]
 410 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 411 ;
 412 ; AVX512VL-LABEL: test_x86_avx2_psrai_w:
 413 ; AVX512VL:       # %bb.0:
 414 ; AVX512VL-NEXT:    vpsraw $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x71,0xe0,0x07]
 415 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 416   %res = call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 417   ret <16 x i16> %res
 418 }
 419 declare <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16>, i32) nounwind readnone
 420
 421
 422 define <8 x i32> @test_x86_avx2_psrl_d(<8 x i32> %a0, <4 x i32> %a1) {
 423 ; AVX2-LABEL: test_x86_avx2_psrl_d:
 424 ; AVX2:       # %bb.0:
 425 ; AVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd2,0xc1]
 426 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 427 ;
 428 ; AVX512VL-LABEL: test_x86_avx2_psrl_d:
 429 ; AVX512VL:       # %bb.0:
 430 ; AVX512VL-NEXT:    vpsrld %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd2,0xc1]
 431 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 432   %res = call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 433   ret <8 x i32> %res
 434 }
 435 declare <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32>, <4 x i32>) nounwind readnone
 436
 437
 438 define <4 x i64> @test_x86_avx2_psrl_q(<4 x i64> %a0, <2 x i64> %a1) {
 439 ; AVX2-LABEL: test_x86_avx2_psrl_q:
 440 ; AVX2:       # %bb.0:
 441 ; AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd3,0xc1]
 442 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 443 ;
 444 ; AVX512VL-LABEL: test_x86_avx2_psrl_q:
 445 ; AVX512VL:       # %bb.0:
 446 ; AVX512VL-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd3,0xc1]
 447 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 448   %res = call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 449   ret <4 x i64> %res
 450 }
 451 declare <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64>, <2 x i64>) nounwind readnone
 452
 453
 454 define <16 x i16> @test_x86_avx2_psrl_w(<16 x i16> %a0, <8 x i16> %a1) {
 455 ; AVX2-LABEL: test_x86_avx2_psrl_w:
 456 ; AVX2:       # %bb.0:
 457 ; AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd1,0xc1]
 458 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 459 ;
 460 ; AVX512VL-LABEL: test_x86_avx2_psrl_w:
 461 ; AVX512VL:       # %bb.0:
 462 ; AVX512VL-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd1,0xc1]
 463 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 464   %res = call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 465   ret <16 x i16> %res
 466 }
 467 declare <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16>, <8 x i16>) nounwind readnone
 468
 469
 470 define <16 x i16> @test_x86_avx2_psrl_w_load(<16 x i16> %a0, ptr %p) {
 471 ; X86-AVX-LABEL: test_x86_avx2_psrl_w_load:
 472 ; X86-AVX:       # %bb.0:
 473 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 474 ; X86-AVX-NEXT:    vpsrlw (%eax), %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd1,0x00]
 475 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 476 ;
 477 ; X86-AVX512VL-LABEL: test_x86_avx2_psrl_w_load:
 478 ; X86-AVX512VL:       # %bb.0:
 479 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 480 ; X86-AVX512VL-NEXT:    vpsrlw (%eax), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd1,0x00]
 481 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 482 ;
 483 ; X64-AVX-LABEL: test_x86_avx2_psrl_w_load:
 484 ; X64-AVX:       # %bb.0:
 485 ; X64-AVX-NEXT:    vpsrlw (%rdi), %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xd1,0x07]
 486 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 487 ;
 488 ; X64-AVX512VL-LABEL: test_x86_avx2_psrl_w_load:
 489 ; X64-AVX512VL:       # %bb.0:
 490 ; X64-AVX512VL-NEXT:    vpsrlw (%rdi), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xd1,0x07]
 491 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 492   %a1 = load <8 x i16>, ptr %p
 493   %res = call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 494   ret <16 x i16> %res
 495 }
 496
 497
 498 define <8 x i32> @test_x86_avx2_psrli_d(<8 x i32> %a0) {
 499 ; AVX2-LABEL: test_x86_avx2_psrli_d:
 500 ; AVX2:       # %bb.0:
 501 ; AVX2-NEXT:    vpsrld $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x72,0xd0,0x07]
 502 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 503 ;
 504 ; AVX512VL-LABEL: test_x86_avx2_psrli_d:
 505 ; AVX512VL:       # %bb.0:
 506 ; AVX512VL-NEXT:    vpsrld $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x72,0xd0,0x07]
 507 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 508   %res = call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 509   ret <8 x i32> %res
 510 }
 511 declare <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32>, i32) nounwind readnone
 512
 513
 514 define <4 x i64> @test_x86_avx2_psrli_q(<4 x i64> %a0) {
 515 ; AVX2-LABEL: test_x86_avx2_psrli_q:
 516 ; AVX2:       # %bb.0:
 517 ; AVX2-NEXT:    vpsrlq $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x73,0xd0,0x07]
 518 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 519 ;
 520 ; AVX512VL-LABEL: test_x86_avx2_psrli_q:
 521 ; AVX512VL:       # %bb.0:
 522 ; AVX512VL-NEXT:    vpsrlq $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x73,0xd0,0x07]
 523 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 524   %res = call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 525   ret <4 x i64> %res
 526 }
 527 declare <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64>, i32) nounwind readnone
 528
 529
 530 define <16 x i16> @test_x86_avx2_psrli_w(<16 x i16> %a0) {
 531 ; AVX2-LABEL: test_x86_avx2_psrli_w:
 532 ; AVX2:       # %bb.0:
 533 ; AVX2-NEXT:    vpsrlw $7, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0x71,0xd0,0x07]
 534 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 535 ;
 536 ; AVX512VL-LABEL: test_x86_avx2_psrli_w:
 537 ; AVX512VL:       # %bb.0:
 538 ; AVX512VL-NEXT:    vpsrlw $7, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x71,0xd0,0x07]
 539 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 540   %res = call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 541   ret <16 x i16> %res
 542 }
 543 declare <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16>, i32) nounwind readnone
 544
 545
 546 define <8 x i32> @test_x86_avx2_phadd_d(<8 x i32> %a0, <8 x i32> %a1) {
 547 ; CHECK-LABEL: test_x86_avx2_phadd_d:
 548 ; CHECK:       # %bb.0:
 549 ; CHECK-NEXT:    vphaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x02,0xc1]
 550 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 551   %res = call <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 552   ret <8 x i32> %res
 553 }
 554 declare <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32>, <8 x i32>) nounwind readnone
 555
 556
 557 define <16 x i16> @test_x86_avx2_phadd_sw(<16 x i16> %a0, <16 x i16> %a1) {
 558 ; CHECK-LABEL: test_x86_avx2_phadd_sw:
 559 ; CHECK:       # %bb.0:
 560 ; CHECK-NEXT:    vphaddsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x03,0xc1]
 561 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 562   %res = call <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 563   ret <16 x i16> %res
 564 }
 565 declare <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16>, <16 x i16>) nounwind readnone
 566
 567
 568 define <16 x i16> @test_x86_avx2_phadd_w(<16 x i16> %a0, <16 x i16> %a1) {
 569 ; CHECK-LABEL: test_x86_avx2_phadd_w:
 570 ; CHECK:       # %bb.0:
 571 ; CHECK-NEXT:    vphaddw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x01,0xc1]
 572 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 573   %res = call <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 574   ret <16 x i16> %res
 575 }
 576 declare <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16>, <16 x i16>) nounwind readnone
 577
 578
 579 define <8 x i32> @test_x86_avx2_phsub_d(<8 x i32> %a0, <8 x i32> %a1) {
 580 ; CHECK-LABEL: test_x86_avx2_phsub_d:
 581 ; CHECK:       # %bb.0:
 582 ; CHECK-NEXT:    vphsubd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x06,0xc1]
 583 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 584   %res = call <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 585   ret <8 x i32> %res
 586 }
 587 declare <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32>, <8 x i32>) nounwind readnone
 588
 589
 590 define <16 x i16> @test_x86_avx2_phsub_sw(<16 x i16> %a0, <16 x i16> %a1) {
 591 ; CHECK-LABEL: test_x86_avx2_phsub_sw:
 592 ; CHECK:       # %bb.0:
 593 ; CHECK-NEXT:    vphsubsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x07,0xc1]
 594 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 595   %res = call <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 596   ret <16 x i16> %res
 597 }
 598 declare <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16>, <16 x i16>) nounwind readnone
 599
 600
 601 define <16 x i16> @test_x86_avx2_phsub_w(<16 x i16> %a0, <16 x i16> %a1) {
 602 ; CHECK-LABEL: test_x86_avx2_phsub_w:
 603 ; CHECK:       # %bb.0:
 604 ; CHECK-NEXT:    vphsubw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x05,0xc1]
 605 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 606   %res = call <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 607   ret <16 x i16> %res
 608 }
 609 declare <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16>, <16 x i16>) nounwind readnone
 610
 611
 612 define <16 x i16> @test_x86_avx2_pmadd_ub_sw(<32 x i8> %a0, <32 x i8> %a1) {
 613 ; AVX2-LABEL: test_x86_avx2_pmadd_ub_sw:
 614 ; AVX2:       # %bb.0:
 615 ; AVX2-NEXT:    vpmaddubsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x04,0xc1]
 616 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 617 ;
 618 ; AVX512VL-LABEL: test_x86_avx2_pmadd_ub_sw:
 619 ; AVX512VL:       # %bb.0:
 620 ; AVX512VL-NEXT:    vpmaddubsw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x04,0xc1]
 621 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 622   %res = call <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i16>> [#uses=1]
 623   ret <16 x i16> %res
 624 }
 625 declare <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8>, <32 x i8>) nounwind readnone
 626
 627 ; Make sure we don't commute this operation.
 628 define <16 x i16> @test_x86_avx2_pmadd_ub_sw_load_op0(ptr %ptr, <32 x i8> %a1) {
 629 ; X86-AVX-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 630 ; X86-AVX:       # %bb.0:
 631 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 632 ; X86-AVX-NEXT:    vmovdqa (%eax), %ymm1 # encoding: [0xc5,0xfd,0x6f,0x08]
 633 ; X86-AVX-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 634 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 635 ;
 636 ; X86-AVX512VL-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 637 ; X86-AVX512VL:       # %bb.0:
 638 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 639 ; X86-AVX512VL-NEXT:    vmovdqa (%eax), %ymm1 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6f,0x08]
 640 ; X86-AVX512VL-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 641 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 642 ;
 643 ; X64-AVX-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 644 ; X64-AVX:       # %bb.0:
 645 ; X64-AVX-NEXT:    vmovdqa (%rdi), %ymm1 # encoding: [0xc5,0xfd,0x6f,0x0f]
 646 ; X64-AVX-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 647 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 648 ;
 649 ; X64-AVX512VL-LABEL: test_x86_avx2_pmadd_ub_sw_load_op0:
 650 ; X64-AVX512VL:       # %bb.0:
 651 ; X64-AVX512VL-NEXT:    vmovdqa (%rdi), %ymm1 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6f,0x0f]
 652 ; X64-AVX512VL-NEXT:    vpmaddubsw %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x04,0xc0]
 653 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 654   %a0 = load <32 x i8>, ptr %ptr
 655   %res = call <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i16>> [#uses=1]
 656   ret <16 x i16> %res
 657 }
 658
 659 define <16 x i16> @test_x86_avx2_pmul_hr_sw(<16 x i16> %a0, <16 x i16> %a1) {
 660 ; AVX2-LABEL: test_x86_avx2_pmul_hr_sw:
 661 ; AVX2:       # %bb.0:
 662 ; AVX2-NEXT:    vpmulhrsw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x0b,0xc1]
 663 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 664 ;
 665 ; AVX512VL-LABEL: test_x86_avx2_pmul_hr_sw:
 666 ; AVX512VL:       # %bb.0:
 667 ; AVX512VL-NEXT:    vpmulhrsw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x0b,0xc1]
 668 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 669   %res = call <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 670   ret <16 x i16> %res
 671 }
 672 declare <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16>, <16 x i16>) nounwind readnone
 673
 674
 675 define <32 x i8> @test_x86_avx2_pshuf_b(<32 x i8> %a0, <32 x i8> %a1) {
 676 ; AVX2-LABEL: test_x86_avx2_pshuf_b:
 677 ; AVX2:       # %bb.0:
 678 ; AVX2-NEXT:    vpshufb %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x00,0xc1]
 679 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 680 ;
 681 ; AVX512VL-LABEL: test_x86_avx2_pshuf_b:
 682 ; AVX512VL:       # %bb.0:
 683 ; AVX512VL-NEXT:    vpshufb %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x00,0xc1]
 684 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 685   %res = call <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i8>> [#uses=1]
 686   ret <32 x i8> %res
 687 }
 688 declare <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8>, <32 x i8>) nounwind readnone
 689
 690
 691 define <32 x i8> @test_x86_avx2_psign_b(<32 x i8> %a0, <32 x i8> %a1) {
 692 ; CHECK-LABEL: test_x86_avx2_psign_b:
 693 ; CHECK:       # %bb.0:
 694 ; CHECK-NEXT:    vpsignb %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x08,0xc1]
 695 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 696   %res = call <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 697   ret <32 x i8> %res
 698 }
 699 declare <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8>, <32 x i8>) nounwind readnone
 700
 701
 702 define <8 x i32> @test_x86_avx2_psign_d(<8 x i32> %a0, <8 x i32> %a1) {
 703 ; CHECK-LABEL: test_x86_avx2_psign_d:
 704 ; CHECK:       # %bb.0:
 705 ; CHECK-NEXT:    vpsignd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x0a,0xc1]
 706 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 707   %res = call <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i32>> [#uses=1]
 708   ret <8 x i32> %res
 709 }
 710 declare <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32>, <8 x i32>) nounwind readnone
 711
 712
 713 define <16 x i16> @test_x86_avx2_psign_w(<16 x i16> %a0, <16 x i16> %a1) {
 714 ; CHECK-LABEL: test_x86_avx2_psign_w:
 715 ; CHECK:       # %bb.0:
 716 ; CHECK-NEXT:    vpsignw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x09,0xc1]
 717 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 718   %res = call <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 719   ret <16 x i16> %res
 720 }
 721 declare <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16>, <16 x i16>) nounwind readnone
 722
 723
 724 define <16 x i16> @test_x86_avx2_mpsadbw(<32 x i8> %a0, <32 x i8> %a1) {
 725 ; CHECK-LABEL: test_x86_avx2_mpsadbw:
 726 ; CHECK:       # %bb.0:
 727 ; CHECK-NEXT:    vmpsadbw $7, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x42,0xc1,0x07]
 728 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 729   %res = call <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8> %a0, <32 x i8> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 730   ret <16 x i16> %res
 731 }
 732 declare <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8>, <32 x i8>, i8) nounwind readnone
 733
 734 ; We shouldn't commute this operation to fold the load.
 735 define <16 x i16> @test_x86_avx2_mpsadbw_load_op0(ptr %ptr, <32 x i8> %a1) {
 736 ; X86-AVX-LABEL: test_x86_avx2_mpsadbw_load_op0:
 737 ; X86-AVX:       # %bb.0:
 738 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 739 ; X86-AVX-NEXT:    vmovdqa (%eax), %ymm1 # encoding: [0xc5,0xfd,0x6f,0x08]
 740 ; X86-AVX-NEXT:    vmpsadbw $7, %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe3,0x75,0x42,0xc0,0x07]
 741 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 742 ;
 743 ; X86-AVX512VL-LABEL: test_x86_avx2_mpsadbw_load_op0:
 744 ; X86-AVX512VL:       # %bb.0:
 745 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 746 ; X86-AVX512VL-NEXT:    vmovdqa (%eax), %ymm1 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6f,0x08]
 747 ; X86-AVX512VL-NEXT:    vmpsadbw $7, %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe3,0x75,0x42,0xc0,0x07]
 748 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 749 ;
 750 ; X64-AVX-LABEL: test_x86_avx2_mpsadbw_load_op0:
 751 ; X64-AVX:       # %bb.0:
 752 ; X64-AVX-NEXT:    vmovdqa (%rdi), %ymm1 # encoding: [0xc5,0xfd,0x6f,0x0f]
 753 ; X64-AVX-NEXT:    vmpsadbw $7, %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe3,0x75,0x42,0xc0,0x07]
 754 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 755 ;
 756 ; X64-AVX512VL-LABEL: test_x86_avx2_mpsadbw_load_op0:
 757 ; X64-AVX512VL:       # %bb.0:
 758 ; X64-AVX512VL-NEXT:    vmovdqa (%rdi), %ymm1 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0x6f,0x0f]
 759 ; X64-AVX512VL-NEXT:    vmpsadbw $7, %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe3,0x75,0x42,0xc0,0x07]
 760 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 761   %a0 = load <32 x i8>, ptr %ptr
 762   %res = call <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8> %a0, <32 x i8> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 763   ret <16 x i16> %res
 764 }
 765
 766 define <16 x i16> @test_x86_avx2_packusdw(<8 x i32> %a0, <8 x i32> %a1) {
 767 ; AVX2-LABEL: test_x86_avx2_packusdw:
 768 ; AVX2:       # %bb.0:
 769 ; AVX2-NEXT:    vpackusdw %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x2b,0xc1]
 770 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 771 ;
 772 ; AVX512VL-LABEL: test_x86_avx2_packusdw:
 773 ; AVX512VL:       # %bb.0:
 774 ; AVX512VL-NEXT:    vpackusdw %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x2b,0xc1]
 775 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 776   %res = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
 777   ret <16 x i16> %res
 778 }
 779 declare <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32>, <8 x i32>) nounwind readnone
 780
 781
 782 define <16 x i16> @test_x86_avx2_packusdw_fold() {
 783 ; X86-AVX-LABEL: test_x86_avx2_packusdw_fold:
 784 ; X86-AVX:       # %bb.0:
 785 ; X86-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 786 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 787 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
 788 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
 789 ;
 790 ; X86-AVX512VL-LABEL: test_x86_avx2_packusdw_fold:
 791 ; X86-AVX512VL:       # %bb.0:
 792 ; X86-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 793 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 794 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
 795 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
 796 ;
 797 ; X64-AVX-LABEL: test_x86_avx2_packusdw_fold:
 798 ; X64-AVX:       # %bb.0:
 799 ; X64-AVX-NEXT:    vmovaps {{.*#+}} ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 800 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 801 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
 802 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
 803 ;
 804 ; X64-AVX512VL-LABEL: test_x86_avx2_packusdw_fold:
 805 ; X64-AVX512VL:       # %bb.0:
 806 ; X64-AVX512VL-NEXT:    vmovaps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [0,0,0,0,255,32767,65535,0,0,0,0,0,0,0,0,0]
 807 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfc,0x28,0x05,A,A,A,A]
 808 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
 809 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
 810   %res = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> zeroinitializer, <8 x i32> <i32 255, i32 32767, i32 65535, i32 -1, i32 -32767, i32 -65535, i32 0, i32 -256>)
 811   ret <16 x i16> %res
 812 }
 813
 814
 815 define <32 x i8> @test_x86_avx2_pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) {
 816 ; CHECK-LABEL: test_x86_avx2_pblendvb:
 817 ; CHECK:       # %bb.0:
 818 ; CHECK-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x4c,0xc1,0x20]
 819 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 820   %res = call <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) ; <<32 x i8>> [#uses=1]
 821   ret <32 x i8> %res
 822 }
 823 declare <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8>, <32 x i8>, <32 x i8>) nounwind readnone
 824
 825
 826 define <16 x i16> @test_x86_avx2_pblendw(<16 x i16> %a0, <16 x i16> %a1) {
 827 ; CHECK-LABEL: test_x86_avx2_pblendw:
 828 ; CHECK:       # %bb.0:
 829 ; CHECK-NEXT:    vpblendw $7, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x0e,0xc1,0x07]
 830 ; CHECK-NEXT:    # ymm0 = ymm1[0,1,2],ymm0[3,4,5,6,7],ymm1[8,9,10],ymm0[11,12,13,14,15]
 831 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 832   %res = call <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16> %a0, <16 x i16> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 833   ret <16 x i16> %res
 834 }
 835 declare <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16>, <16 x i16>, i8) nounwind readnone
 836
 837
 838 define <4 x i32> @test_x86_avx2_pblendd_128(<4 x i32> %a0, <4 x i32> %a1) {
 839 ; CHECK-LABEL: test_x86_avx2_pblendd_128:
 840 ; CHECK:       # %bb.0:
 841 ; CHECK-NEXT:    vblendps $8, %xmm0, %xmm1, %xmm0 # encoding: [0xc4,0xe3,0x71,0x0c,0xc0,0x08]
 842 ; CHECK-NEXT:    # xmm0 = xmm1[0,1,2],xmm0[3]
 843 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 844   %res = call <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32> %a0, <4 x i32> %a1, i8 7) ; <<4 x i32>> [#uses=1]
 845   ret <4 x i32> %res
 846 }
 847 declare <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32>, <4 x i32>, i8) nounwind readnone
 848
 849
 850 define <8 x i32> @test_x86_avx2_pblendd_256(<8 x i32> %a0, <8 x i32> %a1) {
 851 ; CHECK-LABEL: test_x86_avx2_pblendd_256:
 852 ; CHECK:       # %bb.0:
 853 ; CHECK-NEXT:    vblendps $7, %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe3,0x7d,0x0c,0xc1,0x07]
 854 ; CHECK-NEXT:    # ymm0 = ymm1[0,1,2],ymm0[3,4,5,6,7]
 855 ; CHECK-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 856   %res = call <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32> %a0, <8 x i32> %a1, i8 7) ; <<8 x i32>> [#uses=1]
 857   ret <8 x i32> %res
 858 }
 859 declare <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32>, <8 x i32>, i8) nounwind readnone
 860
 861
 862 ; Check that the arguments are swapped between the intrinsic definition
 863 ; and its lowering. Indeed, the offsets are the first source in
 864 ; the instruction.
 865 define <8 x i32> @test_x86_avx2_permd(<8 x i32> %a0, <8 x i32> %a1) {
 866 ; AVX2-LABEL: test_x86_avx2_permd:
 867 ; AVX2:       # %bb.0:
 868 ; AVX2-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x16,0xc0]
 869 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 870 ;
 871 ; AVX512VL-LABEL: test_x86_avx2_permd:
 872 ; AVX512VL:       # %bb.0:
 873 ; AVX512VL-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x16,0xc0]
 874 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 875   %res = call <8 x i32> @llvm.x86.avx2.permd(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 876   ret <8 x i32> %res
 877 }
 878 declare <8 x i32> @llvm.x86.avx2.permd(<8 x i32>, <8 x i32>) nounwind readonly
 879
 880
 881 ; Check that the arguments are swapped between the intrinsic definition
 882 ; and its lowering. Indeed, the offsets are the first source in
 883 ; the instruction.
 884 define <8 x float> @test_x86_avx2_permps(<8 x float> %a0, <8 x i32> %a1) {
 885 ; AVX2-LABEL: test_x86_avx2_permps:
 886 ; AVX2:       # %bb.0:
 887 ; AVX2-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # encoding: [0xc4,0xe2,0x75,0x16,0xc0]
 888 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 889 ;
 890 ; AVX512VL-LABEL: test_x86_avx2_permps:
 891 ; AVX512VL:       # %bb.0:
 892 ; AVX512VL-NEXT:    vpermps %ymm0, %ymm1, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x16,0xc0]
 893 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
 894   %res = call <8 x float> @llvm.x86.avx2.permps(<8 x float> %a0, <8 x i32> %a1) ; <<8 x float>> [#uses=1]
 895   ret <8 x float> %res
 896 }
 897 declare <8 x float> @llvm.x86.avx2.permps(<8 x float>, <8 x i32>) nounwind readonly
 898
 899
 900 define <2 x i64> @test_x86_avx2_maskload_q(ptr %a0, <2 x i64> %a1) {
 901 ; X86-LABEL: test_x86_avx2_maskload_q:
 902 ; X86:       # %bb.0:
 903 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 904 ; X86-NEXT:    vpmaskmovq (%eax), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x8c,0x00]
 905 ; X86-NEXT:    retl # encoding: [0xc3]
 906 ;
 907 ; X64-LABEL: test_x86_avx2_maskload_q:
 908 ; X64:       # %bb.0:
 909 ; X64-NEXT:    vpmaskmovq (%rdi), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x8c,0x07]
 910 ; X64-NEXT:    retq # encoding: [0xc3]
 911   %res = call <2 x i64> @llvm.x86.avx2.maskload.q(ptr %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 912   ret <2 x i64> %res
 913 }
 914 declare <2 x i64> @llvm.x86.avx2.maskload.q(ptr, <2 x i64>) nounwind readonly
 915
 916
 917 define <4 x i64> @test_x86_avx2_maskload_q_256(ptr %a0, <4 x i64> %a1) {
 918 ; X86-LABEL: test_x86_avx2_maskload_q_256:
 919 ; X86:       # %bb.0:
 920 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 921 ; X86-NEXT:    vpmaskmovq (%eax), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x8c,0x00]
 922 ; X86-NEXT:    retl # encoding: [0xc3]
 923 ;
 924 ; X64-LABEL: test_x86_avx2_maskload_q_256:
 925 ; X64:       # %bb.0:
 926 ; X64-NEXT:    vpmaskmovq (%rdi), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x8c,0x07]
 927 ; X64-NEXT:    retq # encoding: [0xc3]
 928   %res = call <4 x i64> @llvm.x86.avx2.maskload.q.256(ptr %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 929   ret <4 x i64> %res
 930 }
 931 declare <4 x i64> @llvm.x86.avx2.maskload.q.256(ptr, <4 x i64>) nounwind readonly
 932
 933
 934 define <4 x i32> @test_x86_avx2_maskload_d(ptr %a0, <4 x i32> %a1) {
 935 ; X86-LABEL: test_x86_avx2_maskload_d:
 936 ; X86:       # %bb.0:
 937 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 938 ; X86-NEXT:    vpmaskmovd (%eax), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x8c,0x00]
 939 ; X86-NEXT:    retl # encoding: [0xc3]
 940 ;
 941 ; X64-LABEL: test_x86_avx2_maskload_d:
 942 ; X64:       # %bb.0:
 943 ; X64-NEXT:    vpmaskmovd (%rdi), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x8c,0x07]
 944 ; X64-NEXT:    retq # encoding: [0xc3]
 945   %res = call <4 x i32> @llvm.x86.avx2.maskload.d(ptr %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 946   ret <4 x i32> %res
 947 }
 948 declare <4 x i32> @llvm.x86.avx2.maskload.d(ptr, <4 x i32>) nounwind readonly
 949
 950
 951 define <8 x i32> @test_x86_avx2_maskload_d_256(ptr %a0, <8 x i32> %a1) {
 952 ; X86-LABEL: test_x86_avx2_maskload_d_256:
 953 ; X86:       # %bb.0:
 954 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 955 ; X86-NEXT:    vpmaskmovd (%eax), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x8c,0x00]
 956 ; X86-NEXT:    retl # encoding: [0xc3]
 957 ;
 958 ; X64-LABEL: test_x86_avx2_maskload_d_256:
 959 ; X64:       # %bb.0:
 960 ; X64-NEXT:    vpmaskmovd (%rdi), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x8c,0x07]
 961 ; X64-NEXT:    retq # encoding: [0xc3]
 962   %res = call <8 x i32> @llvm.x86.avx2.maskload.d.256(ptr %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 963   ret <8 x i32> %res
 964 }
 965 declare <8 x i32> @llvm.x86.avx2.maskload.d.256(ptr, <8 x i32>) nounwind readonly
 966
 967
 968 define void @test_x86_avx2_maskstore_q(ptr %a0, <2 x i64> %a1, <2 x i64> %a2) {
 969 ; X86-LABEL: test_x86_avx2_maskstore_q:
 970 ; X86:       # %bb.0:
 971 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 972 ; X86-NEXT:    vpmaskmovq %xmm1, %xmm0, (%eax) # encoding: [0xc4,0xe2,0xf9,0x8e,0x08]
 973 ; X86-NEXT:    retl # encoding: [0xc3]
 974 ;
 975 ; X64-LABEL: test_x86_avx2_maskstore_q:
 976 ; X64:       # %bb.0:
 977 ; X64-NEXT:    vpmaskmovq %xmm1, %xmm0, (%rdi) # encoding: [0xc4,0xe2,0xf9,0x8e,0x0f]
 978 ; X64-NEXT:    retq # encoding: [0xc3]
 979   call void @llvm.x86.avx2.maskstore.q(ptr %a0, <2 x i64> %a1, <2 x i64> %a2)
 980   ret void
 981 }
 982 declare void @llvm.x86.avx2.maskstore.q(ptr, <2 x i64>, <2 x i64>) nounwind
 983
 984
 985 define void @test_x86_avx2_maskstore_q_256(ptr %a0, <4 x i64> %a1, <4 x i64> %a2) {
 986 ; X86-LABEL: test_x86_avx2_maskstore_q_256:
 987 ; X86:       # %bb.0:
 988 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
 989 ; X86-NEXT:    vpmaskmovq %ymm1, %ymm0, (%eax) # encoding: [0xc4,0xe2,0xfd,0x8e,0x08]
 990 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 991 ; X86-NEXT:    retl # encoding: [0xc3]
 992 ;
 993 ; X64-LABEL: test_x86_avx2_maskstore_q_256:
 994 ; X64:       # %bb.0:
 995 ; X64-NEXT:    vpmaskmovq %ymm1, %ymm0, (%rdi) # encoding: [0xc4,0xe2,0xfd,0x8e,0x0f]
 996 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
 997 ; X64-NEXT:    retq # encoding: [0xc3]
 998   call void @llvm.x86.avx2.maskstore.q.256(ptr %a0, <4 x i64> %a1, <4 x i64> %a2)
 999   ret void
1000 }
1001 declare void @llvm.x86.avx2.maskstore.q.256(ptr, <4 x i64>, <4 x i64>) nounwind
1002
1003
1004 define void @test_x86_avx2_maskstore_d(ptr %a0, <4 x i32> %a1, <4 x i32> %a2) {
1005 ; X86-LABEL: test_x86_avx2_maskstore_d:
1006 ; X86:       # %bb.0:
1007 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1008 ; X86-NEXT:    vpmaskmovd %xmm1, %xmm0, (%eax) # encoding: [0xc4,0xe2,0x79,0x8e,0x08]
1009 ; X86-NEXT:    retl # encoding: [0xc3]
1010 ;
1011 ; X64-LABEL: test_x86_avx2_maskstore_d:
1012 ; X64:       # %bb.0:
1013 ; X64-NEXT:    vpmaskmovd %xmm1, %xmm0, (%rdi) # encoding: [0xc4,0xe2,0x79,0x8e,0x0f]
1014 ; X64-NEXT:    retq # encoding: [0xc3]
1015   call void @llvm.x86.avx2.maskstore.d(ptr %a0, <4 x i32> %a1, <4 x i32> %a2)
1016   ret void
1017 }
1018 declare void @llvm.x86.avx2.maskstore.d(ptr, <4 x i32>, <4 x i32>) nounwind
1019
1020
1021 define void @test_x86_avx2_maskstore_d_256(ptr %a0, <8 x i32> %a1, <8 x i32> %a2) {
1022 ; X86-LABEL: test_x86_avx2_maskstore_d_256:
1023 ; X86:       # %bb.0:
1024 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1025 ; X86-NEXT:    vpmaskmovd %ymm1, %ymm0, (%eax) # encoding: [0xc4,0xe2,0x7d,0x8e,0x08]
1026 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1027 ; X86-NEXT:    retl # encoding: [0xc3]
1028 ;
1029 ; X64-LABEL: test_x86_avx2_maskstore_d_256:
1030 ; X64:       # %bb.0:
1031 ; X64-NEXT:    vpmaskmovd %ymm1, %ymm0, (%rdi) # encoding: [0xc4,0xe2,0x7d,0x8e,0x0f]
1032 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1033 ; X64-NEXT:    retq # encoding: [0xc3]
1034   call void @llvm.x86.avx2.maskstore.d.256(ptr %a0, <8 x i32> %a1, <8 x i32> %a2)
1035   ret void
1036 }
1037 declare void @llvm.x86.avx2.maskstore.d.256(ptr, <8 x i32>, <8 x i32>) nounwind
1038
1039
1040 define <4 x i32> @test_x86_avx2_psllv_d(<4 x i32> %a0, <4 x i32> %a1) {
1041 ; AVX2-LABEL: test_x86_avx2_psllv_d:
1042 ; AVX2:       # %bb.0:
1043 ; AVX2-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x47,0xc1]
1044 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1045 ;
1046 ; AVX512VL-LABEL: test_x86_avx2_psllv_d:
1047 ; AVX512VL:       # %bb.0:
1048 ; AVX512VL-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x47,0xc1]
1049 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1050   %res = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
1051   ret <4 x i32> %res
1052 }
1053
1054 define <4 x i32> @test_x86_avx2_psllv_d_const() {
1055 ; X86-AVX-LABEL: test_x86_avx2_psllv_d_const:
1056 ; X86-AVX:       # %bb.0:
1057 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1058 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1059 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1060 ; X86-AVX-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1061 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1062 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,1,1,4294967295]
1063 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1064 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1065 ; X86-AVX-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1066 ; X86-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1067 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1068 ;
1069 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_d_const:
1070 ; X86-AVX512VL:       # %bb.0:
1071 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1072 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1073 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1074 ; X86-AVX512VL-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1075 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1076 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1 # EVEX TO VEX Compression xmm1 = [1,1,1,4294967295]
1077 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1078 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1079 ; X86-AVX512VL-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1080 ; X86-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1081 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1082 ;
1083 ; X64-AVX-LABEL: test_x86_avx2_psllv_d_const:
1084 ; X64-AVX:       # %bb.0:
1085 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1086 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1087 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1088 ; X64-AVX-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1089 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1090 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,1,1,4294967295]
1091 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1092 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1093 ; X64-AVX-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1094 ; X64-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1095 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1096 ;
1097 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_d_const:
1098 ; X64-AVX512VL:       # %bb.0:
1099 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1100 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1101 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1102 ; X64-AVX512VL-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x47,0x05,A,A,A,A]
1103 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1104 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1 # EVEX TO VEX Compression xmm1 = [1,1,1,4294967295]
1105 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1106 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1107 ; X64-AVX512VL-NEXT:    vpsllvd %xmm1, %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x47,0xc9]
1108 ; X64-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1109 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1110   %res0 = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> <i32 2, i32 9, i32 0, i32 -1>, <4 x i32> <i32 1, i32 0, i32 33, i32 -1>)
1111   %res1 = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> <i32 1, i32 1, i32 1, i32 -1>, <4 x i32> <i32 1, i32 1, i32 1,  i32 -1>)
1112   %res2 = add <4 x i32> %res0, %res1
1113   ret <4 x i32> %res2
1114 }
1115 declare <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32>, <4 x i32>) nounwind readnone
1116
1117
1118 define <8 x i32> @test_x86_avx2_psllv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
1119 ; AVX2-LABEL: test_x86_avx2_psllv_d_256:
1120 ; AVX2:       # %bb.0:
1121 ; AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x47,0xc1]
1122 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1123 ;
1124 ; AVX512VL-LABEL: test_x86_avx2_psllv_d_256:
1125 ; AVX512VL:       # %bb.0:
1126 ; AVX512VL-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x47,0xc1]
1127 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1128   %res = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1129   ret <8 x i32> %res
1130 }
1131
1132 define <8 x i32> @test_x86_avx2_psllv_d_256_const() {
1133 ; X86-AVX-LABEL: test_x86_avx2_psllv_d_256_const:
1134 ; X86-AVX:       # %bb.0:
1135 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1136 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1137 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1138 ; X86-AVX-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1139 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1140 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1141 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1142 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1143 ; X86-AVX-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1144 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1145 ; X86-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1146 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1147 ;
1148 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_d_256_const:
1149 ; X86-AVX512VL:       # %bb.0:
1150 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1151 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1152 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1153 ; X86-AVX512VL-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1154 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1155 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1156 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1157 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1158 ; X86-AVX512VL-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1159 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1160 ; X86-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1161 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1162 ;
1163 ; X64-AVX-LABEL: test_x86_avx2_psllv_d_256_const:
1164 ; X64-AVX:       # %bb.0:
1165 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1166 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1167 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1168 ; X64-AVX-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1169 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1170 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1171 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1172 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1173 ; X64-AVX-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1174 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1175 ; X64-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1176 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1177 ;
1178 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_d_256_const:
1179 ; X64-AVX512VL:       # %bb.0:
1180 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1181 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1182 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1183 ; X64-AVX512VL-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x47,0x05,A,A,A,A]
1184 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1185 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1186 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1187 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1188 ; X64-AVX512VL-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x47,0x0d,A,A,A,A]
1189 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1190 ; X64-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1191 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1192   %res0 = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> <i32 2, i32 9, i32 0, i32 -1, i32 3, i32 7, i32 -1, i32 0>, <8 x i32> <i32 1, i32 0, i32 33, i32 -1,i32 2, i32 0, i32 34, i32 -2>)
1193   %res1 = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 -1>, <8 x i32> <i32 1, i32 1, i32 1,  i32 1, i32 1, i32 1, i32 1, i32 -1>)
1194   %res2 = add <8 x i32> %res0, %res1
1195   ret <8 x i32> %res2
1196 }
1197 declare <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
1198
1199
1200 define <2 x i64> @test_x86_avx2_psllv_q(<2 x i64> %a0, <2 x i64> %a1) {
1201 ; AVX2-LABEL: test_x86_avx2_psllv_q:
1202 ; AVX2:       # %bb.0:
1203 ; AVX2-NEXT:    vpsllvq %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x47,0xc1]
1204 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1205 ;
1206 ; AVX512VL-LABEL: test_x86_avx2_psllv_q:
1207 ; AVX512VL:       # %bb.0:
1208 ; AVX512VL-NEXT:    vpsllvq %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x47,0xc1]
1209 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1210   %res = call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
1211   ret <2 x i64> %res
1212 }
1213 define <2 x i64> @test_x86_avx2_psllv_q_const() {
1214 ; X86-AVX-LABEL: test_x86_avx2_psllv_q_const:
1215 ; X86-AVX:       # %bb.0:
1216 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,0,4294967295,4294967295]
1217 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1218 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1219 ; X86-AVX-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1220 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1221 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1222 ;
1223 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_q_const:
1224 ; X86-AVX512VL:       # %bb.0:
1225 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0 # EVEX TO VEX Compression xmm0 = [4,0,4294967295,4294967295]
1226 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1227 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1228 ; X86-AVX512VL-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1229 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1230 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1231 ;
1232 ; X64-AVX-LABEL: test_x86_avx2_psllv_q_const:
1233 ; X64-AVX:       # %bb.0:
1234 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,18446744073709551615]
1235 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1236 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1237 ; X64-AVX-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1238 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1239 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1240 ;
1241 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_q_const:
1242 ; X64-AVX512VL:       # %bb.0:
1243 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [4,18446744073709551615]
1244 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1245 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1246 ; X64-AVX512VL-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x47,0x05,A,A,A,A]
1247 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1248 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1249   %res = call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> <i64 4, i64 -1>, <2 x i64> <i64 1, i64 -1>)
1250   ret <2 x i64> %res
1251 }
1252 declare <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64>, <2 x i64>) nounwind readnone
1253
1254
1255 define <4 x i64> @test_x86_avx2_psllv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
1256 ; AVX2-LABEL: test_x86_avx2_psllv_q_256:
1257 ; AVX2:       # %bb.0:
1258 ; AVX2-NEXT:    vpsllvq %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x47,0xc1]
1259 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1260 ;
1261 ; AVX512VL-LABEL: test_x86_avx2_psllv_q_256:
1262 ; AVX512VL:       # %bb.0:
1263 ; AVX512VL-NEXT:    vpsllvq %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x47,0xc1]
1264 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1265   %res = call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
1266   ret <4 x i64> %res
1267 }
1268
1269 define <4 x i64> @test_x86_avx2_psllv_q_256_const() {
1270 ; X86-AVX-LABEL: test_x86_avx2_psllv_q_256_const:
1271 ; X86-AVX:       # %bb.0:
1272 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [4,0,4,0,4,0,4294967295,4294967295]
1273 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1274 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1275 ; X86-AVX-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1276 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1277 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1278 ;
1279 ; X86-AVX512VL-LABEL: test_x86_avx2_psllv_q_256_const:
1280 ; X86-AVX512VL:       # %bb.0:
1281 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [4,0,4,0,4,0,4294967295,4294967295]
1282 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1283 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1284 ; X86-AVX512VL-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1285 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1286 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1287 ;
1288 ; X64-AVX-LABEL: test_x86_avx2_psllv_q_256_const:
1289 ; X64-AVX:       # %bb.0:
1290 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [4,4,4,18446744073709551615]
1291 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1292 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1293 ; X64-AVX-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1294 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1295 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1296 ;
1297 ; X64-AVX512VL-LABEL: test_x86_avx2_psllv_q_256_const:
1298 ; X64-AVX512VL:       # %bb.0:
1299 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [4,4,4,18446744073709551615]
1300 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1301 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1302 ; X64-AVX512VL-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x47,0x05,A,A,A,A]
1303 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1304 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1305   %res = call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> <i64 4, i64 4, i64 4, i64 -1>, <4 x i64> <i64 1, i64 1, i64 1, i64 -1>)
1306   ret <4 x i64> %res
1307 }
1308 declare <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
1309
1310
1311 define <4 x i32> @test_x86_avx2_psrlv_d(<4 x i32> %a0, <4 x i32> %a1) {
1312 ; AVX2-LABEL: test_x86_avx2_psrlv_d:
1313 ; AVX2:       # %bb.0:
1314 ; AVX2-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x45,0xc1]
1315 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1316 ;
1317 ; AVX512VL-LABEL: test_x86_avx2_psrlv_d:
1318 ; AVX512VL:       # %bb.0:
1319 ; AVX512VL-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x45,0xc1]
1320 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1321   %res = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
1322   ret <4 x i32> %res
1323 }
1324
1325 define <4 x i32> @test_x86_avx2_psrlv_d_const() {
1326 ; X86-AVX-LABEL: test_x86_avx2_psrlv_d_const:
1327 ; X86-AVX:       # %bb.0:
1328 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1329 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1330 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1331 ; X86-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1332 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1333 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [4,4,4,4294967295]
1334 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1335 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1336 ; X86-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1337 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1338 ; X86-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1339 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1340 ;
1341 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_d_const:
1342 ; X86-AVX512VL:       # %bb.0:
1343 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1344 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1345 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1346 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1347 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1348 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1 # EVEX TO VEX Compression xmm1 = [4,4,4,4294967295]
1349 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1350 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1351 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1352 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1353 ; X86-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1354 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1355 ;
1356 ; X64-AVX-LABEL: test_x86_avx2_psrlv_d_const:
1357 ; X64-AVX:       # %bb.0:
1358 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,0,4294967295]
1359 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1360 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1361 ; X64-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1362 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1363 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [4,4,4,4294967295]
1364 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1365 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1366 ; X64-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1 # encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1367 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1368 ; X64-AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # encoding: [0xc5,0xf9,0xfe,0xc1]
1369 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1370 ;
1371 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_d_const:
1372 ; X64-AVX512VL:       # %bb.0:
1373 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,0,4294967295]
1374 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1375 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1376 ; X64-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x45,0x05,A,A,A,A]
1377 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1378 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1 # EVEX TO VEX Compression xmm1 = [4,4,4,4294967295]
1379 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x0d,A,A,A,A]
1380 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1381 ; X64-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x71,0x45,0x0d,A,A,A,A]
1382 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1383 ; X64-AVX512VL-NEXT:    vpaddd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc5,0xf9,0xfe,0xc1]
1384 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1385   %res0 = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> <i32 2, i32 9, i32 0, i32 -1>, <4 x i32> <i32 1, i32 0, i32 33, i32 -1>)
1386   %res1 = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> <i32 4, i32 4, i32 4, i32 -1>, <4 x i32> <i32 1, i32 1, i32 1,  i32 -1>)
1387   %res2 = add <4 x i32> %res0, %res1
1388   ret <4 x i32> %res2
1389 }
1390 declare <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32>, <4 x i32>) nounwind readnone
1391
1392
1393 define <8 x i32> @test_x86_avx2_psrlv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
1394 ; AVX2-LABEL: test_x86_avx2_psrlv_d_256:
1395 ; AVX2:       # %bb.0:
1396 ; AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x45,0xc1]
1397 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1398 ;
1399 ; AVX512VL-LABEL: test_x86_avx2_psrlv_d_256:
1400 ; AVX512VL:       # %bb.0:
1401 ; AVX512VL-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x45,0xc1]
1402 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1403   %res = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1404   ret <8 x i32> %res
1405 }
1406
1407 define <8 x i32> @test_x86_avx2_psrlv_d_256_const() {
1408 ; X86-AVX-LABEL: test_x86_avx2_psrlv_d_256_const:
1409 ; X86-AVX:       # %bb.0:
1410 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1411 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1412 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1413 ; X86-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1414 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1415 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1416 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1417 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1418 ; X86-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1419 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1420 ; X86-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1421 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1422 ;
1423 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_d_256_const:
1424 ; X86-AVX512VL:       # %bb.0:
1425 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1426 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1427 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1428 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1429 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1430 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1431 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1432 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1433 ; X86-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1434 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1435 ; X86-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1436 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1437 ;
1438 ; X64-AVX-LABEL: test_x86_avx2_psrlv_d_256_const:
1439 ; X64-AVX:       # %bb.0:
1440 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1441 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1442 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1443 ; X64-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1444 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1445 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm1 = [4,4,4,4,4,4,4,4294967295]
1446 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1447 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1448 ; X64-AVX-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1 # encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1449 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1450 ; X64-AVX-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # encoding: [0xc5,0xfd,0xfe,0xc1]
1451 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1452 ;
1453 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_d_256_const:
1454 ; X64-AVX512VL:       # %bb.0:
1455 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,0,4294967295,3,7,4294967295,0]
1456 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1457 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1458 ; X64-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x45,0x05,A,A,A,A]
1459 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1460 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1 # EVEX TO VEX Compression ymm1 = [4,4,4,4,4,4,4,4294967295]
1461 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x0d,A,A,A,A]
1462 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1463 ; X64-AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x75,0x45,0x0d,A,A,A,A]
1464 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1465 ; X64-AVX512VL-NEXT:    vpaddd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc5,0xfd,0xfe,0xc1]
1466 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1467   %res0 = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> <i32 2, i32 9, i32 0, i32 -1, i32 3, i32 7, i32 -1, i32 0>, <8 x i32> <i32 1, i32 0, i32 33, i32 -1,i32 2, i32 0, i32 34, i32 -2>)
1468   %res1 = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 -1>, <8 x i32> <i32 1, i32 1, i32 1,  i32 1, i32 1, i32 1, i32 1, i32 -1>)
1469   %res2 = add <8 x i32> %res0, %res1
1470   ret <8 x i32> %res2
1471 }
1472 declare <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
1473
1474
1475 define <2 x i64> @test_x86_avx2_psrlv_q(<2 x i64> %a0, <2 x i64> %a1) {
1476 ; AVX2-LABEL: test_x86_avx2_psrlv_q:
1477 ; AVX2:       # %bb.0:
1478 ; AVX2-NEXT:    vpsrlvq %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x45,0xc1]
1479 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1480 ;
1481 ; AVX512VL-LABEL: test_x86_avx2_psrlv_q:
1482 ; AVX512VL:       # %bb.0:
1483 ; AVX512VL-NEXT:    vpsrlvq %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x45,0xc1]
1484 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1485   %res = call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
1486   ret <2 x i64> %res
1487 }
1488
1489 define <2 x i64> @test_x86_avx2_psrlv_q_const() {
1490 ; X86-AVX-LABEL: test_x86_avx2_psrlv_q_const:
1491 ; X86-AVX:       # %bb.0:
1492 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,0,4,0]
1493 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1494 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1495 ; X86-AVX-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1496 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1497 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1498 ;
1499 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_q_const:
1500 ; X86-AVX512VL:       # %bb.0:
1501 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0 # EVEX TO VEX Compression xmm0 = [4,0,4,0]
1502 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1503 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1504 ; X86-AVX512VL-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1505 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1506 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1507 ;
1508 ; X64-AVX-LABEL: test_x86_avx2_psrlv_q_const:
1509 ; X64-AVX:       # %bb.0:
1510 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [4,4]
1511 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1512 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1513 ; X64-AVX-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1514 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1515 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1516 ;
1517 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_q_const:
1518 ; X64-AVX512VL:       # %bb.0:
1519 ; X64-AVX512VL-NEXT:    vpbroadcastq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [4,4]
1520 ; X64-AVX512VL-NEXT:    # encoding: [0xc4,0xe2,0x79,0x59,0x05,A,A,A,A]
1521 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1522 ; X64-AVX512VL-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xf9,0x45,0x05,A,A,A,A]
1523 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1524 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1525   %res = call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> <i64 4, i64 4>, <2 x i64> <i64 1, i64 -1>)
1526   ret <2 x i64> %res
1527 }
1528 declare <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64>, <2 x i64>) nounwind readnone
1529
1530
1531 define <4 x i64> @test_x86_avx2_psrlv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
1532 ; AVX2-LABEL: test_x86_avx2_psrlv_q_256:
1533 ; AVX2:       # %bb.0:
1534 ; AVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x45,0xc1]
1535 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1536 ;
1537 ; AVX512VL-LABEL: test_x86_avx2_psrlv_q_256:
1538 ; AVX512VL:       # %bb.0:
1539 ; AVX512VL-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x45,0xc1]
1540 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1541   %res = call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
1542   ret <4 x i64> %res
1543 }
1544
1545
1546 define <4 x i64> @test_x86_avx2_psrlv_q_256_const() {
1547 ; X86-AVX-LABEL: test_x86_avx2_psrlv_q_256_const:
1548 ; X86-AVX:       # %bb.0:
1549 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [4,0,4,0,4,0,4,0]
1550 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1551 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1552 ; X86-AVX-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1553 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1554 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1555 ;
1556 ; X86-AVX512VL-LABEL: test_x86_avx2_psrlv_q_256_const:
1557 ; X86-AVX512VL:       # %bb.0:
1558 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [4,0,4,0,4,0,4,0]
1559 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1560 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1561 ; X86-AVX512VL-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1562 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1563 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1564 ;
1565 ; X64-AVX-LABEL: test_x86_avx2_psrlv_q_256_const:
1566 ; X64-AVX:       # %bb.0:
1567 ; X64-AVX-NEXT:    vpbroadcastq {{.*#+}} ymm0 = [4,4,4,4]
1568 ; X64-AVX-NEXT:    # encoding: [0xc4,0xe2,0x7d,0x59,0x05,A,A,A,A]
1569 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1570 ; X64-AVX-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1571 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1572 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1573 ;
1574 ; X64-AVX512VL-LABEL: test_x86_avx2_psrlv_q_256_const:
1575 ; X64-AVX512VL:       # %bb.0:
1576 ; X64-AVX512VL-NEXT:    vpbroadcastq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [4,4,4,4]
1577 ; X64-AVX512VL-NEXT:    # encoding: [0xc4,0xe2,0x7d,0x59,0x05,A,A,A,A]
1578 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1579 ; X64-AVX512VL-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0xfd,0x45,0x05,A,A,A,A]
1580 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1581 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1582   %res = call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> <i64 4, i64 4, i64 4, i64 4>, <4 x i64> <i64 1, i64 1, i64 1, i64 -1>)
1583   ret <4 x i64> %res
1584 }
1585 declare <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
1586
1587
1588 define <4 x i32> @test_x86_avx2_psrav_d(<4 x i32> %a0, <4 x i32> %a1) {
1589 ; AVX2-LABEL: test_x86_avx2_psrav_d:
1590 ; AVX2:       # %bb.0:
1591 ; AVX2-NEXT:    vpsravd %xmm1, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x46,0xc1]
1592 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1593 ;
1594 ; AVX512VL-LABEL: test_x86_avx2_psrav_d:
1595 ; AVX512VL:       # %bb.0:
1596 ; AVX512VL-NEXT:    vpsravd %xmm1, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x46,0xc1]
1597 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1598   %res = call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
1599   ret <4 x i32> %res
1600 }
1601
1602 define <4 x i32> @test_x86_avx2_psrav_d_const() {
1603 ; X86-AVX-LABEL: test_x86_avx2_psrav_d_const:
1604 ; X86-AVX:       # %bb.0:
1605 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,4294967284,23]
1606 ; X86-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1607 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1608 ; X86-AVX-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1609 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1610 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1611 ;
1612 ; X86-AVX512VL-LABEL: test_x86_avx2_psrav_d_const:
1613 ; X86-AVX512VL:       # %bb.0:
1614 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,4294967284,23]
1615 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1616 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1617 ; X86-AVX512VL-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1618 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1619 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1620 ;
1621 ; X64-AVX-LABEL: test_x86_avx2_psrav_d_const:
1622 ; X64-AVX:       # %bb.0:
1623 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} xmm0 = [2,9,4294967284,23]
1624 ; X64-AVX-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1625 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1626 ; X64-AVX-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1627 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1628 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1629 ;
1630 ; X64-AVX512VL-LABEL: test_x86_avx2_psrav_d_const:
1631 ; X64-AVX512VL:       # %bb.0:
1632 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0 # EVEX TO VEX Compression xmm0 = [2,9,4294967284,23]
1633 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xf9,0x6f,0x05,A,A,A,A]
1634 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1635 ; X64-AVX512VL-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x79,0x46,0x05,A,A,A,A]
1636 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1637 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1638   %res = call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> <i32 2, i32 9, i32 -12, i32 23>, <4 x i32> <i32 1, i32 18, i32 35, i32 52>)
1639   ret <4 x i32> %res
1640 }
1641 declare <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32>, <4 x i32>) nounwind readnone
1642
1643 define <8 x i32> @test_x86_avx2_psrav_d_256(<8 x i32> %a0, <8 x i32> %a1) {
1644 ; AVX2-LABEL: test_x86_avx2_psrav_d_256:
1645 ; AVX2:       # %bb.0:
1646 ; AVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x46,0xc1]
1647 ; AVX2-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1648 ;
1649 ; AVX512VL-LABEL: test_x86_avx2_psrav_d_256:
1650 ; AVX512VL:       # %bb.0:
1651 ; AVX512VL-NEXT:    vpsravd %ymm1, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x46,0xc1]
1652 ; AVX512VL-NEXT:    ret{{[l|q]}} # encoding: [0xc3]
1653   %res = call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
1654   ret <8 x i32> %res
1655 }
1656
1657 define <8 x i32> @test_x86_avx2_psrav_d_256_const() {
1658 ; X86-AVX-LABEL: test_x86_avx2_psrav_d_256_const:
1659 ; X86-AVX:       # %bb.0:
1660 ; X86-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1661 ; X86-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1662 ; X86-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1663 ; X86-AVX-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1664 ; X86-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1665 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
1666 ;
1667 ; X86-AVX512VL-LABEL: test_x86_avx2_psrav_d_256_const:
1668 ; X86-AVX512VL:       # %bb.0:
1669 ; X86-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1670 ; X86-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1671 ; X86-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1672 ; X86-AVX512VL-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1673 ; X86-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}, kind: FK_Data_4
1674 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
1675 ;
1676 ; X64-AVX-LABEL: test_x86_avx2_psrav_d_256_const:
1677 ; X64-AVX:       # %bb.0:
1678 ; X64-AVX-NEXT:    vmovdqa {{.*#+}} ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1679 ; X64-AVX-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1680 ; X64-AVX-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1681 ; X64-AVX-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1682 ; X64-AVX-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1683 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
1684 ;
1685 ; X64-AVX512VL-LABEL: test_x86_avx2_psrav_d_256_const:
1686 ; X64-AVX512VL:       # %bb.0:
1687 ; X64-AVX512VL-NEXT:    vmovdqa {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0 # EVEX TO VEX Compression ymm0 = [2,9,4294967284,23,4294967270,37,4294967256,51]
1688 ; X64-AVX512VL-NEXT:    # encoding: [0xc5,0xfd,0x6f,0x05,A,A,A,A]
1689 ; X64-AVX512VL-NEXT:    # fixup A - offset: 4, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1690 ; X64-AVX512VL-NEXT:    vpsravd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0 # EVEX TO VEX Compression encoding: [0xc4,0xe2,0x7d,0x46,0x05,A,A,A,A]
1691 ; X64-AVX512VL-NEXT:    # fixup A - offset: 5, value: {{\.?LCPI[0-9]+_[0-9]+}}-4, kind: reloc_riprel_4byte
1692 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
1693   %res = call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> <i32 2, i32 9, i32 -12, i32 23, i32 -26, i32 37, i32 -40, i32 51>, <8 x i32> <i32 1, i32 18, i32 35, i32 52, i32 69, i32 15, i32 32, i32 49>)
1694   ret <8 x i32> %res
1695 }
1696 declare <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32>, <8 x i32>) nounwind readnone
1697
1698 define <2 x double> @test_x86_avx2_gather_d_pd(<2 x double> %a0, ptr %a1, <4 x i32> %idx, <2 x double> %mask) {
1699 ; X86-LABEL: test_x86_avx2_gather_d_pd:
1700 ; X86:       # %bb.0:
1701 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1702 ; X86-NEXT:    vgatherdpd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x92,0x04,0x48]
1703 ; X86-NEXT:    retl # encoding: [0xc3]
1704 ;
1705 ; X64-LABEL: test_x86_avx2_gather_d_pd:
1706 ; X64:       # %bb.0:
1707 ; X64-NEXT:    vgatherdpd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x92,0x04,0x4f]
1708 ; X64-NEXT:    retq # encoding: [0xc3]
1709   %res = call <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double> %a0,
1710                             ptr %a1, <4 x i32> %idx, <2 x double> %mask, i8 2) ;
1711   ret <2 x double> %res
1712 }
1713 declare <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double>, ptr,
1714                       <4 x i32>, <2 x double>, i8) nounwind readonly
1715
1716 define <4 x double> @test_x86_avx2_gather_d_pd_256(<4 x double> %a0, ptr %a1, <4 x i32> %idx, <4 x double> %mask) {
1717 ; X86-LABEL: test_x86_avx2_gather_d_pd_256:
1718 ; X86:       # %bb.0:
1719 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1720 ; X86-NEXT:    vgatherdpd %ymm2, (%eax,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x92,0x04,0x48]
1721 ; X86-NEXT:    retl # encoding: [0xc3]
1722 ;
1723 ; X64-LABEL: test_x86_avx2_gather_d_pd_256:
1724 ; X64:       # %bb.0:
1725 ; X64-NEXT:    vgatherdpd %ymm2, (%rdi,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x92,0x04,0x4f]
1726 ; X64-NEXT:    retq # encoding: [0xc3]
1727   %res = call <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double> %a0,
1728                             ptr %a1, <4 x i32> %idx, <4 x double> %mask, i8 2) ;
1729   ret <4 x double> %res
1730 }
1731 declare <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double>, ptr,
1732                       <4 x i32>, <4 x double>, i8) nounwind readonly
1733
1734 define <2 x double> @test_x86_avx2_gather_q_pd(<2 x double> %a0, ptr %a1, <2 x i64> %idx, <2 x double> %mask) {
1735 ; X86-LABEL: test_x86_avx2_gather_q_pd:
1736 ; X86:       # %bb.0:
1737 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1738 ; X86-NEXT:    vgatherqpd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x93,0x04,0x48]
1739 ; X86-NEXT:    retl # encoding: [0xc3]
1740 ;
1741 ; X64-LABEL: test_x86_avx2_gather_q_pd:
1742 ; X64:       # %bb.0:
1743 ; X64-NEXT:    vgatherqpd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x93,0x04,0x4f]
1744 ; X64-NEXT:    retq # encoding: [0xc3]
1745   %res = call <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double> %a0,
1746                             ptr %a1, <2 x i64> %idx, <2 x double> %mask, i8 2) ;
1747   ret <2 x double> %res
1748 }
1749 declare <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double>, ptr,
1750                       <2 x i64>, <2 x double>, i8) nounwind readonly
1751
1752 define <4 x double> @test_x86_avx2_gather_q_pd_256(<4 x double> %a0, ptr %a1, <4 x i64> %idx, <4 x double> %mask) {
1753 ; X86-LABEL: test_x86_avx2_gather_q_pd_256:
1754 ; X86:       # %bb.0:
1755 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1756 ; X86-NEXT:    vgatherqpd %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x93,0x04,0x48]
1757 ; X86-NEXT:    retl # encoding: [0xc3]
1758 ;
1759 ; X64-LABEL: test_x86_avx2_gather_q_pd_256:
1760 ; X64:       # %bb.0:
1761 ; X64-NEXT:    vgatherqpd %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x93,0x04,0x4f]
1762 ; X64-NEXT:    retq # encoding: [0xc3]
1763   %res = call <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double> %a0,
1764                             ptr %a1, <4 x i64> %idx, <4 x double> %mask, i8 2) ;
1765   ret <4 x double> %res
1766 }
1767 declare <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double>, ptr,
1768                       <4 x i64>, <4 x double>, i8) nounwind readonly
1769
1770 define <4 x float> @test_x86_avx2_gather_d_ps(<4 x float> %a0, ptr %a1, <4 x i32> %idx, <4 x float> %mask) {
1771 ; X86-LABEL: test_x86_avx2_gather_d_ps:
1772 ; X86:       # %bb.0:
1773 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1774 ; X86-NEXT:    vgatherdps %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x92,0x04,0x48]
1775 ; X86-NEXT:    retl # encoding: [0xc3]
1776 ;
1777 ; X64-LABEL: test_x86_avx2_gather_d_ps:
1778 ; X64:       # %bb.0:
1779 ; X64-NEXT:    vgatherdps %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x92,0x04,0x4f]
1780 ; X64-NEXT:    retq # encoding: [0xc3]
1781   %res = call <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float> %a0,
1782                             ptr %a1, <4 x i32> %idx, <4 x float> %mask, i8 2) ;
1783   ret <4 x float> %res
1784 }
1785 declare <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float>, ptr,
1786                       <4 x i32>, <4 x float>, i8) nounwind readonly
1787
1788 define <8 x float> @test_x86_avx2_gather_d_ps_256(<8 x float> %a0, ptr %a1, <8 x i32> %idx, <8 x float> %mask) {
1789 ; X86-LABEL: test_x86_avx2_gather_d_ps_256:
1790 ; X86:       # %bb.0:
1791 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1792 ; X86-NEXT:    vgatherdps %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x92,0x04,0x48]
1793 ; X86-NEXT:    retl # encoding: [0xc3]
1794 ;
1795 ; X64-LABEL: test_x86_avx2_gather_d_ps_256:
1796 ; X64:       # %bb.0:
1797 ; X64-NEXT:    vgatherdps %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x92,0x04,0x4f]
1798 ; X64-NEXT:    retq # encoding: [0xc3]
1799   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
1800                             ptr %a1, <8 x i32> %idx, <8 x float> %mask, i8 2) ;
1801   ret <8 x float> %res
1802 }
1803 declare <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float>, ptr,
1804                       <8 x i32>, <8 x float>, i8) nounwind readonly
1805
1806 define <4 x float> @test_x86_avx2_gather_q_ps(<4 x float> %a0, ptr %a1, <2 x i64> %idx, <4 x float> %mask) {
1807 ; X86-LABEL: test_x86_avx2_gather_q_ps:
1808 ; X86:       # %bb.0:
1809 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1810 ; X86-NEXT:    vgatherqps %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x93,0x04,0x48]
1811 ; X86-NEXT:    retl # encoding: [0xc3]
1812 ;
1813 ; X64-LABEL: test_x86_avx2_gather_q_ps:
1814 ; X64:       # %bb.0:
1815 ; X64-NEXT:    vgatherqps %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x93,0x04,0x4f]
1816 ; X64-NEXT:    retq # encoding: [0xc3]
1817   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float> %a0,
1818                             ptr %a1, <2 x i64> %idx, <4 x float> %mask, i8 2) ;
1819   ret <4 x float> %res
1820 }
1821 declare <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float>, ptr,
1822                       <2 x i64>, <4 x float>, i8) nounwind readonly
1823
1824 define <4 x float> @test_x86_avx2_gather_q_ps_256(<4 x float> %a0, ptr %a1, <4 x i64> %idx, <4 x float> %mask) {
1825 ; X86-LABEL: test_x86_avx2_gather_q_ps_256:
1826 ; X86:       # %bb.0:
1827 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1828 ; X86-NEXT:    vgatherqps %xmm2, (%eax,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x93,0x04,0x48]
1829 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1830 ; X86-NEXT:    retl # encoding: [0xc3]
1831 ;
1832 ; X64-LABEL: test_x86_avx2_gather_q_ps_256:
1833 ; X64:       # %bb.0:
1834 ; X64-NEXT:    vgatherqps %xmm2, (%rdi,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x93,0x04,0x4f]
1835 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1836 ; X64-NEXT:    retq # encoding: [0xc3]
1837   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float> %a0,
1838                             ptr %a1, <4 x i64> %idx, <4 x float> %mask, i8 2) ;
1839   ret <4 x float> %res
1840 }
1841 declare <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float>, ptr,
1842                       <4 x i64>, <4 x float>, i8) nounwind readonly
1843
1844 define <2 x i64> @test_x86_avx2_gather_d_q(<2 x i64> %a0, ptr %a1, <4 x i32> %idx, <2 x i64> %mask) {
1845 ; X86-LABEL: test_x86_avx2_gather_d_q:
1846 ; X86:       # %bb.0:
1847 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1848 ; X86-NEXT:    vpgatherdq %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x90,0x04,0x48]
1849 ; X86-NEXT:    retl # encoding: [0xc3]
1850 ;
1851 ; X64-LABEL: test_x86_avx2_gather_d_q:
1852 ; X64:       # %bb.0:
1853 ; X64-NEXT:    vpgatherdq %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x90,0x04,0x4f]
1854 ; X64-NEXT:    retq # encoding: [0xc3]
1855   %res = call <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64> %a0,
1856                             ptr %a1, <4 x i32> %idx, <2 x i64> %mask, i8 2) ;
1857   ret <2 x i64> %res
1858 }
1859 declare <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64>, ptr,
1860                       <4 x i32>, <2 x i64>, i8) nounwind readonly
1861
1862 define <4 x i64> @test_x86_avx2_gather_d_q_256(<4 x i64> %a0, ptr %a1, <4 x i32> %idx, <4 x i64> %mask) {
1863 ; X86-LABEL: test_x86_avx2_gather_d_q_256:
1864 ; X86:       # %bb.0:
1865 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1866 ; X86-NEXT:    vpgatherdq %ymm2, (%eax,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x90,0x04,0x48]
1867 ; X86-NEXT:    retl # encoding: [0xc3]
1868 ;
1869 ; X64-LABEL: test_x86_avx2_gather_d_q_256:
1870 ; X64:       # %bb.0:
1871 ; X64-NEXT:    vpgatherdq %ymm2, (%rdi,%xmm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x90,0x04,0x4f]
1872 ; X64-NEXT:    retq # encoding: [0xc3]
1873   %res = call <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64> %a0,
1874                             ptr %a1, <4 x i32> %idx, <4 x i64> %mask, i8 2) ;
1875   ret <4 x i64> %res
1876 }
1877 declare <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64>, ptr,
1878                       <4 x i32>, <4 x i64>, i8) nounwind readonly
1879
1880 define <2 x i64> @test_x86_avx2_gather_q_q(<2 x i64> %a0, ptr %a1, <2 x i64> %idx, <2 x i64> %mask) {
1881 ; X86-LABEL: test_x86_avx2_gather_q_q:
1882 ; X86:       # %bb.0:
1883 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1884 ; X86-NEXT:    vpgatherqq %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x48]
1885 ; X86-NEXT:    retl # encoding: [0xc3]
1886 ;
1887 ; X64-LABEL: test_x86_avx2_gather_q_q:
1888 ; X64:       # %bb.0:
1889 ; X64-NEXT:    vpgatherqq %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x4f]
1890 ; X64-NEXT:    retq # encoding: [0xc3]
1891   %res = call <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64> %a0,
1892                             ptr %a1, <2 x i64> %idx, <2 x i64> %mask, i8 2) ;
1893   ret <2 x i64> %res
1894 }
1895 declare <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64>, ptr,
1896                       <2 x i64>, <2 x i64>, i8) nounwind readonly
1897
1898 define <4 x i64> @test_x86_avx2_gather_q_q_256(<4 x i64> %a0, ptr %a1, <4 x i64> %idx, <4 x i64> %mask) {
1899 ; X86-LABEL: test_x86_avx2_gather_q_q_256:
1900 ; X86:       # %bb.0:
1901 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1902 ; X86-NEXT:    vpgatherqq %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x91,0x04,0x48]
1903 ; X86-NEXT:    retl # encoding: [0xc3]
1904 ;
1905 ; X64-LABEL: test_x86_avx2_gather_q_q_256:
1906 ; X64:       # %bb.0:
1907 ; X64-NEXT:    vpgatherqq %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0xed,0x91,0x04,0x4f]
1908 ; X64-NEXT:    retq # encoding: [0xc3]
1909   %res = call <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64> %a0,
1910                             ptr %a1, <4 x i64> %idx, <4 x i64> %mask, i8 2) ;
1911   ret <4 x i64> %res
1912 }
1913 declare <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64>, ptr,
1914                       <4 x i64>, <4 x i64>, i8) nounwind readonly
1915
1916 define <4 x i32> @test_x86_avx2_gather_d_d(<4 x i32> %a0, ptr %a1, <4 x i32> %idx, <4 x i32> %mask) {
1917 ; X86-LABEL: test_x86_avx2_gather_d_d:
1918 ; X86:       # %bb.0:
1919 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1920 ; X86-NEXT:    vpgatherdd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x90,0x04,0x48]
1921 ; X86-NEXT:    retl # encoding: [0xc3]
1922 ;
1923 ; X64-LABEL: test_x86_avx2_gather_d_d:
1924 ; X64:       # %bb.0:
1925 ; X64-NEXT:    vpgatherdd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x90,0x04,0x4f]
1926 ; X64-NEXT:    retq # encoding: [0xc3]
1927   %res = call <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32> %a0,
1928                             ptr %a1, <4 x i32> %idx, <4 x i32> %mask, i8 2) ;
1929   ret <4 x i32> %res
1930 }
1931 declare <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32>, ptr,
1932                       <4 x i32>, <4 x i32>, i8) nounwind readonly
1933
1934 define <8 x i32> @test_x86_avx2_gather_d_d_256(<8 x i32> %a0, ptr %a1, <8 x i32> %idx, <8 x i32> %mask) {
1935 ; X86-LABEL: test_x86_avx2_gather_d_d_256:
1936 ; X86:       # %bb.0:
1937 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1938 ; X86-NEXT:    vpgatherdd %ymm2, (%eax,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x90,0x04,0x48]
1939 ; X86-NEXT:    retl # encoding: [0xc3]
1940 ;
1941 ; X64-LABEL: test_x86_avx2_gather_d_d_256:
1942 ; X64:       # %bb.0:
1943 ; X64-NEXT:    vpgatherdd %ymm2, (%rdi,%ymm1,2), %ymm0 # encoding: [0xc4,0xe2,0x6d,0x90,0x04,0x4f]
1944 ; X64-NEXT:    retq # encoding: [0xc3]
1945   %res = call <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32> %a0,
1946                             ptr %a1, <8 x i32> %idx, <8 x i32> %mask, i8 2) ;
1947   ret <8 x i32> %res
1948 }
1949 declare <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32>, ptr,
1950                       <8 x i32>, <8 x i32>, i8) nounwind readonly
1951
1952 define <4 x i32> @test_x86_avx2_gather_q_d(<4 x i32> %a0, ptr %a1, <2 x i64> %idx, <4 x i32> %mask) {
1953 ; X86-LABEL: test_x86_avx2_gather_q_d:
1954 ; X86:       # %bb.0:
1955 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1956 ; X86-NEXT:    vpgatherqd %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x91,0x04,0x48]
1957 ; X86-NEXT:    retl # encoding: [0xc3]
1958 ;
1959 ; X64-LABEL: test_x86_avx2_gather_q_d:
1960 ; X64:       # %bb.0:
1961 ; X64-NEXT:    vpgatherqd %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0x69,0x91,0x04,0x4f]
1962 ; X64-NEXT:    retq # encoding: [0xc3]
1963   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32> %a0,
1964                             ptr %a1, <2 x i64> %idx, <4 x i32> %mask, i8 2) ;
1965   ret <4 x i32> %res
1966 }
1967 declare <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32>, ptr,
1968                       <2 x i64>, <4 x i32>, i8) nounwind readonly
1969
1970 define <4 x i32> @test_x86_avx2_gather_q_d_256(<4 x i32> %a0, ptr %a1, <4 x i64> %idx, <4 x i32> %mask) {
1971 ; X86-LABEL: test_x86_avx2_gather_q_d_256:
1972 ; X86:       # %bb.0:
1973 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
1974 ; X86-NEXT:    vpgatherqd %xmm2, (%eax,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x91,0x04,0x48]
1975 ; X86-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1976 ; X86-NEXT:    retl # encoding: [0xc3]
1977 ;
1978 ; X64-LABEL: test_x86_avx2_gather_q_d_256:
1979 ; X64:       # %bb.0:
1980 ; X64-NEXT:    vpgatherqd %xmm2, (%rdi,%ymm1,2), %xmm0 # encoding: [0xc4,0xe2,0x6d,0x91,0x04,0x4f]
1981 ; X64-NEXT:    vzeroupper # encoding: [0xc5,0xf8,0x77]
1982 ; X64-NEXT:    retq # encoding: [0xc3]
1983   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32> %a0,
1984                             ptr %a1, <4 x i64> %idx, <4 x i32> %mask, i8 2) ;
1985   ret <4 x i32> %res
1986 }
1987 declare <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32>, ptr,
1988                       <4 x i64>, <4 x i32>, i8) nounwind readonly
1989
1990 ; PR13298
1991 define <8 x float>  @test_gather_mask(<8 x float> %a0, ptr %a, <8 x i32> %idx, <8 x float> %mask, ptr nocapture %out) {
1992 ;; gather with mask
1993 ; X86-AVX-LABEL: test_gather_mask:
1994 ; X86-AVX:       # %bb.0:
1995 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x08]
1996 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %ecx # encoding: [0x8b,0x4c,0x24,0x04]
1997 ; X86-AVX-NEXT:    vmovaps %ymm2, %ymm3 # encoding: [0xc5,0xfc,0x28,0xda]
1998 ; X86-AVX-NEXT:    vgatherdps %ymm3, (%ecx,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x89]
1999 ; X86-AVX-NEXT:    vmovups %ymm2, (%eax) # encoding: [0xc5,0xfc,0x11,0x10]
2000 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
2001 ;
2002 ; X86-AVX512VL-LABEL: test_gather_mask:
2003 ; X86-AVX512VL:       # %bb.0:
2004 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x08]
2005 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %ecx # encoding: [0x8b,0x4c,0x24,0x04]
2006 ; X86-AVX512VL-NEXT:    vmovaps %ymm2, %ymm3 # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x28,0xda]
2007 ; X86-AVX512VL-NEXT:    vgatherdps %ymm3, (%ecx,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x89]
2008 ; X86-AVX512VL-NEXT:    vmovups %ymm2, (%eax) # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x11,0x10]
2009 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
2010 ;
2011 ; X64-AVX-LABEL: test_gather_mask:
2012 ; X64-AVX:       # %bb.0:
2013 ; X64-AVX-NEXT:    vmovaps %ymm2, %ymm3 # encoding: [0xc5,0xfc,0x28,0xda]
2014 ; X64-AVX-NEXT:    vgatherdps %ymm3, (%rdi,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x8f]
2015 ; X64-AVX-NEXT:    vmovups %ymm2, (%rsi) # encoding: [0xc5,0xfc,0x11,0x16]
2016 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
2017 ;
2018 ; X64-AVX512VL-LABEL: test_gather_mask:
2019 ; X64-AVX512VL:       # %bb.0:
2020 ; X64-AVX512VL-NEXT:    vmovaps %ymm2, %ymm3 # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x28,0xda]
2021 ; X64-AVX512VL-NEXT:    vgatherdps %ymm3, (%rdi,%ymm1,4), %ymm0 # encoding: [0xc4,0xe2,0x65,0x92,0x04,0x8f]
2022 ; X64-AVX512VL-NEXT:    vmovups %ymm2, (%rsi) # EVEX TO VEX Compression encoding: [0xc5,0xfc,0x11,0x16]
2023 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
2024   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
2025                            ptr %a, <8 x i32> %idx, <8 x float> %mask, i8 4) ;
2026
2027 ;; for debugging, we'll just dump out the mask
2028   store <8 x float> %mask, ptr %out, align 4
2029
2030   ret <8 x float> %res
2031 }
2032
2033 define <2 x i64> @test_mask_demanded_bits(<2 x i64> %a0, ptr %a1, <2 x i64> %idx, <2 x i1> %mask) {
2034 ; X86-AVX-LABEL: test_mask_demanded_bits:
2035 ; X86-AVX:       # %bb.0:
2036 ; X86-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2037 ; X86-AVX-NEXT:    vpsllq $63, %xmm2, %xmm2 # encoding: [0xc5,0xe9,0x73,0xf2,0x3f]
2038 ; X86-AVX-NEXT:    vpgatherqq %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x48]
2039 ; X86-AVX-NEXT:    retl # encoding: [0xc3]
2040 ;
2041 ; X86-AVX512VL-LABEL: test_mask_demanded_bits:
2042 ; X86-AVX512VL:       # %bb.0:
2043 ; X86-AVX512VL-NEXT:    movl {{[0-9]+}}(%esp), %eax # encoding: [0x8b,0x44,0x24,0x04]
2044 ; X86-AVX512VL-NEXT:    vpsllq $63, %xmm2, %xmm2 # EVEX TO VEX Compression encoding: [0xc5,0xe9,0x73,0xf2,0x3f]
2045 ; X86-AVX512VL-NEXT:    vpgatherqq %xmm2, (%eax,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x48]
2046 ; X86-AVX512VL-NEXT:    retl # encoding: [0xc3]
2047 ;
2048 ; X64-AVX-LABEL: test_mask_demanded_bits:
2049 ; X64-AVX:       # %bb.0:
2050 ; X64-AVX-NEXT:    vpsllq $63, %xmm2, %xmm2 # encoding: [0xc5,0xe9,0x73,0xf2,0x3f]
2051 ; X64-AVX-NEXT:    vpgatherqq %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x4f]
2052 ; X64-AVX-NEXT:    retq # encoding: [0xc3]
2053 ;
2054 ; X64-AVX512VL-LABEL: test_mask_demanded_bits:
2055 ; X64-AVX512VL:       # %bb.0:
2056 ; X64-AVX512VL-NEXT:    vpsllq $63, %xmm2, %xmm2 # EVEX TO VEX Compression encoding: [0xc5,0xe9,0x73,0xf2,0x3f]
2057 ; X64-AVX512VL-NEXT:    vpgatherqq %xmm2, (%rdi,%xmm1,2), %xmm0 # encoding: [0xc4,0xe2,0xe9,0x91,0x04,0x4f]
2058 ; X64-AVX512VL-NEXT:    retq # encoding: [0xc3]
2059   %mask1 = sext <2 x i1> %mask to <2 x i64>
2060   %res = call <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64> %a0,
2061                             ptr %a1, <2 x i64> %idx, <2 x i64> %mask1, i8 2) ;
2062   ret <2 x i64> %res
2063 }