test/CodeGen/X86/masked_load.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=sse2    | FileCheck %s --check-prefixes=SSE,SSE2
   3 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=sse4.2  | FileCheck %s --check-prefixes=SSE,SSE42
   4 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx     | FileCheck %s --check-prefixes=AVX,AVX1OR2,AVX1
   5 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx2    | FileCheck %s --check-prefixes=AVX,AVX1OR2,AVX2
   6 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx512f | FileCheck %s --check-prefixes=AVX,AVX512,AVX512F
   7 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx512f,avx512dq,avx512vl | FileCheck %s --check-prefixes=AVX,AVX512,AVX512VL,AVX512VLDQ
   8 ; RUN: llc < %s -disable-peephole -mtriple=x86_64-apple-darwin -mattr=avx512f,avx512bw,avx512vl | FileCheck %s --check-prefixes=AVX,AVX512,AVX512VL,AVX512VLBW
   9
  10 ;
  11 ; vXf64
  12 ;
  13
  14 define <1 x double> @load_v1f64_v1i64(<1 x i64> %trigger, <1 x double>* %addr, <1 x double> %dst) {
  15 ; SSE-LABEL: load_v1f64_v1i64:
  16 ; SSE:       ## %bb.0:
  17 ; SSE-NEXT:    testq %rdi, %rdi
  18 ; SSE-NEXT:    jne LBB0_2
  19 ; SSE-NEXT:  ## %bb.1: ## %cond.load
  20 ; SSE-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
  21 ; SSE-NEXT:  LBB0_2: ## %else
  22 ; SSE-NEXT:    retq
  23 ;
  24 ; AVX-LABEL: load_v1f64_v1i64:
  25 ; AVX:       ## %bb.0:
  26 ; AVX-NEXT:    testq %rdi, %rdi
  27 ; AVX-NEXT:    jne LBB0_2
  28 ; AVX-NEXT:  ## %bb.1: ## %cond.load
  29 ; AVX-NEXT:    vmovsd {{.*#+}} xmm0 = mem[0],zero
  30 ; AVX-NEXT:  LBB0_2: ## %else
  31 ; AVX-NEXT:    retq
  32   %mask = icmp eq <1 x i64> %trigger, zeroinitializer
  33   %res = call <1 x double> @llvm.masked.load.v1f64.p0v1f64(<1 x double>* %addr, i32 4, <1 x i1> %mask, <1 x double> %dst)
  34   ret <1 x double> %res
  35 }
  36
  37 define <2 x double> @load_v2f64_v2i64(<2 x i64> %trigger, <2 x double>* %addr, <2 x double> %dst) {
  38 ; SSE2-LABEL: load_v2f64_v2i64:
  39 ; SSE2:       ## %bb.0:
  40 ; SSE2-NEXT:    pxor %xmm2, %xmm2
  41 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
  42 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
  43 ; SSE2-NEXT:    pand %xmm2, %xmm0
  44 ; SSE2-NEXT:    movd %xmm0, %eax
  45 ; SSE2-NEXT:    testb $1, %al
  46 ; SSE2-NEXT:    je LBB1_2
  47 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
  48 ; SSE2-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
  49 ; SSE2-NEXT:  LBB1_2: ## %else
  50 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
  51 ; SSE2-NEXT:    testb $1, %al
  52 ; SSE2-NEXT:    je LBB1_4
  53 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
  54 ; SSE2-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
  55 ; SSE2-NEXT:  LBB1_4: ## %else2
  56 ; SSE2-NEXT:    movaps %xmm1, %xmm0
  57 ; SSE2-NEXT:    retq
  58 ;
  59 ; SSE42-LABEL: load_v2f64_v2i64:
  60 ; SSE42:       ## %bb.0:
  61 ; SSE42-NEXT:    pxor %xmm2, %xmm2
  62 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm2
  63 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
  64 ; SSE42-NEXT:    testb $1, %al
  65 ; SSE42-NEXT:    je LBB1_2
  66 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
  67 ; SSE42-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
  68 ; SSE42-NEXT:  LBB1_2: ## %else
  69 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
  70 ; SSE42-NEXT:    testb $1, %al
  71 ; SSE42-NEXT:    je LBB1_4
  72 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
  73 ; SSE42-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
  74 ; SSE42-NEXT:  LBB1_4: ## %else2
  75 ; SSE42-NEXT:    movaps %xmm1, %xmm0
  76 ; SSE42-NEXT:    retq
  77 ;
  78 ; AVX1OR2-LABEL: load_v2f64_v2i64:
  79 ; AVX1OR2:       ## %bb.0:
  80 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
  81 ; AVX1OR2-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
  82 ; AVX1OR2-NEXT:    vmaskmovpd (%rdi), %xmm0, %xmm2
  83 ; AVX1OR2-NEXT:    vblendvpd %xmm0, %xmm2, %xmm1, %xmm0
  84 ; AVX1OR2-NEXT:    retq
  85 ;
  86 ; AVX512F-LABEL: load_v2f64_v2i64:
  87 ; AVX512F:       ## %bb.0:
  88 ; AVX512F-NEXT:    ## kill: def $xmm1 killed $xmm1 def $zmm1
  89 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
  90 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
  91 ; AVX512F-NEXT:    kshiftlw $14, %k0, %k0
  92 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
  93 ; AVX512F-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
  94 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
  95 ; AVX512F-NEXT:    vzeroupper
  96 ; AVX512F-NEXT:    retq
  97 ;
  98 ; AVX512VL-LABEL: load_v2f64_v2i64:
  99 ; AVX512VL:       ## %bb.0:
 100 ; AVX512VL-NEXT:    vptestnmq %xmm0, %xmm0, %k1
 101 ; AVX512VL-NEXT:    vblendmpd (%rdi), %xmm1, %xmm0 {%k1}
 102 ; AVX512VL-NEXT:    retq
 103   %mask = icmp eq <2 x i64> %trigger, zeroinitializer
 104   %res = call <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>* %addr, i32 4, <2 x i1> %mask, <2 x double> %dst)
 105   ret <2 x double> %res
 106 }
 107
 108 define <4 x double> @load_v4f64_v4i32(<4 x i32> %trigger, <4 x double>* %addr, <4 x double> %dst) {
 109 ; SSE2-LABEL: load_v4f64_v4i32:
 110 ; SSE2:       ## %bb.0:
 111 ; SSE2-NEXT:    pxor %xmm3, %xmm3
 112 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm3
 113 ; SSE2-NEXT:    movd %xmm3, %eax
 114 ; SSE2-NEXT:    testb $1, %al
 115 ; SSE2-NEXT:    je LBB2_2
 116 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
 117 ; SSE2-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
 118 ; SSE2-NEXT:  LBB2_2: ## %else
 119 ; SSE2-NEXT:    pextrw $2, %xmm3, %eax
 120 ; SSE2-NEXT:    testb $1, %al
 121 ; SSE2-NEXT:    je LBB2_4
 122 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
 123 ; SSE2-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
 124 ; SSE2-NEXT:  LBB2_4: ## %else2
 125 ; SSE2-NEXT:    pxor %xmm3, %xmm3
 126 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm0
 127 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
 128 ; SSE2-NEXT:    testb $1, %al
 129 ; SSE2-NEXT:    je LBB2_6
 130 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
 131 ; SSE2-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
 132 ; SSE2-NEXT:  LBB2_6: ## %else5
 133 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
 134 ; SSE2-NEXT:    testb $1, %al
 135 ; SSE2-NEXT:    je LBB2_8
 136 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
 137 ; SSE2-NEXT:    movhps {{.*#+}} xmm2 = xmm2[0,1],mem[0,1]
 138 ; SSE2-NEXT:  LBB2_8: ## %else8
 139 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 140 ; SSE2-NEXT:    movaps %xmm2, %xmm1
 141 ; SSE2-NEXT:    retq
 142 ;
 143 ; SSE42-LABEL: load_v4f64_v4i32:
 144 ; SSE42:       ## %bb.0:
 145 ; SSE42-NEXT:    pxor %xmm3, %xmm3
 146 ; SSE42-NEXT:    pcmpeqd %xmm0, %xmm3
 147 ; SSE42-NEXT:    pextrb $0, %xmm3, %eax
 148 ; SSE42-NEXT:    testb $1, %al
 149 ; SSE42-NEXT:    je LBB2_2
 150 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
 151 ; SSE42-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
 152 ; SSE42-NEXT:  LBB2_2: ## %else
 153 ; SSE42-NEXT:    pextrb $4, %xmm3, %eax
 154 ; SSE42-NEXT:    testb $1, %al
 155 ; SSE42-NEXT:    je LBB2_4
 156 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
 157 ; SSE42-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
 158 ; SSE42-NEXT:  LBB2_4: ## %else2
 159 ; SSE42-NEXT:    pxor %xmm3, %xmm3
 160 ; SSE42-NEXT:    pcmpeqd %xmm3, %xmm0
 161 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
 162 ; SSE42-NEXT:    testb $1, %al
 163 ; SSE42-NEXT:    je LBB2_6
 164 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
 165 ; SSE42-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
 166 ; SSE42-NEXT:  LBB2_6: ## %else5
 167 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
 168 ; SSE42-NEXT:    testb $1, %al
 169 ; SSE42-NEXT:    je LBB2_8
 170 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
 171 ; SSE42-NEXT:    movhps {{.*#+}} xmm2 = xmm2[0,1],mem[0,1]
 172 ; SSE42-NEXT:  LBB2_8: ## %else8
 173 ; SSE42-NEXT:    movaps %xmm1, %xmm0
 174 ; SSE42-NEXT:    movaps %xmm2, %xmm1
 175 ; SSE42-NEXT:    retq
 176 ;
 177 ; AVX1-LABEL: load_v4f64_v4i32:
 178 ; AVX1:       ## %bb.0:
 179 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 180 ; AVX1-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
 181 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm2
 182 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 183 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm0
 184 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm2, %ymm0
 185 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm2
 186 ; AVX1-NEXT:    vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
 187 ; AVX1-NEXT:    retq
 188 ;
 189 ; AVX2-LABEL: load_v4f64_v4i32:
 190 ; AVX2:       ## %bb.0:
 191 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 192 ; AVX2-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
 193 ; AVX2-NEXT:    vpmovsxdq %xmm0, %ymm0
 194 ; AVX2-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm2
 195 ; AVX2-NEXT:    vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
 196 ; AVX2-NEXT:    retq
 197 ;
 198 ; AVX512F-LABEL: load_v4f64_v4i32:
 199 ; AVX512F:       ## %bb.0:
 200 ; AVX512F-NEXT:    ## kill: def $ymm1 killed $ymm1 def $zmm1
 201 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
 202 ; AVX512F-NEXT:    vptestnmd %zmm0, %zmm0, %k0
 203 ; AVX512F-NEXT:    kshiftlw $12, %k0, %k0
 204 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
 205 ; AVX512F-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 206 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
 207 ; AVX512F-NEXT:    retq
 208 ;
 209 ; AVX512VL-LABEL: load_v4f64_v4i32:
 210 ; AVX512VL:       ## %bb.0:
 211 ; AVX512VL-NEXT:    vptestnmd %xmm0, %xmm0, %k1
 212 ; AVX512VL-NEXT:    vblendmpd (%rdi), %ymm1, %ymm0 {%k1}
 213 ; AVX512VL-NEXT:    retq
 214   %mask = icmp eq <4 x i32> %trigger, zeroinitializer
 215   %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 32, <4 x i1> %mask, <4 x double> %dst)
 216   ret <4 x double> %res
 217 }
 218
 219 define <4 x double> @load_v4f64_v4i32_zero(<4 x i32> %trigger, <4 x double>* %addr) {
 220 ; SSE2-LABEL: load_v4f64_v4i32_zero:
 221 ; SSE2:       ## %bb.0:
 222 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 223 ; SSE2-NEXT:    pxor %xmm0, %xmm0
 224 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 225 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm3
 226 ; SSE2-NEXT:    movd %xmm3, %eax
 227 ; SSE2-NEXT:    testb $1, %al
 228 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 229 ; SSE2-NEXT:    je LBB3_2
 230 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
 231 ; SSE2-NEXT:    movq {{.*#+}} xmm0 = mem[0],zero
 232 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 233 ; SSE2-NEXT:  LBB3_2: ## %else
 234 ; SSE2-NEXT:    pextrw $2, %xmm3, %eax
 235 ; SSE2-NEXT:    testb $1, %al
 236 ; SSE2-NEXT:    je LBB3_4
 237 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
 238 ; SSE2-NEXT:    movhps {{.*#+}} xmm0 = xmm0[0,1],mem[0,1]
 239 ; SSE2-NEXT:  LBB3_4: ## %else2
 240 ; SSE2-NEXT:    pxor %xmm3, %xmm3
 241 ; SSE2-NEXT:    pcmpeqd %xmm3, %xmm2
 242 ; SSE2-NEXT:    pextrw $4, %xmm2, %eax
 243 ; SSE2-NEXT:    testb $1, %al
 244 ; SSE2-NEXT:    je LBB3_6
 245 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
 246 ; SSE2-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
 247 ; SSE2-NEXT:  LBB3_6: ## %else5
 248 ; SSE2-NEXT:    pextrw $6, %xmm2, %eax
 249 ; SSE2-NEXT:    testb $1, %al
 250 ; SSE2-NEXT:    je LBB3_8
 251 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
 252 ; SSE2-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
 253 ; SSE2-NEXT:  LBB3_8: ## %else8
 254 ; SSE2-NEXT:    retq
 255 ;
 256 ; SSE42-LABEL: load_v4f64_v4i32_zero:
 257 ; SSE42:       ## %bb.0:
 258 ; SSE42-NEXT:    movdqa %xmm0, %xmm2
 259 ; SSE42-NEXT:    pxor %xmm0, %xmm0
 260 ; SSE42-NEXT:    movdqa %xmm2, %xmm3
 261 ; SSE42-NEXT:    pcmpeqd %xmm0, %xmm3
 262 ; SSE42-NEXT:    pextrb $0, %xmm3, %eax
 263 ; SSE42-NEXT:    testb $1, %al
 264 ; SSE42-NEXT:    xorps %xmm1, %xmm1
 265 ; SSE42-NEXT:    je LBB3_2
 266 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
 267 ; SSE42-NEXT:    movq {{.*#+}} xmm0 = mem[0],zero
 268 ; SSE42-NEXT:    xorps %xmm1, %xmm1
 269 ; SSE42-NEXT:  LBB3_2: ## %else
 270 ; SSE42-NEXT:    pextrb $4, %xmm3, %eax
 271 ; SSE42-NEXT:    testb $1, %al
 272 ; SSE42-NEXT:    je LBB3_4
 273 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
 274 ; SSE42-NEXT:    movhps {{.*#+}} xmm0 = xmm0[0,1],mem[0,1]
 275 ; SSE42-NEXT:  LBB3_4: ## %else2
 276 ; SSE42-NEXT:    pxor %xmm3, %xmm3
 277 ; SSE42-NEXT:    pcmpeqd %xmm3, %xmm2
 278 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
 279 ; SSE42-NEXT:    testb $1, %al
 280 ; SSE42-NEXT:    je LBB3_6
 281 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
 282 ; SSE42-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
 283 ; SSE42-NEXT:  LBB3_6: ## %else5
 284 ; SSE42-NEXT:    pextrb $12, %xmm2, %eax
 285 ; SSE42-NEXT:    testb $1, %al
 286 ; SSE42-NEXT:    je LBB3_8
 287 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
 288 ; SSE42-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
 289 ; SSE42-NEXT:  LBB3_8: ## %else8
 290 ; SSE42-NEXT:    retq
 291 ;
 292 ; AVX1-LABEL: load_v4f64_v4i32_zero:
 293 ; AVX1:       ## %bb.0:
 294 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 295 ; AVX1-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 296 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm1
 297 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 298 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm0
 299 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 300 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm0
 301 ; AVX1-NEXT:    retq
 302 ;
 303 ; AVX2-LABEL: load_v4f64_v4i32_zero:
 304 ; AVX2:       ## %bb.0:
 305 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 306 ; AVX2-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
 307 ; AVX2-NEXT:    vpmovsxdq %xmm0, %ymm0
 308 ; AVX2-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm0
 309 ; AVX2-NEXT:    retq
 310 ;
 311 ; AVX512F-LABEL: load_v4f64_v4i32_zero:
 312 ; AVX512F:       ## %bb.0:
 313 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
 314 ; AVX512F-NEXT:    vptestnmd %zmm0, %zmm0, %k0
 315 ; AVX512F-NEXT:    kshiftlw $12, %k0, %k0
 316 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
 317 ; AVX512F-NEXT:    vmovupd (%rdi), %zmm0 {%k1} {z}
 318 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
 319 ; AVX512F-NEXT:    retq
 320 ;
 321 ; AVX512VL-LABEL: load_v4f64_v4i32_zero:
 322 ; AVX512VL:       ## %bb.0:
 323 ; AVX512VL-NEXT:    vptestnmd %xmm0, %xmm0, %k1
 324 ; AVX512VL-NEXT:    vmovapd (%rdi), %ymm0 {%k1} {z}
 325 ; AVX512VL-NEXT:    retq
 326   %mask = icmp eq <4 x i32> %trigger, zeroinitializer
 327   %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 32, <4 x i1> %mask, <4 x double>zeroinitializer)
 328   ret <4 x double> %res
 329 }
 330
 331 define <4 x double> @load_v4f64_v4i64(<4 x i64> %trigger, <4 x double>* %addr, <4 x double> %dst) {
 332 ; SSE2-LABEL: load_v4f64_v4i64:
 333 ; SSE2:       ## %bb.0:
 334 ; SSE2-NEXT:    pxor %xmm4, %xmm4
 335 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm4
 336 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[1,0,3,2]
 337 ; SSE2-NEXT:    pand %xmm4, %xmm0
 338 ; SSE2-NEXT:    movd %xmm0, %eax
 339 ; SSE2-NEXT:    testb $1, %al
 340 ; SSE2-NEXT:    je LBB4_2
 341 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
 342 ; SSE2-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
 343 ; SSE2-NEXT:  LBB4_2: ## %else
 344 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
 345 ; SSE2-NEXT:    testb $1, %al
 346 ; SSE2-NEXT:    je LBB4_4
 347 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
 348 ; SSE2-NEXT:    movhps {{.*#+}} xmm2 = xmm2[0,1],mem[0,1]
 349 ; SSE2-NEXT:  LBB4_4: ## %else2
 350 ; SSE2-NEXT:    pxor %xmm0, %xmm0
 351 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
 352 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
 353 ; SSE2-NEXT:    pand %xmm1, %xmm0
 354 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
 355 ; SSE2-NEXT:    testb $1, %al
 356 ; SSE2-NEXT:    je LBB4_6
 357 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
 358 ; SSE2-NEXT:    movlps {{.*#+}} xmm3 = mem[0,1],xmm3[2,3]
 359 ; SSE2-NEXT:  LBB4_6: ## %else5
 360 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
 361 ; SSE2-NEXT:    testb $1, %al
 362 ; SSE2-NEXT:    je LBB4_8
 363 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
 364 ; SSE2-NEXT:    movhps {{.*#+}} xmm3 = xmm3[0,1],mem[0,1]
 365 ; SSE2-NEXT:  LBB4_8: ## %else8
 366 ; SSE2-NEXT:    movaps %xmm2, %xmm0
 367 ; SSE2-NEXT:    movaps %xmm3, %xmm1
 368 ; SSE2-NEXT:    retq
 369 ;
 370 ; SSE42-LABEL: load_v4f64_v4i64:
 371 ; SSE42:       ## %bb.0:
 372 ; SSE42-NEXT:    pxor %xmm4, %xmm4
 373 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm4
 374 ; SSE42-NEXT:    pextrb $0, %xmm4, %eax
 375 ; SSE42-NEXT:    testb $1, %al
 376 ; SSE42-NEXT:    je LBB4_2
 377 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
 378 ; SSE42-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
 379 ; SSE42-NEXT:  LBB4_2: ## %else
 380 ; SSE42-NEXT:    pextrb $8, %xmm4, %eax
 381 ; SSE42-NEXT:    testb $1, %al
 382 ; SSE42-NEXT:    je LBB4_4
 383 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
 384 ; SSE42-NEXT:    movhps {{.*#+}} xmm2 = xmm2[0,1],mem[0,1]
 385 ; SSE42-NEXT:  LBB4_4: ## %else2
 386 ; SSE42-NEXT:    pxor %xmm0, %xmm0
 387 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm1
 388 ; SSE42-NEXT:    pextrb $0, %xmm1, %eax
 389 ; SSE42-NEXT:    testb $1, %al
 390 ; SSE42-NEXT:    je LBB4_6
 391 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
 392 ; SSE42-NEXT:    movlps {{.*#+}} xmm3 = mem[0,1],xmm3[2,3]
 393 ; SSE42-NEXT:  LBB4_6: ## %else5
 394 ; SSE42-NEXT:    pextrb $8, %xmm1, %eax
 395 ; SSE42-NEXT:    testb $1, %al
 396 ; SSE42-NEXT:    je LBB4_8
 397 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
 398 ; SSE42-NEXT:    movhps {{.*#+}} xmm3 = xmm3[0,1],mem[0,1]
 399 ; SSE42-NEXT:  LBB4_8: ## %else8
 400 ; SSE42-NEXT:    movaps %xmm2, %xmm0
 401 ; SSE42-NEXT:    movaps %xmm3, %xmm1
 402 ; SSE42-NEXT:    retq
 403 ;
 404 ; AVX1-LABEL: load_v4f64_v4i64:
 405 ; AVX1:       ## %bb.0:
 406 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 407 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 408 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm2, %xmm2
 409 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm0, %xmm0
 410 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 411 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm2
 412 ; AVX1-NEXT:    vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
 413 ; AVX1-NEXT:    retq
 414 ;
 415 ; AVX2-LABEL: load_v4f64_v4i64:
 416 ; AVX2:       ## %bb.0:
 417 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 418 ; AVX2-NEXT:    vpcmpeqq %ymm2, %ymm0, %ymm0
 419 ; AVX2-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm2
 420 ; AVX2-NEXT:    vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
 421 ; AVX2-NEXT:    retq
 422 ;
 423 ; AVX512F-LABEL: load_v4f64_v4i64:
 424 ; AVX512F:       ## %bb.0:
 425 ; AVX512F-NEXT:    ## kill: def $ymm1 killed $ymm1 def $zmm1
 426 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 def $zmm0
 427 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
 428 ; AVX512F-NEXT:    kshiftlw $12, %k0, %k0
 429 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
 430 ; AVX512F-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 431 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
 432 ; AVX512F-NEXT:    retq
 433 ;
 434 ; AVX512VL-LABEL: load_v4f64_v4i64:
 435 ; AVX512VL:       ## %bb.0:
 436 ; AVX512VL-NEXT:    vptestnmq %ymm0, %ymm0, %k1
 437 ; AVX512VL-NEXT:    vblendmpd (%rdi), %ymm1, %ymm0 {%k1}
 438 ; AVX512VL-NEXT:    retq
 439   %mask = icmp eq <4 x i64> %trigger, zeroinitializer
 440   %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> %mask, <4 x double> %dst)
 441   ret <4 x double> %res
 442 }
 443
 444 define <8 x double> @load_v8f64_v8i16(<8 x i16> %trigger, <8 x double>* %addr, <8 x double> %dst) {
 445 ; SSE2-LABEL: load_v8f64_v8i16:
 446 ; SSE2:       ## %bb.0:
 447 ; SSE2-NEXT:    pxor %xmm5, %xmm5
 448 ; SSE2-NEXT:    pcmpeqw %xmm0, %xmm5
 449 ; SSE2-NEXT:    movd %xmm5, %eax
 450 ; SSE2-NEXT:    testb $1, %al
 451 ; SSE2-NEXT:    je LBB5_2
 452 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
 453 ; SSE2-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
 454 ; SSE2-NEXT:  LBB5_2: ## %else
 455 ; SSE2-NEXT:    shrl $16, %eax
 456 ; SSE2-NEXT:    testb $1, %al
 457 ; SSE2-NEXT:    je LBB5_4
 458 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
 459 ; SSE2-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
 460 ; SSE2-NEXT:  LBB5_4: ## %else2
 461 ; SSE2-NEXT:    pxor %xmm5, %xmm5
 462 ; SSE2-NEXT:    pcmpeqw %xmm0, %xmm5
 463 ; SSE2-NEXT:    pextrw $2, %xmm5, %eax
 464 ; SSE2-NEXT:    testb $1, %al
 465 ; SSE2-NEXT:    je LBB5_6
 466 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
 467 ; SSE2-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
 468 ; SSE2-NEXT:  LBB5_6: ## %else5
 469 ; SSE2-NEXT:    pextrw $3, %xmm5, %eax
 470 ; SSE2-NEXT:    testb $1, %al
 471 ; SSE2-NEXT:    je LBB5_8
 472 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
 473 ; SSE2-NEXT:    movhps {{.*#+}} xmm2 = xmm2[0,1],mem[0,1]
 474 ; SSE2-NEXT:  LBB5_8: ## %else8
 475 ; SSE2-NEXT:    pxor %xmm5, %xmm5
 476 ; SSE2-NEXT:    pcmpeqw %xmm0, %xmm5
 477 ; SSE2-NEXT:    pextrw $4, %xmm5, %eax
 478 ; SSE2-NEXT:    testb $1, %al
 479 ; SSE2-NEXT:    je LBB5_10
 480 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
 481 ; SSE2-NEXT:    movlps {{.*#+}} xmm3 = mem[0,1],xmm3[2,3]
 482 ; SSE2-NEXT:  LBB5_10: ## %else11
 483 ; SSE2-NEXT:    pextrw $5, %xmm5, %eax
 484 ; SSE2-NEXT:    testb $1, %al
 485 ; SSE2-NEXT:    je LBB5_12
 486 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
 487 ; SSE2-NEXT:    movhps {{.*#+}} xmm3 = xmm3[0,1],mem[0,1]
 488 ; SSE2-NEXT:  LBB5_12: ## %else14
 489 ; SSE2-NEXT:    pxor %xmm5, %xmm5
 490 ; SSE2-NEXT:    pcmpeqw %xmm5, %xmm0
 491 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
 492 ; SSE2-NEXT:    testb $1, %al
 493 ; SSE2-NEXT:    je LBB5_14
 494 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
 495 ; SSE2-NEXT:    movlps {{.*#+}} xmm4 = mem[0,1],xmm4[2,3]
 496 ; SSE2-NEXT:  LBB5_14: ## %else17
 497 ; SSE2-NEXT:    pextrw $7, %xmm0, %eax
 498 ; SSE2-NEXT:    testb $1, %al
 499 ; SSE2-NEXT:    je LBB5_16
 500 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
 501 ; SSE2-NEXT:    movhps {{.*#+}} xmm4 = xmm4[0,1],mem[0,1]
 502 ; SSE2-NEXT:  LBB5_16: ## %else20
 503 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 504 ; SSE2-NEXT:    movaps %xmm2, %xmm1
 505 ; SSE2-NEXT:    movaps %xmm3, %xmm2
 506 ; SSE2-NEXT:    movaps %xmm4, %xmm3
 507 ; SSE2-NEXT:    retq
 508 ;
 509 ; SSE42-LABEL: load_v8f64_v8i16:
 510 ; SSE42:       ## %bb.0:
 511 ; SSE42-NEXT:    pxor %xmm5, %xmm5
 512 ; SSE42-NEXT:    pcmpeqw %xmm0, %xmm5
 513 ; SSE42-NEXT:    pextrb $0, %xmm5, %eax
 514 ; SSE42-NEXT:    testb $1, %al
 515 ; SSE42-NEXT:    je LBB5_2
 516 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
 517 ; SSE42-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
 518 ; SSE42-NEXT:  LBB5_2: ## %else
 519 ; SSE42-NEXT:    pextrb $2, %xmm5, %eax
 520 ; SSE42-NEXT:    testb $1, %al
 521 ; SSE42-NEXT:    je LBB5_4
 522 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
 523 ; SSE42-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
 524 ; SSE42-NEXT:  LBB5_4: ## %else2
 525 ; SSE42-NEXT:    pxor %xmm5, %xmm5
 526 ; SSE42-NEXT:    pcmpeqw %xmm0, %xmm5
 527 ; SSE42-NEXT:    pextrb $4, %xmm5, %eax
 528 ; SSE42-NEXT:    testb $1, %al
 529 ; SSE42-NEXT:    je LBB5_6
 530 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
 531 ; SSE42-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
 532 ; SSE42-NEXT:  LBB5_6: ## %else5
 533 ; SSE42-NEXT:    pextrb $6, %xmm5, %eax
 534 ; SSE42-NEXT:    testb $1, %al
 535 ; SSE42-NEXT:    je LBB5_8
 536 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
 537 ; SSE42-NEXT:    movhps {{.*#+}} xmm2 = xmm2[0,1],mem[0,1]
 538 ; SSE42-NEXT:  LBB5_8: ## %else8
 539 ; SSE42-NEXT:    pxor %xmm5, %xmm5
 540 ; SSE42-NEXT:    pcmpeqw %xmm0, %xmm5
 541 ; SSE42-NEXT:    pextrb $8, %xmm5, %eax
 542 ; SSE42-NEXT:    testb $1, %al
 543 ; SSE42-NEXT:    je LBB5_10
 544 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
 545 ; SSE42-NEXT:    movlps {{.*#+}} xmm3 = mem[0,1],xmm3[2,3]
 546 ; SSE42-NEXT:  LBB5_10: ## %else11
 547 ; SSE42-NEXT:    pextrb $10, %xmm5, %eax
 548 ; SSE42-NEXT:    testb $1, %al
 549 ; SSE42-NEXT:    je LBB5_12
 550 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
 551 ; SSE42-NEXT:    movhps {{.*#+}} xmm3 = xmm3[0,1],mem[0,1]
 552 ; SSE42-NEXT:  LBB5_12: ## %else14
 553 ; SSE42-NEXT:    pxor %xmm5, %xmm5
 554 ; SSE42-NEXT:    pcmpeqw %xmm5, %xmm0
 555 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
 556 ; SSE42-NEXT:    testb $1, %al
 557 ; SSE42-NEXT:    je LBB5_14
 558 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
 559 ; SSE42-NEXT:    movlps {{.*#+}} xmm4 = mem[0,1],xmm4[2,3]
 560 ; SSE42-NEXT:  LBB5_14: ## %else17
 561 ; SSE42-NEXT:    pextrb $14, %xmm0, %eax
 562 ; SSE42-NEXT:    testb $1, %al
 563 ; SSE42-NEXT:    je LBB5_16
 564 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
 565 ; SSE42-NEXT:    movhps {{.*#+}} xmm4 = xmm4[0,1],mem[0,1]
 566 ; SSE42-NEXT:  LBB5_16: ## %else20
 567 ; SSE42-NEXT:    movaps %xmm1, %xmm0
 568 ; SSE42-NEXT:    movaps %xmm2, %xmm1
 569 ; SSE42-NEXT:    movaps %xmm3, %xmm2
 570 ; SSE42-NEXT:    movaps %xmm4, %xmm3
 571 ; SSE42-NEXT:    retq
 572 ;
 573 ; AVX1-LABEL: load_v8f64_v8i16:
 574 ; AVX1:       ## %bb.0:
 575 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 576 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
 577 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm4, %xmm4
 578 ; AVX1-NEXT:    vpmovsxdq %xmm4, %xmm5
 579 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm4[2,3,0,1]
 580 ; AVX1-NEXT:    vpmovsxdq %xmm4, %xmm4
 581 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm5, %ymm4
 582 ; AVX1-NEXT:    vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
 583 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm0, %xmm0
 584 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm3
 585 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 586 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm0
 587 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm3, %ymm0
 588 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm3
 589 ; AVX1-NEXT:    vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
 590 ; AVX1-NEXT:    vmaskmovpd 32(%rdi), %ymm4, %ymm1
 591 ; AVX1-NEXT:    vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
 592 ; AVX1-NEXT:    retq
 593 ;
 594 ; AVX2-LABEL: load_v8f64_v8i16:
 595 ; AVX2:       ## %bb.0:
 596 ; AVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 597 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
 598 ; AVX2-NEXT:    vpcmpeqd %xmm3, %xmm4, %xmm4
 599 ; AVX2-NEXT:    vpmovsxdq %xmm4, %ymm4
 600 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
 601 ; AVX2-NEXT:    vpcmpeqd %xmm3, %xmm0, %xmm0
 602 ; AVX2-NEXT:    vpmovsxdq %xmm0, %ymm0
 603 ; AVX2-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm3
 604 ; AVX2-NEXT:    vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
 605 ; AVX2-NEXT:    vmaskmovpd 32(%rdi), %ymm4, %ymm1
 606 ; AVX2-NEXT:    vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
 607 ; AVX2-NEXT:    retq
 608 ;
 609 ; AVX512F-LABEL: load_v8f64_v8i16:
 610 ; AVX512F:       ## %bb.0:
 611 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 612 ; AVX512F-NEXT:    vpcmpeqw %xmm2, %xmm0, %xmm0
 613 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
 614 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k1
 615 ; AVX512F-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 616 ; AVX512F-NEXT:    retq
 617 ;
 618 ; AVX512VLDQ-LABEL: load_v8f64_v8i16:
 619 ; AVX512VLDQ:       ## %bb.0:
 620 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 621 ; AVX512VLDQ-NEXT:    vpcmpeqw %xmm2, %xmm0, %xmm0
 622 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm0, %ymm0
 623 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm0, %k1
 624 ; AVX512VLDQ-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 625 ; AVX512VLDQ-NEXT:    retq
 626 ;
 627 ; AVX512VLBW-LABEL: load_v8f64_v8i16:
 628 ; AVX512VLBW:       ## %bb.0:
 629 ; AVX512VLBW-NEXT:    vptestnmw %xmm0, %xmm0, %k1
 630 ; AVX512VLBW-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 631 ; AVX512VLBW-NEXT:    retq
 632   %mask = icmp eq <8 x i16> %trigger, zeroinitializer
 633   %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> %mask, <8 x double> %dst)
 634   ret <8 x double> %res
 635 }
 636
 637 define <8 x double> @load_v8f64_v8i64(<8 x i64> %trigger, <8 x double>* %addr, <8 x double> %dst) {
 638 ; SSE2-LABEL: load_v8f64_v8i64:
 639 ; SSE2:       ## %bb.0:
 640 ; SSE2-NEXT:    movdqa %xmm7, %xmm8
 641 ; SSE2-NEXT:    pxor %xmm7, %xmm7
 642 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm7
 643 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm7[1,0,3,2]
 644 ; SSE2-NEXT:    pand %xmm7, %xmm0
 645 ; SSE2-NEXT:    movd %xmm0, %eax
 646 ; SSE2-NEXT:    testb $1, %al
 647 ; SSE2-NEXT:    je LBB6_2
 648 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
 649 ; SSE2-NEXT:    movlps {{.*#+}} xmm4 = mem[0,1],xmm4[2,3]
 650 ; SSE2-NEXT:  LBB6_2: ## %else
 651 ; SSE2-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
 652 ; SSE2-NEXT:    movd %xmm0, %eax
 653 ; SSE2-NEXT:    shrl $16, %eax
 654 ; SSE2-NEXT:    testb $1, %al
 655 ; SSE2-NEXT:    je LBB6_4
 656 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
 657 ; SSE2-NEXT:    movhps {{.*#+}} xmm4 = xmm4[0,1],mem[0,1]
 658 ; SSE2-NEXT:  LBB6_4: ## %else2
 659 ; SSE2-NEXT:    pxor %xmm0, %xmm0
 660 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
 661 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
 662 ; SSE2-NEXT:    pand %xmm1, %xmm0
 663 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
 664 ; SSE2-NEXT:    testb $1, %al
 665 ; SSE2-NEXT:    je LBB6_6
 666 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
 667 ; SSE2-NEXT:    movlps {{.*#+}} xmm5 = mem[0,1],xmm5[2,3]
 668 ; SSE2-NEXT:  LBB6_6: ## %else5
 669 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
 670 ; SSE2-NEXT:    testb $1, %al
 671 ; SSE2-NEXT:    je LBB6_8
 672 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
 673 ; SSE2-NEXT:    movhps {{.*#+}} xmm5 = xmm5[0,1],mem[0,1]
 674 ; SSE2-NEXT:  LBB6_8: ## %else8
 675 ; SSE2-NEXT:    pxor %xmm0, %xmm0
 676 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
 677 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
 678 ; SSE2-NEXT:    pand %xmm2, %xmm0
 679 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
 680 ; SSE2-NEXT:    testb $1, %al
 681 ; SSE2-NEXT:    je LBB6_10
 682 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
 683 ; SSE2-NEXT:    movlps {{.*#+}} xmm6 = mem[0,1],xmm6[2,3]
 684 ; SSE2-NEXT:  LBB6_10: ## %else11
 685 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
 686 ; SSE2-NEXT:    testb $1, %al
 687 ; SSE2-NEXT:    je LBB6_12
 688 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
 689 ; SSE2-NEXT:    movhps {{.*#+}} xmm6 = xmm6[0,1],mem[0,1]
 690 ; SSE2-NEXT:  LBB6_12: ## %else14
 691 ; SSE2-NEXT:    pxor %xmm0, %xmm0
 692 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm3
 693 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[1,0,3,2]
 694 ; SSE2-NEXT:    pand %xmm3, %xmm0
 695 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
 696 ; SSE2-NEXT:    testb $1, %al
 697 ; SSE2-NEXT:    je LBB6_14
 698 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
 699 ; SSE2-NEXT:    movlps {{.*#+}} xmm8 = mem[0,1],xmm8[2,3]
 700 ; SSE2-NEXT:  LBB6_14: ## %else17
 701 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
 702 ; SSE2-NEXT:    testb $1, %al
 703 ; SSE2-NEXT:    je LBB6_16
 704 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
 705 ; SSE2-NEXT:    movhps {{.*#+}} xmm8 = xmm8[0,1],mem[0,1]
 706 ; SSE2-NEXT:  LBB6_16: ## %else20
 707 ; SSE2-NEXT:    movaps %xmm4, %xmm0
 708 ; SSE2-NEXT:    movaps %xmm5, %xmm1
 709 ; SSE2-NEXT:    movaps %xmm6, %xmm2
 710 ; SSE2-NEXT:    movaps %xmm8, %xmm3
 711 ; SSE2-NEXT:    retq
 712 ;
 713 ; SSE42-LABEL: load_v8f64_v8i64:
 714 ; SSE42:       ## %bb.0:
 715 ; SSE42-NEXT:    movdqa %xmm7, %xmm8
 716 ; SSE42-NEXT:    pxor %xmm7, %xmm7
 717 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm7
 718 ; SSE42-NEXT:    pextrb $0, %xmm7, %eax
 719 ; SSE42-NEXT:    testb $1, %al
 720 ; SSE42-NEXT:    je LBB6_2
 721 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
 722 ; SSE42-NEXT:    movlps {{.*#+}} xmm4 = mem[0,1],xmm4[2,3]
 723 ; SSE42-NEXT:  LBB6_2: ## %else
 724 ; SSE42-NEXT:    pextrb $8, %xmm7, %eax
 725 ; SSE42-NEXT:    testb $1, %al
 726 ; SSE42-NEXT:    je LBB6_4
 727 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
 728 ; SSE42-NEXT:    movhps {{.*#+}} xmm4 = xmm4[0,1],mem[0,1]
 729 ; SSE42-NEXT:  LBB6_4: ## %else2
 730 ; SSE42-NEXT:    pxor %xmm0, %xmm0
 731 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm1
 732 ; SSE42-NEXT:    pextrb $0, %xmm1, %eax
 733 ; SSE42-NEXT:    testb $1, %al
 734 ; SSE42-NEXT:    je LBB6_6
 735 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
 736 ; SSE42-NEXT:    movlps {{.*#+}} xmm5 = mem[0,1],xmm5[2,3]
 737 ; SSE42-NEXT:  LBB6_6: ## %else5
 738 ; SSE42-NEXT:    pextrb $8, %xmm1, %eax
 739 ; SSE42-NEXT:    testb $1, %al
 740 ; SSE42-NEXT:    je LBB6_8
 741 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
 742 ; SSE42-NEXT:    movhps {{.*#+}} xmm5 = xmm5[0,1],mem[0,1]
 743 ; SSE42-NEXT:  LBB6_8: ## %else8
 744 ; SSE42-NEXT:    pxor %xmm0, %xmm0
 745 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm2
 746 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
 747 ; SSE42-NEXT:    testb $1, %al
 748 ; SSE42-NEXT:    je LBB6_10
 749 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
 750 ; SSE42-NEXT:    movlps {{.*#+}} xmm6 = mem[0,1],xmm6[2,3]
 751 ; SSE42-NEXT:  LBB6_10: ## %else11
 752 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
 753 ; SSE42-NEXT:    testb $1, %al
 754 ; SSE42-NEXT:    je LBB6_12
 755 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
 756 ; SSE42-NEXT:    movhps {{.*#+}} xmm6 = xmm6[0,1],mem[0,1]
 757 ; SSE42-NEXT:  LBB6_12: ## %else14
 758 ; SSE42-NEXT:    pxor %xmm0, %xmm0
 759 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm3
 760 ; SSE42-NEXT:    pextrb $0, %xmm3, %eax
 761 ; SSE42-NEXT:    testb $1, %al
 762 ; SSE42-NEXT:    je LBB6_14
 763 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
 764 ; SSE42-NEXT:    movlps {{.*#+}} xmm8 = mem[0,1],xmm8[2,3]
 765 ; SSE42-NEXT:  LBB6_14: ## %else17
 766 ; SSE42-NEXT:    pextrb $8, %xmm3, %eax
 767 ; SSE42-NEXT:    testb $1, %al
 768 ; SSE42-NEXT:    je LBB6_16
 769 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
 770 ; SSE42-NEXT:    movhps {{.*#+}} xmm8 = xmm8[0,1],mem[0,1]
 771 ; SSE42-NEXT:  LBB6_16: ## %else20
 772 ; SSE42-NEXT:    movaps %xmm4, %xmm0
 773 ; SSE42-NEXT:    movaps %xmm5, %xmm1
 774 ; SSE42-NEXT:    movaps %xmm6, %xmm2
 775 ; SSE42-NEXT:    movaps %xmm8, %xmm3
 776 ; SSE42-NEXT:    retq
 777 ;
 778 ; AVX1-LABEL: load_v8f64_v8i64:
 779 ; AVX1:       ## %bb.0:
 780 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
 781 ; AVX1-NEXT:    vpxor %xmm5, %xmm5, %xmm5
 782 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm4, %xmm4
 783 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm1, %xmm1
 784 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm1, %ymm1
 785 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 786 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm4, %xmm4
 787 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm0, %xmm0
 788 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm0, %ymm0
 789 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm4
 790 ; AVX1-NEXT:    vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
 791 ; AVX1-NEXT:    vmaskmovpd 32(%rdi), %ymm1, %ymm2
 792 ; AVX1-NEXT:    vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
 793 ; AVX1-NEXT:    retq
 794 ;
 795 ; AVX2-LABEL: load_v8f64_v8i64:
 796 ; AVX2:       ## %bb.0:
 797 ; AVX2-NEXT:    vpxor %xmm4, %xmm4, %xmm4
 798 ; AVX2-NEXT:    vpcmpeqq %ymm4, %ymm1, %ymm1
 799 ; AVX2-NEXT:    vpcmpeqq %ymm4, %ymm0, %ymm0
 800 ; AVX2-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm4
 801 ; AVX2-NEXT:    vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
 802 ; AVX2-NEXT:    vmaskmovpd 32(%rdi), %ymm1, %ymm2
 803 ; AVX2-NEXT:    vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
 804 ; AVX2-NEXT:    retq
 805 ;
 806 ; AVX512-LABEL: load_v8f64_v8i64:
 807 ; AVX512:       ## %bb.0:
 808 ; AVX512-NEXT:    vptestnmq %zmm0, %zmm0, %k1
 809 ; AVX512-NEXT:    vblendmpd (%rdi), %zmm1, %zmm0 {%k1}
 810 ; AVX512-NEXT:    retq
 811   %mask = icmp eq <8 x i64> %trigger, zeroinitializer
 812   %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> %mask, <8 x double> %dst)
 813   ret <8 x double> %res
 814 }
 815
 816 ;
 817 ; vXf32
 818 ;
 819
 820 define <2 x float> @load_v2f32_v2i32(<2 x i32> %trigger, <2 x float>* %addr, <2 x float> %dst) {
 821 ; SSE2-LABEL: load_v2f32_v2i32:
 822 ; SSE2:       ## %bb.0:
 823 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
 824 ; SSE2-NEXT:    pxor %xmm2, %xmm2
 825 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
 826 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
 827 ; SSE2-NEXT:    pand %xmm2, %xmm0
 828 ; SSE2-NEXT:    movd %xmm0, %eax
 829 ; SSE2-NEXT:    testb $1, %al
 830 ; SSE2-NEXT:    je LBB7_2
 831 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
 832 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
 833 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm2[0],xmm1[1,2,3]
 834 ; SSE2-NEXT:  LBB7_2: ## %else
 835 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
 836 ; SSE2-NEXT:    testb $1, %al
 837 ; SSE2-NEXT:    je LBB7_4
 838 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
 839 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
 840 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
 841 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 842 ; SSE2-NEXT:    movaps %xmm0, %xmm1
 843 ; SSE2-NEXT:  LBB7_4: ## %else2
 844 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 845 ; SSE2-NEXT:    retq
 846 ;
 847 ; SSE42-LABEL: load_v2f32_v2i32:
 848 ; SSE42:       ## %bb.0:
 849 ; SSE42-NEXT:    pxor %xmm2, %xmm2
 850 ; SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 851 ; SSE42-NEXT:    pcmpeqq %xmm2, %xmm0
 852 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
 853 ; SSE42-NEXT:    testb $1, %al
 854 ; SSE42-NEXT:    je LBB7_2
 855 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
 856 ; SSE42-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero
 857 ; SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3,4,5,6,7]
 858 ; SSE42-NEXT:  LBB7_2: ## %else
 859 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
 860 ; SSE42-NEXT:    testb $1, %al
 861 ; SSE42-NEXT:    je LBB7_4
 862 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
 863 ; SSE42-NEXT:    insertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]
 864 ; SSE42-NEXT:  LBB7_4: ## %else2
 865 ; SSE42-NEXT:    movaps %xmm1, %xmm0
 866 ; SSE42-NEXT:    retq
 867 ;
 868 ; AVX1-LABEL: load_v2f32_v2i32:
 869 ; AVX1:       ## %bb.0:
 870 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 871 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 872 ; AVX1-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
 873 ; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
 874 ; AVX1-NEXT:    vmaskmovps (%rdi), %xmm0, %xmm2
 875 ; AVX1-NEXT:    vblendvps %xmm0, %xmm2, %xmm1, %xmm0
 876 ; AVX1-NEXT:    retq
 877 ;
 878 ; AVX2-LABEL: load_v2f32_v2i32:
 879 ; AVX2:       ## %bb.0:
 880 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 881 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
 882 ; AVX2-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
 883 ; AVX2-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
 884 ; AVX2-NEXT:    vmaskmovps (%rdi), %xmm0, %xmm2
 885 ; AVX2-NEXT:    vblendvps %xmm0, %xmm2, %xmm1, %xmm0
 886 ; AVX2-NEXT:    retq
 887 ;
 888 ; AVX512F-LABEL: load_v2f32_v2i32:
 889 ; AVX512F:       ## %bb.0:
 890 ; AVX512F-NEXT:    ## kill: def $xmm1 killed $xmm1 def $zmm1
 891 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 892 ; AVX512F-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
 893 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
 894 ; AVX512F-NEXT:    kshiftlw $14, %k0, %k0
 895 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
 896 ; AVX512F-NEXT:    vblendmps (%rdi), %zmm1, %zmm0 {%k1}
 897 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
 898 ; AVX512F-NEXT:    vzeroupper
 899 ; AVX512F-NEXT:    retq
 900 ;
 901 ; AVX512VL-LABEL: load_v2f32_v2i32:
 902 ; AVX512VL:       ## %bb.0:
 903 ; AVX512VL-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 904 ; AVX512VL-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
 905 ; AVX512VL-NEXT:    vptestnmq %xmm0, %xmm0, %k1
 906 ; AVX512VL-NEXT:    vblendmps (%rdi), %xmm1, %xmm0 {%k1}
 907 ; AVX512VL-NEXT:    retq
 908   %mask = icmp eq <2 x i32> %trigger, zeroinitializer
 909   %res = call <2 x float> @llvm.masked.load.v2f32.p0v2f32(<2 x float>* %addr, i32 4, <2 x i1> %mask, <2 x float> %dst)
 910   ret <2 x float> %res
 911 }
 912
 913 define <2 x float> @load_v2f32_v2i32_undef(<2 x i32> %trigger, <2 x float>* %addr) {
 914 ; SSE2-LABEL: load_v2f32_v2i32_undef:
 915 ; SSE2:       ## %bb.0:
 916 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
 917 ; SSE2-NEXT:    pxor %xmm2, %xmm2
 918 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
 919 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[1,0,3,2]
 920 ; SSE2-NEXT:    pand %xmm2, %xmm1
 921 ; SSE2-NEXT:    movd %xmm1, %eax
 922 ; SSE2-NEXT:    testb $1, %al
 923 ; SSE2-NEXT:    ## implicit-def: $xmm0
 924 ; SSE2-NEXT:    je LBB8_2
 925 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
 926 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
 927 ; SSE2-NEXT:  LBB8_2: ## %else
 928 ; SSE2-NEXT:    pextrw $4, %xmm1, %eax
 929 ; SSE2-NEXT:    testb $1, %al
 930 ; SSE2-NEXT:    je LBB8_4
 931 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
 932 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
 933 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 934 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
 935 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 936 ; SSE2-NEXT:  LBB8_4: ## %else2
 937 ; SSE2-NEXT:    retq
 938 ;
 939 ; SSE42-LABEL: load_v2f32_v2i32_undef:
 940 ; SSE42:       ## %bb.0:
 941 ; SSE42-NEXT:    movdqa %xmm0, %xmm1
 942 ; SSE42-NEXT:    pxor %xmm0, %xmm0
 943 ; SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,3],xmm1[4,5],xmm0[6,7]
 944 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm1
 945 ; SSE42-NEXT:    pextrb $0, %xmm1, %eax
 946 ; SSE42-NEXT:    testb $1, %al
 947 ; SSE42-NEXT:    ## implicit-def: $xmm0
 948 ; SSE42-NEXT:    je LBB8_2
 949 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
 950 ; SSE42-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
 951 ; SSE42-NEXT:  LBB8_2: ## %else
 952 ; SSE42-NEXT:    pextrb $8, %xmm1, %eax
 953 ; SSE42-NEXT:    testb $1, %al
 954 ; SSE42-NEXT:    je LBB8_4
 955 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
 956 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]
 957 ; SSE42-NEXT:  LBB8_4: ## %else2
 958 ; SSE42-NEXT:    retq
 959 ;
 960 ; AVX1-LABEL: load_v2f32_v2i32_undef:
 961 ; AVX1:       ## %bb.0:
 962 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 963 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 964 ; AVX1-NEXT:    vpcmpeqq %xmm1, %xmm0, %xmm0
 965 ; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
 966 ; AVX1-NEXT:    vmaskmovps (%rdi), %xmm0, %xmm0
 967 ; AVX1-NEXT:    retq
 968 ;
 969 ; AVX2-LABEL: load_v2f32_v2i32_undef:
 970 ; AVX2:       ## %bb.0:
 971 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 972 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 973 ; AVX2-NEXT:    vpcmpeqq %xmm1, %xmm0, %xmm0
 974 ; AVX2-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
 975 ; AVX2-NEXT:    vmaskmovps (%rdi), %xmm0, %xmm0
 976 ; AVX2-NEXT:    retq
 977 ;
 978 ; AVX512F-LABEL: load_v2f32_v2i32_undef:
 979 ; AVX512F:       ## %bb.0:
 980 ; AVX512F-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 981 ; AVX512F-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 982 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
 983 ; AVX512F-NEXT:    kshiftlw $14, %k0, %k0
 984 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
 985 ; AVX512F-NEXT:    vmovups (%rdi), %zmm0 {%k1} {z}
 986 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
 987 ; AVX512F-NEXT:    vzeroupper
 988 ; AVX512F-NEXT:    retq
 989 ;
 990 ; AVX512VL-LABEL: load_v2f32_v2i32_undef:
 991 ; AVX512VL:       ## %bb.0:
 992 ; AVX512VL-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 993 ; AVX512VL-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 994 ; AVX512VL-NEXT:    vptestnmq %xmm0, %xmm0, %k1
 995 ; AVX512VL-NEXT:    vmovups (%rdi), %xmm0 {%k1} {z}
 996 ; AVX512VL-NEXT:    retq
 997   %mask = icmp eq <2 x i32> %trigger, zeroinitializer
 998   %res = call <2 x float> @llvm.masked.load.v2f32.p0v2f32(<2 x float>* %addr, i32 4, <2 x i1> %mask, <2 x float>undef)
 999   ret <2 x float> %res
1000 }
1001
1002 define <4 x float> @load_v4f32_v4i32(<4 x i32> %trigger, <4 x float>* %addr, <4 x float> %dst) {
1003 ; SSE2-LABEL: load_v4f32_v4i32:
1004 ; SSE2:       ## %bb.0:
1005 ; SSE2-NEXT:    pxor %xmm2, %xmm2
1006 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
1007 ; SSE2-NEXT:    movd %xmm2, %eax
1008 ; SSE2-NEXT:    testb $1, %al
1009 ; SSE2-NEXT:    je LBB9_2
1010 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
1011 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1012 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1013 ; SSE2-NEXT:  LBB9_2: ## %else
1014 ; SSE2-NEXT:    pextrw $2, %xmm2, %eax
1015 ; SSE2-NEXT:    testb $1, %al
1016 ; SSE2-NEXT:    je LBB9_4
1017 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
1018 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
1019 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[0,0]
1020 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[2,3]
1021 ; SSE2-NEXT:    movaps %xmm2, %xmm1
1022 ; SSE2-NEXT:  LBB9_4: ## %else2
1023 ; SSE2-NEXT:    xorps %xmm2, %xmm2
1024 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm0
1025 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1026 ; SSE2-NEXT:    testb $1, %al
1027 ; SSE2-NEXT:    je LBB9_6
1028 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
1029 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
1030 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[3,0]
1031 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
1032 ; SSE2-NEXT:  LBB9_6: ## %else5
1033 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
1034 ; SSE2-NEXT:    testb $1, %al
1035 ; SSE2-NEXT:    je LBB9_8
1036 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
1037 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1038 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
1039 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
1040 ; SSE2-NEXT:  LBB9_8: ## %else8
1041 ; SSE2-NEXT:    movaps %xmm1, %xmm0
1042 ; SSE2-NEXT:    retq
1043 ;
1044 ; SSE42-LABEL: load_v4f32_v4i32:
1045 ; SSE42:       ## %bb.0:
1046 ; SSE42-NEXT:    pxor %xmm2, %xmm2
1047 ; SSE42-NEXT:    pcmpeqd %xmm0, %xmm2
1048 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
1049 ; SSE42-NEXT:    testb $1, %al
1050 ; SSE42-NEXT:    je LBB9_2
1051 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
1052 ; SSE42-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1053 ; SSE42-NEXT:    blendps {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1054 ; SSE42-NEXT:  LBB9_2: ## %else
1055 ; SSE42-NEXT:    pextrb $4, %xmm2, %eax
1056 ; SSE42-NEXT:    testb $1, %al
1057 ; SSE42-NEXT:    je LBB9_4
1058 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
1059 ; SSE42-NEXT:    insertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]
1060 ; SSE42-NEXT:  LBB9_4: ## %else2
1061 ; SSE42-NEXT:    pxor %xmm2, %xmm2
1062 ; SSE42-NEXT:    pcmpeqd %xmm2, %xmm0
1063 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
1064 ; SSE42-NEXT:    testb $1, %al
1065 ; SSE42-NEXT:    je LBB9_6
1066 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
1067 ; SSE42-NEXT:    insertps {{.*#+}} xmm1 = xmm1[0,1],mem[0],xmm1[3]
1068 ; SSE42-NEXT:  LBB9_6: ## %else5
1069 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
1070 ; SSE42-NEXT:    testb $1, %al
1071 ; SSE42-NEXT:    je LBB9_8
1072 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
1073 ; SSE42-NEXT:    insertps {{.*#+}} xmm1 = xmm1[0,1,2],mem[0]
1074 ; SSE42-NEXT:  LBB9_8: ## %else8
1075 ; SSE42-NEXT:    movaps %xmm1, %xmm0
1076 ; SSE42-NEXT:    retq
1077 ;
1078 ; AVX1OR2-LABEL: load_v4f32_v4i32:
1079 ; AVX1OR2:       ## %bb.0:
1080 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1081 ; AVX1OR2-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
1082 ; AVX1OR2-NEXT:    vmaskmovps (%rdi), %xmm0, %xmm2
1083 ; AVX1OR2-NEXT:    vblendvps %xmm0, %xmm2, %xmm1, %xmm0
1084 ; AVX1OR2-NEXT:    retq
1085 ;
1086 ; AVX512F-LABEL: load_v4f32_v4i32:
1087 ; AVX512F:       ## %bb.0:
1088 ; AVX512F-NEXT:    ## kill: def $xmm1 killed $xmm1 def $zmm1
1089 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
1090 ; AVX512F-NEXT:    vptestnmd %zmm0, %zmm0, %k0
1091 ; AVX512F-NEXT:    kshiftlw $12, %k0, %k0
1092 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
1093 ; AVX512F-NEXT:    vblendmps (%rdi), %zmm1, %zmm0 {%k1}
1094 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
1095 ; AVX512F-NEXT:    vzeroupper
1096 ; AVX512F-NEXT:    retq
1097 ;
1098 ; AVX512VL-LABEL: load_v4f32_v4i32:
1099 ; AVX512VL:       ## %bb.0:
1100 ; AVX512VL-NEXT:    vptestnmd %xmm0, %xmm0, %k1
1101 ; AVX512VL-NEXT:    vblendmps (%rdi), %xmm1, %xmm0 {%k1}
1102 ; AVX512VL-NEXT:    retq
1103   %mask = icmp eq <4 x i32> %trigger, zeroinitializer
1104   %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> %mask, <4 x float> %dst)
1105   ret <4 x float> %res
1106 }
1107
1108 define <8 x float> @load_v8f32_v8i1_zero(<8 x i1> %mask, <8 x float>* %addr) {
1109 ; SSE2-LABEL: load_v8f32_v8i1_zero:
1110 ; SSE2:       ## %bb.0:
1111 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1112 ; SSE2-NEXT:    movd %xmm0, %eax
1113 ; SSE2-NEXT:    pxor %xmm0, %xmm0
1114 ; SSE2-NEXT:    testb $1, %al
1115 ; SSE2-NEXT:    xorps %xmm1, %xmm1
1116 ; SSE2-NEXT:    je LBB10_2
1117 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
1118 ; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
1119 ; SSE2-NEXT:    xorps %xmm1, %xmm1
1120 ; SSE2-NEXT:  LBB10_2: ## %else
1121 ; SSE2-NEXT:    shrl $16, %eax
1122 ; SSE2-NEXT:    testb $1, %al
1123 ; SSE2-NEXT:    je LBB10_4
1124 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
1125 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1126 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[0,0]
1127 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[2,0],xmm0[2,3]
1128 ; SSE2-NEXT:    movaps %xmm3, %xmm0
1129 ; SSE2-NEXT:  LBB10_4: ## %else2
1130 ; SSE2-NEXT:    pextrw $2, %xmm2, %eax
1131 ; SSE2-NEXT:    testb $1, %al
1132 ; SSE2-NEXT:    je LBB10_6
1133 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
1134 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1135 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
1136 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[0,2]
1137 ; SSE2-NEXT:  LBB10_6: ## %else5
1138 ; SSE2-NEXT:    pextrw $3, %xmm2, %eax
1139 ; SSE2-NEXT:    testb $1, %al
1140 ; SSE2-NEXT:    je LBB10_8
1141 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
1142 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1143 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[2,0]
1144 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,0]
1145 ; SSE2-NEXT:  LBB10_8: ## %else8
1146 ; SSE2-NEXT:    pextrw $4, %xmm2, %eax
1147 ; SSE2-NEXT:    testb $1, %al
1148 ; SSE2-NEXT:    je LBB10_10
1149 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
1150 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1151 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1152 ; SSE2-NEXT:  LBB10_10: ## %else11
1153 ; SSE2-NEXT:    pextrw $5, %xmm2, %eax
1154 ; SSE2-NEXT:    testb $1, %al
1155 ; SSE2-NEXT:    je LBB10_12
1156 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
1157 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1158 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[0,0]
1159 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[2,0],xmm1[2,3]
1160 ; SSE2-NEXT:    movaps %xmm3, %xmm1
1161 ; SSE2-NEXT:  LBB10_12: ## %else14
1162 ; SSE2-NEXT:    pextrw $6, %xmm2, %eax
1163 ; SSE2-NEXT:    testb $1, %al
1164 ; SSE2-NEXT:    je LBB10_14
1165 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
1166 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1167 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[3,0]
1168 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[0,2]
1169 ; SSE2-NEXT:  LBB10_14: ## %else17
1170 ; SSE2-NEXT:    pextrw $7, %xmm2, %eax
1171 ; SSE2-NEXT:    testb $1, %al
1172 ; SSE2-NEXT:    je LBB10_16
1173 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
1174 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
1175 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[2,0]
1176 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,0]
1177 ; SSE2-NEXT:  LBB10_16: ## %else20
1178 ; SSE2-NEXT:    retq
1179 ;
1180 ; SSE42-LABEL: load_v8f32_v8i1_zero:
1181 ; SSE42:       ## %bb.0:
1182 ; SSE42-NEXT:    movdqa %xmm0, %xmm2
1183 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
1184 ; SSE42-NEXT:    pxor %xmm0, %xmm0
1185 ; SSE42-NEXT:    testb $1, %al
1186 ; SSE42-NEXT:    xorps %xmm1, %xmm1
1187 ; SSE42-NEXT:    je LBB10_2
1188 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
1189 ; SSE42-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
1190 ; SSE42-NEXT:    xorps %xmm1, %xmm1
1191 ; SSE42-NEXT:  LBB10_2: ## %else
1192 ; SSE42-NEXT:    pextrb $2, %xmm2, %eax
1193 ; SSE42-NEXT:    testb $1, %al
1194 ; SSE42-NEXT:    je LBB10_4
1195 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
1196 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]
1197 ; SSE42-NEXT:  LBB10_4: ## %else2
1198 ; SSE42-NEXT:    pextrb $4, %xmm2, %eax
1199 ; SSE42-NEXT:    testb $1, %al
1200 ; SSE42-NEXT:    je LBB10_6
1201 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
1202 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
1203 ; SSE42-NEXT:  LBB10_6: ## %else5
1204 ; SSE42-NEXT:    pextrb $6, %xmm2, %eax
1205 ; SSE42-NEXT:    testb $1, %al
1206 ; SSE42-NEXT:    je LBB10_8
1207 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
1208 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1,2],mem[0]
1209 ; SSE42-NEXT:  LBB10_8: ## %else8
1210 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
1211 ; SSE42-NEXT:    testb $1, %al
1212 ; SSE42-NEXT:    je LBB10_10
1213 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
1214 ; SSE42-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
1215 ; SSE42-NEXT:    blendps {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
1216 ; SSE42-NEXT:  LBB10_10: ## %else11
1217 ; SSE42-NEXT:    pextrb $10, %xmm2, %eax
1218 ; SSE42-NEXT:    testb $1, %al
1219 ; SSE42-NEXT:    je LBB10_12
1220 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
1221 ; SSE42-NEXT:    insertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]
1222 ; SSE42-NEXT:  LBB10_12: ## %else14
1223 ; SSE42-NEXT:    pextrb $12, %xmm2, %eax
1224 ; SSE42-NEXT:    testb $1, %al
1225 ; SSE42-NEXT:    je LBB10_14
1226 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
1227 ; SSE42-NEXT:    insertps {{.*#+}} xmm1 = xmm1[0,1],mem[0],xmm1[3]
1228 ; SSE42-NEXT:  LBB10_14: ## %else17
1229 ; SSE42-NEXT:    pextrb $14, %xmm2, %eax
1230 ; SSE42-NEXT:    testb $1, %al
1231 ; SSE42-NEXT:    je LBB10_16
1232 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
1233 ; SSE42-NEXT:    insertps {{.*#+}} xmm1 = xmm1[0,1,2],mem[0]
1234 ; SSE42-NEXT:  LBB10_16: ## %else20
1235 ; SSE42-NEXT:    retq
1236 ;
1237 ; AVX1-LABEL: load_v8f32_v8i1_zero:
1238 ; AVX1:       ## %bb.0:
1239 ; AVX1-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1240 ; AVX1-NEXT:    vpslld $31, %xmm1, %xmm1
1241 ; AVX1-NEXT:    vpsrad $31, %xmm1, %xmm1
1242 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
1243 ; AVX1-NEXT:    vpslld $31, %xmm0, %xmm0
1244 ; AVX1-NEXT:    vpsrad $31, %xmm0, %xmm0
1245 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1246 ; AVX1-NEXT:    vmaskmovps (%rdi), %ymm0, %ymm0
1247 ; AVX1-NEXT:    retq
1248 ;
1249 ; AVX2-LABEL: load_v8f32_v8i1_zero:
1250 ; AVX2:       ## %bb.0:
1251 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
1252 ; AVX2-NEXT:    vpslld $31, %ymm0, %ymm0
1253 ; AVX2-NEXT:    vpsrad $31, %ymm0, %ymm0
1254 ; AVX2-NEXT:    vmaskmovps (%rdi), %ymm0, %ymm0
1255 ; AVX2-NEXT:    retq
1256 ;
1257 ; AVX512F-LABEL: load_v8f32_v8i1_zero:
1258 ; AVX512F:       ## %bb.0:
1259 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
1260 ; AVX512F-NEXT:    vpsllq $63, %zmm0, %zmm0
1261 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k1
1262 ; AVX512F-NEXT:    vmovups (%rdi), %zmm0 {%k1} {z}
1263 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
1264 ; AVX512F-NEXT:    retq
1265 ;
1266 ; AVX512VLDQ-LABEL: load_v8f32_v8i1_zero:
1267 ; AVX512VLDQ:       ## %bb.0:
1268 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm0, %ymm0
1269 ; AVX512VLDQ-NEXT:    vpslld $31, %ymm0, %ymm0
1270 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm0, %k1
1271 ; AVX512VLDQ-NEXT:    vmovaps (%rdi), %ymm0 {%k1} {z}
1272 ; AVX512VLDQ-NEXT:    retq
1273 ;
1274 ; AVX512VLBW-LABEL: load_v8f32_v8i1_zero:
1275 ; AVX512VLBW:       ## %bb.0:
1276 ; AVX512VLBW-NEXT:    vpsllw $15, %xmm0, %xmm0
1277 ; AVX512VLBW-NEXT:    vpmovw2m %xmm0, %k1
1278 ; AVX512VLBW-NEXT:    vmovaps (%rdi), %ymm0 {%k1} {z}
1279 ; AVX512VLBW-NEXT:    retq
1280   %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 32, <8 x i1> %mask, <8 x float> zeroinitializer)
1281   ret <8 x float> %res
1282 }
1283
1284 define <8 x float> @load_v8f32_v8i32(<8 x i32> %trigger, <8 x float>* %addr, <8 x float> %dst) {
1285 ; SSE2-LABEL: load_v8f32_v8i32:
1286 ; SSE2:       ## %bb.0:
1287 ; SSE2-NEXT:    pxor %xmm4, %xmm4
1288 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm4
1289 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
1290 ; SSE2-NEXT:    packssdw %xmm0, %xmm5
1291 ; SSE2-NEXT:    movd %xmm5, %eax
1292 ; SSE2-NEXT:    testb $1, %al
1293 ; SSE2-NEXT:    je LBB11_2
1294 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
1295 ; SSE2-NEXT:    movss {{.*#+}} xmm5 = mem[0],zero,zero,zero
1296 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = xmm5[0],xmm2[1,2,3]
1297 ; SSE2-NEXT:  LBB11_2: ## %else
1298 ; SSE2-NEXT:    psrlq $16, %xmm4
1299 ; SSE2-NEXT:    movd %xmm4, %eax
1300 ; SSE2-NEXT:    shrl $16, %eax
1301 ; SSE2-NEXT:    testb $1, %al
1302 ; SSE2-NEXT:    je LBB11_4
1303 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
1304 ; SSE2-NEXT:    movss {{.*#+}} xmm4 = mem[0],zero,zero,zero
1305 ; SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[0,0],xmm2[0,0]
1306 ; SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[2,0],xmm2[2,3]
1307 ; SSE2-NEXT:    movaps %xmm4, %xmm2
1308 ; SSE2-NEXT:  LBB11_4: ## %else2
1309 ; SSE2-NEXT:    xorps %xmm4, %xmm4
1310 ; SSE2-NEXT:    pcmpeqd %xmm4, %xmm0
1311 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1312 ; SSE2-NEXT:    testb $1, %al
1313 ; SSE2-NEXT:    je LBB11_6
1314 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
1315 ; SSE2-NEXT:    movss {{.*#+}} xmm4 = mem[0],zero,zero,zero
1316 ; SSE2-NEXT:    shufps {{.*#+}} xmm4 = xmm4[0,0],xmm2[3,0]
1317 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm4[0,2]
1318 ; SSE2-NEXT:  LBB11_6: ## %else5
1319 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
1320 ; SSE2-NEXT:    testb $1, %al
1321 ; SSE2-NEXT:    je LBB11_8
1322 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
1323 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1324 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm2[2,0]
1325 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm0[2,0]
1326 ; SSE2-NEXT:  LBB11_8: ## %else8
1327 ; SSE2-NEXT:    xorps %xmm0, %xmm0
1328 ; SSE2-NEXT:    pcmpeqd %xmm1, %xmm0
1329 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
1330 ; SSE2-NEXT:    testb $1, %al
1331 ; SSE2-NEXT:    je LBB11_10
1332 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
1333 ; SSE2-NEXT:    movss {{.*#+}} xmm4 = mem[0],zero,zero,zero
1334 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = xmm4[0],xmm3[1,2,3]
1335 ; SSE2-NEXT:  LBB11_10: ## %else11
1336 ; SSE2-NEXT:    pextrw $2, %xmm0, %eax
1337 ; SSE2-NEXT:    testb $1, %al
1338 ; SSE2-NEXT:    je LBB11_12
1339 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
1340 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1341 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm3[0,0]
1342 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm3[2,3]
1343 ; SSE2-NEXT:    movaps %xmm0, %xmm3
1344 ; SSE2-NEXT:  LBB11_12: ## %else14
1345 ; SSE2-NEXT:    xorps %xmm0, %xmm0
1346 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
1347 ; SSE2-NEXT:    pextrw $4, %xmm1, %eax
1348 ; SSE2-NEXT:    testb $1, %al
1349 ; SSE2-NEXT:    je LBB11_14
1350 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
1351 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1352 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm3[3,0]
1353 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm0[0,2]
1354 ; SSE2-NEXT:  LBB11_14: ## %else17
1355 ; SSE2-NEXT:    pextrw $6, %xmm1, %eax
1356 ; SSE2-NEXT:    testb $1, %al
1357 ; SSE2-NEXT:    je LBB11_16
1358 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
1359 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1360 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm3[2,0]
1361 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm0[2,0]
1362 ; SSE2-NEXT:  LBB11_16: ## %else20
1363 ; SSE2-NEXT:    movaps %xmm2, %xmm0
1364 ; SSE2-NEXT:    movaps %xmm3, %xmm1
1365 ; SSE2-NEXT:    retq
1366 ;
1367 ; SSE42-LABEL: load_v8f32_v8i32:
1368 ; SSE42:       ## %bb.0:
1369 ; SSE42-NEXT:    pxor %xmm4, %xmm4
1370 ; SSE42-NEXT:    pcmpeqd %xmm0, %xmm4
1371 ; SSE42-NEXT:    pextrb $0, %xmm4, %eax
1372 ; SSE42-NEXT:    testb $1, %al
1373 ; SSE42-NEXT:    je LBB11_2
1374 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
1375 ; SSE42-NEXT:    movss {{.*#+}} xmm5 = mem[0],zero,zero,zero
1376 ; SSE42-NEXT:    blendps {{.*#+}} xmm2 = xmm5[0],xmm2[1,2,3]
1377 ; SSE42-NEXT:  LBB11_2: ## %else
1378 ; SSE42-NEXT:    pextrb $4, %xmm4, %eax
1379 ; SSE42-NEXT:    testb $1, %al
1380 ; SSE42-NEXT:    je LBB11_4
1381 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
1382 ; SSE42-NEXT:    insertps {{.*#+}} xmm2 = xmm2[0],mem[0],xmm2[2,3]
1383 ; SSE42-NEXT:  LBB11_4: ## %else2
1384 ; SSE42-NEXT:    pxor %xmm4, %xmm4
1385 ; SSE42-NEXT:    pcmpeqd %xmm4, %xmm0
1386 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
1387 ; SSE42-NEXT:    testb $1, %al
1388 ; SSE42-NEXT:    je LBB11_6
1389 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
1390 ; SSE42-NEXT:    insertps {{.*#+}} xmm2 = xmm2[0,1],mem[0],xmm2[3]
1391 ; SSE42-NEXT:  LBB11_6: ## %else5
1392 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
1393 ; SSE42-NEXT:    testb $1, %al
1394 ; SSE42-NEXT:    je LBB11_8
1395 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
1396 ; SSE42-NEXT:    insertps {{.*#+}} xmm2 = xmm2[0,1,2],mem[0]
1397 ; SSE42-NEXT:  LBB11_8: ## %else8
1398 ; SSE42-NEXT:    pxor %xmm0, %xmm0
1399 ; SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
1400 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
1401 ; SSE42-NEXT:    testb $1, %al
1402 ; SSE42-NEXT:    je LBB11_10
1403 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
1404 ; SSE42-NEXT:    movd {{.*#+}} xmm4 = mem[0],zero,zero,zero
1405 ; SSE42-NEXT:    pblendw {{.*#+}} xmm3 = xmm4[0,1],xmm3[2,3,4,5,6,7]
1406 ; SSE42-NEXT:  LBB11_10: ## %else11
1407 ; SSE42-NEXT:    pextrb $4, %xmm0, %eax
1408 ; SSE42-NEXT:    testb $1, %al
1409 ; SSE42-NEXT:    je LBB11_12
1410 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
1411 ; SSE42-NEXT:    insertps {{.*#+}} xmm3 = xmm3[0],mem[0],xmm3[2,3]
1412 ; SSE42-NEXT:  LBB11_12: ## %else14
1413 ; SSE42-NEXT:    pxor %xmm0, %xmm0
1414 ; SSE42-NEXT:    pcmpeqd %xmm0, %xmm1
1415 ; SSE42-NEXT:    pextrb $8, %xmm1, %eax
1416 ; SSE42-NEXT:    testb $1, %al
1417 ; SSE42-NEXT:    je LBB11_14
1418 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
1419 ; SSE42-NEXT:    insertps {{.*#+}} xmm3 = xmm3[0,1],mem[0],xmm3[3]
1420 ; SSE42-NEXT:  LBB11_14: ## %else17
1421 ; SSE42-NEXT:    pextrb $12, %xmm1, %eax
1422 ; SSE42-NEXT:    testb $1, %al
1423 ; SSE42-NEXT:    je LBB11_16
1424 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
1425 ; SSE42-NEXT:    insertps {{.*#+}} xmm3 = xmm3[0,1,2],mem[0]
1426 ; SSE42-NEXT:  LBB11_16: ## %else20
1427 ; SSE42-NEXT:    movaps %xmm2, %xmm0
1428 ; SSE42-NEXT:    movaps %xmm3, %xmm1
1429 ; SSE42-NEXT:    retq
1430 ;
1431 ; AVX1-LABEL: load_v8f32_v8i32:
1432 ; AVX1:       ## %bb.0:
1433 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1434 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
1435 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm2, %xmm2
1436 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm0, %xmm0
1437 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1438 ; AVX1-NEXT:    vmaskmovps (%rdi), %ymm0, %ymm2
1439 ; AVX1-NEXT:    vblendvps %ymm0, %ymm2, %ymm1, %ymm0
1440 ; AVX1-NEXT:    retq
1441 ;
1442 ; AVX2-LABEL: load_v8f32_v8i32:
1443 ; AVX2:       ## %bb.0:
1444 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1445 ; AVX2-NEXT:    vpcmpeqd %ymm2, %ymm0, %ymm0
1446 ; AVX2-NEXT:    vmaskmovps (%rdi), %ymm0, %ymm2
1447 ; AVX2-NEXT:    vblendvps %ymm0, %ymm2, %ymm1, %ymm0
1448 ; AVX2-NEXT:    retq
1449 ;
1450 ; AVX512F-LABEL: load_v8f32_v8i32:
1451 ; AVX512F:       ## %bb.0:
1452 ; AVX512F-NEXT:    ## kill: def $ymm1 killed $ymm1 def $zmm1
1453 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 def $zmm0
1454 ; AVX512F-NEXT:    vptestnmd %zmm0, %zmm0, %k0
1455 ; AVX512F-NEXT:    kshiftlw $8, %k0, %k0
1456 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
1457 ; AVX512F-NEXT:    vblendmps (%rdi), %zmm1, %zmm0 {%k1}
1458 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
1459 ; AVX512F-NEXT:    retq
1460 ;
1461 ; AVX512VL-LABEL: load_v8f32_v8i32:
1462 ; AVX512VL:       ## %bb.0:
1463 ; AVX512VL-NEXT:    vptestnmd %ymm0, %ymm0, %k1
1464 ; AVX512VL-NEXT:    vblendmps (%rdi), %ymm1, %ymm0 {%k1}
1465 ; AVX512VL-NEXT:    retq
1466   %mask = icmp eq <8 x i32> %trigger, zeroinitializer
1467   %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 32, <8 x i1> %mask, <8 x float> %dst)
1468   ret <8 x float> %res
1469 }
1470
1471
1472 ;
1473 ; vXf64
1474 ;
1475
1476 define <1 x i64> @load_v1i64_v1i64(<1 x i64> %trigger, <1 x i64>* %addr, <1 x i64> %dst) {
1477 ; SSE-LABEL: load_v1i64_v1i64:
1478 ; SSE:       ## %bb.0:
1479 ; SSE-NEXT:    testq %rdi, %rdi
1480 ; SSE-NEXT:    jne LBB12_1
1481 ; SSE-NEXT:  ## %bb.2: ## %cond.load
1482 ; SSE-NEXT:    movq (%rsi), %rax
1483 ; SSE-NEXT:    retq
1484 ; SSE-NEXT:  LBB12_1:
1485 ; SSE-NEXT:    movq %rdx, %rax
1486 ; SSE-NEXT:    retq
1487 ;
1488 ; AVX-LABEL: load_v1i64_v1i64:
1489 ; AVX:       ## %bb.0:
1490 ; AVX-NEXT:    testq %rdi, %rdi
1491 ; AVX-NEXT:    jne LBB12_1
1492 ; AVX-NEXT:  ## %bb.2: ## %cond.load
1493 ; AVX-NEXT:    movq (%rsi), %rax
1494 ; AVX-NEXT:    retq
1495 ; AVX-NEXT:  LBB12_1:
1496 ; AVX-NEXT:    movq %rdx, %rax
1497 ; AVX-NEXT:    retq
1498   %mask = icmp eq <1 x i64> %trigger, zeroinitializer
1499   %res = call <1 x i64> @llvm.masked.load.v1i64.p0v1i64(<1 x i64>* %addr, i32 4, <1 x i1> %mask, <1 x i64> %dst)
1500   ret <1 x i64> %res
1501 }
1502
1503 define <2 x i64> @load_v2i64_v2i64(<2 x i64> %trigger, <2 x i64>* %addr, <2 x i64> %dst) {
1504 ; SSE2-LABEL: load_v2i64_v2i64:
1505 ; SSE2:       ## %bb.0:
1506 ; SSE2-NEXT:    pxor %xmm2, %xmm2
1507 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
1508 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
1509 ; SSE2-NEXT:    pand %xmm2, %xmm0
1510 ; SSE2-NEXT:    movd %xmm0, %eax
1511 ; SSE2-NEXT:    testb $1, %al
1512 ; SSE2-NEXT:    je LBB13_2
1513 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
1514 ; SSE2-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
1515 ; SSE2-NEXT:  LBB13_2: ## %else
1516 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1517 ; SSE2-NEXT:    testb $1, %al
1518 ; SSE2-NEXT:    je LBB13_4
1519 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
1520 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
1521 ; SSE2-NEXT:    movlhps {{.*#+}} xmm1 = xmm1[0],xmm0[0]
1522 ; SSE2-NEXT:  LBB13_4: ## %else2
1523 ; SSE2-NEXT:    movaps %xmm1, %xmm0
1524 ; SSE2-NEXT:    retq
1525 ;
1526 ; SSE42-LABEL: load_v2i64_v2i64:
1527 ; SSE42:       ## %bb.0:
1528 ; SSE42-NEXT:    pxor %xmm2, %xmm2
1529 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm2
1530 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
1531 ; SSE42-NEXT:    testb $1, %al
1532 ; SSE42-NEXT:    je LBB13_2
1533 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
1534 ; SSE42-NEXT:    pinsrq $0, (%rdi), %xmm1
1535 ; SSE42-NEXT:  LBB13_2: ## %else
1536 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
1537 ; SSE42-NEXT:    testb $1, %al
1538 ; SSE42-NEXT:    je LBB13_4
1539 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
1540 ; SSE42-NEXT:    pinsrq $1, 8(%rdi), %xmm1
1541 ; SSE42-NEXT:  LBB13_4: ## %else2
1542 ; SSE42-NEXT:    movdqa %xmm1, %xmm0
1543 ; SSE42-NEXT:    retq
1544 ;
1545 ; AVX1-LABEL: load_v2i64_v2i64:
1546 ; AVX1:       ## %bb.0:
1547 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1548 ; AVX1-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
1549 ; AVX1-NEXT:    vmaskmovpd (%rdi), %xmm0, %xmm2
1550 ; AVX1-NEXT:    vblendvpd %xmm0, %xmm2, %xmm1, %xmm0
1551 ; AVX1-NEXT:    retq
1552 ;
1553 ; AVX2-LABEL: load_v2i64_v2i64:
1554 ; AVX2:       ## %bb.0:
1555 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1556 ; AVX2-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
1557 ; AVX2-NEXT:    vpmaskmovq (%rdi), %xmm0, %xmm2
1558 ; AVX2-NEXT:    vblendvpd %xmm0, %xmm2, %xmm1, %xmm0
1559 ; AVX2-NEXT:    retq
1560 ;
1561 ; AVX512F-LABEL: load_v2i64_v2i64:
1562 ; AVX512F:       ## %bb.0:
1563 ; AVX512F-NEXT:    ## kill: def $xmm1 killed $xmm1 def $zmm1
1564 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
1565 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
1566 ; AVX512F-NEXT:    kshiftlw $14, %k0, %k0
1567 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
1568 ; AVX512F-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1569 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
1570 ; AVX512F-NEXT:    vzeroupper
1571 ; AVX512F-NEXT:    retq
1572 ;
1573 ; AVX512VL-LABEL: load_v2i64_v2i64:
1574 ; AVX512VL:       ## %bb.0:
1575 ; AVX512VL-NEXT:    vptestnmq %xmm0, %xmm0, %k1
1576 ; AVX512VL-NEXT:    vpblendmq (%rdi), %xmm1, %xmm0 {%k1}
1577 ; AVX512VL-NEXT:    retq
1578   %mask = icmp eq <2 x i64> %trigger, zeroinitializer
1579   %res = call <2 x i64> @llvm.masked.load.v2i64.p0v2i64(<2 x i64>* %addr, i32 4, <2 x i1> %mask, <2 x i64> %dst)
1580   ret <2 x i64> %res
1581 }
1582
1583 define <4 x i64> @load_v4i64_v4i64(<4 x i64> %trigger, <4 x i64>* %addr, <4 x i64> %dst) {
1584 ; SSE2-LABEL: load_v4i64_v4i64:
1585 ; SSE2:       ## %bb.0:
1586 ; SSE2-NEXT:    pxor %xmm4, %xmm4
1587 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm4
1588 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm4[1,0,3,2]
1589 ; SSE2-NEXT:    pand %xmm4, %xmm0
1590 ; SSE2-NEXT:    movd %xmm0, %eax
1591 ; SSE2-NEXT:    testb $1, %al
1592 ; SSE2-NEXT:    je LBB14_2
1593 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
1594 ; SSE2-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
1595 ; SSE2-NEXT:  LBB14_2: ## %else
1596 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1597 ; SSE2-NEXT:    testb $1, %al
1598 ; SSE2-NEXT:    je LBB14_4
1599 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
1600 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
1601 ; SSE2-NEXT:    movlhps {{.*#+}} xmm2 = xmm2[0],xmm0[0]
1602 ; SSE2-NEXT:  LBB14_4: ## %else2
1603 ; SSE2-NEXT:    pxor %xmm0, %xmm0
1604 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
1605 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
1606 ; SSE2-NEXT:    pand %xmm1, %xmm0
1607 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
1608 ; SSE2-NEXT:    testb $1, %al
1609 ; SSE2-NEXT:    je LBB14_6
1610 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
1611 ; SSE2-NEXT:    movlps {{.*#+}} xmm3 = mem[0,1],xmm3[2,3]
1612 ; SSE2-NEXT:  LBB14_6: ## %else5
1613 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1614 ; SSE2-NEXT:    testb $1, %al
1615 ; SSE2-NEXT:    je LBB14_8
1616 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
1617 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
1618 ; SSE2-NEXT:    movlhps {{.*#+}} xmm3 = xmm3[0],xmm0[0]
1619 ; SSE2-NEXT:  LBB14_8: ## %else8
1620 ; SSE2-NEXT:    movaps %xmm2, %xmm0
1621 ; SSE2-NEXT:    movaps %xmm3, %xmm1
1622 ; SSE2-NEXT:    retq
1623 ;
1624 ; SSE42-LABEL: load_v4i64_v4i64:
1625 ; SSE42:       ## %bb.0:
1626 ; SSE42-NEXT:    pxor %xmm4, %xmm4
1627 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm4
1628 ; SSE42-NEXT:    pextrb $0, %xmm4, %eax
1629 ; SSE42-NEXT:    testb $1, %al
1630 ; SSE42-NEXT:    je LBB14_2
1631 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
1632 ; SSE42-NEXT:    pinsrq $0, (%rdi), %xmm2
1633 ; SSE42-NEXT:  LBB14_2: ## %else
1634 ; SSE42-NEXT:    pextrb $8, %xmm4, %eax
1635 ; SSE42-NEXT:    testb $1, %al
1636 ; SSE42-NEXT:    je LBB14_4
1637 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
1638 ; SSE42-NEXT:    pinsrq $1, 8(%rdi), %xmm2
1639 ; SSE42-NEXT:  LBB14_4: ## %else2
1640 ; SSE42-NEXT:    pxor %xmm0, %xmm0
1641 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm1
1642 ; SSE42-NEXT:    pextrb $0, %xmm1, %eax
1643 ; SSE42-NEXT:    testb $1, %al
1644 ; SSE42-NEXT:    je LBB14_6
1645 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
1646 ; SSE42-NEXT:    pinsrq $0, 16(%rdi), %xmm3
1647 ; SSE42-NEXT:  LBB14_6: ## %else5
1648 ; SSE42-NEXT:    pextrb $8, %xmm1, %eax
1649 ; SSE42-NEXT:    testb $1, %al
1650 ; SSE42-NEXT:    je LBB14_8
1651 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
1652 ; SSE42-NEXT:    pinsrq $1, 24(%rdi), %xmm3
1653 ; SSE42-NEXT:  LBB14_8: ## %else8
1654 ; SSE42-NEXT:    movdqa %xmm2, %xmm0
1655 ; SSE42-NEXT:    movdqa %xmm3, %xmm1
1656 ; SSE42-NEXT:    retq
1657 ;
1658 ; AVX1-LABEL: load_v4i64_v4i64:
1659 ; AVX1:       ## %bb.0:
1660 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1661 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
1662 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm2, %xmm2
1663 ; AVX1-NEXT:    vpcmpeqq %xmm3, %xmm0, %xmm0
1664 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1665 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm2
1666 ; AVX1-NEXT:    vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
1667 ; AVX1-NEXT:    retq
1668 ;
1669 ; AVX2-LABEL: load_v4i64_v4i64:
1670 ; AVX2:       ## %bb.0:
1671 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1672 ; AVX2-NEXT:    vpcmpeqq %ymm2, %ymm0, %ymm0
1673 ; AVX2-NEXT:    vpmaskmovq (%rdi), %ymm0, %ymm2
1674 ; AVX2-NEXT:    vblendvpd %ymm0, %ymm2, %ymm1, %ymm0
1675 ; AVX2-NEXT:    retq
1676 ;
1677 ; AVX512F-LABEL: load_v4i64_v4i64:
1678 ; AVX512F:       ## %bb.0:
1679 ; AVX512F-NEXT:    ## kill: def $ymm1 killed $ymm1 def $zmm1
1680 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 def $zmm0
1681 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
1682 ; AVX512F-NEXT:    kshiftlw $12, %k0, %k0
1683 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
1684 ; AVX512F-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1685 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
1686 ; AVX512F-NEXT:    retq
1687 ;
1688 ; AVX512VL-LABEL: load_v4i64_v4i64:
1689 ; AVX512VL:       ## %bb.0:
1690 ; AVX512VL-NEXT:    vptestnmq %ymm0, %ymm0, %k1
1691 ; AVX512VL-NEXT:    vpblendmq (%rdi), %ymm1, %ymm0 {%k1}
1692 ; AVX512VL-NEXT:    retq
1693   %mask = icmp eq <4 x i64> %trigger, zeroinitializer
1694   %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> %mask, <4 x i64> %dst)
1695   ret <4 x i64> %res
1696 }
1697
1698 define <8 x i64> @load_v8i64_v8i16(<8 x i16> %trigger, <8 x i64>* %addr, <8 x i64> %dst) {
1699 ; SSE2-LABEL: load_v8i64_v8i16:
1700 ; SSE2:       ## %bb.0:
1701 ; SSE2-NEXT:    pxor %xmm5, %xmm5
1702 ; SSE2-NEXT:    pcmpeqw %xmm0, %xmm5
1703 ; SSE2-NEXT:    movd %xmm5, %eax
1704 ; SSE2-NEXT:    testb $1, %al
1705 ; SSE2-NEXT:    je LBB15_2
1706 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
1707 ; SSE2-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
1708 ; SSE2-NEXT:  LBB15_2: ## %else
1709 ; SSE2-NEXT:    shrl $16, %eax
1710 ; SSE2-NEXT:    testb $1, %al
1711 ; SSE2-NEXT:    je LBB15_4
1712 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
1713 ; SSE2-NEXT:    movsd {{.*#+}} xmm5 = mem[0],zero
1714 ; SSE2-NEXT:    movlhps {{.*#+}} xmm1 = xmm1[0],xmm5[0]
1715 ; SSE2-NEXT:  LBB15_4: ## %else2
1716 ; SSE2-NEXT:    pxor %xmm5, %xmm5
1717 ; SSE2-NEXT:    pcmpeqw %xmm0, %xmm5
1718 ; SSE2-NEXT:    pextrw $2, %xmm5, %eax
1719 ; SSE2-NEXT:    testb $1, %al
1720 ; SSE2-NEXT:    je LBB15_6
1721 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
1722 ; SSE2-NEXT:    movlps {{.*#+}} xmm2 = mem[0,1],xmm2[2,3]
1723 ; SSE2-NEXT:  LBB15_6: ## %else5
1724 ; SSE2-NEXT:    pextrw $3, %xmm5, %eax
1725 ; SSE2-NEXT:    testb $1, %al
1726 ; SSE2-NEXT:    je LBB15_8
1727 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
1728 ; SSE2-NEXT:    movsd {{.*#+}} xmm5 = mem[0],zero
1729 ; SSE2-NEXT:    movlhps {{.*#+}} xmm2 = xmm2[0],xmm5[0]
1730 ; SSE2-NEXT:  LBB15_8: ## %else8
1731 ; SSE2-NEXT:    pxor %xmm5, %xmm5
1732 ; SSE2-NEXT:    pcmpeqw %xmm0, %xmm5
1733 ; SSE2-NEXT:    pextrw $4, %xmm5, %eax
1734 ; SSE2-NEXT:    testb $1, %al
1735 ; SSE2-NEXT:    je LBB15_10
1736 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
1737 ; SSE2-NEXT:    movlps {{.*#+}} xmm3 = mem[0,1],xmm3[2,3]
1738 ; SSE2-NEXT:  LBB15_10: ## %else11
1739 ; SSE2-NEXT:    pextrw $5, %xmm5, %eax
1740 ; SSE2-NEXT:    testb $1, %al
1741 ; SSE2-NEXT:    je LBB15_12
1742 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
1743 ; SSE2-NEXT:    movsd {{.*#+}} xmm5 = mem[0],zero
1744 ; SSE2-NEXT:    movlhps {{.*#+}} xmm3 = xmm3[0],xmm5[0]
1745 ; SSE2-NEXT:  LBB15_12: ## %else14
1746 ; SSE2-NEXT:    pxor %xmm5, %xmm5
1747 ; SSE2-NEXT:    pcmpeqw %xmm5, %xmm0
1748 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
1749 ; SSE2-NEXT:    testb $1, %al
1750 ; SSE2-NEXT:    je LBB15_14
1751 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
1752 ; SSE2-NEXT:    movlps {{.*#+}} xmm4 = mem[0,1],xmm4[2,3]
1753 ; SSE2-NEXT:  LBB15_14: ## %else17
1754 ; SSE2-NEXT:    pextrw $7, %xmm0, %eax
1755 ; SSE2-NEXT:    testb $1, %al
1756 ; SSE2-NEXT:    je LBB15_16
1757 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
1758 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
1759 ; SSE2-NEXT:    movlhps {{.*#+}} xmm4 = xmm4[0],xmm0[0]
1760 ; SSE2-NEXT:  LBB15_16: ## %else20
1761 ; SSE2-NEXT:    movaps %xmm1, %xmm0
1762 ; SSE2-NEXT:    movaps %xmm2, %xmm1
1763 ; SSE2-NEXT:    movaps %xmm3, %xmm2
1764 ; SSE2-NEXT:    movaps %xmm4, %xmm3
1765 ; SSE2-NEXT:    retq
1766 ;
1767 ; SSE42-LABEL: load_v8i64_v8i16:
1768 ; SSE42:       ## %bb.0:
1769 ; SSE42-NEXT:    pxor %xmm5, %xmm5
1770 ; SSE42-NEXT:    pcmpeqw %xmm0, %xmm5
1771 ; SSE42-NEXT:    pextrb $0, %xmm5, %eax
1772 ; SSE42-NEXT:    testb $1, %al
1773 ; SSE42-NEXT:    je LBB15_2
1774 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
1775 ; SSE42-NEXT:    pinsrq $0, (%rdi), %xmm1
1776 ; SSE42-NEXT:  LBB15_2: ## %else
1777 ; SSE42-NEXT:    pextrb $2, %xmm5, %eax
1778 ; SSE42-NEXT:    testb $1, %al
1779 ; SSE42-NEXT:    je LBB15_4
1780 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
1781 ; SSE42-NEXT:    pinsrq $1, 8(%rdi), %xmm1
1782 ; SSE42-NEXT:  LBB15_4: ## %else2
1783 ; SSE42-NEXT:    pxor %xmm5, %xmm5
1784 ; SSE42-NEXT:    pcmpeqw %xmm0, %xmm5
1785 ; SSE42-NEXT:    pextrb $4, %xmm5, %eax
1786 ; SSE42-NEXT:    testb $1, %al
1787 ; SSE42-NEXT:    je LBB15_6
1788 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
1789 ; SSE42-NEXT:    pinsrq $0, 16(%rdi), %xmm2
1790 ; SSE42-NEXT:  LBB15_6: ## %else5
1791 ; SSE42-NEXT:    pextrb $6, %xmm5, %eax
1792 ; SSE42-NEXT:    testb $1, %al
1793 ; SSE42-NEXT:    je LBB15_8
1794 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
1795 ; SSE42-NEXT:    pinsrq $1, 24(%rdi), %xmm2
1796 ; SSE42-NEXT:  LBB15_8: ## %else8
1797 ; SSE42-NEXT:    pxor %xmm5, %xmm5
1798 ; SSE42-NEXT:    pcmpeqw %xmm0, %xmm5
1799 ; SSE42-NEXT:    pextrb $8, %xmm5, %eax
1800 ; SSE42-NEXT:    testb $1, %al
1801 ; SSE42-NEXT:    je LBB15_10
1802 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
1803 ; SSE42-NEXT:    pinsrq $0, 32(%rdi), %xmm3
1804 ; SSE42-NEXT:  LBB15_10: ## %else11
1805 ; SSE42-NEXT:    pextrb $10, %xmm5, %eax
1806 ; SSE42-NEXT:    testb $1, %al
1807 ; SSE42-NEXT:    je LBB15_12
1808 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
1809 ; SSE42-NEXT:    pinsrq $1, 40(%rdi), %xmm3
1810 ; SSE42-NEXT:  LBB15_12: ## %else14
1811 ; SSE42-NEXT:    pxor %xmm5, %xmm5
1812 ; SSE42-NEXT:    pcmpeqw %xmm5, %xmm0
1813 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
1814 ; SSE42-NEXT:    testb $1, %al
1815 ; SSE42-NEXT:    je LBB15_14
1816 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
1817 ; SSE42-NEXT:    pinsrq $0, 48(%rdi), %xmm4
1818 ; SSE42-NEXT:  LBB15_14: ## %else17
1819 ; SSE42-NEXT:    pextrb $14, %xmm0, %eax
1820 ; SSE42-NEXT:    testb $1, %al
1821 ; SSE42-NEXT:    je LBB15_16
1822 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
1823 ; SSE42-NEXT:    pinsrq $1, 56(%rdi), %xmm4
1824 ; SSE42-NEXT:  LBB15_16: ## %else20
1825 ; SSE42-NEXT:    movdqa %xmm1, %xmm0
1826 ; SSE42-NEXT:    movdqa %xmm2, %xmm1
1827 ; SSE42-NEXT:    movdqa %xmm3, %xmm2
1828 ; SSE42-NEXT:    movdqa %xmm4, %xmm3
1829 ; SSE42-NEXT:    retq
1830 ;
1831 ; AVX1-LABEL: load_v8i64_v8i16:
1832 ; AVX1:       ## %bb.0:
1833 ; AVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
1834 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
1835 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm4, %xmm4
1836 ; AVX1-NEXT:    vpmovsxdq %xmm4, %xmm5
1837 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm4[2,3,0,1]
1838 ; AVX1-NEXT:    vpmovsxdq %xmm4, %xmm4
1839 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm5, %ymm4
1840 ; AVX1-NEXT:    vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1841 ; AVX1-NEXT:    vpcmpeqd %xmm3, %xmm0, %xmm0
1842 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm3
1843 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
1844 ; AVX1-NEXT:    vpmovsxdq %xmm0, %xmm0
1845 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm3, %ymm0
1846 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm3
1847 ; AVX1-NEXT:    vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
1848 ; AVX1-NEXT:    vmaskmovpd 32(%rdi), %ymm4, %ymm1
1849 ; AVX1-NEXT:    vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
1850 ; AVX1-NEXT:    retq
1851 ;
1852 ; AVX2-LABEL: load_v8i64_v8i16:
1853 ; AVX2:       ## %bb.0:
1854 ; AVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
1855 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm4 = xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
1856 ; AVX2-NEXT:    vpcmpeqd %xmm3, %xmm4, %xmm4
1857 ; AVX2-NEXT:    vpmovsxdq %xmm4, %ymm4
1858 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1859 ; AVX2-NEXT:    vpcmpeqd %xmm3, %xmm0, %xmm0
1860 ; AVX2-NEXT:    vpmovsxdq %xmm0, %ymm0
1861 ; AVX2-NEXT:    vpmaskmovq (%rdi), %ymm0, %ymm3
1862 ; AVX2-NEXT:    vblendvpd %ymm0, %ymm3, %ymm1, %ymm0
1863 ; AVX2-NEXT:    vpmaskmovq 32(%rdi), %ymm4, %ymm1
1864 ; AVX2-NEXT:    vblendvpd %ymm4, %ymm1, %ymm2, %ymm1
1865 ; AVX2-NEXT:    retq
1866 ;
1867 ; AVX512F-LABEL: load_v8i64_v8i16:
1868 ; AVX512F:       ## %bb.0:
1869 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1870 ; AVX512F-NEXT:    vpcmpeqw %xmm2, %xmm0, %xmm0
1871 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
1872 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k1
1873 ; AVX512F-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1874 ; AVX512F-NEXT:    retq
1875 ;
1876 ; AVX512VLDQ-LABEL: load_v8i64_v8i16:
1877 ; AVX512VLDQ:       ## %bb.0:
1878 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1879 ; AVX512VLDQ-NEXT:    vpcmpeqw %xmm2, %xmm0, %xmm0
1880 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm0, %ymm0
1881 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm0, %k1
1882 ; AVX512VLDQ-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1883 ; AVX512VLDQ-NEXT:    retq
1884 ;
1885 ; AVX512VLBW-LABEL: load_v8i64_v8i16:
1886 ; AVX512VLBW:       ## %bb.0:
1887 ; AVX512VLBW-NEXT:    vptestnmw %xmm0, %xmm0, %k1
1888 ; AVX512VLBW-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
1889 ; AVX512VLBW-NEXT:    retq
1890   %mask = icmp eq <8 x i16> %trigger, zeroinitializer
1891   %res = call <8 x i64> @llvm.masked.load.v8i64.p0v8i64(<8 x i64>* %addr, i32 4, <8 x i1> %mask, <8 x i64> %dst)
1892   ret <8 x i64> %res
1893 }
1894
1895 define <8 x i64> @load_v8i64_v8i64(<8 x i64> %trigger, <8 x i64>* %addr, <8 x i64> %dst) {
1896 ; SSE2-LABEL: load_v8i64_v8i64:
1897 ; SSE2:       ## %bb.0:
1898 ; SSE2-NEXT:    movdqa %xmm7, %xmm8
1899 ; SSE2-NEXT:    pxor %xmm7, %xmm7
1900 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm7
1901 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm7[1,0,3,2]
1902 ; SSE2-NEXT:    pand %xmm7, %xmm0
1903 ; SSE2-NEXT:    movd %xmm0, %eax
1904 ; SSE2-NEXT:    testb $1, %al
1905 ; SSE2-NEXT:    je LBB16_2
1906 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
1907 ; SSE2-NEXT:    movlps {{.*#+}} xmm4 = mem[0,1],xmm4[2,3]
1908 ; SSE2-NEXT:  LBB16_2: ## %else
1909 ; SSE2-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1910 ; SSE2-NEXT:    movd %xmm0, %eax
1911 ; SSE2-NEXT:    shrl $16, %eax
1912 ; SSE2-NEXT:    testb $1, %al
1913 ; SSE2-NEXT:    je LBB16_4
1914 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
1915 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
1916 ; SSE2-NEXT:    movlhps {{.*#+}} xmm4 = xmm4[0],xmm0[0]
1917 ; SSE2-NEXT:  LBB16_4: ## %else2
1918 ; SSE2-NEXT:    pxor %xmm0, %xmm0
1919 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm1
1920 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,3,2]
1921 ; SSE2-NEXT:    pand %xmm1, %xmm0
1922 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
1923 ; SSE2-NEXT:    testb $1, %al
1924 ; SSE2-NEXT:    je LBB16_6
1925 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
1926 ; SSE2-NEXT:    movlps {{.*#+}} xmm5 = mem[0,1],xmm5[2,3]
1927 ; SSE2-NEXT:  LBB16_6: ## %else5
1928 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1929 ; SSE2-NEXT:    testb $1, %al
1930 ; SSE2-NEXT:    je LBB16_8
1931 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
1932 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
1933 ; SSE2-NEXT:    movlhps {{.*#+}} xmm5 = xmm5[0],xmm0[0]
1934 ; SSE2-NEXT:  LBB16_8: ## %else8
1935 ; SSE2-NEXT:    pxor %xmm0, %xmm0
1936 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
1937 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
1938 ; SSE2-NEXT:    pand %xmm2, %xmm0
1939 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
1940 ; SSE2-NEXT:    testb $1, %al
1941 ; SSE2-NEXT:    je LBB16_10
1942 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
1943 ; SSE2-NEXT:    movlps {{.*#+}} xmm6 = mem[0,1],xmm6[2,3]
1944 ; SSE2-NEXT:  LBB16_10: ## %else11
1945 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1946 ; SSE2-NEXT:    testb $1, %al
1947 ; SSE2-NEXT:    je LBB16_12
1948 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
1949 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
1950 ; SSE2-NEXT:    movlhps {{.*#+}} xmm6 = xmm6[0],xmm0[0]
1951 ; SSE2-NEXT:  LBB16_12: ## %else14
1952 ; SSE2-NEXT:    pxor %xmm0, %xmm0
1953 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm3
1954 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[1,0,3,2]
1955 ; SSE2-NEXT:    pand %xmm3, %xmm0
1956 ; SSE2-NEXT:    pextrw $0, %xmm0, %eax
1957 ; SSE2-NEXT:    testb $1, %al
1958 ; SSE2-NEXT:    je LBB16_14
1959 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
1960 ; SSE2-NEXT:    movlps {{.*#+}} xmm8 = mem[0,1],xmm8[2,3]
1961 ; SSE2-NEXT:  LBB16_14: ## %else17
1962 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
1963 ; SSE2-NEXT:    testb $1, %al
1964 ; SSE2-NEXT:    je LBB16_16
1965 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
1966 ; SSE2-NEXT:    movq {{.*#+}} xmm0 = mem[0],zero
1967 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm8 = xmm8[0],xmm0[0]
1968 ; SSE2-NEXT:  LBB16_16: ## %else20
1969 ; SSE2-NEXT:    movaps %xmm4, %xmm0
1970 ; SSE2-NEXT:    movaps %xmm5, %xmm1
1971 ; SSE2-NEXT:    movaps %xmm6, %xmm2
1972 ; SSE2-NEXT:    movdqa %xmm8, %xmm3
1973 ; SSE2-NEXT:    retq
1974 ;
1975 ; SSE42-LABEL: load_v8i64_v8i64:
1976 ; SSE42:       ## %bb.0:
1977 ; SSE42-NEXT:    movdqa %xmm7, %xmm8
1978 ; SSE42-NEXT:    pxor %xmm7, %xmm7
1979 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm7
1980 ; SSE42-NEXT:    pextrb $0, %xmm7, %eax
1981 ; SSE42-NEXT:    testb $1, %al
1982 ; SSE42-NEXT:    je LBB16_2
1983 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
1984 ; SSE42-NEXT:    pinsrq $0, (%rdi), %xmm4
1985 ; SSE42-NEXT:  LBB16_2: ## %else
1986 ; SSE42-NEXT:    pextrb $8, %xmm7, %eax
1987 ; SSE42-NEXT:    testb $1, %al
1988 ; SSE42-NEXT:    je LBB16_4
1989 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
1990 ; SSE42-NEXT:    pinsrq $1, 8(%rdi), %xmm4
1991 ; SSE42-NEXT:  LBB16_4: ## %else2
1992 ; SSE42-NEXT:    pxor %xmm0, %xmm0
1993 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm1
1994 ; SSE42-NEXT:    pextrb $0, %xmm1, %eax
1995 ; SSE42-NEXT:    testb $1, %al
1996 ; SSE42-NEXT:    je LBB16_6
1997 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
1998 ; SSE42-NEXT:    pinsrq $0, 16(%rdi), %xmm5
1999 ; SSE42-NEXT:  LBB16_6: ## %else5
2000 ; SSE42-NEXT:    pextrb $8, %xmm1, %eax
2001 ; SSE42-NEXT:    testb $1, %al
2002 ; SSE42-NEXT:    je LBB16_8
2003 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
2004 ; SSE42-NEXT:    pinsrq $1, 24(%rdi), %xmm5
2005 ; SSE42-NEXT:  LBB16_8: ## %else8
2006 ; SSE42-NEXT:    pxor %xmm0, %xmm0
2007 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm2
2008 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
2009 ; SSE42-NEXT:    testb $1, %al
2010 ; SSE42-NEXT:    je LBB16_10
2011 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
2012 ; SSE42-NEXT:    pinsrq $0, 32(%rdi), %xmm6
2013 ; SSE42-NEXT:  LBB16_10: ## %else11
2014 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
2015 ; SSE42-NEXT:    testb $1, %al
2016 ; SSE42-NEXT:    je LBB16_12
2017 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
2018 ; SSE42-NEXT:    pinsrq $1, 40(%rdi), %xmm6
2019 ; SSE42-NEXT:  LBB16_12: ## %else14
2020 ; SSE42-NEXT:    pxor %xmm0, %xmm0
2021 ; SSE42-NEXT:    pcmpeqq %xmm0, %xmm3
2022 ; SSE42-NEXT:    pextrb $0, %xmm3, %eax
2023 ; SSE42-NEXT:    testb $1, %al
2024 ; SSE42-NEXT:    je LBB16_14
2025 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
2026 ; SSE42-NEXT:    pinsrq $0, 48(%rdi), %xmm8
2027 ; SSE42-NEXT:  LBB16_14: ## %else17
2028 ; SSE42-NEXT:    pextrb $8, %xmm3, %eax
2029 ; SSE42-NEXT:    testb $1, %al
2030 ; SSE42-NEXT:    je LBB16_16
2031 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
2032 ; SSE42-NEXT:    pinsrq $1, 56(%rdi), %xmm8
2033 ; SSE42-NEXT:  LBB16_16: ## %else20
2034 ; SSE42-NEXT:    movdqa %xmm4, %xmm0
2035 ; SSE42-NEXT:    movdqa %xmm5, %xmm1
2036 ; SSE42-NEXT:    movdqa %xmm6, %xmm2
2037 ; SSE42-NEXT:    movdqa %xmm8, %xmm3
2038 ; SSE42-NEXT:    retq
2039 ;
2040 ; AVX1-LABEL: load_v8i64_v8i64:
2041 ; AVX1:       ## %bb.0:
2042 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
2043 ; AVX1-NEXT:    vpxor %xmm5, %xmm5, %xmm5
2044 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm4, %xmm4
2045 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm1, %xmm1
2046 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm1, %ymm1
2047 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
2048 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm4, %xmm4
2049 ; AVX1-NEXT:    vpcmpeqq %xmm5, %xmm0, %xmm0
2050 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm0, %ymm0
2051 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm4
2052 ; AVX1-NEXT:    vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
2053 ; AVX1-NEXT:    vmaskmovpd 32(%rdi), %ymm1, %ymm2
2054 ; AVX1-NEXT:    vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
2055 ; AVX1-NEXT:    retq
2056 ;
2057 ; AVX2-LABEL: load_v8i64_v8i64:
2058 ; AVX2:       ## %bb.0:
2059 ; AVX2-NEXT:    vpxor %xmm4, %xmm4, %xmm4
2060 ; AVX2-NEXT:    vpcmpeqq %ymm4, %ymm1, %ymm1
2061 ; AVX2-NEXT:    vpcmpeqq %ymm4, %ymm0, %ymm0
2062 ; AVX2-NEXT:    vpmaskmovq (%rdi), %ymm0, %ymm4
2063 ; AVX2-NEXT:    vblendvpd %ymm0, %ymm4, %ymm2, %ymm0
2064 ; AVX2-NEXT:    vpmaskmovq 32(%rdi), %ymm1, %ymm2
2065 ; AVX2-NEXT:    vblendvpd %ymm1, %ymm2, %ymm3, %ymm1
2066 ; AVX2-NEXT:    retq
2067 ;
2068 ; AVX512-LABEL: load_v8i64_v8i64:
2069 ; AVX512:       ## %bb.0:
2070 ; AVX512-NEXT:    vptestnmq %zmm0, %zmm0, %k1
2071 ; AVX512-NEXT:    vpblendmq (%rdi), %zmm1, %zmm0 {%k1}
2072 ; AVX512-NEXT:    retq
2073   %mask = icmp eq <8 x i64> %trigger, zeroinitializer
2074   %res = call <8 x i64> @llvm.masked.load.v8i64.p0v8i64(<8 x i64>* %addr, i32 4, <8 x i1> %mask, <8 x i64> %dst)
2075   ret <8 x i64> %res
2076 }
2077
2078 ;
2079 ; vXi32
2080 ;
2081
2082 define <2 x i32> @load_v2i32_v2i32(<2 x i32> %trigger, <2 x i32>* %addr, <2 x i32> %dst) {
2083 ; SSE2-LABEL: load_v2i32_v2i32:
2084 ; SSE2:       ## %bb.0:
2085 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
2086 ; SSE2-NEXT:    pxor %xmm2, %xmm2
2087 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
2088 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[1,0,3,2]
2089 ; SSE2-NEXT:    pand %xmm2, %xmm0
2090 ; SSE2-NEXT:    movd %xmm0, %eax
2091 ; SSE2-NEXT:    testb $1, %al
2092 ; SSE2-NEXT:    je LBB17_2
2093 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
2094 ; SSE2-NEXT:    movl (%rdi), %eax
2095 ; SSE2-NEXT:    movq %rax, %xmm2
2096 ; SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm2[0],xmm1[1]
2097 ; SSE2-NEXT:  LBB17_2: ## %else
2098 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
2099 ; SSE2-NEXT:    testb $1, %al
2100 ; SSE2-NEXT:    je LBB17_4
2101 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
2102 ; SSE2-NEXT:    movl 4(%rdi), %eax
2103 ; SSE2-NEXT:    movq %rax, %xmm0
2104 ; SSE2-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
2105 ; SSE2-NEXT:  LBB17_4: ## %else2
2106 ; SSE2-NEXT:    movapd %xmm1, %xmm0
2107 ; SSE2-NEXT:    retq
2108 ;
2109 ; SSE42-LABEL: load_v2i32_v2i32:
2110 ; SSE42:       ## %bb.0:
2111 ; SSE42-NEXT:    pxor %xmm2, %xmm2
2112 ; SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2113 ; SSE42-NEXT:    pcmpeqq %xmm2, %xmm0
2114 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
2115 ; SSE42-NEXT:    testb $1, %al
2116 ; SSE42-NEXT:    je LBB17_2
2117 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
2118 ; SSE42-NEXT:    movl (%rdi), %eax
2119 ; SSE42-NEXT:    pinsrq $0, %rax, %xmm1
2120 ; SSE42-NEXT:  LBB17_2: ## %else
2121 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
2122 ; SSE42-NEXT:    testb $1, %al
2123 ; SSE42-NEXT:    je LBB17_4
2124 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
2125 ; SSE42-NEXT:    movl 4(%rdi), %eax
2126 ; SSE42-NEXT:    pinsrq $1, %rax, %xmm1
2127 ; SSE42-NEXT:  LBB17_4: ## %else2
2128 ; SSE42-NEXT:    movdqa %xmm1, %xmm0
2129 ; SSE42-NEXT:    retq
2130 ;
2131 ; AVX1-LABEL: load_v2i32_v2i32:
2132 ; AVX1:       ## %bb.0:
2133 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2134 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
2135 ; AVX1-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
2136 ; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
2137 ; AVX1-NEXT:    vmaskmovps (%rdi), %xmm0, %xmm2
2138 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm1[0,2,2,3]
2139 ; AVX1-NEXT:    vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2140 ; AVX1-NEXT:    vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2141 ; AVX1-NEXT:    retq
2142 ;
2143 ; AVX2-LABEL: load_v2i32_v2i32:
2144 ; AVX2:       ## %bb.0:
2145 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2146 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
2147 ; AVX2-NEXT:    vpcmpeqq %xmm2, %xmm0, %xmm0
2148 ; AVX2-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,2],zero,zero
2149 ; AVX2-NEXT:    vpmaskmovd (%rdi), %xmm0, %xmm2
2150 ; AVX2-NEXT:    vpermilps {{.*#+}} xmm1 = xmm1[0,2,2,3]
2151 ; AVX2-NEXT:    vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2152 ; AVX2-NEXT:    vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2153 ; AVX2-NEXT:    retq
2154 ;
2155 ; AVX512F-LABEL: load_v2i32_v2i32:
2156 ; AVX512F:       ## %bb.0:
2157 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2158 ; AVX512F-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
2159 ; AVX512F-NEXT:    vptestnmq %zmm0, %zmm0, %k0
2160 ; AVX512F-NEXT:    vpshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
2161 ; AVX512F-NEXT:    kshiftlw $14, %k0, %k0
2162 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
2163 ; AVX512F-NEXT:    vmovdqu32 (%rdi), %zmm0 {%k1}
2164 ; AVX512F-NEXT:    vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2165 ; AVX512F-NEXT:    vzeroupper
2166 ; AVX512F-NEXT:    retq
2167 ;
2168 ; AVX512VL-LABEL: load_v2i32_v2i32:
2169 ; AVX512VL:       ## %bb.0:
2170 ; AVX512VL-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2171 ; AVX512VL-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm2[1],xmm0[2],xmm2[3]
2172 ; AVX512VL-NEXT:    vptestnmq %xmm0, %xmm0, %k1
2173 ; AVX512VL-NEXT:    vpshufd {{.*#+}} xmm0 = xmm1[0,2,2,3]
2174 ; AVX512VL-NEXT:    vmovdqu32 (%rdi), %xmm0 {%k1}
2175 ; AVX512VL-NEXT:    vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
2176 ; AVX512VL-NEXT:    retq
2177   %mask = icmp eq <2 x i32> %trigger, zeroinitializer
2178   %res = call <2 x i32> @llvm.masked.load.v2i32.p0v2i32(<2 x i32>* %addr, i32 4, <2 x i1> %mask, <2 x i32> %dst)
2179   ret <2 x i32> %res
2180 }
2181
2182 define <4 x i32> @load_v4i32_v4i32(<4 x i32> %trigger, <4 x i32>* %addr, <4 x i32> %dst) {
2183 ; SSE2-LABEL: load_v4i32_v4i32:
2184 ; SSE2:       ## %bb.0:
2185 ; SSE2-NEXT:    pxor %xmm2, %xmm2
2186 ; SSE2-NEXT:    pcmpeqd %xmm0, %xmm2
2187 ; SSE2-NEXT:    movd %xmm2, %eax
2188 ; SSE2-NEXT:    testb $1, %al
2189 ; SSE2-NEXT:    je LBB18_2
2190 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
2191 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2192 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
2193 ; SSE2-NEXT:  LBB18_2: ## %else
2194 ; SSE2-NEXT:    pextrw $2, %xmm2, %eax
2195 ; SSE2-NEXT:    testb $1, %al
2196 ; SSE2-NEXT:    je LBB18_4
2197 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
2198 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
2199 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[0,0]
2200 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm1[2,3]
2201 ; SSE2-NEXT:    movaps %xmm2, %xmm1
2202 ; SSE2-NEXT:  LBB18_4: ## %else2
2203 ; SSE2-NEXT:    xorps %xmm2, %xmm2
2204 ; SSE2-NEXT:    pcmpeqd %xmm2, %xmm0
2205 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
2206 ; SSE2-NEXT:    testb $1, %al
2207 ; SSE2-NEXT:    je LBB18_6
2208 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
2209 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
2210 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[3,0]
2211 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
2212 ; SSE2-NEXT:  LBB18_6: ## %else5
2213 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
2214 ; SSE2-NEXT:    testb $1, %al
2215 ; SSE2-NEXT:    je LBB18_8
2216 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
2217 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
2218 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
2219 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
2220 ; SSE2-NEXT:  LBB18_8: ## %else8
2221 ; SSE2-NEXT:    movaps %xmm1, %xmm0
2222 ; SSE2-NEXT:    retq
2223 ;
2224 ; SSE42-LABEL: load_v4i32_v4i32:
2225 ; SSE42:       ## %bb.0:
2226 ; SSE42-NEXT:    pxor %xmm2, %xmm2
2227 ; SSE42-NEXT:    pcmpeqd %xmm0, %xmm2
2228 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
2229 ; SSE42-NEXT:    testb $1, %al
2230 ; SSE42-NEXT:    je LBB18_2
2231 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
2232 ; SSE42-NEXT:    pinsrd $0, (%rdi), %xmm1
2233 ; SSE42-NEXT:  LBB18_2: ## %else
2234 ; SSE42-NEXT:    pextrb $4, %xmm2, %eax
2235 ; SSE42-NEXT:    testb $1, %al
2236 ; SSE42-NEXT:    je LBB18_4
2237 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
2238 ; SSE42-NEXT:    pinsrd $1, 4(%rdi), %xmm1
2239 ; SSE42-NEXT:  LBB18_4: ## %else2
2240 ; SSE42-NEXT:    pxor %xmm2, %xmm2
2241 ; SSE42-NEXT:    pcmpeqd %xmm2, %xmm0
2242 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
2243 ; SSE42-NEXT:    testb $1, %al
2244 ; SSE42-NEXT:    je LBB18_6
2245 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
2246 ; SSE42-NEXT:    pinsrd $2, 8(%rdi), %xmm1
2247 ; SSE42-NEXT:  LBB18_6: ## %else5
2248 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
2249 ; SSE42-NEXT:    testb $1, %al
2250 ; SSE42-NEXT:    je LBB18_8
2251 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
2252 ; SSE42-NEXT:    pinsrd $3, 12(%rdi), %xmm1
2253 ; SSE42-NEXT:  LBB18_8: ## %else8
2254 ; SSE42-NEXT:    movdqa %xmm1, %xmm0
2255 ; SSE42-NEXT:    retq
2256 ;
2257 ; AVX1-LABEL: load_v4i32_v4i32:
2258 ; AVX1:       ## %bb.0:
2259 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2260 ; AVX1-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
2261 ; AVX1-NEXT:    vmaskmovps (%rdi), %xmm0, %xmm2
2262 ; AVX1-NEXT:    vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2263 ; AVX1-NEXT:    retq
2264 ;
2265 ; AVX2-LABEL: load_v4i32_v4i32:
2266 ; AVX2:       ## %bb.0:
2267 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2268 ; AVX2-NEXT:    vpcmpeqd %xmm2, %xmm0, %xmm0
2269 ; AVX2-NEXT:    vpmaskmovd (%rdi), %xmm0, %xmm2
2270 ; AVX2-NEXT:    vblendvps %xmm0, %xmm2, %xmm1, %xmm0
2271 ; AVX2-NEXT:    retq
2272 ;
2273 ; AVX512F-LABEL: load_v4i32_v4i32:
2274 ; AVX512F:       ## %bb.0:
2275 ; AVX512F-NEXT:    ## kill: def $xmm1 killed $xmm1 def $zmm1
2276 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
2277 ; AVX512F-NEXT:    vptestnmd %zmm0, %zmm0, %k0
2278 ; AVX512F-NEXT:    kshiftlw $12, %k0, %k0
2279 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
2280 ; AVX512F-NEXT:    vpblendmd (%rdi), %zmm1, %zmm0 {%k1}
2281 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
2282 ; AVX512F-NEXT:    vzeroupper
2283 ; AVX512F-NEXT:    retq
2284 ;
2285 ; AVX512VL-LABEL: load_v4i32_v4i32:
2286 ; AVX512VL:       ## %bb.0:
2287 ; AVX512VL-NEXT:    vptestnmd %xmm0, %xmm0, %k1
2288 ; AVX512VL-NEXT:    vpblendmd (%rdi), %xmm1, %xmm0 {%k1}
2289 ; AVX512VL-NEXT:    retq
2290   %mask = icmp eq <4 x i32> %trigger, zeroinitializer
2291   %res = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* %addr, i32 4, <4 x i1> %mask, <4 x i32> %dst)
2292   ret <4 x i32> %res
2293 }
2294
2295 define <8 x i32> @load_v8i32_v8i1(<8 x i1> %mask, <8 x i32>* %addr, <8 x i32> %dst) {
2296 ; SSE2-LABEL: load_v8i32_v8i1:
2297 ; SSE2:       ## %bb.0:
2298 ; SSE2-NEXT:    movd %xmm0, %eax
2299 ; SSE2-NEXT:    testb $1, %al
2300 ; SSE2-NEXT:    je LBB19_2
2301 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
2302 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2303 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
2304 ; SSE2-NEXT:  LBB19_2: ## %else
2305 ; SSE2-NEXT:    shrl $16, %eax
2306 ; SSE2-NEXT:    testb $1, %al
2307 ; SSE2-NEXT:    je LBB19_4
2308 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
2309 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2310 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[0,0]
2311 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[2,0],xmm1[2,3]
2312 ; SSE2-NEXT:    movaps %xmm3, %xmm1
2313 ; SSE2-NEXT:  LBB19_4: ## %else2
2314 ; SSE2-NEXT:    pextrw $2, %xmm0, %eax
2315 ; SSE2-NEXT:    testb $1, %al
2316 ; SSE2-NEXT:    je LBB19_6
2317 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
2318 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2319 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[3,0]
2320 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[0,2]
2321 ; SSE2-NEXT:  LBB19_6: ## %else5
2322 ; SSE2-NEXT:    pextrw $3, %xmm0, %eax
2323 ; SSE2-NEXT:    testb $1, %al
2324 ; SSE2-NEXT:    je LBB19_8
2325 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
2326 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2327 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[2,0]
2328 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,0]
2329 ; SSE2-NEXT:  LBB19_8: ## %else8
2330 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
2331 ; SSE2-NEXT:    testb $1, %al
2332 ; SSE2-NEXT:    je LBB19_10
2333 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
2334 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2335 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = xmm3[0],xmm2[1,2,3]
2336 ; SSE2-NEXT:  LBB19_10: ## %else11
2337 ; SSE2-NEXT:    pextrw $5, %xmm0, %eax
2338 ; SSE2-NEXT:    testb $1, %al
2339 ; SSE2-NEXT:    je LBB19_12
2340 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
2341 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2342 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm2[0,0]
2343 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[2,0],xmm2[2,3]
2344 ; SSE2-NEXT:    movaps %xmm3, %xmm2
2345 ; SSE2-NEXT:  LBB19_12: ## %else14
2346 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
2347 ; SSE2-NEXT:    testb $1, %al
2348 ; SSE2-NEXT:    je LBB19_14
2349 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
2350 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2351 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm2[3,0]
2352 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm3[0,2]
2353 ; SSE2-NEXT:  LBB19_14: ## %else17
2354 ; SSE2-NEXT:    pextrw $7, %xmm0, %eax
2355 ; SSE2-NEXT:    testb $1, %al
2356 ; SSE2-NEXT:    je LBB19_16
2357 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
2358 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
2359 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm2[2,0]
2360 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,1],xmm0[2,0]
2361 ; SSE2-NEXT:  LBB19_16: ## %else20
2362 ; SSE2-NEXT:    movaps %xmm1, %xmm0
2363 ; SSE2-NEXT:    movaps %xmm2, %xmm1
2364 ; SSE2-NEXT:    retq
2365 ;
2366 ; SSE42-LABEL: load_v8i32_v8i1:
2367 ; SSE42:       ## %bb.0:
2368 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
2369 ; SSE42-NEXT:    testb $1, %al
2370 ; SSE42-NEXT:    je LBB19_2
2371 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
2372 ; SSE42-NEXT:    pinsrd $0, (%rdi), %xmm1
2373 ; SSE42-NEXT:  LBB19_2: ## %else
2374 ; SSE42-NEXT:    pextrb $2, %xmm0, %eax
2375 ; SSE42-NEXT:    testb $1, %al
2376 ; SSE42-NEXT:    je LBB19_4
2377 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
2378 ; SSE42-NEXT:    pinsrd $1, 4(%rdi), %xmm1
2379 ; SSE42-NEXT:  LBB19_4: ## %else2
2380 ; SSE42-NEXT:    pextrb $4, %xmm0, %eax
2381 ; SSE42-NEXT:    testb $1, %al
2382 ; SSE42-NEXT:    je LBB19_6
2383 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
2384 ; SSE42-NEXT:    pinsrd $2, 8(%rdi), %xmm1
2385 ; SSE42-NEXT:  LBB19_6: ## %else5
2386 ; SSE42-NEXT:    pextrb $6, %xmm0, %eax
2387 ; SSE42-NEXT:    testb $1, %al
2388 ; SSE42-NEXT:    je LBB19_8
2389 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
2390 ; SSE42-NEXT:    pinsrd $3, 12(%rdi), %xmm1
2391 ; SSE42-NEXT:  LBB19_8: ## %else8
2392 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
2393 ; SSE42-NEXT:    testb $1, %al
2394 ; SSE42-NEXT:    je LBB19_10
2395 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
2396 ; SSE42-NEXT:    pinsrd $0, 16(%rdi), %xmm2
2397 ; SSE42-NEXT:  LBB19_10: ## %else11
2398 ; SSE42-NEXT:    pextrb $10, %xmm0, %eax
2399 ; SSE42-NEXT:    testb $1, %al
2400 ; SSE42-NEXT:    je LBB19_12
2401 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
2402 ; SSE42-NEXT:    pinsrd $1, 20(%rdi), %xmm2
2403 ; SSE42-NEXT:  LBB19_12: ## %else14
2404 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
2405 ; SSE42-NEXT:    testb $1, %al
2406 ; SSE42-NEXT:    je LBB19_14
2407 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
2408 ; SSE42-NEXT:    pinsrd $2, 24(%rdi), %xmm2
2409 ; SSE42-NEXT:  LBB19_14: ## %else17
2410 ; SSE42-NEXT:    pextrb $14, %xmm0, %eax
2411 ; SSE42-NEXT:    testb $1, %al
2412 ; SSE42-NEXT:    je LBB19_16
2413 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
2414 ; SSE42-NEXT:    pinsrd $3, 28(%rdi), %xmm2
2415 ; SSE42-NEXT:  LBB19_16: ## %else20
2416 ; SSE42-NEXT:    movdqa %xmm1, %xmm0
2417 ; SSE42-NEXT:    movdqa %xmm2, %xmm1
2418 ; SSE42-NEXT:    retq
2419 ;
2420 ; AVX1-LABEL: load_v8i32_v8i1:
2421 ; AVX1:       ## %bb.0:
2422 ; AVX1-NEXT:    vpmovzxwd {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
2423 ; AVX1-NEXT:    vpslld $31, %xmm2, %xmm2
2424 ; AVX1-NEXT:    vpsrad $31, %xmm2, %xmm2
2425 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
2426 ; AVX1-NEXT:    vpslld $31, %xmm0, %xmm0
2427 ; AVX1-NEXT:    vpsrad $31, %xmm0, %xmm0
2428 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm2, %ymm0
2429 ; AVX1-NEXT:    vmaskmovps (%rdi), %ymm0, %ymm2
2430 ; AVX1-NEXT:    vblendvps %ymm0, %ymm2, %ymm1, %ymm0
2431 ; AVX1-NEXT:    retq
2432 ;
2433 ; AVX2-LABEL: load_v8i32_v8i1:
2434 ; AVX2:       ## %bb.0:
2435 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2436 ; AVX2-NEXT:    vpslld $31, %ymm0, %ymm0
2437 ; AVX2-NEXT:    vpsrad $31, %ymm0, %ymm0
2438 ; AVX2-NEXT:    vpmaskmovd (%rdi), %ymm0, %ymm2
2439 ; AVX2-NEXT:    vblendvps %ymm0, %ymm2, %ymm1, %ymm0
2440 ; AVX2-NEXT:    retq
2441 ;
2442 ; AVX512F-LABEL: load_v8i32_v8i1:
2443 ; AVX512F:       ## %bb.0:
2444 ; AVX512F-NEXT:    ## kill: def $ymm1 killed $ymm1 def $zmm1
2445 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
2446 ; AVX512F-NEXT:    vpsllq $63, %zmm0, %zmm0
2447 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k1
2448 ; AVX512F-NEXT:    vpblendmd (%rdi), %zmm1, %zmm0 {%k1}
2449 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
2450 ; AVX512F-NEXT:    retq
2451 ;
2452 ; AVX512VLDQ-LABEL: load_v8i32_v8i1:
2453 ; AVX512VLDQ:       ## %bb.0:
2454 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm0, %ymm0
2455 ; AVX512VLDQ-NEXT:    vpslld $31, %ymm0, %ymm0
2456 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm0, %k1
2457 ; AVX512VLDQ-NEXT:    vpblendmd (%rdi), %ymm1, %ymm0 {%k1}
2458 ; AVX512VLDQ-NEXT:    retq
2459 ;
2460 ; AVX512VLBW-LABEL: load_v8i32_v8i1:
2461 ; AVX512VLBW:       ## %bb.0:
2462 ; AVX512VLBW-NEXT:    vpsllw $15, %xmm0, %xmm0
2463 ; AVX512VLBW-NEXT:    vpmovw2m %xmm0, %k1
2464 ; AVX512VLBW-NEXT:    vpblendmd (%rdi), %ymm1, %ymm0 {%k1}
2465 ; AVX512VLBW-NEXT:    retq
2466   %res = call <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>* %addr, i32 4, <8 x i1> %mask, <8 x i32> %dst)
2467   ret <8 x i32> %res
2468 }
2469
2470 define <8 x i32> @load_v8i32_v8i1_zero(<8 x i1> %mask, <8 x i32>* %addr) {
2471 ; SSE2-LABEL: load_v8i32_v8i1_zero:
2472 ; SSE2:       ## %bb.0:
2473 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
2474 ; SSE2-NEXT:    movd %xmm0, %eax
2475 ; SSE2-NEXT:    pxor %xmm0, %xmm0
2476 ; SSE2-NEXT:    testb $1, %al
2477 ; SSE2-NEXT:    xorps %xmm1, %xmm1
2478 ; SSE2-NEXT:    je LBB20_2
2479 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
2480 ; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
2481 ; SSE2-NEXT:    xorps %xmm1, %xmm1
2482 ; SSE2-NEXT:  LBB20_2: ## %else
2483 ; SSE2-NEXT:    shrl $16, %eax
2484 ; SSE2-NEXT:    testb $1, %al
2485 ; SSE2-NEXT:    je LBB20_4
2486 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
2487 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2488 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[0,0]
2489 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[2,0],xmm0[2,3]
2490 ; SSE2-NEXT:    movaps %xmm3, %xmm0
2491 ; SSE2-NEXT:  LBB20_4: ## %else2
2492 ; SSE2-NEXT:    pextrw $2, %xmm2, %eax
2493 ; SSE2-NEXT:    testb $1, %al
2494 ; SSE2-NEXT:    je LBB20_6
2495 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
2496 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2497 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
2498 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[0,2]
2499 ; SSE2-NEXT:  LBB20_6: ## %else5
2500 ; SSE2-NEXT:    pextrw $3, %xmm2, %eax
2501 ; SSE2-NEXT:    testb $1, %al
2502 ; SSE2-NEXT:    je LBB20_8
2503 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
2504 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2505 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[2,0]
2506 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,0]
2507 ; SSE2-NEXT:  LBB20_8: ## %else8
2508 ; SSE2-NEXT:    pextrw $4, %xmm2, %eax
2509 ; SSE2-NEXT:    testb $1, %al
2510 ; SSE2-NEXT:    je LBB20_10
2511 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
2512 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2513 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm3[0],xmm1[1,2,3]
2514 ; SSE2-NEXT:  LBB20_10: ## %else11
2515 ; SSE2-NEXT:    pextrw $5, %xmm2, %eax
2516 ; SSE2-NEXT:    testb $1, %al
2517 ; SSE2-NEXT:    je LBB20_12
2518 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
2519 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2520 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[0,0]
2521 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[2,0],xmm1[2,3]
2522 ; SSE2-NEXT:    movaps %xmm3, %xmm1
2523 ; SSE2-NEXT:  LBB20_12: ## %else14
2524 ; SSE2-NEXT:    pextrw $6, %xmm2, %eax
2525 ; SSE2-NEXT:    testb $1, %al
2526 ; SSE2-NEXT:    je LBB20_14
2527 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
2528 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
2529 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[3,0]
2530 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm3[0,2]
2531 ; SSE2-NEXT:  LBB20_14: ## %else17
2532 ; SSE2-NEXT:    pextrw $7, %xmm2, %eax
2533 ; SSE2-NEXT:    testb $1, %al
2534 ; SSE2-NEXT:    je LBB20_16
2535 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
2536 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
2537 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm1[2,0]
2538 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,0]
2539 ; SSE2-NEXT:  LBB20_16: ## %else20
2540 ; SSE2-NEXT:    retq
2541 ;
2542 ; SSE42-LABEL: load_v8i32_v8i1_zero:
2543 ; SSE42:       ## %bb.0:
2544 ; SSE42-NEXT:    movdqa %xmm0, %xmm2
2545 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
2546 ; SSE42-NEXT:    pxor %xmm0, %xmm0
2547 ; SSE42-NEXT:    testb $1, %al
2548 ; SSE42-NEXT:    pxor %xmm1, %xmm1
2549 ; SSE42-NEXT:    je LBB20_2
2550 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
2551 ; SSE42-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
2552 ; SSE42-NEXT:    pxor %xmm1, %xmm1
2553 ; SSE42-NEXT:  LBB20_2: ## %else
2554 ; SSE42-NEXT:    pextrb $2, %xmm2, %eax
2555 ; SSE42-NEXT:    testb $1, %al
2556 ; SSE42-NEXT:    je LBB20_4
2557 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
2558 ; SSE42-NEXT:    pinsrd $1, 4(%rdi), %xmm0
2559 ; SSE42-NEXT:  LBB20_4: ## %else2
2560 ; SSE42-NEXT:    pextrb $4, %xmm2, %eax
2561 ; SSE42-NEXT:    testb $1, %al
2562 ; SSE42-NEXT:    je LBB20_6
2563 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
2564 ; SSE42-NEXT:    pinsrd $2, 8(%rdi), %xmm0
2565 ; SSE42-NEXT:  LBB20_6: ## %else5
2566 ; SSE42-NEXT:    pextrb $6, %xmm2, %eax
2567 ; SSE42-NEXT:    testb $1, %al
2568 ; SSE42-NEXT:    je LBB20_8
2569 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
2570 ; SSE42-NEXT:    pinsrd $3, 12(%rdi), %xmm0
2571 ; SSE42-NEXT:  LBB20_8: ## %else8
2572 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
2573 ; SSE42-NEXT:    testb $1, %al
2574 ; SSE42-NEXT:    je LBB20_10
2575 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
2576 ; SSE42-NEXT:    pinsrd $0, 16(%rdi), %xmm1
2577 ; SSE42-NEXT:  LBB20_10: ## %else11
2578 ; SSE42-NEXT:    pextrb $10, %xmm2, %eax
2579 ; SSE42-NEXT:    testb $1, %al
2580 ; SSE42-NEXT:    je LBB20_12
2581 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
2582 ; SSE42-NEXT:    pinsrd $1, 20(%rdi), %xmm1
2583 ; SSE42-NEXT:  LBB20_12: ## %else14
2584 ; SSE42-NEXT:    pextrb $12, %xmm2, %eax
2585 ; SSE42-NEXT:    testb $1, %al
2586 ; SSE42-NEXT:    je LBB20_14
2587 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
2588 ; SSE42-NEXT:    pinsrd $2, 24(%rdi), %xmm1
2589 ; SSE42-NEXT:  LBB20_14: ## %else17
2590 ; SSE42-NEXT:    pextrb $14, %xmm2, %eax
2591 ; SSE42-NEXT:    testb $1, %al
2592 ; SSE42-NEXT:    je LBB20_16
2593 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
2594 ; SSE42-NEXT:    pinsrd $3, 28(%rdi), %xmm1
2595 ; SSE42-NEXT:  LBB20_16: ## %else20
2596 ; SSE42-NEXT:    retq
2597 ;
2598 ; AVX1-LABEL: load_v8i32_v8i1_zero:
2599 ; AVX1:       ## %bb.0:
2600 ; AVX1-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
2601 ; AVX1-NEXT:    vpslld $31, %xmm1, %xmm1
2602 ; AVX1-NEXT:    vpsrad $31, %xmm1, %xmm1
2603 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
2604 ; AVX1-NEXT:    vpslld $31, %xmm0, %xmm0
2605 ; AVX1-NEXT:    vpsrad $31, %xmm0, %xmm0
2606 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
2607 ; AVX1-NEXT:    vmaskmovps (%rdi), %ymm0, %ymm0
2608 ; AVX1-NEXT:    retq
2609 ;
2610 ; AVX2-LABEL: load_v8i32_v8i1_zero:
2611 ; AVX2:       ## %bb.0:
2612 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
2613 ; AVX2-NEXT:    vpslld $31, %ymm0, %ymm0
2614 ; AVX2-NEXT:    vpsrad $31, %ymm0, %ymm0
2615 ; AVX2-NEXT:    vpmaskmovd (%rdi), %ymm0, %ymm0
2616 ; AVX2-NEXT:    retq
2617 ;
2618 ; AVX512F-LABEL: load_v8i32_v8i1_zero:
2619 ; AVX512F:       ## %bb.0:
2620 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
2621 ; AVX512F-NEXT:    vpsllq $63, %zmm0, %zmm0
2622 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k1
2623 ; AVX512F-NEXT:    vmovdqu32 (%rdi), %zmm0 {%k1} {z}
2624 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
2625 ; AVX512F-NEXT:    retq
2626 ;
2627 ; AVX512VLDQ-LABEL: load_v8i32_v8i1_zero:
2628 ; AVX512VLDQ:       ## %bb.0:
2629 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm0, %ymm0
2630 ; AVX512VLDQ-NEXT:    vpslld $31, %ymm0, %ymm0
2631 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm0, %k1
2632 ; AVX512VLDQ-NEXT:    vmovdqu32 (%rdi), %ymm0 {%k1} {z}
2633 ; AVX512VLDQ-NEXT:    retq
2634 ;
2635 ; AVX512VLBW-LABEL: load_v8i32_v8i1_zero:
2636 ; AVX512VLBW:       ## %bb.0:
2637 ; AVX512VLBW-NEXT:    vpsllw $15, %xmm0, %xmm0
2638 ; AVX512VLBW-NEXT:    vpmovw2m %xmm0, %k1
2639 ; AVX512VLBW-NEXT:    vmovdqu32 (%rdi), %ymm0 {%k1} {z}
2640 ; AVX512VLBW-NEXT:    retq
2641   %res = call <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>* %addr, i32 4, <8 x i1> %mask, <8 x i32> zeroinitializer)
2642   ret <8 x i32> %res
2643 }
2644
2645 ;
2646 ; vXi16
2647 ;
2648
2649 define <8 x i16> @load_v8i16_v8i16(<8 x i16> %trigger, <8 x i16>* %addr, <8 x i16> %dst) {
2650 ; SSE2-LABEL: load_v8i16_v8i16:
2651 ; SSE2:       ## %bb.0:
2652 ; SSE2-NEXT:    pxor %xmm2, %xmm2
2653 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm2
2654 ; SSE2-NEXT:    movd %xmm2, %eax
2655 ; SSE2-NEXT:    testb $1, %al
2656 ; SSE2-NEXT:    je LBB21_2
2657 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
2658 ; SSE2-NEXT:    pinsrw $0, (%rdi), %xmm1
2659 ; SSE2-NEXT:  LBB21_2: ## %else
2660 ; SSE2-NEXT:    shrl $16, %eax
2661 ; SSE2-NEXT:    testb $1, %al
2662 ; SSE2-NEXT:    je LBB21_4
2663 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
2664 ; SSE2-NEXT:    pinsrw $1, 2(%rdi), %xmm1
2665 ; SSE2-NEXT:  LBB21_4: ## %else2
2666 ; SSE2-NEXT:    pxor %xmm2, %xmm2
2667 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm2
2668 ; SSE2-NEXT:    pextrw $2, %xmm2, %eax
2669 ; SSE2-NEXT:    testb $1, %al
2670 ; SSE2-NEXT:    je LBB21_6
2671 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
2672 ; SSE2-NEXT:    pinsrw $2, 4(%rdi), %xmm1
2673 ; SSE2-NEXT:  LBB21_6: ## %else5
2674 ; SSE2-NEXT:    pextrw $3, %xmm2, %eax
2675 ; SSE2-NEXT:    testb $1, %al
2676 ; SSE2-NEXT:    je LBB21_8
2677 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
2678 ; SSE2-NEXT:    pinsrw $3, 6(%rdi), %xmm1
2679 ; SSE2-NEXT:  LBB21_8: ## %else8
2680 ; SSE2-NEXT:    pxor %xmm2, %xmm2
2681 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm2
2682 ; SSE2-NEXT:    pextrw $4, %xmm2, %eax
2683 ; SSE2-NEXT:    testb $1, %al
2684 ; SSE2-NEXT:    je LBB21_10
2685 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
2686 ; SSE2-NEXT:    pinsrw $4, 8(%rdi), %xmm1
2687 ; SSE2-NEXT:  LBB21_10: ## %else11
2688 ; SSE2-NEXT:    pextrw $5, %xmm2, %eax
2689 ; SSE2-NEXT:    testb $1, %al
2690 ; SSE2-NEXT:    je LBB21_12
2691 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
2692 ; SSE2-NEXT:    pinsrw $5, 10(%rdi), %xmm1
2693 ; SSE2-NEXT:  LBB21_12: ## %else14
2694 ; SSE2-NEXT:    pxor %xmm2, %xmm2
2695 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm2
2696 ; SSE2-NEXT:    pextrw $6, %xmm2, %eax
2697 ; SSE2-NEXT:    testb $1, %al
2698 ; SSE2-NEXT:    je LBB21_14
2699 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
2700 ; SSE2-NEXT:    pinsrw $6, 12(%rdi), %xmm1
2701 ; SSE2-NEXT:  LBB21_14: ## %else17
2702 ; SSE2-NEXT:    pextrw $7, %xmm2, %eax
2703 ; SSE2-NEXT:    testb $1, %al
2704 ; SSE2-NEXT:    je LBB21_16
2705 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
2706 ; SSE2-NEXT:    pinsrw $7, 14(%rdi), %xmm1
2707 ; SSE2-NEXT:  LBB21_16: ## %else20
2708 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
2709 ; SSE2-NEXT:    retq
2710 ;
2711 ; SSE42-LABEL: load_v8i16_v8i16:
2712 ; SSE42:       ## %bb.0:
2713 ; SSE42-NEXT:    pxor %xmm2, %xmm2
2714 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm2
2715 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
2716 ; SSE42-NEXT:    testb $1, %al
2717 ; SSE42-NEXT:    je LBB21_2
2718 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
2719 ; SSE42-NEXT:    pinsrw $0, (%rdi), %xmm1
2720 ; SSE42-NEXT:  LBB21_2: ## %else
2721 ; SSE42-NEXT:    pextrb $2, %xmm2, %eax
2722 ; SSE42-NEXT:    testb $1, %al
2723 ; SSE42-NEXT:    je LBB21_4
2724 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
2725 ; SSE42-NEXT:    pinsrw $1, 2(%rdi), %xmm1
2726 ; SSE42-NEXT:  LBB21_4: ## %else2
2727 ; SSE42-NEXT:    pxor %xmm2, %xmm2
2728 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm2
2729 ; SSE42-NEXT:    pextrb $4, %xmm2, %eax
2730 ; SSE42-NEXT:    testb $1, %al
2731 ; SSE42-NEXT:    je LBB21_6
2732 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
2733 ; SSE42-NEXT:    pinsrw $2, 4(%rdi), %xmm1
2734 ; SSE42-NEXT:  LBB21_6: ## %else5
2735 ; SSE42-NEXT:    pextrb $6, %xmm2, %eax
2736 ; SSE42-NEXT:    testb $1, %al
2737 ; SSE42-NEXT:    je LBB21_8
2738 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
2739 ; SSE42-NEXT:    pinsrw $3, 6(%rdi), %xmm1
2740 ; SSE42-NEXT:  LBB21_8: ## %else8
2741 ; SSE42-NEXT:    pxor %xmm2, %xmm2
2742 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm2
2743 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
2744 ; SSE42-NEXT:    testb $1, %al
2745 ; SSE42-NEXT:    je LBB21_10
2746 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
2747 ; SSE42-NEXT:    pinsrw $4, 8(%rdi), %xmm1
2748 ; SSE42-NEXT:  LBB21_10: ## %else11
2749 ; SSE42-NEXT:    pextrb $10, %xmm2, %eax
2750 ; SSE42-NEXT:    testb $1, %al
2751 ; SSE42-NEXT:    je LBB21_12
2752 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
2753 ; SSE42-NEXT:    pinsrw $5, 10(%rdi), %xmm1
2754 ; SSE42-NEXT:  LBB21_12: ## %else14
2755 ; SSE42-NEXT:    pxor %xmm2, %xmm2
2756 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm2
2757 ; SSE42-NEXT:    pextrb $12, %xmm2, %eax
2758 ; SSE42-NEXT:    testb $1, %al
2759 ; SSE42-NEXT:    je LBB21_14
2760 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
2761 ; SSE42-NEXT:    pinsrw $6, 12(%rdi), %xmm1
2762 ; SSE42-NEXT:  LBB21_14: ## %else17
2763 ; SSE42-NEXT:    pextrb $14, %xmm2, %eax
2764 ; SSE42-NEXT:    testb $1, %al
2765 ; SSE42-NEXT:    je LBB21_16
2766 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
2767 ; SSE42-NEXT:    pinsrw $7, 14(%rdi), %xmm1
2768 ; SSE42-NEXT:  LBB21_16: ## %else20
2769 ; SSE42-NEXT:    movdqa %xmm1, %xmm0
2770 ; SSE42-NEXT:    retq
2771 ;
2772 ; AVX1OR2-LABEL: load_v8i16_v8i16:
2773 ; AVX1OR2:       ## %bb.0:
2774 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2775 ; AVX1OR2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2776 ; AVX1OR2-NEXT:    vpextrb $0, %xmm2, %eax
2777 ; AVX1OR2-NEXT:    testb $1, %al
2778 ; AVX1OR2-NEXT:    je LBB21_2
2779 ; AVX1OR2-NEXT:  ## %bb.1: ## %cond.load
2780 ; AVX1OR2-NEXT:    vpinsrw $0, (%rdi), %xmm1, %xmm1
2781 ; AVX1OR2-NEXT:  LBB21_2: ## %else
2782 ; AVX1OR2-NEXT:    vpextrb $2, %xmm2, %eax
2783 ; AVX1OR2-NEXT:    testb $1, %al
2784 ; AVX1OR2-NEXT:    je LBB21_4
2785 ; AVX1OR2-NEXT:  ## %bb.3: ## %cond.load1
2786 ; AVX1OR2-NEXT:    vpinsrw $1, 2(%rdi), %xmm1, %xmm1
2787 ; AVX1OR2-NEXT:  LBB21_4: ## %else2
2788 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2789 ; AVX1OR2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2790 ; AVX1OR2-NEXT:    vpextrb $4, %xmm2, %eax
2791 ; AVX1OR2-NEXT:    testb $1, %al
2792 ; AVX1OR2-NEXT:    je LBB21_6
2793 ; AVX1OR2-NEXT:  ## %bb.5: ## %cond.load4
2794 ; AVX1OR2-NEXT:    vpinsrw $2, 4(%rdi), %xmm1, %xmm1
2795 ; AVX1OR2-NEXT:  LBB21_6: ## %else5
2796 ; AVX1OR2-NEXT:    vpextrb $6, %xmm2, %eax
2797 ; AVX1OR2-NEXT:    testb $1, %al
2798 ; AVX1OR2-NEXT:    je LBB21_8
2799 ; AVX1OR2-NEXT:  ## %bb.7: ## %cond.load7
2800 ; AVX1OR2-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1
2801 ; AVX1OR2-NEXT:  LBB21_8: ## %else8
2802 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2803 ; AVX1OR2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2804 ; AVX1OR2-NEXT:    vpextrb $8, %xmm2, %eax
2805 ; AVX1OR2-NEXT:    testb $1, %al
2806 ; AVX1OR2-NEXT:    je LBB21_10
2807 ; AVX1OR2-NEXT:  ## %bb.9: ## %cond.load10
2808 ; AVX1OR2-NEXT:    vpinsrw $4, 8(%rdi), %xmm1, %xmm1
2809 ; AVX1OR2-NEXT:  LBB21_10: ## %else11
2810 ; AVX1OR2-NEXT:    vpextrb $10, %xmm2, %eax
2811 ; AVX1OR2-NEXT:    testb $1, %al
2812 ; AVX1OR2-NEXT:    je LBB21_12
2813 ; AVX1OR2-NEXT:  ## %bb.11: ## %cond.load13
2814 ; AVX1OR2-NEXT:    vpinsrw $5, 10(%rdi), %xmm1, %xmm1
2815 ; AVX1OR2-NEXT:  LBB21_12: ## %else14
2816 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2817 ; AVX1OR2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm0
2818 ; AVX1OR2-NEXT:    vpextrb $12, %xmm0, %eax
2819 ; AVX1OR2-NEXT:    testb $1, %al
2820 ; AVX1OR2-NEXT:    je LBB21_14
2821 ; AVX1OR2-NEXT:  ## %bb.13: ## %cond.load16
2822 ; AVX1OR2-NEXT:    vpinsrw $6, 12(%rdi), %xmm1, %xmm1
2823 ; AVX1OR2-NEXT:  LBB21_14: ## %else17
2824 ; AVX1OR2-NEXT:    vpextrb $14, %xmm0, %eax
2825 ; AVX1OR2-NEXT:    testb $1, %al
2826 ; AVX1OR2-NEXT:    je LBB21_16
2827 ; AVX1OR2-NEXT:  ## %bb.15: ## %cond.load19
2828 ; AVX1OR2-NEXT:    vpinsrw $7, 14(%rdi), %xmm1, %xmm1
2829 ; AVX1OR2-NEXT:  LBB21_16: ## %else20
2830 ; AVX1OR2-NEXT:    vmovdqa %xmm1, %xmm0
2831 ; AVX1OR2-NEXT:    retq
2832 ;
2833 ; AVX512F-LABEL: load_v8i16_v8i16:
2834 ; AVX512F:       ## %bb.0:
2835 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2836 ; AVX512F-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2837 ; AVX512F-NEXT:    vpmovsxwq %xmm2, %zmm2
2838 ; AVX512F-NEXT:    vptestmq %zmm2, %zmm2, %k0
2839 ; AVX512F-NEXT:    kmovw %k0, %eax
2840 ; AVX512F-NEXT:    testb $1, %al
2841 ; AVX512F-NEXT:    je LBB21_2
2842 ; AVX512F-NEXT:  ## %bb.1: ## %cond.load
2843 ; AVX512F-NEXT:    vpinsrw $0, (%rdi), %xmm1, %xmm1
2844 ; AVX512F-NEXT:  LBB21_2: ## %else
2845 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k0
2846 ; AVX512F-NEXT:    kmovw %k0, %eax
2847 ; AVX512F-NEXT:    testb $1, %al
2848 ; AVX512F-NEXT:    je LBB21_4
2849 ; AVX512F-NEXT:  ## %bb.3: ## %cond.load1
2850 ; AVX512F-NEXT:    vpinsrw $1, 2(%rdi), %xmm1, %xmm1
2851 ; AVX512F-NEXT:  LBB21_4: ## %else2
2852 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2853 ; AVX512F-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2854 ; AVX512F-NEXT:    vpmovsxwq %xmm2, %zmm2
2855 ; AVX512F-NEXT:    vptestmq %zmm2, %zmm2, %k0
2856 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
2857 ; AVX512F-NEXT:    kmovw %k1, %eax
2858 ; AVX512F-NEXT:    testb $1, %al
2859 ; AVX512F-NEXT:    je LBB21_6
2860 ; AVX512F-NEXT:  ## %bb.5: ## %cond.load4
2861 ; AVX512F-NEXT:    vpinsrw $2, 4(%rdi), %xmm1, %xmm1
2862 ; AVX512F-NEXT:  LBB21_6: ## %else5
2863 ; AVX512F-NEXT:    kshiftrw $3, %k0, %k0
2864 ; AVX512F-NEXT:    kmovw %k0, %eax
2865 ; AVX512F-NEXT:    testb $1, %al
2866 ; AVX512F-NEXT:    je LBB21_8
2867 ; AVX512F-NEXT:  ## %bb.7: ## %cond.load7
2868 ; AVX512F-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1
2869 ; AVX512F-NEXT:  LBB21_8: ## %else8
2870 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2871 ; AVX512F-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2872 ; AVX512F-NEXT:    vpmovsxwq %xmm2, %zmm2
2873 ; AVX512F-NEXT:    vptestmq %zmm2, %zmm2, %k0
2874 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
2875 ; AVX512F-NEXT:    kmovw %k1, %eax
2876 ; AVX512F-NEXT:    testb $1, %al
2877 ; AVX512F-NEXT:    je LBB21_10
2878 ; AVX512F-NEXT:  ## %bb.9: ## %cond.load10
2879 ; AVX512F-NEXT:    vpinsrw $4, 8(%rdi), %xmm1, %xmm1
2880 ; AVX512F-NEXT:  LBB21_10: ## %else11
2881 ; AVX512F-NEXT:    kshiftrw $5, %k0, %k0
2882 ; AVX512F-NEXT:    kmovw %k0, %eax
2883 ; AVX512F-NEXT:    testb $1, %al
2884 ; AVX512F-NEXT:    je LBB21_12
2885 ; AVX512F-NEXT:  ## %bb.11: ## %cond.load13
2886 ; AVX512F-NEXT:    vpinsrw $5, 10(%rdi), %xmm1, %xmm1
2887 ; AVX512F-NEXT:  LBB21_12: ## %else14
2888 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2889 ; AVX512F-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm0
2890 ; AVX512F-NEXT:    vpmovsxwq %xmm0, %zmm0
2891 ; AVX512F-NEXT:    vptestmq %zmm0, %zmm0, %k0
2892 ; AVX512F-NEXT:    kshiftrw $6, %k0, %k1
2893 ; AVX512F-NEXT:    kmovw %k1, %eax
2894 ; AVX512F-NEXT:    testb $1, %al
2895 ; AVX512F-NEXT:    je LBB21_14
2896 ; AVX512F-NEXT:  ## %bb.13: ## %cond.load16
2897 ; AVX512F-NEXT:    vpinsrw $6, 12(%rdi), %xmm1, %xmm1
2898 ; AVX512F-NEXT:  LBB21_14: ## %else17
2899 ; AVX512F-NEXT:    kshiftrw $7, %k0, %k0
2900 ; AVX512F-NEXT:    kmovw %k0, %eax
2901 ; AVX512F-NEXT:    testb $1, %al
2902 ; AVX512F-NEXT:    je LBB21_16
2903 ; AVX512F-NEXT:  ## %bb.15: ## %cond.load19
2904 ; AVX512F-NEXT:    vpinsrw $7, 14(%rdi), %xmm1, %xmm1
2905 ; AVX512F-NEXT:  LBB21_16: ## %else20
2906 ; AVX512F-NEXT:    vmovdqa %xmm1, %xmm0
2907 ; AVX512F-NEXT:    vzeroupper
2908 ; AVX512F-NEXT:    retq
2909 ;
2910 ; AVX512VLDQ-LABEL: load_v8i16_v8i16:
2911 ; AVX512VLDQ:       ## %bb.0:
2912 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2913 ; AVX512VLDQ-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2914 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm2, %ymm2
2915 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm2, %k0
2916 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
2917 ; AVX512VLDQ-NEXT:    testb $1, %al
2918 ; AVX512VLDQ-NEXT:    je LBB21_2
2919 ; AVX512VLDQ-NEXT:  ## %bb.1: ## %cond.load
2920 ; AVX512VLDQ-NEXT:    vpinsrw $0, (%rdi), %xmm1, %xmm1
2921 ; AVX512VLDQ-NEXT:  LBB21_2: ## %else
2922 ; AVX512VLDQ-NEXT:    kshiftrb $1, %k0, %k0
2923 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
2924 ; AVX512VLDQ-NEXT:    testb $1, %al
2925 ; AVX512VLDQ-NEXT:    je LBB21_4
2926 ; AVX512VLDQ-NEXT:  ## %bb.3: ## %cond.load1
2927 ; AVX512VLDQ-NEXT:    vpinsrw $1, 2(%rdi), %xmm1, %xmm1
2928 ; AVX512VLDQ-NEXT:  LBB21_4: ## %else2
2929 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2930 ; AVX512VLDQ-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2931 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm2, %ymm2
2932 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm2, %k0
2933 ; AVX512VLDQ-NEXT:    kshiftrb $2, %k0, %k1
2934 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
2935 ; AVX512VLDQ-NEXT:    testb $1, %al
2936 ; AVX512VLDQ-NEXT:    je LBB21_6
2937 ; AVX512VLDQ-NEXT:  ## %bb.5: ## %cond.load4
2938 ; AVX512VLDQ-NEXT:    vpinsrw $2, 4(%rdi), %xmm1, %xmm1
2939 ; AVX512VLDQ-NEXT:  LBB21_6: ## %else5
2940 ; AVX512VLDQ-NEXT:    kshiftrb $3, %k0, %k0
2941 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
2942 ; AVX512VLDQ-NEXT:    testb $1, %al
2943 ; AVX512VLDQ-NEXT:    je LBB21_8
2944 ; AVX512VLDQ-NEXT:  ## %bb.7: ## %cond.load7
2945 ; AVX512VLDQ-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1
2946 ; AVX512VLDQ-NEXT:  LBB21_8: ## %else8
2947 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2948 ; AVX512VLDQ-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
2949 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm2, %ymm2
2950 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm2, %k0
2951 ; AVX512VLDQ-NEXT:    kshiftrb $4, %k0, %k1
2952 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
2953 ; AVX512VLDQ-NEXT:    testb $1, %al
2954 ; AVX512VLDQ-NEXT:    je LBB21_10
2955 ; AVX512VLDQ-NEXT:  ## %bb.9: ## %cond.load10
2956 ; AVX512VLDQ-NEXT:    vpinsrw $4, 8(%rdi), %xmm1, %xmm1
2957 ; AVX512VLDQ-NEXT:  LBB21_10: ## %else11
2958 ; AVX512VLDQ-NEXT:    kshiftrb $5, %k0, %k0
2959 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
2960 ; AVX512VLDQ-NEXT:    testb $1, %al
2961 ; AVX512VLDQ-NEXT:    je LBB21_12
2962 ; AVX512VLDQ-NEXT:  ## %bb.11: ## %cond.load13
2963 ; AVX512VLDQ-NEXT:    vpinsrw $5, 10(%rdi), %xmm1, %xmm1
2964 ; AVX512VLDQ-NEXT:  LBB21_12: ## %else14
2965 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
2966 ; AVX512VLDQ-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm0
2967 ; AVX512VLDQ-NEXT:    vpmovsxwd %xmm0, %ymm0
2968 ; AVX512VLDQ-NEXT:    vpmovd2m %ymm0, %k0
2969 ; AVX512VLDQ-NEXT:    kshiftrb $6, %k0, %k1
2970 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
2971 ; AVX512VLDQ-NEXT:    testb $1, %al
2972 ; AVX512VLDQ-NEXT:    je LBB21_14
2973 ; AVX512VLDQ-NEXT:  ## %bb.13: ## %cond.load16
2974 ; AVX512VLDQ-NEXT:    vpinsrw $6, 12(%rdi), %xmm1, %xmm1
2975 ; AVX512VLDQ-NEXT:  LBB21_14: ## %else17
2976 ; AVX512VLDQ-NEXT:    kshiftrb $7, %k0, %k0
2977 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
2978 ; AVX512VLDQ-NEXT:    testb $1, %al
2979 ; AVX512VLDQ-NEXT:    je LBB21_16
2980 ; AVX512VLDQ-NEXT:  ## %bb.15: ## %cond.load19
2981 ; AVX512VLDQ-NEXT:    vpinsrw $7, 14(%rdi), %xmm1, %xmm1
2982 ; AVX512VLDQ-NEXT:  LBB21_16: ## %else20
2983 ; AVX512VLDQ-NEXT:    vmovdqa %xmm1, %xmm0
2984 ; AVX512VLDQ-NEXT:    vzeroupper
2985 ; AVX512VLDQ-NEXT:    retq
2986 ;
2987 ; AVX512VLBW-LABEL: load_v8i16_v8i16:
2988 ; AVX512VLBW:       ## %bb.0:
2989 ; AVX512VLBW-NEXT:    vpmovw2m %xmm0, %k1
2990 ; AVX512VLBW-NEXT:    vpblendmw (%rdi), %xmm1, %xmm0 {%k1}
2991 ; AVX512VLBW-NEXT:    retq
2992   %mask = icmp slt <8 x i16> %trigger, zeroinitializer
2993   %res = call <8 x i16> @llvm.masked.load.v8i16.p0v8i16(<8 x i16>* %addr, i32 4, <8 x i1> %mask, <8 x i16> %dst)
2994   ret <8 x i16> %res
2995 }
2996
2997 define <16 x i16> @load_v16i16_v16i16(<16 x i16> %trigger, <16 x i16>* %addr, <16 x i16> %dst) {
2998 ; SSE2-LABEL: load_v16i16_v16i16:
2999 ; SSE2:       ## %bb.0:
3000 ; SSE2-NEXT:    pxor %xmm4, %xmm4
3001 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm4
3002 ; SSE2-NEXT:    movd %xmm4, %eax
3003 ; SSE2-NEXT:    testb $1, %al
3004 ; SSE2-NEXT:    je LBB22_2
3005 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
3006 ; SSE2-NEXT:    pinsrw $0, (%rdi), %xmm2
3007 ; SSE2-NEXT:  LBB22_2: ## %else
3008 ; SSE2-NEXT:    shrl $16, %eax
3009 ; SSE2-NEXT:    testb $1, %al
3010 ; SSE2-NEXT:    je LBB22_4
3011 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
3012 ; SSE2-NEXT:    pinsrw $1, 2(%rdi), %xmm2
3013 ; SSE2-NEXT:  LBB22_4: ## %else2
3014 ; SSE2-NEXT:    pxor %xmm4, %xmm4
3015 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm4
3016 ; SSE2-NEXT:    pextrw $2, %xmm4, %eax
3017 ; SSE2-NEXT:    testb $1, %al
3018 ; SSE2-NEXT:    je LBB22_6
3019 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
3020 ; SSE2-NEXT:    pinsrw $2, 4(%rdi), %xmm2
3021 ; SSE2-NEXT:  LBB22_6: ## %else5
3022 ; SSE2-NEXT:    pextrw $3, %xmm4, %eax
3023 ; SSE2-NEXT:    testb $1, %al
3024 ; SSE2-NEXT:    je LBB22_8
3025 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
3026 ; SSE2-NEXT:    pinsrw $3, 6(%rdi), %xmm2
3027 ; SSE2-NEXT:  LBB22_8: ## %else8
3028 ; SSE2-NEXT:    pxor %xmm4, %xmm4
3029 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm4
3030 ; SSE2-NEXT:    pextrw $4, %xmm4, %eax
3031 ; SSE2-NEXT:    testb $1, %al
3032 ; SSE2-NEXT:    je LBB22_10
3033 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
3034 ; SSE2-NEXT:    pinsrw $4, 8(%rdi), %xmm2
3035 ; SSE2-NEXT:  LBB22_10: ## %else11
3036 ; SSE2-NEXT:    pextrw $5, %xmm4, %eax
3037 ; SSE2-NEXT:    testb $1, %al
3038 ; SSE2-NEXT:    je LBB22_12
3039 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
3040 ; SSE2-NEXT:    pinsrw $5, 10(%rdi), %xmm2
3041 ; SSE2-NEXT:  LBB22_12: ## %else14
3042 ; SSE2-NEXT:    pxor %xmm4, %xmm4
3043 ; SSE2-NEXT:    pcmpgtw %xmm0, %xmm4
3044 ; SSE2-NEXT:    pextrw $6, %xmm4, %eax
3045 ; SSE2-NEXT:    testb $1, %al
3046 ; SSE2-NEXT:    je LBB22_14
3047 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
3048 ; SSE2-NEXT:    pinsrw $6, 12(%rdi), %xmm2
3049 ; SSE2-NEXT:  LBB22_14: ## %else17
3050 ; SSE2-NEXT:    pextrw $7, %xmm4, %eax
3051 ; SSE2-NEXT:    testb $1, %al
3052 ; SSE2-NEXT:    je LBB22_16
3053 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
3054 ; SSE2-NEXT:    pinsrw $7, 14(%rdi), %xmm2
3055 ; SSE2-NEXT:  LBB22_16: ## %else20
3056 ; SSE2-NEXT:    pxor %xmm0, %xmm0
3057 ; SSE2-NEXT:    pcmpgtw %xmm1, %xmm0
3058 ; SSE2-NEXT:    movd %xmm0, %eax
3059 ; SSE2-NEXT:    testb $1, %al
3060 ; SSE2-NEXT:    je LBB22_18
3061 ; SSE2-NEXT:  ## %bb.17: ## %cond.load22
3062 ; SSE2-NEXT:    pinsrw $0, 16(%rdi), %xmm3
3063 ; SSE2-NEXT:  LBB22_18: ## %else23
3064 ; SSE2-NEXT:    shrl $16, %eax
3065 ; SSE2-NEXT:    testb $1, %al
3066 ; SSE2-NEXT:    je LBB22_20
3067 ; SSE2-NEXT:  ## %bb.19: ## %cond.load25
3068 ; SSE2-NEXT:    pinsrw $1, 18(%rdi), %xmm3
3069 ; SSE2-NEXT:  LBB22_20: ## %else26
3070 ; SSE2-NEXT:    pxor %xmm0, %xmm0
3071 ; SSE2-NEXT:    pcmpgtw %xmm1, %xmm0
3072 ; SSE2-NEXT:    pextrw $2, %xmm0, %eax
3073 ; SSE2-NEXT:    testb $1, %al
3074 ; SSE2-NEXT:    je LBB22_22
3075 ; SSE2-NEXT:  ## %bb.21: ## %cond.load28
3076 ; SSE2-NEXT:    pinsrw $2, 20(%rdi), %xmm3
3077 ; SSE2-NEXT:  LBB22_22: ## %else29
3078 ; SSE2-NEXT:    pextrw $3, %xmm0, %eax
3079 ; SSE2-NEXT:    testb $1, %al
3080 ; SSE2-NEXT:    je LBB22_24
3081 ; SSE2-NEXT:  ## %bb.23: ## %cond.load31
3082 ; SSE2-NEXT:    pinsrw $3, 22(%rdi), %xmm3
3083 ; SSE2-NEXT:  LBB22_24: ## %else32
3084 ; SSE2-NEXT:    pxor %xmm0, %xmm0
3085 ; SSE2-NEXT:    pcmpgtw %xmm1, %xmm0
3086 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
3087 ; SSE2-NEXT:    testb $1, %al
3088 ; SSE2-NEXT:    je LBB22_26
3089 ; SSE2-NEXT:  ## %bb.25: ## %cond.load34
3090 ; SSE2-NEXT:    pinsrw $4, 24(%rdi), %xmm3
3091 ; SSE2-NEXT:  LBB22_26: ## %else35
3092 ; SSE2-NEXT:    pextrw $5, %xmm0, %eax
3093 ; SSE2-NEXT:    testb $1, %al
3094 ; SSE2-NEXT:    je LBB22_28
3095 ; SSE2-NEXT:  ## %bb.27: ## %cond.load37
3096 ; SSE2-NEXT:    pinsrw $5, 26(%rdi), %xmm3
3097 ; SSE2-NEXT:  LBB22_28: ## %else38
3098 ; SSE2-NEXT:    pxor %xmm0, %xmm0
3099 ; SSE2-NEXT:    pcmpgtw %xmm1, %xmm0
3100 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
3101 ; SSE2-NEXT:    testb $1, %al
3102 ; SSE2-NEXT:    je LBB22_30
3103 ; SSE2-NEXT:  ## %bb.29: ## %cond.load40
3104 ; SSE2-NEXT:    pinsrw $6, 28(%rdi), %xmm3
3105 ; SSE2-NEXT:  LBB22_30: ## %else41
3106 ; SSE2-NEXT:    pextrw $7, %xmm0, %eax
3107 ; SSE2-NEXT:    testb $1, %al
3108 ; SSE2-NEXT:    je LBB22_32
3109 ; SSE2-NEXT:  ## %bb.31: ## %cond.load43
3110 ; SSE2-NEXT:    pinsrw $7, 30(%rdi), %xmm3
3111 ; SSE2-NEXT:  LBB22_32: ## %else44
3112 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
3113 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
3114 ; SSE2-NEXT:    retq
3115 ;
3116 ; SSE42-LABEL: load_v16i16_v16i16:
3117 ; SSE42:       ## %bb.0:
3118 ; SSE42-NEXT:    pxor %xmm4, %xmm4
3119 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm4
3120 ; SSE42-NEXT:    pextrb $0, %xmm4, %eax
3121 ; SSE42-NEXT:    testb $1, %al
3122 ; SSE42-NEXT:    je LBB22_2
3123 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
3124 ; SSE42-NEXT:    pinsrw $0, (%rdi), %xmm2
3125 ; SSE42-NEXT:  LBB22_2: ## %else
3126 ; SSE42-NEXT:    pextrb $2, %xmm4, %eax
3127 ; SSE42-NEXT:    testb $1, %al
3128 ; SSE42-NEXT:    je LBB22_4
3129 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
3130 ; SSE42-NEXT:    pinsrw $1, 2(%rdi), %xmm2
3131 ; SSE42-NEXT:  LBB22_4: ## %else2
3132 ; SSE42-NEXT:    pxor %xmm4, %xmm4
3133 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm4
3134 ; SSE42-NEXT:    pextrb $4, %xmm4, %eax
3135 ; SSE42-NEXT:    testb $1, %al
3136 ; SSE42-NEXT:    je LBB22_6
3137 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
3138 ; SSE42-NEXT:    pinsrw $2, 4(%rdi), %xmm2
3139 ; SSE42-NEXT:  LBB22_6: ## %else5
3140 ; SSE42-NEXT:    pextrb $6, %xmm4, %eax
3141 ; SSE42-NEXT:    testb $1, %al
3142 ; SSE42-NEXT:    je LBB22_8
3143 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
3144 ; SSE42-NEXT:    pinsrw $3, 6(%rdi), %xmm2
3145 ; SSE42-NEXT:  LBB22_8: ## %else8
3146 ; SSE42-NEXT:    pxor %xmm4, %xmm4
3147 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm4
3148 ; SSE42-NEXT:    pextrb $8, %xmm4, %eax
3149 ; SSE42-NEXT:    testb $1, %al
3150 ; SSE42-NEXT:    je LBB22_10
3151 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
3152 ; SSE42-NEXT:    pinsrw $4, 8(%rdi), %xmm2
3153 ; SSE42-NEXT:  LBB22_10: ## %else11
3154 ; SSE42-NEXT:    pextrb $10, %xmm4, %eax
3155 ; SSE42-NEXT:    testb $1, %al
3156 ; SSE42-NEXT:    je LBB22_12
3157 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
3158 ; SSE42-NEXT:    pinsrw $5, 10(%rdi), %xmm2
3159 ; SSE42-NEXT:  LBB22_12: ## %else14
3160 ; SSE42-NEXT:    pxor %xmm4, %xmm4
3161 ; SSE42-NEXT:    pcmpgtw %xmm0, %xmm4
3162 ; SSE42-NEXT:    pextrb $12, %xmm4, %eax
3163 ; SSE42-NEXT:    testb $1, %al
3164 ; SSE42-NEXT:    je LBB22_14
3165 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
3166 ; SSE42-NEXT:    pinsrw $6, 12(%rdi), %xmm2
3167 ; SSE42-NEXT:  LBB22_14: ## %else17
3168 ; SSE42-NEXT:    pextrb $14, %xmm4, %eax
3169 ; SSE42-NEXT:    testb $1, %al
3170 ; SSE42-NEXT:    je LBB22_16
3171 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
3172 ; SSE42-NEXT:    pinsrw $7, 14(%rdi), %xmm2
3173 ; SSE42-NEXT:  LBB22_16: ## %else20
3174 ; SSE42-NEXT:    pxor %xmm0, %xmm0
3175 ; SSE42-NEXT:    pcmpgtw %xmm1, %xmm0
3176 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
3177 ; SSE42-NEXT:    testb $1, %al
3178 ; SSE42-NEXT:    je LBB22_18
3179 ; SSE42-NEXT:  ## %bb.17: ## %cond.load22
3180 ; SSE42-NEXT:    pinsrw $0, 16(%rdi), %xmm3
3181 ; SSE42-NEXT:  LBB22_18: ## %else23
3182 ; SSE42-NEXT:    pextrb $2, %xmm0, %eax
3183 ; SSE42-NEXT:    testb $1, %al
3184 ; SSE42-NEXT:    je LBB22_20
3185 ; SSE42-NEXT:  ## %bb.19: ## %cond.load25
3186 ; SSE42-NEXT:    pinsrw $1, 18(%rdi), %xmm3
3187 ; SSE42-NEXT:  LBB22_20: ## %else26
3188 ; SSE42-NEXT:    pxor %xmm0, %xmm0
3189 ; SSE42-NEXT:    pcmpgtw %xmm1, %xmm0
3190 ; SSE42-NEXT:    pextrb $4, %xmm0, %eax
3191 ; SSE42-NEXT:    testb $1, %al
3192 ; SSE42-NEXT:    je LBB22_22
3193 ; SSE42-NEXT:  ## %bb.21: ## %cond.load28
3194 ; SSE42-NEXT:    pinsrw $2, 20(%rdi), %xmm3
3195 ; SSE42-NEXT:  LBB22_22: ## %else29
3196 ; SSE42-NEXT:    pextrb $6, %xmm0, %eax
3197 ; SSE42-NEXT:    testb $1, %al
3198 ; SSE42-NEXT:    je LBB22_24
3199 ; SSE42-NEXT:  ## %bb.23: ## %cond.load31
3200 ; SSE42-NEXT:    pinsrw $3, 22(%rdi), %xmm3
3201 ; SSE42-NEXT:  LBB22_24: ## %else32
3202 ; SSE42-NEXT:    pxor %xmm0, %xmm0
3203 ; SSE42-NEXT:    pcmpgtw %xmm1, %xmm0
3204 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
3205 ; SSE42-NEXT:    testb $1, %al
3206 ; SSE42-NEXT:    je LBB22_26
3207 ; SSE42-NEXT:  ## %bb.25: ## %cond.load34
3208 ; SSE42-NEXT:    pinsrw $4, 24(%rdi), %xmm3
3209 ; SSE42-NEXT:  LBB22_26: ## %else35
3210 ; SSE42-NEXT:    pextrb $10, %xmm0, %eax
3211 ; SSE42-NEXT:    testb $1, %al
3212 ; SSE42-NEXT:    je LBB22_28
3213 ; SSE42-NEXT:  ## %bb.27: ## %cond.load37
3214 ; SSE42-NEXT:    pinsrw $5, 26(%rdi), %xmm3
3215 ; SSE42-NEXT:  LBB22_28: ## %else38
3216 ; SSE42-NEXT:    pxor %xmm0, %xmm0
3217 ; SSE42-NEXT:    pcmpgtw %xmm1, %xmm0
3218 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
3219 ; SSE42-NEXT:    testb $1, %al
3220 ; SSE42-NEXT:    je LBB22_30
3221 ; SSE42-NEXT:  ## %bb.29: ## %cond.load40
3222 ; SSE42-NEXT:    pinsrw $6, 28(%rdi), %xmm3
3223 ; SSE42-NEXT:  LBB22_30: ## %else41
3224 ; SSE42-NEXT:    pextrb $14, %xmm0, %eax
3225 ; SSE42-NEXT:    testb $1, %al
3226 ; SSE42-NEXT:    je LBB22_32
3227 ; SSE42-NEXT:  ## %bb.31: ## %cond.load43
3228 ; SSE42-NEXT:    pinsrw $7, 30(%rdi), %xmm3
3229 ; SSE42-NEXT:  LBB22_32: ## %else44
3230 ; SSE42-NEXT:    movdqa %xmm2, %xmm0
3231 ; SSE42-NEXT:    movdqa %xmm3, %xmm1
3232 ; SSE42-NEXT:    retq
3233 ;
3234 ; AVX1-LABEL: load_v16i16_v16i16:
3235 ; AVX1:       ## %bb.0:
3236 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3237 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3238 ; AVX1-NEXT:    vpextrb $0, %xmm3, %eax
3239 ; AVX1-NEXT:    testb $1, %al
3240 ; AVX1-NEXT:    je LBB22_2
3241 ; AVX1-NEXT:  ## %bb.1: ## %cond.load
3242 ; AVX1-NEXT:    vpinsrw $0, (%rdi), %xmm1, %xmm3
3243 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3244 ; AVX1-NEXT:  LBB22_2: ## %else
3245 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3246 ; AVX1-NEXT:    vpextrb $2, %xmm2, %eax
3247 ; AVX1-NEXT:    testb $1, %al
3248 ; AVX1-NEXT:    je LBB22_4
3249 ; AVX1-NEXT:  ## %bb.3: ## %cond.load1
3250 ; AVX1-NEXT:    vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3251 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3252 ; AVX1-NEXT:  LBB22_4: ## %else2
3253 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3254 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3255 ; AVX1-NEXT:    vpextrb $4, %xmm3, %eax
3256 ; AVX1-NEXT:    testb $1, %al
3257 ; AVX1-NEXT:    je LBB22_6
3258 ; AVX1-NEXT:  ## %bb.5: ## %cond.load4
3259 ; AVX1-NEXT:    vpinsrw $2, 4(%rdi), %xmm1, %xmm3
3260 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3261 ; AVX1-NEXT:  LBB22_6: ## %else5
3262 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3263 ; AVX1-NEXT:    vpextrb $6, %xmm2, %eax
3264 ; AVX1-NEXT:    testb $1, %al
3265 ; AVX1-NEXT:    je LBB22_8
3266 ; AVX1-NEXT:  ## %bb.7: ## %cond.load7
3267 ; AVX1-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3268 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3269 ; AVX1-NEXT:  LBB22_8: ## %else8
3270 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3271 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3272 ; AVX1-NEXT:    vpextrb $8, %xmm3, %eax
3273 ; AVX1-NEXT:    testb $1, %al
3274 ; AVX1-NEXT:    je LBB22_10
3275 ; AVX1-NEXT:  ## %bb.9: ## %cond.load10
3276 ; AVX1-NEXT:    vpinsrw $4, 8(%rdi), %xmm1, %xmm3
3277 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3278 ; AVX1-NEXT:  LBB22_10: ## %else11
3279 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3280 ; AVX1-NEXT:    vpextrb $10, %xmm2, %eax
3281 ; AVX1-NEXT:    testb $1, %al
3282 ; AVX1-NEXT:    je LBB22_12
3283 ; AVX1-NEXT:  ## %bb.11: ## %cond.load13
3284 ; AVX1-NEXT:    vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3285 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3286 ; AVX1-NEXT:  LBB22_12: ## %else14
3287 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3288 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3289 ; AVX1-NEXT:    vpextrb $12, %xmm3, %eax
3290 ; AVX1-NEXT:    testb $1, %al
3291 ; AVX1-NEXT:    je LBB22_14
3292 ; AVX1-NEXT:  ## %bb.13: ## %cond.load16
3293 ; AVX1-NEXT:    vpinsrw $6, 12(%rdi), %xmm1, %xmm3
3294 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3295 ; AVX1-NEXT:  LBB22_14: ## %else17
3296 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3297 ; AVX1-NEXT:    vpextrb $14, %xmm2, %eax
3298 ; AVX1-NEXT:    testb $1, %al
3299 ; AVX1-NEXT:    je LBB22_16
3300 ; AVX1-NEXT:  ## %bb.15: ## %cond.load19
3301 ; AVX1-NEXT:    vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3302 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3303 ; AVX1-NEXT:  LBB22_16: ## %else20
3304 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
3305 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3306 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3307 ; AVX1-NEXT:    vpextrb $0, %xmm2, %eax
3308 ; AVX1-NEXT:    testb $1, %al
3309 ; AVX1-NEXT:    je LBB22_18
3310 ; AVX1-NEXT:  ## %bb.17: ## %cond.load22
3311 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
3312 ; AVX1-NEXT:    vpinsrw $0, 16(%rdi), %xmm3, %xmm3
3313 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
3314 ; AVX1-NEXT:  LBB22_18: ## %else23
3315 ; AVX1-NEXT:    vpextrb $2, %xmm2, %eax
3316 ; AVX1-NEXT:    testb $1, %al
3317 ; AVX1-NEXT:    je LBB22_20
3318 ; AVX1-NEXT:  ## %bb.19: ## %cond.load25
3319 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
3320 ; AVX1-NEXT:    vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3321 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
3322 ; AVX1-NEXT:  LBB22_20: ## %else26
3323 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3324 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3325 ; AVX1-NEXT:    vpextrb $4, %xmm2, %eax
3326 ; AVX1-NEXT:    testb $1, %al
3327 ; AVX1-NEXT:    je LBB22_22
3328 ; AVX1-NEXT:  ## %bb.21: ## %cond.load28
3329 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
3330 ; AVX1-NEXT:    vpinsrw $2, 20(%rdi), %xmm3, %xmm3
3331 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
3332 ; AVX1-NEXT:  LBB22_22: ## %else29
3333 ; AVX1-NEXT:    vpextrb $6, %xmm2, %eax
3334 ; AVX1-NEXT:    testb $1, %al
3335 ; AVX1-NEXT:    je LBB22_24
3336 ; AVX1-NEXT:  ## %bb.23: ## %cond.load31
3337 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
3338 ; AVX1-NEXT:    vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3339 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
3340 ; AVX1-NEXT:  LBB22_24: ## %else32
3341 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3342 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3343 ; AVX1-NEXT:    vpextrb $8, %xmm2, %eax
3344 ; AVX1-NEXT:    testb $1, %al
3345 ; AVX1-NEXT:    je LBB22_26
3346 ; AVX1-NEXT:  ## %bb.25: ## %cond.load34
3347 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
3348 ; AVX1-NEXT:    vpinsrw $4, 24(%rdi), %xmm3, %xmm3
3349 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
3350 ; AVX1-NEXT:  LBB22_26: ## %else35
3351 ; AVX1-NEXT:    vpextrb $10, %xmm2, %eax
3352 ; AVX1-NEXT:    testb $1, %al
3353 ; AVX1-NEXT:    je LBB22_28
3354 ; AVX1-NEXT:  ## %bb.27: ## %cond.load37
3355 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
3356 ; AVX1-NEXT:    vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3357 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
3358 ; AVX1-NEXT:  LBB22_28: ## %else38
3359 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3360 ; AVX1-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm0
3361 ; AVX1-NEXT:    vpextrb $12, %xmm0, %eax
3362 ; AVX1-NEXT:    testb $1, %al
3363 ; AVX1-NEXT:    je LBB22_30
3364 ; AVX1-NEXT:  ## %bb.29: ## %cond.load40
3365 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
3366 ; AVX1-NEXT:    vpinsrw $6, 28(%rdi), %xmm2, %xmm2
3367 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
3368 ; AVX1-NEXT:  LBB22_30: ## %else41
3369 ; AVX1-NEXT:    vpextrb $14, %xmm0, %eax
3370 ; AVX1-NEXT:    testb $1, %al
3371 ; AVX1-NEXT:    je LBB22_32
3372 ; AVX1-NEXT:  ## %bb.31: ## %cond.load43
3373 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm0
3374 ; AVX1-NEXT:    vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3375 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm1
3376 ; AVX1-NEXT:  LBB22_32: ## %else44
3377 ; AVX1-NEXT:    vmovaps %ymm1, %ymm0
3378 ; AVX1-NEXT:    retq
3379 ;
3380 ; AVX2-LABEL: load_v16i16_v16i16:
3381 ; AVX2:       ## %bb.0:
3382 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3383 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3384 ; AVX2-NEXT:    vpextrb $0, %xmm3, %eax
3385 ; AVX2-NEXT:    testb $1, %al
3386 ; AVX2-NEXT:    je LBB22_2
3387 ; AVX2-NEXT:  ## %bb.1: ## %cond.load
3388 ; AVX2-NEXT:    vpinsrw $0, (%rdi), %xmm1, %xmm3
3389 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3390 ; AVX2-NEXT:  LBB22_2: ## %else
3391 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3392 ; AVX2-NEXT:    vpextrb $2, %xmm2, %eax
3393 ; AVX2-NEXT:    testb $1, %al
3394 ; AVX2-NEXT:    je LBB22_4
3395 ; AVX2-NEXT:  ## %bb.3: ## %cond.load1
3396 ; AVX2-NEXT:    vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3397 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3398 ; AVX2-NEXT:  LBB22_4: ## %else2
3399 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3400 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3401 ; AVX2-NEXT:    vpextrb $4, %xmm3, %eax
3402 ; AVX2-NEXT:    testb $1, %al
3403 ; AVX2-NEXT:    je LBB22_6
3404 ; AVX2-NEXT:  ## %bb.5: ## %cond.load4
3405 ; AVX2-NEXT:    vpinsrw $2, 4(%rdi), %xmm1, %xmm3
3406 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3407 ; AVX2-NEXT:  LBB22_6: ## %else5
3408 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3409 ; AVX2-NEXT:    vpextrb $6, %xmm2, %eax
3410 ; AVX2-NEXT:    testb $1, %al
3411 ; AVX2-NEXT:    je LBB22_8
3412 ; AVX2-NEXT:  ## %bb.7: ## %cond.load7
3413 ; AVX2-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3414 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3415 ; AVX2-NEXT:  LBB22_8: ## %else8
3416 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3417 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3418 ; AVX2-NEXT:    vpextrb $8, %xmm3, %eax
3419 ; AVX2-NEXT:    testb $1, %al
3420 ; AVX2-NEXT:    je LBB22_10
3421 ; AVX2-NEXT:  ## %bb.9: ## %cond.load10
3422 ; AVX2-NEXT:    vpinsrw $4, 8(%rdi), %xmm1, %xmm3
3423 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3424 ; AVX2-NEXT:  LBB22_10: ## %else11
3425 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3426 ; AVX2-NEXT:    vpextrb $10, %xmm2, %eax
3427 ; AVX2-NEXT:    testb $1, %al
3428 ; AVX2-NEXT:    je LBB22_12
3429 ; AVX2-NEXT:  ## %bb.11: ## %cond.load13
3430 ; AVX2-NEXT:    vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3431 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3432 ; AVX2-NEXT:  LBB22_12: ## %else14
3433 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3434 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm3
3435 ; AVX2-NEXT:    vpextrb $12, %xmm3, %eax
3436 ; AVX2-NEXT:    testb $1, %al
3437 ; AVX2-NEXT:    je LBB22_14
3438 ; AVX2-NEXT:  ## %bb.13: ## %cond.load16
3439 ; AVX2-NEXT:    vpinsrw $6, 12(%rdi), %xmm1, %xmm3
3440 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
3441 ; AVX2-NEXT:  LBB22_14: ## %else17
3442 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3443 ; AVX2-NEXT:    vpextrb $14, %xmm2, %eax
3444 ; AVX2-NEXT:    testb $1, %al
3445 ; AVX2-NEXT:    je LBB22_16
3446 ; AVX2-NEXT:  ## %bb.15: ## %cond.load19
3447 ; AVX2-NEXT:    vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3448 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3449 ; AVX2-NEXT:  LBB22_16: ## %else20
3450 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
3451 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3452 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3453 ; AVX2-NEXT:    vpextrb $0, %xmm2, %eax
3454 ; AVX2-NEXT:    testb $1, %al
3455 ; AVX2-NEXT:    je LBB22_18
3456 ; AVX2-NEXT:  ## %bb.17: ## %cond.load22
3457 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
3458 ; AVX2-NEXT:    vpinsrw $0, 16(%rdi), %xmm3, %xmm3
3459 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
3460 ; AVX2-NEXT:  LBB22_18: ## %else23
3461 ; AVX2-NEXT:    vpextrb $2, %xmm2, %eax
3462 ; AVX2-NEXT:    testb $1, %al
3463 ; AVX2-NEXT:    je LBB22_20
3464 ; AVX2-NEXT:  ## %bb.19: ## %cond.load25
3465 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
3466 ; AVX2-NEXT:    vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3467 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3468 ; AVX2-NEXT:  LBB22_20: ## %else26
3469 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3470 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3471 ; AVX2-NEXT:    vpextrb $4, %xmm2, %eax
3472 ; AVX2-NEXT:    testb $1, %al
3473 ; AVX2-NEXT:    je LBB22_22
3474 ; AVX2-NEXT:  ## %bb.21: ## %cond.load28
3475 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
3476 ; AVX2-NEXT:    vpinsrw $2, 20(%rdi), %xmm3, %xmm3
3477 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
3478 ; AVX2-NEXT:  LBB22_22: ## %else29
3479 ; AVX2-NEXT:    vpextrb $6, %xmm2, %eax
3480 ; AVX2-NEXT:    testb $1, %al
3481 ; AVX2-NEXT:    je LBB22_24
3482 ; AVX2-NEXT:  ## %bb.23: ## %cond.load31
3483 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
3484 ; AVX2-NEXT:    vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3485 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3486 ; AVX2-NEXT:  LBB22_24: ## %else32
3487 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3488 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm2
3489 ; AVX2-NEXT:    vpextrb $8, %xmm2, %eax
3490 ; AVX2-NEXT:    testb $1, %al
3491 ; AVX2-NEXT:    je LBB22_26
3492 ; AVX2-NEXT:  ## %bb.25: ## %cond.load34
3493 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
3494 ; AVX2-NEXT:    vpinsrw $4, 24(%rdi), %xmm3, %xmm3
3495 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
3496 ; AVX2-NEXT:  LBB22_26: ## %else35
3497 ; AVX2-NEXT:    vpextrb $10, %xmm2, %eax
3498 ; AVX2-NEXT:    testb $1, %al
3499 ; AVX2-NEXT:    je LBB22_28
3500 ; AVX2-NEXT:  ## %bb.27: ## %cond.load37
3501 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
3502 ; AVX2-NEXT:    vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3503 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3504 ; AVX2-NEXT:  LBB22_28: ## %else38
3505 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3506 ; AVX2-NEXT:    vpcmpgtw %xmm0, %xmm2, %xmm0
3507 ; AVX2-NEXT:    vpextrb $12, %xmm0, %eax
3508 ; AVX2-NEXT:    testb $1, %al
3509 ; AVX2-NEXT:    je LBB22_30
3510 ; AVX2-NEXT:  ## %bb.29: ## %cond.load40
3511 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
3512 ; AVX2-NEXT:    vpinsrw $6, 28(%rdi), %xmm2, %xmm2
3513 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3514 ; AVX2-NEXT:  LBB22_30: ## %else41
3515 ; AVX2-NEXT:    vpextrb $14, %xmm0, %eax
3516 ; AVX2-NEXT:    testb $1, %al
3517 ; AVX2-NEXT:    je LBB22_32
3518 ; AVX2-NEXT:  ## %bb.31: ## %cond.load43
3519 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm0
3520 ; AVX2-NEXT:    vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3521 ; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
3522 ; AVX2-NEXT:  LBB22_32: ## %else44
3523 ; AVX2-NEXT:    vmovdqa %ymm1, %ymm0
3524 ; AVX2-NEXT:    retq
3525 ;
3526 ; AVX512F-LABEL: load_v16i16_v16i16:
3527 ; AVX512F:       ## %bb.0:
3528 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3529 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3530 ; AVX512F-NEXT:    vpmovsxwd %ymm2, %zmm2
3531 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
3532 ; AVX512F-NEXT:    kmovw %k0, %eax
3533 ; AVX512F-NEXT:    testb $1, %al
3534 ; AVX512F-NEXT:    je LBB22_2
3535 ; AVX512F-NEXT:  ## %bb.1: ## %cond.load
3536 ; AVX512F-NEXT:    vpinsrw $0, (%rdi), %xmm1, %xmm2
3537 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3538 ; AVX512F-NEXT:  LBB22_2: ## %else
3539 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k0
3540 ; AVX512F-NEXT:    kmovw %k0, %eax
3541 ; AVX512F-NEXT:    testb $1, %al
3542 ; AVX512F-NEXT:    je LBB22_4
3543 ; AVX512F-NEXT:  ## %bb.3: ## %cond.load1
3544 ; AVX512F-NEXT:    vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3545 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3546 ; AVX512F-NEXT:  LBB22_4: ## %else2
3547 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3548 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3549 ; AVX512F-NEXT:    vpmovsxwd %ymm2, %zmm2
3550 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
3551 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
3552 ; AVX512F-NEXT:    kmovw %k1, %eax
3553 ; AVX512F-NEXT:    testb $1, %al
3554 ; AVX512F-NEXT:    je LBB22_6
3555 ; AVX512F-NEXT:  ## %bb.5: ## %cond.load4
3556 ; AVX512F-NEXT:    vpinsrw $2, 4(%rdi), %xmm1, %xmm2
3557 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3558 ; AVX512F-NEXT:  LBB22_6: ## %else5
3559 ; AVX512F-NEXT:    kshiftrw $3, %k0, %k0
3560 ; AVX512F-NEXT:    kmovw %k0, %eax
3561 ; AVX512F-NEXT:    testb $1, %al
3562 ; AVX512F-NEXT:    je LBB22_8
3563 ; AVX512F-NEXT:  ## %bb.7: ## %cond.load7
3564 ; AVX512F-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3565 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3566 ; AVX512F-NEXT:  LBB22_8: ## %else8
3567 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3568 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3569 ; AVX512F-NEXT:    vpmovsxwd %ymm2, %zmm2
3570 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
3571 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
3572 ; AVX512F-NEXT:    kmovw %k1, %eax
3573 ; AVX512F-NEXT:    testb $1, %al
3574 ; AVX512F-NEXT:    je LBB22_10
3575 ; AVX512F-NEXT:  ## %bb.9: ## %cond.load10
3576 ; AVX512F-NEXT:    vpinsrw $4, 8(%rdi), %xmm1, %xmm2
3577 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3578 ; AVX512F-NEXT:  LBB22_10: ## %else11
3579 ; AVX512F-NEXT:    kshiftrw $5, %k0, %k0
3580 ; AVX512F-NEXT:    kmovw %k0, %eax
3581 ; AVX512F-NEXT:    testb $1, %al
3582 ; AVX512F-NEXT:    je LBB22_12
3583 ; AVX512F-NEXT:  ## %bb.11: ## %cond.load13
3584 ; AVX512F-NEXT:    vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3585 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3586 ; AVX512F-NEXT:  LBB22_12: ## %else14
3587 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3588 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3589 ; AVX512F-NEXT:    vpmovsxwd %ymm2, %zmm2
3590 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
3591 ; AVX512F-NEXT:    kshiftrw $6, %k0, %k1
3592 ; AVX512F-NEXT:    kmovw %k1, %eax
3593 ; AVX512F-NEXT:    testb $1, %al
3594 ; AVX512F-NEXT:    je LBB22_14
3595 ; AVX512F-NEXT:  ## %bb.13: ## %cond.load16
3596 ; AVX512F-NEXT:    vpinsrw $6, 12(%rdi), %xmm1, %xmm2
3597 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3598 ; AVX512F-NEXT:  LBB22_14: ## %else17
3599 ; AVX512F-NEXT:    kshiftrw $7, %k0, %k0
3600 ; AVX512F-NEXT:    kmovw %k0, %eax
3601 ; AVX512F-NEXT:    testb $1, %al
3602 ; AVX512F-NEXT:    je LBB22_16
3603 ; AVX512F-NEXT:  ## %bb.15: ## %cond.load19
3604 ; AVX512F-NEXT:    vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3605 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3606 ; AVX512F-NEXT:  LBB22_16: ## %else20
3607 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3608 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3609 ; AVX512F-NEXT:    vpmovsxwd %ymm2, %zmm2
3610 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
3611 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
3612 ; AVX512F-NEXT:    kmovw %k1, %eax
3613 ; AVX512F-NEXT:    testb $1, %al
3614 ; AVX512F-NEXT:    je LBB22_18
3615 ; AVX512F-NEXT:  ## %bb.17: ## %cond.load22
3616 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
3617 ; AVX512F-NEXT:    vpinsrw $0, 16(%rdi), %xmm2, %xmm2
3618 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3619 ; AVX512F-NEXT:  LBB22_18: ## %else23
3620 ; AVX512F-NEXT:    kshiftrw $9, %k0, %k0
3621 ; AVX512F-NEXT:    kmovw %k0, %eax
3622 ; AVX512F-NEXT:    testb $1, %al
3623 ; AVX512F-NEXT:    je LBB22_20
3624 ; AVX512F-NEXT:  ## %bb.19: ## %cond.load25
3625 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
3626 ; AVX512F-NEXT:    vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3627 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3628 ; AVX512F-NEXT:  LBB22_20: ## %else26
3629 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3630 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3631 ; AVX512F-NEXT:    vpmovsxwd %ymm2, %zmm2
3632 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
3633 ; AVX512F-NEXT:    kshiftrw $10, %k0, %k1
3634 ; AVX512F-NEXT:    kmovw %k1, %eax
3635 ; AVX512F-NEXT:    testb $1, %al
3636 ; AVX512F-NEXT:    je LBB22_22
3637 ; AVX512F-NEXT:  ## %bb.21: ## %cond.load28
3638 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
3639 ; AVX512F-NEXT:    vpinsrw $2, 20(%rdi), %xmm2, %xmm2
3640 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3641 ; AVX512F-NEXT:  LBB22_22: ## %else29
3642 ; AVX512F-NEXT:    kshiftrw $11, %k0, %k0
3643 ; AVX512F-NEXT:    kmovw %k0, %eax
3644 ; AVX512F-NEXT:    testb $1, %al
3645 ; AVX512F-NEXT:    je LBB22_24
3646 ; AVX512F-NEXT:  ## %bb.23: ## %cond.load31
3647 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
3648 ; AVX512F-NEXT:    vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3649 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3650 ; AVX512F-NEXT:  LBB22_24: ## %else32
3651 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3652 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3653 ; AVX512F-NEXT:    vpmovsxwd %ymm2, %zmm2
3654 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
3655 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
3656 ; AVX512F-NEXT:    kmovw %k1, %eax
3657 ; AVX512F-NEXT:    testb $1, %al
3658 ; AVX512F-NEXT:    je LBB22_26
3659 ; AVX512F-NEXT:  ## %bb.25: ## %cond.load34
3660 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
3661 ; AVX512F-NEXT:    vpinsrw $4, 24(%rdi), %xmm2, %xmm2
3662 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3663 ; AVX512F-NEXT:  LBB22_26: ## %else35
3664 ; AVX512F-NEXT:    kshiftrw $13, %k0, %k0
3665 ; AVX512F-NEXT:    kmovw %k0, %eax
3666 ; AVX512F-NEXT:    testb $1, %al
3667 ; AVX512F-NEXT:    je LBB22_28
3668 ; AVX512F-NEXT:  ## %bb.27: ## %cond.load37
3669 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
3670 ; AVX512F-NEXT:    vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3671 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3672 ; AVX512F-NEXT:  LBB22_28: ## %else38
3673 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3674 ; AVX512F-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm0
3675 ; AVX512F-NEXT:    vpmovsxwd %ymm0, %zmm0
3676 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
3677 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
3678 ; AVX512F-NEXT:    kmovw %k1, %eax
3679 ; AVX512F-NEXT:    testb $1, %al
3680 ; AVX512F-NEXT:    je LBB22_30
3681 ; AVX512F-NEXT:  ## %bb.29: ## %cond.load40
3682 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm0
3683 ; AVX512F-NEXT:    vpinsrw $6, 28(%rdi), %xmm0, %xmm0
3684 ; AVX512F-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
3685 ; AVX512F-NEXT:  LBB22_30: ## %else41
3686 ; AVX512F-NEXT:    kshiftrw $15, %k0, %k0
3687 ; AVX512F-NEXT:    kmovw %k0, %eax
3688 ; AVX512F-NEXT:    testb $1, %al
3689 ; AVX512F-NEXT:    je LBB22_32
3690 ; AVX512F-NEXT:  ## %bb.31: ## %cond.load43
3691 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm0
3692 ; AVX512F-NEXT:    vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3693 ; AVX512F-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
3694 ; AVX512F-NEXT:  LBB22_32: ## %else44
3695 ; AVX512F-NEXT:    vmovdqa %ymm1, %ymm0
3696 ; AVX512F-NEXT:    retq
3697 ;
3698 ; AVX512VLDQ-LABEL: load_v16i16_v16i16:
3699 ; AVX512VLDQ:       ## %bb.0:
3700 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3701 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3702 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm2, %zmm2
3703 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
3704 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3705 ; AVX512VLDQ-NEXT:    testb $1, %al
3706 ; AVX512VLDQ-NEXT:    je LBB22_2
3707 ; AVX512VLDQ-NEXT:  ## %bb.1: ## %cond.load
3708 ; AVX512VLDQ-NEXT:    vpinsrw $0, (%rdi), %xmm1, %xmm2
3709 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3710 ; AVX512VLDQ-NEXT:  LBB22_2: ## %else
3711 ; AVX512VLDQ-NEXT:    kshiftrw $1, %k0, %k0
3712 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3713 ; AVX512VLDQ-NEXT:    testb $1, %al
3714 ; AVX512VLDQ-NEXT:    je LBB22_4
3715 ; AVX512VLDQ-NEXT:  ## %bb.3: ## %cond.load1
3716 ; AVX512VLDQ-NEXT:    vpinsrw $1, 2(%rdi), %xmm1, %xmm2
3717 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3718 ; AVX512VLDQ-NEXT:  LBB22_4: ## %else2
3719 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3720 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3721 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm2, %zmm2
3722 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
3723 ; AVX512VLDQ-NEXT:    kshiftrw $2, %k0, %k1
3724 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
3725 ; AVX512VLDQ-NEXT:    testb $1, %al
3726 ; AVX512VLDQ-NEXT:    je LBB22_6
3727 ; AVX512VLDQ-NEXT:  ## %bb.5: ## %cond.load4
3728 ; AVX512VLDQ-NEXT:    vpinsrw $2, 4(%rdi), %xmm1, %xmm2
3729 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3730 ; AVX512VLDQ-NEXT:  LBB22_6: ## %else5
3731 ; AVX512VLDQ-NEXT:    kshiftrw $3, %k0, %k0
3732 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3733 ; AVX512VLDQ-NEXT:    testb $1, %al
3734 ; AVX512VLDQ-NEXT:    je LBB22_8
3735 ; AVX512VLDQ-NEXT:  ## %bb.7: ## %cond.load7
3736 ; AVX512VLDQ-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm2
3737 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3738 ; AVX512VLDQ-NEXT:  LBB22_8: ## %else8
3739 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3740 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3741 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm2, %zmm2
3742 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
3743 ; AVX512VLDQ-NEXT:    kshiftrw $4, %k0, %k1
3744 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
3745 ; AVX512VLDQ-NEXT:    testb $1, %al
3746 ; AVX512VLDQ-NEXT:    je LBB22_10
3747 ; AVX512VLDQ-NEXT:  ## %bb.9: ## %cond.load10
3748 ; AVX512VLDQ-NEXT:    vpinsrw $4, 8(%rdi), %xmm1, %xmm2
3749 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3750 ; AVX512VLDQ-NEXT:  LBB22_10: ## %else11
3751 ; AVX512VLDQ-NEXT:    kshiftrw $5, %k0, %k0
3752 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3753 ; AVX512VLDQ-NEXT:    testb $1, %al
3754 ; AVX512VLDQ-NEXT:    je LBB22_12
3755 ; AVX512VLDQ-NEXT:  ## %bb.11: ## %cond.load13
3756 ; AVX512VLDQ-NEXT:    vpinsrw $5, 10(%rdi), %xmm1, %xmm2
3757 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3758 ; AVX512VLDQ-NEXT:  LBB22_12: ## %else14
3759 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3760 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3761 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm2, %zmm2
3762 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
3763 ; AVX512VLDQ-NEXT:    kshiftrw $6, %k0, %k1
3764 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
3765 ; AVX512VLDQ-NEXT:    testb $1, %al
3766 ; AVX512VLDQ-NEXT:    je LBB22_14
3767 ; AVX512VLDQ-NEXT:  ## %bb.13: ## %cond.load16
3768 ; AVX512VLDQ-NEXT:    vpinsrw $6, 12(%rdi), %xmm1, %xmm2
3769 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3770 ; AVX512VLDQ-NEXT:  LBB22_14: ## %else17
3771 ; AVX512VLDQ-NEXT:    kshiftrw $7, %k0, %k0
3772 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3773 ; AVX512VLDQ-NEXT:    testb $1, %al
3774 ; AVX512VLDQ-NEXT:    je LBB22_16
3775 ; AVX512VLDQ-NEXT:  ## %bb.15: ## %cond.load19
3776 ; AVX512VLDQ-NEXT:    vpinsrw $7, 14(%rdi), %xmm1, %xmm2
3777 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
3778 ; AVX512VLDQ-NEXT:  LBB22_16: ## %else20
3779 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3780 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3781 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm2, %zmm2
3782 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
3783 ; AVX512VLDQ-NEXT:    kshiftrw $8, %k0, %k1
3784 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
3785 ; AVX512VLDQ-NEXT:    testb $1, %al
3786 ; AVX512VLDQ-NEXT:    je LBB22_18
3787 ; AVX512VLDQ-NEXT:  ## %bb.17: ## %cond.load22
3788 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
3789 ; AVX512VLDQ-NEXT:    vpinsrw $0, 16(%rdi), %xmm2, %xmm2
3790 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3791 ; AVX512VLDQ-NEXT:  LBB22_18: ## %else23
3792 ; AVX512VLDQ-NEXT:    kshiftrw $9, %k0, %k0
3793 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3794 ; AVX512VLDQ-NEXT:    testb $1, %al
3795 ; AVX512VLDQ-NEXT:    je LBB22_20
3796 ; AVX512VLDQ-NEXT:  ## %bb.19: ## %cond.load25
3797 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
3798 ; AVX512VLDQ-NEXT:    vpinsrw $1, 18(%rdi), %xmm2, %xmm2
3799 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3800 ; AVX512VLDQ-NEXT:  LBB22_20: ## %else26
3801 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3802 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3803 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm2, %zmm2
3804 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
3805 ; AVX512VLDQ-NEXT:    kshiftrw $10, %k0, %k1
3806 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
3807 ; AVX512VLDQ-NEXT:    testb $1, %al
3808 ; AVX512VLDQ-NEXT:    je LBB22_22
3809 ; AVX512VLDQ-NEXT:  ## %bb.21: ## %cond.load28
3810 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
3811 ; AVX512VLDQ-NEXT:    vpinsrw $2, 20(%rdi), %xmm2, %xmm2
3812 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3813 ; AVX512VLDQ-NEXT:  LBB22_22: ## %else29
3814 ; AVX512VLDQ-NEXT:    kshiftrw $11, %k0, %k0
3815 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3816 ; AVX512VLDQ-NEXT:    testb $1, %al
3817 ; AVX512VLDQ-NEXT:    je LBB22_24
3818 ; AVX512VLDQ-NEXT:  ## %bb.23: ## %cond.load31
3819 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
3820 ; AVX512VLDQ-NEXT:    vpinsrw $3, 22(%rdi), %xmm2, %xmm2
3821 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3822 ; AVX512VLDQ-NEXT:  LBB22_24: ## %else32
3823 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3824 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm2
3825 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm2, %zmm2
3826 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
3827 ; AVX512VLDQ-NEXT:    kshiftrw $12, %k0, %k1
3828 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
3829 ; AVX512VLDQ-NEXT:    testb $1, %al
3830 ; AVX512VLDQ-NEXT:    je LBB22_26
3831 ; AVX512VLDQ-NEXT:  ## %bb.25: ## %cond.load34
3832 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
3833 ; AVX512VLDQ-NEXT:    vpinsrw $4, 24(%rdi), %xmm2, %xmm2
3834 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3835 ; AVX512VLDQ-NEXT:  LBB22_26: ## %else35
3836 ; AVX512VLDQ-NEXT:    kshiftrw $13, %k0, %k0
3837 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3838 ; AVX512VLDQ-NEXT:    testb $1, %al
3839 ; AVX512VLDQ-NEXT:    je LBB22_28
3840 ; AVX512VLDQ-NEXT:  ## %bb.27: ## %cond.load37
3841 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
3842 ; AVX512VLDQ-NEXT:    vpinsrw $5, 26(%rdi), %xmm2, %xmm2
3843 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
3844 ; AVX512VLDQ-NEXT:  LBB22_28: ## %else38
3845 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
3846 ; AVX512VLDQ-NEXT:    vpcmpgtw %ymm0, %ymm2, %ymm0
3847 ; AVX512VLDQ-NEXT:    vpmovsxwd %ymm0, %zmm0
3848 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm0, %k0
3849 ; AVX512VLDQ-NEXT:    kshiftrw $14, %k0, %k1
3850 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
3851 ; AVX512VLDQ-NEXT:    testb $1, %al
3852 ; AVX512VLDQ-NEXT:    je LBB22_30
3853 ; AVX512VLDQ-NEXT:  ## %bb.29: ## %cond.load40
3854 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm0
3855 ; AVX512VLDQ-NEXT:    vpinsrw $6, 28(%rdi), %xmm0, %xmm0
3856 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
3857 ; AVX512VLDQ-NEXT:  LBB22_30: ## %else41
3858 ; AVX512VLDQ-NEXT:    kshiftrw $15, %k0, %k0
3859 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
3860 ; AVX512VLDQ-NEXT:    testb $1, %al
3861 ; AVX512VLDQ-NEXT:    je LBB22_32
3862 ; AVX512VLDQ-NEXT:  ## %bb.31: ## %cond.load43
3863 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm0
3864 ; AVX512VLDQ-NEXT:    vpinsrw $7, 30(%rdi), %xmm0, %xmm0
3865 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
3866 ; AVX512VLDQ-NEXT:  LBB22_32: ## %else44
3867 ; AVX512VLDQ-NEXT:    vmovdqa %ymm1, %ymm0
3868 ; AVX512VLDQ-NEXT:    retq
3869 ;
3870 ; AVX512VLBW-LABEL: load_v16i16_v16i16:
3871 ; AVX512VLBW:       ## %bb.0:
3872 ; AVX512VLBW-NEXT:    vpmovw2m %ymm0, %k1
3873 ; AVX512VLBW-NEXT:    vpblendmw (%rdi), %ymm1, %ymm0 {%k1}
3874 ; AVX512VLBW-NEXT:    retq
3875   %mask = icmp slt <16 x i16> %trigger, zeroinitializer
3876   %res = call <16 x i16> @llvm.masked.load.v16i16.p0v16i16(<16 x i16>* %addr, i32 4, <16 x i1> %mask, <16 x i16> %dst)
3877   ret <16 x i16> %res
3878 }
3879
3880 ;
3881 ; vXi8
3882 ;
3883
3884 define <16 x i8> @load_v16i8_v16i8(<16 x i8> %trigger, <16 x i8>* %addr, <16 x i8> %dst) {
3885 ; SSE2-LABEL: load_v16i8_v16i8:
3886 ; SSE2:       ## %bb.0:
3887 ; SSE2-NEXT:    pxor %xmm2, %xmm2
3888 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
3889 ; SSE2-NEXT:    movd %xmm2, %eax
3890 ; SSE2-NEXT:    testb $1, %al
3891 ; SSE2-NEXT:    je LBB23_2
3892 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
3893 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [0,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
3894 ; SSE2-NEXT:    pand %xmm2, %xmm1
3895 ; SSE2-NEXT:    movzbl (%rdi), %ecx
3896 ; SSE2-NEXT:    movd %ecx, %xmm3
3897 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3898 ; SSE2-NEXT:    por %xmm2, %xmm1
3899 ; SSE2-NEXT:  LBB23_2: ## %else
3900 ; SSE2-NEXT:    shrl $8, %eax
3901 ; SSE2-NEXT:    testb $1, %al
3902 ; SSE2-NEXT:    je LBB23_4
3903 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
3904 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,0,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
3905 ; SSE2-NEXT:    pand %xmm2, %xmm1
3906 ; SSE2-NEXT:    movzbl 1(%rdi), %eax
3907 ; SSE2-NEXT:    movd %eax, %xmm3
3908 ; SSE2-NEXT:    psllw $8, %xmm3
3909 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3910 ; SSE2-NEXT:    por %xmm2, %xmm1
3911 ; SSE2-NEXT:  LBB23_4: ## %else2
3912 ; SSE2-NEXT:    pxor %xmm2, %xmm2
3913 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
3914 ; SSE2-NEXT:    movd %xmm2, %eax
3915 ; SSE2-NEXT:    movl %eax, %ecx
3916 ; SSE2-NEXT:    shrl $16, %ecx
3917 ; SSE2-NEXT:    testb $1, %cl
3918 ; SSE2-NEXT:    je LBB23_6
3919 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
3920 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,0,255,255,255,255,255,255,255,255,255,255,255,255,255]
3921 ; SSE2-NEXT:    pand %xmm2, %xmm1
3922 ; SSE2-NEXT:    movzbl 2(%rdi), %ecx
3923 ; SSE2-NEXT:    movd %ecx, %xmm3
3924 ; SSE2-NEXT:    pslld $16, %xmm3
3925 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3926 ; SSE2-NEXT:    por %xmm2, %xmm1
3927 ; SSE2-NEXT:  LBB23_6: ## %else5
3928 ; SSE2-NEXT:    shrl $24, %eax
3929 ; SSE2-NEXT:    testb $1, %al
3930 ; SSE2-NEXT:    je LBB23_8
3931 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
3932 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,0,255,255,255,255,255,255,255,255,255,255,255,255]
3933 ; SSE2-NEXT:    pand %xmm2, %xmm1
3934 ; SSE2-NEXT:    movzbl 3(%rdi), %eax
3935 ; SSE2-NEXT:    movd %eax, %xmm3
3936 ; SSE2-NEXT:    pslld $24, %xmm3
3937 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3938 ; SSE2-NEXT:    por %xmm2, %xmm1
3939 ; SSE2-NEXT:  LBB23_8: ## %else8
3940 ; SSE2-NEXT:    pxor %xmm2, %xmm2
3941 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
3942 ; SSE2-NEXT:    pextrw $2, %xmm2, %eax
3943 ; SSE2-NEXT:    testb $1, %al
3944 ; SSE2-NEXT:    je LBB23_10
3945 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
3946 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,0,255,255,255,255,255,255,255,255,255,255,255]
3947 ; SSE2-NEXT:    pand %xmm2, %xmm1
3948 ; SSE2-NEXT:    movzbl 4(%rdi), %ecx
3949 ; SSE2-NEXT:    movd %ecx, %xmm3
3950 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,0,1,1]
3951 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3952 ; SSE2-NEXT:    por %xmm2, %xmm1
3953 ; SSE2-NEXT:  LBB23_10: ## %else11
3954 ; SSE2-NEXT:    shrl $8, %eax
3955 ; SSE2-NEXT:    testb $1, %al
3956 ; SSE2-NEXT:    je LBB23_12
3957 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
3958 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
3959 ; SSE2-NEXT:    pand %xmm2, %xmm1
3960 ; SSE2-NEXT:    movzbl 5(%rdi), %eax
3961 ; SSE2-NEXT:    movd %eax, %xmm3
3962 ; SSE2-NEXT:    psllq $40, %xmm3
3963 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3964 ; SSE2-NEXT:    por %xmm2, %xmm1
3965 ; SSE2-NEXT:  LBB23_12: ## %else14
3966 ; SSE2-NEXT:    pxor %xmm2, %xmm2
3967 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
3968 ; SSE2-NEXT:    pextrw $3, %xmm2, %eax
3969 ; SSE2-NEXT:    testb $1, %al
3970 ; SSE2-NEXT:    je LBB23_14
3971 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
3972 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,0,255,255,255,255,255,255,255,255,255]
3973 ; SSE2-NEXT:    pand %xmm2, %xmm1
3974 ; SSE2-NEXT:    movzbl 6(%rdi), %ecx
3975 ; SSE2-NEXT:    movd %ecx, %xmm3
3976 ; SSE2-NEXT:    psllq $48, %xmm3
3977 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3978 ; SSE2-NEXT:    por %xmm2, %xmm1
3979 ; SSE2-NEXT:  LBB23_14: ## %else17
3980 ; SSE2-NEXT:    shrl $8, %eax
3981 ; SSE2-NEXT:    testb $1, %al
3982 ; SSE2-NEXT:    je LBB23_16
3983 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
3984 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,0,255,255,255,255,255,255,255,255]
3985 ; SSE2-NEXT:    pand %xmm2, %xmm1
3986 ; SSE2-NEXT:    movzbl 7(%rdi), %eax
3987 ; SSE2-NEXT:    movd %eax, %xmm3
3988 ; SSE2-NEXT:    psllq $56, %xmm3
3989 ; SSE2-NEXT:    pandn %xmm3, %xmm2
3990 ; SSE2-NEXT:    por %xmm2, %xmm1
3991 ; SSE2-NEXT:  LBB23_16: ## %else20
3992 ; SSE2-NEXT:    pxor %xmm2, %xmm2
3993 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
3994 ; SSE2-NEXT:    pextrw $4, %xmm2, %eax
3995 ; SSE2-NEXT:    testb $1, %al
3996 ; SSE2-NEXT:    je LBB23_18
3997 ; SSE2-NEXT:  ## %bb.17: ## %cond.load22
3998 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,0,255,255,255,255,255,255,255]
3999 ; SSE2-NEXT:    pand %xmm2, %xmm1
4000 ; SSE2-NEXT:    movzbl 8(%rdi), %ecx
4001 ; SSE2-NEXT:    movd %ecx, %xmm3
4002 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,1,0,1]
4003 ; SSE2-NEXT:    pandn %xmm3, %xmm2
4004 ; SSE2-NEXT:    por %xmm2, %xmm1
4005 ; SSE2-NEXT:  LBB23_18: ## %else23
4006 ; SSE2-NEXT:    shrl $8, %eax
4007 ; SSE2-NEXT:    testb $1, %al
4008 ; SSE2-NEXT:    je LBB23_20
4009 ; SSE2-NEXT:  ## %bb.19: ## %cond.load25
4010 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,0,255,255,255,255,255,255]
4011 ; SSE2-NEXT:    pand %xmm2, %xmm1
4012 ; SSE2-NEXT:    movzbl 9(%rdi), %eax
4013 ; SSE2-NEXT:    movd %eax, %xmm3
4014 ; SSE2-NEXT:    pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2,3,4,5,6]
4015 ; SSE2-NEXT:    pandn %xmm3, %xmm2
4016 ; SSE2-NEXT:    por %xmm2, %xmm1
4017 ; SSE2-NEXT:  LBB23_20: ## %else26
4018 ; SSE2-NEXT:    pxor %xmm2, %xmm2
4019 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
4020 ; SSE2-NEXT:    pextrw $5, %xmm2, %eax
4021 ; SSE2-NEXT:    testb $1, %al
4022 ; SSE2-NEXT:    je LBB23_22
4023 ; SSE2-NEXT:  ## %bb.21: ## %cond.load28
4024 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,0,255,255,255,255,255]
4025 ; SSE2-NEXT:    pand %xmm2, %xmm1
4026 ; SSE2-NEXT:    movzbl 10(%rdi), %ecx
4027 ; SSE2-NEXT:    movd %ecx, %xmm3
4028 ; SSE2-NEXT:    pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2,3,4,5]
4029 ; SSE2-NEXT:    pandn %xmm3, %xmm2
4030 ; SSE2-NEXT:    por %xmm2, %xmm1
4031 ; SSE2-NEXT:  LBB23_22: ## %else29
4032 ; SSE2-NEXT:    shrl $8, %eax
4033 ; SSE2-NEXT:    testb $1, %al
4034 ; SSE2-NEXT:    je LBB23_24
4035 ; SSE2-NEXT:  ## %bb.23: ## %cond.load31
4036 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,255,0,255,255,255,255]
4037 ; SSE2-NEXT:    pand %xmm2, %xmm1
4038 ; SSE2-NEXT:    movzbl 11(%rdi), %eax
4039 ; SSE2-NEXT:    movd %eax, %xmm3
4040 ; SSE2-NEXT:    pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2,3,4]
4041 ; SSE2-NEXT:    pandn %xmm3, %xmm2
4042 ; SSE2-NEXT:    por %xmm2, %xmm1
4043 ; SSE2-NEXT:  LBB23_24: ## %else32
4044 ; SSE2-NEXT:    pxor %xmm2, %xmm2
4045 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
4046 ; SSE2-NEXT:    pextrw $6, %xmm2, %eax
4047 ; SSE2-NEXT:    testb $1, %al
4048 ; SSE2-NEXT:    je LBB23_26
4049 ; SSE2-NEXT:  ## %bb.25: ## %cond.load34
4050 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,255,255,0,255,255,255]
4051 ; SSE2-NEXT:    pand %xmm2, %xmm1
4052 ; SSE2-NEXT:    movzbl 12(%rdi), %ecx
4053 ; SSE2-NEXT:    movd %ecx, %xmm3
4054 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,1,2,0]
4055 ; SSE2-NEXT:    pandn %xmm3, %xmm2
4056 ; SSE2-NEXT:    por %xmm2, %xmm1
4057 ; SSE2-NEXT:  LBB23_26: ## %else35
4058 ; SSE2-NEXT:    shrl $8, %eax
4059 ; SSE2-NEXT:    testb $1, %al
4060 ; SSE2-NEXT:    je LBB23_28
4061 ; SSE2-NEXT:  ## %bb.27: ## %cond.load37
4062 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255,255,255,255,255,255,0,255,255]
4063 ; SSE2-NEXT:    pand %xmm2, %xmm1
4064 ; SSE2-NEXT:    movzbl 13(%rdi), %eax
4065 ; SSE2-NEXT:    movd %eax, %xmm3
4066 ; SSE2-NEXT:    pslldq {{.*#+}} xmm3 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm3[0,1,2]
4067 ; SSE2-NEXT:    pandn %xmm3, %xmm2
4068 ; SSE2-NEXT:    por %xmm2, %xmm1
4069 ; SSE2-NEXT:  LBB23_28: ## %else38
4070 ; SSE2-NEXT:    pxor %xmm2, %xmm2
4071 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm2
4072 ; SSE2-NEXT:    pextrw $7, %xmm2, %eax
4073 ; SSE2-NEXT:    testb $1, %al
4074 ; SSE2-NEXT:    je LBB23_30
4075 ; SSE2-NEXT:  ## %bb.29: ## %cond.load40
4076 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,0,255]
4077 ; SSE2-NEXT:    pand %xmm0, %xmm1
4078 ; SSE2-NEXT:    movzbl 14(%rdi), %ecx
4079 ; SSE2-NEXT:    movd %ecx, %xmm2
4080 ; SSE2-NEXT:    pslldq {{.*#+}} xmm2 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm2[0,1]
4081 ; SSE2-NEXT:    pandn %xmm2, %xmm0
4082 ; SSE2-NEXT:    por %xmm0, %xmm1
4083 ; SSE2-NEXT:  LBB23_30: ## %else41
4084 ; SSE2-NEXT:    shrl $8, %eax
4085 ; SSE2-NEXT:    testb $1, %al
4086 ; SSE2-NEXT:    je LBB23_32
4087 ; SSE2-NEXT:  ## %bb.31: ## %cond.load43
4088 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm1
4089 ; SSE2-NEXT:    movzbl 15(%rdi), %eax
4090 ; SSE2-NEXT:    movd %eax, %xmm0
4091 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0]
4092 ; SSE2-NEXT:    por %xmm0, %xmm1
4093 ; SSE2-NEXT:  LBB23_32: ## %else44
4094 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
4095 ; SSE2-NEXT:    retq
4096 ;
4097 ; SSE42-LABEL: load_v16i8_v16i8:
4098 ; SSE42:       ## %bb.0:
4099 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4100 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4101 ; SSE42-NEXT:    pextrb $0, %xmm2, %eax
4102 ; SSE42-NEXT:    testb $1, %al
4103 ; SSE42-NEXT:    je LBB23_2
4104 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
4105 ; SSE42-NEXT:    pinsrb $0, (%rdi), %xmm1
4106 ; SSE42-NEXT:  LBB23_2: ## %else
4107 ; SSE42-NEXT:    pextrb $1, %xmm2, %eax
4108 ; SSE42-NEXT:    testb $1, %al
4109 ; SSE42-NEXT:    je LBB23_4
4110 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
4111 ; SSE42-NEXT:    pinsrb $1, 1(%rdi), %xmm1
4112 ; SSE42-NEXT:  LBB23_4: ## %else2
4113 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4114 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4115 ; SSE42-NEXT:    pextrb $2, %xmm2, %eax
4116 ; SSE42-NEXT:    testb $1, %al
4117 ; SSE42-NEXT:    je LBB23_6
4118 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
4119 ; SSE42-NEXT:    pinsrb $2, 2(%rdi), %xmm1
4120 ; SSE42-NEXT:  LBB23_6: ## %else5
4121 ; SSE42-NEXT:    pextrb $3, %xmm2, %eax
4122 ; SSE42-NEXT:    testb $1, %al
4123 ; SSE42-NEXT:    je LBB23_8
4124 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
4125 ; SSE42-NEXT:    pinsrb $3, 3(%rdi), %xmm1
4126 ; SSE42-NEXT:  LBB23_8: ## %else8
4127 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4128 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4129 ; SSE42-NEXT:    pextrb $4, %xmm2, %eax
4130 ; SSE42-NEXT:    testb $1, %al
4131 ; SSE42-NEXT:    je LBB23_10
4132 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
4133 ; SSE42-NEXT:    pinsrb $4, 4(%rdi), %xmm1
4134 ; SSE42-NEXT:  LBB23_10: ## %else11
4135 ; SSE42-NEXT:    pextrb $5, %xmm2, %eax
4136 ; SSE42-NEXT:    testb $1, %al
4137 ; SSE42-NEXT:    je LBB23_12
4138 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
4139 ; SSE42-NEXT:    pinsrb $5, 5(%rdi), %xmm1
4140 ; SSE42-NEXT:  LBB23_12: ## %else14
4141 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4142 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4143 ; SSE42-NEXT:    pextrb $6, %xmm2, %eax
4144 ; SSE42-NEXT:    testb $1, %al
4145 ; SSE42-NEXT:    je LBB23_14
4146 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
4147 ; SSE42-NEXT:    pinsrb $6, 6(%rdi), %xmm1
4148 ; SSE42-NEXT:  LBB23_14: ## %else17
4149 ; SSE42-NEXT:    pextrb $7, %xmm2, %eax
4150 ; SSE42-NEXT:    testb $1, %al
4151 ; SSE42-NEXT:    je LBB23_16
4152 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
4153 ; SSE42-NEXT:    pinsrb $7, 7(%rdi), %xmm1
4154 ; SSE42-NEXT:  LBB23_16: ## %else20
4155 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4156 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4157 ; SSE42-NEXT:    pextrb $8, %xmm2, %eax
4158 ; SSE42-NEXT:    testb $1, %al
4159 ; SSE42-NEXT:    je LBB23_18
4160 ; SSE42-NEXT:  ## %bb.17: ## %cond.load22
4161 ; SSE42-NEXT:    pinsrb $8, 8(%rdi), %xmm1
4162 ; SSE42-NEXT:  LBB23_18: ## %else23
4163 ; SSE42-NEXT:    pextrb $9, %xmm2, %eax
4164 ; SSE42-NEXT:    testb $1, %al
4165 ; SSE42-NEXT:    je LBB23_20
4166 ; SSE42-NEXT:  ## %bb.19: ## %cond.load25
4167 ; SSE42-NEXT:    pinsrb $9, 9(%rdi), %xmm1
4168 ; SSE42-NEXT:  LBB23_20: ## %else26
4169 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4170 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4171 ; SSE42-NEXT:    pextrb $10, %xmm2, %eax
4172 ; SSE42-NEXT:    testb $1, %al
4173 ; SSE42-NEXT:    je LBB23_22
4174 ; SSE42-NEXT:  ## %bb.21: ## %cond.load28
4175 ; SSE42-NEXT:    pinsrb $10, 10(%rdi), %xmm1
4176 ; SSE42-NEXT:  LBB23_22: ## %else29
4177 ; SSE42-NEXT:    pextrb $11, %xmm2, %eax
4178 ; SSE42-NEXT:    testb $1, %al
4179 ; SSE42-NEXT:    je LBB23_24
4180 ; SSE42-NEXT:  ## %bb.23: ## %cond.load31
4181 ; SSE42-NEXT:    pinsrb $11, 11(%rdi), %xmm1
4182 ; SSE42-NEXT:  LBB23_24: ## %else32
4183 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4184 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4185 ; SSE42-NEXT:    pextrb $12, %xmm2, %eax
4186 ; SSE42-NEXT:    testb $1, %al
4187 ; SSE42-NEXT:    je LBB23_26
4188 ; SSE42-NEXT:  ## %bb.25: ## %cond.load34
4189 ; SSE42-NEXT:    pinsrb $12, 12(%rdi), %xmm1
4190 ; SSE42-NEXT:  LBB23_26: ## %else35
4191 ; SSE42-NEXT:    pextrb $13, %xmm2, %eax
4192 ; SSE42-NEXT:    testb $1, %al
4193 ; SSE42-NEXT:    je LBB23_28
4194 ; SSE42-NEXT:  ## %bb.27: ## %cond.load37
4195 ; SSE42-NEXT:    pinsrb $13, 13(%rdi), %xmm1
4196 ; SSE42-NEXT:  LBB23_28: ## %else38
4197 ; SSE42-NEXT:    pxor %xmm2, %xmm2
4198 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm2
4199 ; SSE42-NEXT:    pextrb $14, %xmm2, %eax
4200 ; SSE42-NEXT:    testb $1, %al
4201 ; SSE42-NEXT:    je LBB23_30
4202 ; SSE42-NEXT:  ## %bb.29: ## %cond.load40
4203 ; SSE42-NEXT:    pinsrb $14, 14(%rdi), %xmm1
4204 ; SSE42-NEXT:  LBB23_30: ## %else41
4205 ; SSE42-NEXT:    pextrb $15, %xmm2, %eax
4206 ; SSE42-NEXT:    testb $1, %al
4207 ; SSE42-NEXT:    je LBB23_32
4208 ; SSE42-NEXT:  ## %bb.31: ## %cond.load43
4209 ; SSE42-NEXT:    pinsrb $15, 15(%rdi), %xmm1
4210 ; SSE42-NEXT:  LBB23_32: ## %else44
4211 ; SSE42-NEXT:    movdqa %xmm1, %xmm0
4212 ; SSE42-NEXT:    retq
4213 ;
4214 ; AVX1OR2-LABEL: load_v16i8_v16i8:
4215 ; AVX1OR2:       ## %bb.0:
4216 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4217 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4218 ; AVX1OR2-NEXT:    vpextrb $0, %xmm2, %eax
4219 ; AVX1OR2-NEXT:    testb $1, %al
4220 ; AVX1OR2-NEXT:    je LBB23_2
4221 ; AVX1OR2-NEXT:  ## %bb.1: ## %cond.load
4222 ; AVX1OR2-NEXT:    vpinsrb $0, (%rdi), %xmm1, %xmm1
4223 ; AVX1OR2-NEXT:  LBB23_2: ## %else
4224 ; AVX1OR2-NEXT:    vpextrb $1, %xmm2, %eax
4225 ; AVX1OR2-NEXT:    testb $1, %al
4226 ; AVX1OR2-NEXT:    je LBB23_4
4227 ; AVX1OR2-NEXT:  ## %bb.3: ## %cond.load1
4228 ; AVX1OR2-NEXT:    vpinsrb $1, 1(%rdi), %xmm1, %xmm1
4229 ; AVX1OR2-NEXT:  LBB23_4: ## %else2
4230 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4231 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4232 ; AVX1OR2-NEXT:    vpextrb $2, %xmm2, %eax
4233 ; AVX1OR2-NEXT:    testb $1, %al
4234 ; AVX1OR2-NEXT:    je LBB23_6
4235 ; AVX1OR2-NEXT:  ## %bb.5: ## %cond.load4
4236 ; AVX1OR2-NEXT:    vpinsrb $2, 2(%rdi), %xmm1, %xmm1
4237 ; AVX1OR2-NEXT:  LBB23_6: ## %else5
4238 ; AVX1OR2-NEXT:    vpextrb $3, %xmm2, %eax
4239 ; AVX1OR2-NEXT:    testb $1, %al
4240 ; AVX1OR2-NEXT:    je LBB23_8
4241 ; AVX1OR2-NEXT:  ## %bb.7: ## %cond.load7
4242 ; AVX1OR2-NEXT:    vpinsrb $3, 3(%rdi), %xmm1, %xmm1
4243 ; AVX1OR2-NEXT:  LBB23_8: ## %else8
4244 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4245 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4246 ; AVX1OR2-NEXT:    vpextrb $4, %xmm2, %eax
4247 ; AVX1OR2-NEXT:    testb $1, %al
4248 ; AVX1OR2-NEXT:    je LBB23_10
4249 ; AVX1OR2-NEXT:  ## %bb.9: ## %cond.load10
4250 ; AVX1OR2-NEXT:    vpinsrb $4, 4(%rdi), %xmm1, %xmm1
4251 ; AVX1OR2-NEXT:  LBB23_10: ## %else11
4252 ; AVX1OR2-NEXT:    vpextrb $5, %xmm2, %eax
4253 ; AVX1OR2-NEXT:    testb $1, %al
4254 ; AVX1OR2-NEXT:    je LBB23_12
4255 ; AVX1OR2-NEXT:  ## %bb.11: ## %cond.load13
4256 ; AVX1OR2-NEXT:    vpinsrb $5, 5(%rdi), %xmm1, %xmm1
4257 ; AVX1OR2-NEXT:  LBB23_12: ## %else14
4258 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4259 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4260 ; AVX1OR2-NEXT:    vpextrb $6, %xmm2, %eax
4261 ; AVX1OR2-NEXT:    testb $1, %al
4262 ; AVX1OR2-NEXT:    je LBB23_14
4263 ; AVX1OR2-NEXT:  ## %bb.13: ## %cond.load16
4264 ; AVX1OR2-NEXT:    vpinsrb $6, 6(%rdi), %xmm1, %xmm1
4265 ; AVX1OR2-NEXT:  LBB23_14: ## %else17
4266 ; AVX1OR2-NEXT:    vpextrb $7, %xmm2, %eax
4267 ; AVX1OR2-NEXT:    testb $1, %al
4268 ; AVX1OR2-NEXT:    je LBB23_16
4269 ; AVX1OR2-NEXT:  ## %bb.15: ## %cond.load19
4270 ; AVX1OR2-NEXT:    vpinsrb $7, 7(%rdi), %xmm1, %xmm1
4271 ; AVX1OR2-NEXT:  LBB23_16: ## %else20
4272 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4273 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4274 ; AVX1OR2-NEXT:    vpextrb $8, %xmm2, %eax
4275 ; AVX1OR2-NEXT:    testb $1, %al
4276 ; AVX1OR2-NEXT:    je LBB23_18
4277 ; AVX1OR2-NEXT:  ## %bb.17: ## %cond.load22
4278 ; AVX1OR2-NEXT:    vpinsrb $8, 8(%rdi), %xmm1, %xmm1
4279 ; AVX1OR2-NEXT:  LBB23_18: ## %else23
4280 ; AVX1OR2-NEXT:    vpextrb $9, %xmm2, %eax
4281 ; AVX1OR2-NEXT:    testb $1, %al
4282 ; AVX1OR2-NEXT:    je LBB23_20
4283 ; AVX1OR2-NEXT:  ## %bb.19: ## %cond.load25
4284 ; AVX1OR2-NEXT:    vpinsrb $9, 9(%rdi), %xmm1, %xmm1
4285 ; AVX1OR2-NEXT:  LBB23_20: ## %else26
4286 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4287 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4288 ; AVX1OR2-NEXT:    vpextrb $10, %xmm2, %eax
4289 ; AVX1OR2-NEXT:    testb $1, %al
4290 ; AVX1OR2-NEXT:    je LBB23_22
4291 ; AVX1OR2-NEXT:  ## %bb.21: ## %cond.load28
4292 ; AVX1OR2-NEXT:    vpinsrb $10, 10(%rdi), %xmm1, %xmm1
4293 ; AVX1OR2-NEXT:  LBB23_22: ## %else29
4294 ; AVX1OR2-NEXT:    vpextrb $11, %xmm2, %eax
4295 ; AVX1OR2-NEXT:    testb $1, %al
4296 ; AVX1OR2-NEXT:    je LBB23_24
4297 ; AVX1OR2-NEXT:  ## %bb.23: ## %cond.load31
4298 ; AVX1OR2-NEXT:    vpinsrb $11, 11(%rdi), %xmm1, %xmm1
4299 ; AVX1OR2-NEXT:  LBB23_24: ## %else32
4300 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4301 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4302 ; AVX1OR2-NEXT:    vpextrb $12, %xmm2, %eax
4303 ; AVX1OR2-NEXT:    testb $1, %al
4304 ; AVX1OR2-NEXT:    je LBB23_26
4305 ; AVX1OR2-NEXT:  ## %bb.25: ## %cond.load34
4306 ; AVX1OR2-NEXT:    vpinsrb $12, 12(%rdi), %xmm1, %xmm1
4307 ; AVX1OR2-NEXT:  LBB23_26: ## %else35
4308 ; AVX1OR2-NEXT:    vpextrb $13, %xmm2, %eax
4309 ; AVX1OR2-NEXT:    testb $1, %al
4310 ; AVX1OR2-NEXT:    je LBB23_28
4311 ; AVX1OR2-NEXT:  ## %bb.27: ## %cond.load37
4312 ; AVX1OR2-NEXT:    vpinsrb $13, 13(%rdi), %xmm1, %xmm1
4313 ; AVX1OR2-NEXT:  LBB23_28: ## %else38
4314 ; AVX1OR2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4315 ; AVX1OR2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm0
4316 ; AVX1OR2-NEXT:    vpextrb $14, %xmm0, %eax
4317 ; AVX1OR2-NEXT:    testb $1, %al
4318 ; AVX1OR2-NEXT:    je LBB23_30
4319 ; AVX1OR2-NEXT:  ## %bb.29: ## %cond.load40
4320 ; AVX1OR2-NEXT:    vpinsrb $14, 14(%rdi), %xmm1, %xmm1
4321 ; AVX1OR2-NEXT:  LBB23_30: ## %else41
4322 ; AVX1OR2-NEXT:    vpextrb $15, %xmm0, %eax
4323 ; AVX1OR2-NEXT:    testb $1, %al
4324 ; AVX1OR2-NEXT:    je LBB23_32
4325 ; AVX1OR2-NEXT:  ## %bb.31: ## %cond.load43
4326 ; AVX1OR2-NEXT:    vpinsrb $15, 15(%rdi), %xmm1, %xmm1
4327 ; AVX1OR2-NEXT:  LBB23_32: ## %else44
4328 ; AVX1OR2-NEXT:    vmovdqa %xmm1, %xmm0
4329 ; AVX1OR2-NEXT:    retq
4330 ;
4331 ; AVX512F-LABEL: load_v16i8_v16i8:
4332 ; AVX512F:       ## %bb.0:
4333 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4334 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4335 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
4336 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
4337 ; AVX512F-NEXT:    kmovw %k0, %eax
4338 ; AVX512F-NEXT:    testb $1, %al
4339 ; AVX512F-NEXT:    je LBB23_2
4340 ; AVX512F-NEXT:  ## %bb.1: ## %cond.load
4341 ; AVX512F-NEXT:    vpinsrb $0, (%rdi), %xmm1, %xmm1
4342 ; AVX512F-NEXT:  LBB23_2: ## %else
4343 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k0
4344 ; AVX512F-NEXT:    kmovw %k0, %eax
4345 ; AVX512F-NEXT:    testb $1, %al
4346 ; AVX512F-NEXT:    je LBB23_4
4347 ; AVX512F-NEXT:  ## %bb.3: ## %cond.load1
4348 ; AVX512F-NEXT:    vpinsrb $1, 1(%rdi), %xmm1, %xmm1
4349 ; AVX512F-NEXT:  LBB23_4: ## %else2
4350 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4351 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4352 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
4353 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
4354 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
4355 ; AVX512F-NEXT:    kmovw %k1, %eax
4356 ; AVX512F-NEXT:    testb $1, %al
4357 ; AVX512F-NEXT:    je LBB23_6
4358 ; AVX512F-NEXT:  ## %bb.5: ## %cond.load4
4359 ; AVX512F-NEXT:    vpinsrb $2, 2(%rdi), %xmm1, %xmm1
4360 ; AVX512F-NEXT:  LBB23_6: ## %else5
4361 ; AVX512F-NEXT:    kshiftrw $3, %k0, %k0
4362 ; AVX512F-NEXT:    kmovw %k0, %eax
4363 ; AVX512F-NEXT:    testb $1, %al
4364 ; AVX512F-NEXT:    je LBB23_8
4365 ; AVX512F-NEXT:  ## %bb.7: ## %cond.load7
4366 ; AVX512F-NEXT:    vpinsrb $3, 3(%rdi), %xmm1, %xmm1
4367 ; AVX512F-NEXT:  LBB23_8: ## %else8
4368 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4369 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4370 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
4371 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
4372 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
4373 ; AVX512F-NEXT:    kmovw %k1, %eax
4374 ; AVX512F-NEXT:    testb $1, %al
4375 ; AVX512F-NEXT:    je LBB23_10
4376 ; AVX512F-NEXT:  ## %bb.9: ## %cond.load10
4377 ; AVX512F-NEXT:    vpinsrb $4, 4(%rdi), %xmm1, %xmm1
4378 ; AVX512F-NEXT:  LBB23_10: ## %else11
4379 ; AVX512F-NEXT:    kshiftrw $5, %k0, %k0
4380 ; AVX512F-NEXT:    kmovw %k0, %eax
4381 ; AVX512F-NEXT:    testb $1, %al
4382 ; AVX512F-NEXT:    je LBB23_12
4383 ; AVX512F-NEXT:  ## %bb.11: ## %cond.load13
4384 ; AVX512F-NEXT:    vpinsrb $5, 5(%rdi), %xmm1, %xmm1
4385 ; AVX512F-NEXT:  LBB23_12: ## %else14
4386 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4387 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4388 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
4389 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
4390 ; AVX512F-NEXT:    kshiftrw $6, %k0, %k1
4391 ; AVX512F-NEXT:    kmovw %k1, %eax
4392 ; AVX512F-NEXT:    testb $1, %al
4393 ; AVX512F-NEXT:    je LBB23_14
4394 ; AVX512F-NEXT:  ## %bb.13: ## %cond.load16
4395 ; AVX512F-NEXT:    vpinsrb $6, 6(%rdi), %xmm1, %xmm1
4396 ; AVX512F-NEXT:  LBB23_14: ## %else17
4397 ; AVX512F-NEXT:    kshiftrw $7, %k0, %k0
4398 ; AVX512F-NEXT:    kmovw %k0, %eax
4399 ; AVX512F-NEXT:    testb $1, %al
4400 ; AVX512F-NEXT:    je LBB23_16
4401 ; AVX512F-NEXT:  ## %bb.15: ## %cond.load19
4402 ; AVX512F-NEXT:    vpinsrb $7, 7(%rdi), %xmm1, %xmm1
4403 ; AVX512F-NEXT:  LBB23_16: ## %else20
4404 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4405 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4406 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
4407 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
4408 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
4409 ; AVX512F-NEXT:    kmovw %k1, %eax
4410 ; AVX512F-NEXT:    testb $1, %al
4411 ; AVX512F-NEXT:    je LBB23_18
4412 ; AVX512F-NEXT:  ## %bb.17: ## %cond.load22
4413 ; AVX512F-NEXT:    vpinsrb $8, 8(%rdi), %xmm1, %xmm1
4414 ; AVX512F-NEXT:  LBB23_18: ## %else23
4415 ; AVX512F-NEXT:    kshiftrw $9, %k0, %k0
4416 ; AVX512F-NEXT:    kmovw %k0, %eax
4417 ; AVX512F-NEXT:    testb $1, %al
4418 ; AVX512F-NEXT:    je LBB23_20
4419 ; AVX512F-NEXT:  ## %bb.19: ## %cond.load25
4420 ; AVX512F-NEXT:    vpinsrb $9, 9(%rdi), %xmm1, %xmm1
4421 ; AVX512F-NEXT:  LBB23_20: ## %else26
4422 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4423 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4424 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
4425 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
4426 ; AVX512F-NEXT:    kshiftrw $10, %k0, %k1
4427 ; AVX512F-NEXT:    kmovw %k1, %eax
4428 ; AVX512F-NEXT:    testb $1, %al
4429 ; AVX512F-NEXT:    je LBB23_22
4430 ; AVX512F-NEXT:  ## %bb.21: ## %cond.load28
4431 ; AVX512F-NEXT:    vpinsrb $10, 10(%rdi), %xmm1, %xmm1
4432 ; AVX512F-NEXT:  LBB23_22: ## %else29
4433 ; AVX512F-NEXT:    kshiftrw $11, %k0, %k0
4434 ; AVX512F-NEXT:    kmovw %k0, %eax
4435 ; AVX512F-NEXT:    testb $1, %al
4436 ; AVX512F-NEXT:    je LBB23_24
4437 ; AVX512F-NEXT:  ## %bb.23: ## %cond.load31
4438 ; AVX512F-NEXT:    vpinsrb $11, 11(%rdi), %xmm1, %xmm1
4439 ; AVX512F-NEXT:  LBB23_24: ## %else32
4440 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4441 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4442 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
4443 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
4444 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
4445 ; AVX512F-NEXT:    kmovw %k1, %eax
4446 ; AVX512F-NEXT:    testb $1, %al
4447 ; AVX512F-NEXT:    je LBB23_26
4448 ; AVX512F-NEXT:  ## %bb.25: ## %cond.load34
4449 ; AVX512F-NEXT:    vpinsrb $12, 12(%rdi), %xmm1, %xmm1
4450 ; AVX512F-NEXT:  LBB23_26: ## %else35
4451 ; AVX512F-NEXT:    kshiftrw $13, %k0, %k0
4452 ; AVX512F-NEXT:    kmovw %k0, %eax
4453 ; AVX512F-NEXT:    testb $1, %al
4454 ; AVX512F-NEXT:    je LBB23_28
4455 ; AVX512F-NEXT:  ## %bb.27: ## %cond.load37
4456 ; AVX512F-NEXT:    vpinsrb $13, 13(%rdi), %xmm1, %xmm1
4457 ; AVX512F-NEXT:  LBB23_28: ## %else38
4458 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4459 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm0
4460 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
4461 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
4462 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
4463 ; AVX512F-NEXT:    kmovw %k1, %eax
4464 ; AVX512F-NEXT:    testb $1, %al
4465 ; AVX512F-NEXT:    je LBB23_30
4466 ; AVX512F-NEXT:  ## %bb.29: ## %cond.load40
4467 ; AVX512F-NEXT:    vpinsrb $14, 14(%rdi), %xmm1, %xmm1
4468 ; AVX512F-NEXT:  LBB23_30: ## %else41
4469 ; AVX512F-NEXT:    kshiftrw $15, %k0, %k0
4470 ; AVX512F-NEXT:    kmovw %k0, %eax
4471 ; AVX512F-NEXT:    testb $1, %al
4472 ; AVX512F-NEXT:    je LBB23_32
4473 ; AVX512F-NEXT:  ## %bb.31: ## %cond.load43
4474 ; AVX512F-NEXT:    vpinsrb $15, 15(%rdi), %xmm1, %xmm1
4475 ; AVX512F-NEXT:  LBB23_32: ## %else44
4476 ; AVX512F-NEXT:    vmovdqa %xmm1, %xmm0
4477 ; AVX512F-NEXT:    vzeroupper
4478 ; AVX512F-NEXT:    retq
4479 ;
4480 ; AVX512VLDQ-LABEL: load_v16i8_v16i8:
4481 ; AVX512VLDQ:       ## %bb.0:
4482 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4483 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4484 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
4485 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
4486 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4487 ; AVX512VLDQ-NEXT:    testb $1, %al
4488 ; AVX512VLDQ-NEXT:    je LBB23_2
4489 ; AVX512VLDQ-NEXT:  ## %bb.1: ## %cond.load
4490 ; AVX512VLDQ-NEXT:    vpinsrb $0, (%rdi), %xmm1, %xmm1
4491 ; AVX512VLDQ-NEXT:  LBB23_2: ## %else
4492 ; AVX512VLDQ-NEXT:    kshiftrw $1, %k0, %k0
4493 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4494 ; AVX512VLDQ-NEXT:    testb $1, %al
4495 ; AVX512VLDQ-NEXT:    je LBB23_4
4496 ; AVX512VLDQ-NEXT:  ## %bb.3: ## %cond.load1
4497 ; AVX512VLDQ-NEXT:    vpinsrb $1, 1(%rdi), %xmm1, %xmm1
4498 ; AVX512VLDQ-NEXT:  LBB23_4: ## %else2
4499 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4500 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4501 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
4502 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
4503 ; AVX512VLDQ-NEXT:    kshiftrw $2, %k0, %k1
4504 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
4505 ; AVX512VLDQ-NEXT:    testb $1, %al
4506 ; AVX512VLDQ-NEXT:    je LBB23_6
4507 ; AVX512VLDQ-NEXT:  ## %bb.5: ## %cond.load4
4508 ; AVX512VLDQ-NEXT:    vpinsrb $2, 2(%rdi), %xmm1, %xmm1
4509 ; AVX512VLDQ-NEXT:  LBB23_6: ## %else5
4510 ; AVX512VLDQ-NEXT:    kshiftrw $3, %k0, %k0
4511 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4512 ; AVX512VLDQ-NEXT:    testb $1, %al
4513 ; AVX512VLDQ-NEXT:    je LBB23_8
4514 ; AVX512VLDQ-NEXT:  ## %bb.7: ## %cond.load7
4515 ; AVX512VLDQ-NEXT:    vpinsrb $3, 3(%rdi), %xmm1, %xmm1
4516 ; AVX512VLDQ-NEXT:  LBB23_8: ## %else8
4517 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4518 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4519 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
4520 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
4521 ; AVX512VLDQ-NEXT:    kshiftrw $4, %k0, %k1
4522 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
4523 ; AVX512VLDQ-NEXT:    testb $1, %al
4524 ; AVX512VLDQ-NEXT:    je LBB23_10
4525 ; AVX512VLDQ-NEXT:  ## %bb.9: ## %cond.load10
4526 ; AVX512VLDQ-NEXT:    vpinsrb $4, 4(%rdi), %xmm1, %xmm1
4527 ; AVX512VLDQ-NEXT:  LBB23_10: ## %else11
4528 ; AVX512VLDQ-NEXT:    kshiftrw $5, %k0, %k0
4529 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4530 ; AVX512VLDQ-NEXT:    testb $1, %al
4531 ; AVX512VLDQ-NEXT:    je LBB23_12
4532 ; AVX512VLDQ-NEXT:  ## %bb.11: ## %cond.load13
4533 ; AVX512VLDQ-NEXT:    vpinsrb $5, 5(%rdi), %xmm1, %xmm1
4534 ; AVX512VLDQ-NEXT:  LBB23_12: ## %else14
4535 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4536 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4537 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
4538 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
4539 ; AVX512VLDQ-NEXT:    kshiftrw $6, %k0, %k1
4540 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
4541 ; AVX512VLDQ-NEXT:    testb $1, %al
4542 ; AVX512VLDQ-NEXT:    je LBB23_14
4543 ; AVX512VLDQ-NEXT:  ## %bb.13: ## %cond.load16
4544 ; AVX512VLDQ-NEXT:    vpinsrb $6, 6(%rdi), %xmm1, %xmm1
4545 ; AVX512VLDQ-NEXT:  LBB23_14: ## %else17
4546 ; AVX512VLDQ-NEXT:    kshiftrw $7, %k0, %k0
4547 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4548 ; AVX512VLDQ-NEXT:    testb $1, %al
4549 ; AVX512VLDQ-NEXT:    je LBB23_16
4550 ; AVX512VLDQ-NEXT:  ## %bb.15: ## %cond.load19
4551 ; AVX512VLDQ-NEXT:    vpinsrb $7, 7(%rdi), %xmm1, %xmm1
4552 ; AVX512VLDQ-NEXT:  LBB23_16: ## %else20
4553 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4554 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4555 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
4556 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
4557 ; AVX512VLDQ-NEXT:    kshiftrw $8, %k0, %k1
4558 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
4559 ; AVX512VLDQ-NEXT:    testb $1, %al
4560 ; AVX512VLDQ-NEXT:    je LBB23_18
4561 ; AVX512VLDQ-NEXT:  ## %bb.17: ## %cond.load22
4562 ; AVX512VLDQ-NEXT:    vpinsrb $8, 8(%rdi), %xmm1, %xmm1
4563 ; AVX512VLDQ-NEXT:  LBB23_18: ## %else23
4564 ; AVX512VLDQ-NEXT:    kshiftrw $9, %k0, %k0
4565 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4566 ; AVX512VLDQ-NEXT:    testb $1, %al
4567 ; AVX512VLDQ-NEXT:    je LBB23_20
4568 ; AVX512VLDQ-NEXT:  ## %bb.19: ## %cond.load25
4569 ; AVX512VLDQ-NEXT:    vpinsrb $9, 9(%rdi), %xmm1, %xmm1
4570 ; AVX512VLDQ-NEXT:  LBB23_20: ## %else26
4571 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4572 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4573 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
4574 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
4575 ; AVX512VLDQ-NEXT:    kshiftrw $10, %k0, %k1
4576 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
4577 ; AVX512VLDQ-NEXT:    testb $1, %al
4578 ; AVX512VLDQ-NEXT:    je LBB23_22
4579 ; AVX512VLDQ-NEXT:  ## %bb.21: ## %cond.load28
4580 ; AVX512VLDQ-NEXT:    vpinsrb $10, 10(%rdi), %xmm1, %xmm1
4581 ; AVX512VLDQ-NEXT:  LBB23_22: ## %else29
4582 ; AVX512VLDQ-NEXT:    kshiftrw $11, %k0, %k0
4583 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4584 ; AVX512VLDQ-NEXT:    testb $1, %al
4585 ; AVX512VLDQ-NEXT:    je LBB23_24
4586 ; AVX512VLDQ-NEXT:  ## %bb.23: ## %cond.load31
4587 ; AVX512VLDQ-NEXT:    vpinsrb $11, 11(%rdi), %xmm1, %xmm1
4588 ; AVX512VLDQ-NEXT:  LBB23_24: ## %else32
4589 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4590 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
4591 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
4592 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
4593 ; AVX512VLDQ-NEXT:    kshiftrw $12, %k0, %k1
4594 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
4595 ; AVX512VLDQ-NEXT:    testb $1, %al
4596 ; AVX512VLDQ-NEXT:    je LBB23_26
4597 ; AVX512VLDQ-NEXT:  ## %bb.25: ## %cond.load34
4598 ; AVX512VLDQ-NEXT:    vpinsrb $12, 12(%rdi), %xmm1, %xmm1
4599 ; AVX512VLDQ-NEXT:  LBB23_26: ## %else35
4600 ; AVX512VLDQ-NEXT:    kshiftrw $13, %k0, %k0
4601 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4602 ; AVX512VLDQ-NEXT:    testb $1, %al
4603 ; AVX512VLDQ-NEXT:    je LBB23_28
4604 ; AVX512VLDQ-NEXT:  ## %bb.27: ## %cond.load37
4605 ; AVX512VLDQ-NEXT:    vpinsrb $13, 13(%rdi), %xmm1, %xmm1
4606 ; AVX512VLDQ-NEXT:  LBB23_28: ## %else38
4607 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
4608 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm0
4609 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm0, %zmm0
4610 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm0, %k0
4611 ; AVX512VLDQ-NEXT:    kshiftrw $14, %k0, %k1
4612 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
4613 ; AVX512VLDQ-NEXT:    testb $1, %al
4614 ; AVX512VLDQ-NEXT:    je LBB23_30
4615 ; AVX512VLDQ-NEXT:  ## %bb.29: ## %cond.load40
4616 ; AVX512VLDQ-NEXT:    vpinsrb $14, 14(%rdi), %xmm1, %xmm1
4617 ; AVX512VLDQ-NEXT:  LBB23_30: ## %else41
4618 ; AVX512VLDQ-NEXT:    kshiftrw $15, %k0, %k0
4619 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
4620 ; AVX512VLDQ-NEXT:    testb $1, %al
4621 ; AVX512VLDQ-NEXT:    je LBB23_32
4622 ; AVX512VLDQ-NEXT:  ## %bb.31: ## %cond.load43
4623 ; AVX512VLDQ-NEXT:    vpinsrb $15, 15(%rdi), %xmm1, %xmm1
4624 ; AVX512VLDQ-NEXT:  LBB23_32: ## %else44
4625 ; AVX512VLDQ-NEXT:    vmovdqa %xmm1, %xmm0
4626 ; AVX512VLDQ-NEXT:    vzeroupper
4627 ; AVX512VLDQ-NEXT:    retq
4628 ;
4629 ; AVX512VLBW-LABEL: load_v16i8_v16i8:
4630 ; AVX512VLBW:       ## %bb.0:
4631 ; AVX512VLBW-NEXT:    vpmovb2m %xmm0, %k1
4632 ; AVX512VLBW-NEXT:    vpblendmb (%rdi), %xmm1, %xmm0 {%k1}
4633 ; AVX512VLBW-NEXT:    retq
4634   %mask = icmp slt <16 x i8> %trigger, zeroinitializer
4635   %res = call <16 x i8> @llvm.masked.load.v16i8.p0v16i8(<16 x i8>* %addr, i32 4, <16 x i1> %mask, <16 x i8> %dst)
4636   ret <16 x i8> %res
4637 }
4638
4639 define <32 x i8> @load_v32i8_v32i8(<32 x i8> %trigger, <32 x i8>* %addr, <32 x i8> %dst) {
4640 ; SSE2-LABEL: load_v32i8_v32i8:
4641 ; SSE2:       ## %bb.0:
4642 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4643 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4644 ; SSE2-NEXT:    movd %xmm4, %eax
4645 ; SSE2-NEXT:    testb $1, %al
4646 ; SSE2-NEXT:    je LBB24_2
4647 ; SSE2-NEXT:  ## %bb.1: ## %cond.load
4648 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [0,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4649 ; SSE2-NEXT:    pand %xmm4, %xmm2
4650 ; SSE2-NEXT:    movzbl (%rdi), %ecx
4651 ; SSE2-NEXT:    movd %ecx, %xmm5
4652 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4653 ; SSE2-NEXT:    por %xmm4, %xmm2
4654 ; SSE2-NEXT:  LBB24_2: ## %else
4655 ; SSE2-NEXT:    shrl $8, %eax
4656 ; SSE2-NEXT:    testb $1, %al
4657 ; SSE2-NEXT:    je LBB24_4
4658 ; SSE2-NEXT:  ## %bb.3: ## %cond.load1
4659 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,0,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4660 ; SSE2-NEXT:    pand %xmm4, %xmm2
4661 ; SSE2-NEXT:    movzbl 1(%rdi), %eax
4662 ; SSE2-NEXT:    movd %eax, %xmm5
4663 ; SSE2-NEXT:    psllw $8, %xmm5
4664 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4665 ; SSE2-NEXT:    por %xmm4, %xmm2
4666 ; SSE2-NEXT:  LBB24_4: ## %else2
4667 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4668 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4669 ; SSE2-NEXT:    movd %xmm4, %eax
4670 ; SSE2-NEXT:    movl %eax, %ecx
4671 ; SSE2-NEXT:    shrl $16, %ecx
4672 ; SSE2-NEXT:    testb $1, %cl
4673 ; SSE2-NEXT:    je LBB24_6
4674 ; SSE2-NEXT:  ## %bb.5: ## %cond.load4
4675 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,0,255,255,255,255,255,255,255,255,255,255,255,255,255]
4676 ; SSE2-NEXT:    pand %xmm4, %xmm2
4677 ; SSE2-NEXT:    movzbl 2(%rdi), %ecx
4678 ; SSE2-NEXT:    movd %ecx, %xmm5
4679 ; SSE2-NEXT:    pslld $16, %xmm5
4680 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4681 ; SSE2-NEXT:    por %xmm4, %xmm2
4682 ; SSE2-NEXT:  LBB24_6: ## %else5
4683 ; SSE2-NEXT:    shrl $24, %eax
4684 ; SSE2-NEXT:    testb $1, %al
4685 ; SSE2-NEXT:    je LBB24_8
4686 ; SSE2-NEXT:  ## %bb.7: ## %cond.load7
4687 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,0,255,255,255,255,255,255,255,255,255,255,255,255]
4688 ; SSE2-NEXT:    pand %xmm4, %xmm2
4689 ; SSE2-NEXT:    movzbl 3(%rdi), %eax
4690 ; SSE2-NEXT:    movd %eax, %xmm5
4691 ; SSE2-NEXT:    pslld $24, %xmm5
4692 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4693 ; SSE2-NEXT:    por %xmm4, %xmm2
4694 ; SSE2-NEXT:  LBB24_8: ## %else8
4695 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4696 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4697 ; SSE2-NEXT:    pextrw $2, %xmm4, %eax
4698 ; SSE2-NEXT:    testb $1, %al
4699 ; SSE2-NEXT:    je LBB24_10
4700 ; SSE2-NEXT:  ## %bb.9: ## %cond.load10
4701 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,0,255,255,255,255,255,255,255,255,255,255,255]
4702 ; SSE2-NEXT:    pand %xmm4, %xmm2
4703 ; SSE2-NEXT:    movzbl 4(%rdi), %ecx
4704 ; SSE2-NEXT:    movd %ecx, %xmm5
4705 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,0,1,1]
4706 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4707 ; SSE2-NEXT:    por %xmm4, %xmm2
4708 ; SSE2-NEXT:  LBB24_10: ## %else11
4709 ; SSE2-NEXT:    shrl $8, %eax
4710 ; SSE2-NEXT:    testb $1, %al
4711 ; SSE2-NEXT:    je LBB24_12
4712 ; SSE2-NEXT:  ## %bb.11: ## %cond.load13
4713 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
4714 ; SSE2-NEXT:    pand %xmm4, %xmm2
4715 ; SSE2-NEXT:    movzbl 5(%rdi), %eax
4716 ; SSE2-NEXT:    movd %eax, %xmm5
4717 ; SSE2-NEXT:    psllq $40, %xmm5
4718 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4719 ; SSE2-NEXT:    por %xmm4, %xmm2
4720 ; SSE2-NEXT:  LBB24_12: ## %else14
4721 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4722 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4723 ; SSE2-NEXT:    pextrw $3, %xmm4, %eax
4724 ; SSE2-NEXT:    testb $1, %al
4725 ; SSE2-NEXT:    je LBB24_14
4726 ; SSE2-NEXT:  ## %bb.13: ## %cond.load16
4727 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,0,255,255,255,255,255,255,255,255,255]
4728 ; SSE2-NEXT:    pand %xmm4, %xmm2
4729 ; SSE2-NEXT:    movzbl 6(%rdi), %ecx
4730 ; SSE2-NEXT:    movd %ecx, %xmm5
4731 ; SSE2-NEXT:    psllq $48, %xmm5
4732 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4733 ; SSE2-NEXT:    por %xmm4, %xmm2
4734 ; SSE2-NEXT:  LBB24_14: ## %else17
4735 ; SSE2-NEXT:    shrl $8, %eax
4736 ; SSE2-NEXT:    testb $1, %al
4737 ; SSE2-NEXT:    je LBB24_16
4738 ; SSE2-NEXT:  ## %bb.15: ## %cond.load19
4739 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,0,255,255,255,255,255,255,255,255]
4740 ; SSE2-NEXT:    pand %xmm4, %xmm2
4741 ; SSE2-NEXT:    movzbl 7(%rdi), %eax
4742 ; SSE2-NEXT:    movd %eax, %xmm5
4743 ; SSE2-NEXT:    psllq $56, %xmm5
4744 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4745 ; SSE2-NEXT:    por %xmm4, %xmm2
4746 ; SSE2-NEXT:  LBB24_16: ## %else20
4747 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4748 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4749 ; SSE2-NEXT:    pextrw $4, %xmm4, %eax
4750 ; SSE2-NEXT:    testb $1, %al
4751 ; SSE2-NEXT:    je LBB24_18
4752 ; SSE2-NEXT:  ## %bb.17: ## %cond.load22
4753 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,0,255,255,255,255,255,255,255]
4754 ; SSE2-NEXT:    pand %xmm4, %xmm2
4755 ; SSE2-NEXT:    movzbl 8(%rdi), %ecx
4756 ; SSE2-NEXT:    movd %ecx, %xmm5
4757 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,1,0,1]
4758 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4759 ; SSE2-NEXT:    por %xmm4, %xmm2
4760 ; SSE2-NEXT:  LBB24_18: ## %else23
4761 ; SSE2-NEXT:    shrl $8, %eax
4762 ; SSE2-NEXT:    testb $1, %al
4763 ; SSE2-NEXT:    je LBB24_20
4764 ; SSE2-NEXT:  ## %bb.19: ## %cond.load25
4765 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,0,255,255,255,255,255,255]
4766 ; SSE2-NEXT:    pand %xmm4, %xmm2
4767 ; SSE2-NEXT:    movzbl 9(%rdi), %eax
4768 ; SSE2-NEXT:    movd %eax, %xmm5
4769 ; SSE2-NEXT:    pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2,3,4,5,6]
4770 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4771 ; SSE2-NEXT:    por %xmm4, %xmm2
4772 ; SSE2-NEXT:  LBB24_20: ## %else26
4773 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4774 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4775 ; SSE2-NEXT:    pextrw $5, %xmm4, %eax
4776 ; SSE2-NEXT:    testb $1, %al
4777 ; SSE2-NEXT:    je LBB24_22
4778 ; SSE2-NEXT:  ## %bb.21: ## %cond.load28
4779 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,0,255,255,255,255,255]
4780 ; SSE2-NEXT:    pand %xmm4, %xmm2
4781 ; SSE2-NEXT:    movzbl 10(%rdi), %ecx
4782 ; SSE2-NEXT:    movd %ecx, %xmm5
4783 ; SSE2-NEXT:    pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2,3,4,5]
4784 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4785 ; SSE2-NEXT:    por %xmm4, %xmm2
4786 ; SSE2-NEXT:  LBB24_22: ## %else29
4787 ; SSE2-NEXT:    shrl $8, %eax
4788 ; SSE2-NEXT:    testb $1, %al
4789 ; SSE2-NEXT:    je LBB24_24
4790 ; SSE2-NEXT:  ## %bb.23: ## %cond.load31
4791 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,255,0,255,255,255,255]
4792 ; SSE2-NEXT:    pand %xmm4, %xmm2
4793 ; SSE2-NEXT:    movzbl 11(%rdi), %eax
4794 ; SSE2-NEXT:    movd %eax, %xmm5
4795 ; SSE2-NEXT:    pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2,3,4]
4796 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4797 ; SSE2-NEXT:    por %xmm4, %xmm2
4798 ; SSE2-NEXT:  LBB24_24: ## %else32
4799 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4800 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4801 ; SSE2-NEXT:    pextrw $6, %xmm4, %eax
4802 ; SSE2-NEXT:    testb $1, %al
4803 ; SSE2-NEXT:    je LBB24_26
4804 ; SSE2-NEXT:  ## %bb.25: ## %cond.load34
4805 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,0,255,255,255]
4806 ; SSE2-NEXT:    pand %xmm4, %xmm2
4807 ; SSE2-NEXT:    movzbl 12(%rdi), %ecx
4808 ; SSE2-NEXT:    movd %ecx, %xmm5
4809 ; SSE2-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,1,2,0]
4810 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4811 ; SSE2-NEXT:    por %xmm4, %xmm2
4812 ; SSE2-NEXT:  LBB24_26: ## %else35
4813 ; SSE2-NEXT:    shrl $8, %eax
4814 ; SSE2-NEXT:    testb $1, %al
4815 ; SSE2-NEXT:    je LBB24_28
4816 ; SSE2-NEXT:  ## %bb.27: ## %cond.load37
4817 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [255,255,255,255,255,255,255,255,255,255,255,255,255,0,255,255]
4818 ; SSE2-NEXT:    pand %xmm4, %xmm2
4819 ; SSE2-NEXT:    movzbl 13(%rdi), %eax
4820 ; SSE2-NEXT:    movd %eax, %xmm5
4821 ; SSE2-NEXT:    pslldq {{.*#+}} xmm5 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm5[0,1,2]
4822 ; SSE2-NEXT:    pandn %xmm5, %xmm4
4823 ; SSE2-NEXT:    por %xmm4, %xmm2
4824 ; SSE2-NEXT:  LBB24_28: ## %else38
4825 ; SSE2-NEXT:    pxor %xmm4, %xmm4
4826 ; SSE2-NEXT:    pcmpgtb %xmm0, %xmm4
4827 ; SSE2-NEXT:    pextrw $7, %xmm4, %eax
4828 ; SSE2-NEXT:    testb $1, %al
4829 ; SSE2-NEXT:    je LBB24_30
4830 ; SSE2-NEXT:  ## %bb.29: ## %cond.load40
4831 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,0,255]
4832 ; SSE2-NEXT:    pand %xmm0, %xmm2
4833 ; SSE2-NEXT:    movzbl 14(%rdi), %ecx
4834 ; SSE2-NEXT:    movd %ecx, %xmm4
4835 ; SSE2-NEXT:    pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1]
4836 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4837 ; SSE2-NEXT:    por %xmm0, %xmm2
4838 ; SSE2-NEXT:  LBB24_30: ## %else41
4839 ; SSE2-NEXT:    shrl $8, %eax
4840 ; SSE2-NEXT:    testb $1, %al
4841 ; SSE2-NEXT:    je LBB24_32
4842 ; SSE2-NEXT:  ## %bb.31: ## %cond.load43
4843 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm2
4844 ; SSE2-NEXT:    movzbl 15(%rdi), %eax
4845 ; SSE2-NEXT:    movd %eax, %xmm0
4846 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0]
4847 ; SSE2-NEXT:    por %xmm0, %xmm2
4848 ; SSE2-NEXT:  LBB24_32: ## %else44
4849 ; SSE2-NEXT:    pxor %xmm0, %xmm0
4850 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
4851 ; SSE2-NEXT:    movd %xmm0, %eax
4852 ; SSE2-NEXT:    testb $1, %al
4853 ; SSE2-NEXT:    je LBB24_34
4854 ; SSE2-NEXT:  ## %bb.33: ## %cond.load46
4855 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [0,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4856 ; SSE2-NEXT:    pand %xmm0, %xmm3
4857 ; SSE2-NEXT:    movzbl 16(%rdi), %ecx
4858 ; SSE2-NEXT:    movd %ecx, %xmm4
4859 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4860 ; SSE2-NEXT:    por %xmm0, %xmm3
4861 ; SSE2-NEXT:  LBB24_34: ## %else47
4862 ; SSE2-NEXT:    shrl $8, %eax
4863 ; SSE2-NEXT:    testb $1, %al
4864 ; SSE2-NEXT:    je LBB24_36
4865 ; SSE2-NEXT:  ## %bb.35: ## %cond.load49
4866 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,0,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
4867 ; SSE2-NEXT:    pand %xmm0, %xmm3
4868 ; SSE2-NEXT:    movzbl 17(%rdi), %eax
4869 ; SSE2-NEXT:    movd %eax, %xmm4
4870 ; SSE2-NEXT:    psllw $8, %xmm4
4871 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4872 ; SSE2-NEXT:    por %xmm0, %xmm3
4873 ; SSE2-NEXT:  LBB24_36: ## %else50
4874 ; SSE2-NEXT:    pxor %xmm0, %xmm0
4875 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
4876 ; SSE2-NEXT:    movd %xmm0, %eax
4877 ; SSE2-NEXT:    movl %eax, %ecx
4878 ; SSE2-NEXT:    shrl $16, %ecx
4879 ; SSE2-NEXT:    testb $1, %cl
4880 ; SSE2-NEXT:    je LBB24_38
4881 ; SSE2-NEXT:  ## %bb.37: ## %cond.load52
4882 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,0,255,255,255,255,255,255,255,255,255,255,255,255,255]
4883 ; SSE2-NEXT:    pand %xmm0, %xmm3
4884 ; SSE2-NEXT:    movzbl 18(%rdi), %ecx
4885 ; SSE2-NEXT:    movd %ecx, %xmm4
4886 ; SSE2-NEXT:    pslld $16, %xmm4
4887 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4888 ; SSE2-NEXT:    por %xmm0, %xmm3
4889 ; SSE2-NEXT:  LBB24_38: ## %else53
4890 ; SSE2-NEXT:    shrl $24, %eax
4891 ; SSE2-NEXT:    testb $1, %al
4892 ; SSE2-NEXT:    je LBB24_40
4893 ; SSE2-NEXT:  ## %bb.39: ## %cond.load55
4894 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,0,255,255,255,255,255,255,255,255,255,255,255,255]
4895 ; SSE2-NEXT:    pand %xmm0, %xmm3
4896 ; SSE2-NEXT:    movzbl 19(%rdi), %eax
4897 ; SSE2-NEXT:    movd %eax, %xmm4
4898 ; SSE2-NEXT:    pslld $24, %xmm4
4899 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4900 ; SSE2-NEXT:    por %xmm0, %xmm3
4901 ; SSE2-NEXT:  LBB24_40: ## %else56
4902 ; SSE2-NEXT:    pxor %xmm0, %xmm0
4903 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
4904 ; SSE2-NEXT:    pextrw $2, %xmm0, %eax
4905 ; SSE2-NEXT:    testb $1, %al
4906 ; SSE2-NEXT:    je LBB24_42
4907 ; SSE2-NEXT:  ## %bb.41: ## %cond.load58
4908 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,0,255,255,255,255,255,255,255,255,255,255,255]
4909 ; SSE2-NEXT:    pand %xmm0, %xmm3
4910 ; SSE2-NEXT:    movzbl 20(%rdi), %ecx
4911 ; SSE2-NEXT:    movd %ecx, %xmm4
4912 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,0,1,1]
4913 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4914 ; SSE2-NEXT:    por %xmm0, %xmm3
4915 ; SSE2-NEXT:  LBB24_42: ## %else59
4916 ; SSE2-NEXT:    shrl $8, %eax
4917 ; SSE2-NEXT:    testb $1, %al
4918 ; SSE2-NEXT:    je LBB24_44
4919 ; SSE2-NEXT:  ## %bb.43: ## %cond.load61
4920 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,0,255,255,255,255,255,255,255,255,255,255]
4921 ; SSE2-NEXT:    pand %xmm0, %xmm3
4922 ; SSE2-NEXT:    movzbl 21(%rdi), %eax
4923 ; SSE2-NEXT:    movd %eax, %xmm4
4924 ; SSE2-NEXT:    psllq $40, %xmm4
4925 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4926 ; SSE2-NEXT:    por %xmm0, %xmm3
4927 ; SSE2-NEXT:  LBB24_44: ## %else62
4928 ; SSE2-NEXT:    pxor %xmm0, %xmm0
4929 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
4930 ; SSE2-NEXT:    pextrw $3, %xmm0, %eax
4931 ; SSE2-NEXT:    testb $1, %al
4932 ; SSE2-NEXT:    je LBB24_46
4933 ; SSE2-NEXT:  ## %bb.45: ## %cond.load64
4934 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,0,255,255,255,255,255,255,255,255,255]
4935 ; SSE2-NEXT:    pand %xmm0, %xmm3
4936 ; SSE2-NEXT:    movzbl 22(%rdi), %ecx
4937 ; SSE2-NEXT:    movd %ecx, %xmm4
4938 ; SSE2-NEXT:    psllq $48, %xmm4
4939 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4940 ; SSE2-NEXT:    por %xmm0, %xmm3
4941 ; SSE2-NEXT:  LBB24_46: ## %else65
4942 ; SSE2-NEXT:    shrl $8, %eax
4943 ; SSE2-NEXT:    testb $1, %al
4944 ; SSE2-NEXT:    je LBB24_48
4945 ; SSE2-NEXT:  ## %bb.47: ## %cond.load67
4946 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,0,255,255,255,255,255,255,255,255]
4947 ; SSE2-NEXT:    pand %xmm0, %xmm3
4948 ; SSE2-NEXT:    movzbl 23(%rdi), %eax
4949 ; SSE2-NEXT:    movd %eax, %xmm4
4950 ; SSE2-NEXT:    psllq $56, %xmm4
4951 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4952 ; SSE2-NEXT:    por %xmm0, %xmm3
4953 ; SSE2-NEXT:  LBB24_48: ## %else68
4954 ; SSE2-NEXT:    pxor %xmm0, %xmm0
4955 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
4956 ; SSE2-NEXT:    pextrw $4, %xmm0, %eax
4957 ; SSE2-NEXT:    testb $1, %al
4958 ; SSE2-NEXT:    je LBB24_50
4959 ; SSE2-NEXT:  ## %bb.49: ## %cond.load70
4960 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,0,255,255,255,255,255,255,255]
4961 ; SSE2-NEXT:    pand %xmm0, %xmm3
4962 ; SSE2-NEXT:    movzbl 24(%rdi), %ecx
4963 ; SSE2-NEXT:    movd %ecx, %xmm4
4964 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,1,0,1]
4965 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4966 ; SSE2-NEXT:    por %xmm0, %xmm3
4967 ; SSE2-NEXT:  LBB24_50: ## %else71
4968 ; SSE2-NEXT:    shrl $8, %eax
4969 ; SSE2-NEXT:    testb $1, %al
4970 ; SSE2-NEXT:    je LBB24_52
4971 ; SSE2-NEXT:  ## %bb.51: ## %cond.load73
4972 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,0,255,255,255,255,255,255]
4973 ; SSE2-NEXT:    pand %xmm0, %xmm3
4974 ; SSE2-NEXT:    movzbl 25(%rdi), %eax
4975 ; SSE2-NEXT:    movd %eax, %xmm4
4976 ; SSE2-NEXT:    pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2,3,4,5,6]
4977 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4978 ; SSE2-NEXT:    por %xmm0, %xmm3
4979 ; SSE2-NEXT:  LBB24_52: ## %else74
4980 ; SSE2-NEXT:    pxor %xmm0, %xmm0
4981 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
4982 ; SSE2-NEXT:    pextrw $5, %xmm0, %eax
4983 ; SSE2-NEXT:    testb $1, %al
4984 ; SSE2-NEXT:    je LBB24_54
4985 ; SSE2-NEXT:  ## %bb.53: ## %cond.load76
4986 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,0,255,255,255,255,255]
4987 ; SSE2-NEXT:    pand %xmm0, %xmm3
4988 ; SSE2-NEXT:    movzbl 26(%rdi), %ecx
4989 ; SSE2-NEXT:    movd %ecx, %xmm4
4990 ; SSE2-NEXT:    pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2,3,4,5]
4991 ; SSE2-NEXT:    pandn %xmm4, %xmm0
4992 ; SSE2-NEXT:    por %xmm0, %xmm3
4993 ; SSE2-NEXT:  LBB24_54: ## %else77
4994 ; SSE2-NEXT:    shrl $8, %eax
4995 ; SSE2-NEXT:    testb $1, %al
4996 ; SSE2-NEXT:    je LBB24_56
4997 ; SSE2-NEXT:  ## %bb.55: ## %cond.load79
4998 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,0,255,255,255,255]
4999 ; SSE2-NEXT:    pand %xmm0, %xmm3
5000 ; SSE2-NEXT:    movzbl 27(%rdi), %eax
5001 ; SSE2-NEXT:    movd %eax, %xmm4
5002 ; SSE2-NEXT:    pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2,3,4]
5003 ; SSE2-NEXT:    pandn %xmm4, %xmm0
5004 ; SSE2-NEXT:    por %xmm0, %xmm3
5005 ; SSE2-NEXT:  LBB24_56: ## %else80
5006 ; SSE2-NEXT:    pxor %xmm0, %xmm0
5007 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
5008 ; SSE2-NEXT:    pextrw $6, %xmm0, %eax
5009 ; SSE2-NEXT:    testb $1, %al
5010 ; SSE2-NEXT:    je LBB24_58
5011 ; SSE2-NEXT:  ## %bb.57: ## %cond.load82
5012 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,0,255,255,255]
5013 ; SSE2-NEXT:    pand %xmm0, %xmm3
5014 ; SSE2-NEXT:    movzbl 28(%rdi), %ecx
5015 ; SSE2-NEXT:    movd %ecx, %xmm4
5016 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,1,2,0]
5017 ; SSE2-NEXT:    pandn %xmm4, %xmm0
5018 ; SSE2-NEXT:    por %xmm0, %xmm3
5019 ; SSE2-NEXT:  LBB24_58: ## %else83
5020 ; SSE2-NEXT:    shrl $8, %eax
5021 ; SSE2-NEXT:    testb $1, %al
5022 ; SSE2-NEXT:    je LBB24_60
5023 ; SSE2-NEXT:  ## %bb.59: ## %cond.load85
5024 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,0,255,255]
5025 ; SSE2-NEXT:    pand %xmm0, %xmm3
5026 ; SSE2-NEXT:    movzbl 29(%rdi), %eax
5027 ; SSE2-NEXT:    movd %eax, %xmm4
5028 ; SSE2-NEXT:    pslldq {{.*#+}} xmm4 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm4[0,1,2]
5029 ; SSE2-NEXT:    pandn %xmm4, %xmm0
5030 ; SSE2-NEXT:    por %xmm0, %xmm3
5031 ; SSE2-NEXT:  LBB24_60: ## %else86
5032 ; SSE2-NEXT:    pxor %xmm0, %xmm0
5033 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
5034 ; SSE2-NEXT:    pextrw $7, %xmm0, %eax
5035 ; SSE2-NEXT:    testb $1, %al
5036 ; SSE2-NEXT:    je LBB24_62
5037 ; SSE2-NEXT:  ## %bb.61: ## %cond.load88
5038 ; SSE2-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,0,255]
5039 ; SSE2-NEXT:    pand %xmm0, %xmm3
5040 ; SSE2-NEXT:    movzbl 30(%rdi), %ecx
5041 ; SSE2-NEXT:    movd %ecx, %xmm1
5042 ; SSE2-NEXT:    pslldq {{.*#+}} xmm1 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm1[0,1]
5043 ; SSE2-NEXT:    pandn %xmm1, %xmm0
5044 ; SSE2-NEXT:    por %xmm0, %xmm3
5045 ; SSE2-NEXT:  LBB24_62: ## %else89
5046 ; SSE2-NEXT:    shrl $8, %eax
5047 ; SSE2-NEXT:    testb $1, %al
5048 ; SSE2-NEXT:    je LBB24_64
5049 ; SSE2-NEXT:  ## %bb.63: ## %cond.load91
5050 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm3
5051 ; SSE2-NEXT:    movzbl 31(%rdi), %eax
5052 ; SSE2-NEXT:    movd %eax, %xmm0
5053 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0]
5054 ; SSE2-NEXT:    por %xmm0, %xmm3
5055 ; SSE2-NEXT:  LBB24_64: ## %else92
5056 ; SSE2-NEXT:    movdqa %xmm2, %xmm0
5057 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
5058 ; SSE2-NEXT:    retq
5059 ;
5060 ; SSE42-LABEL: load_v32i8_v32i8:
5061 ; SSE42:       ## %bb.0:
5062 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5063 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5064 ; SSE42-NEXT:    pextrb $0, %xmm4, %eax
5065 ; SSE42-NEXT:    testb $1, %al
5066 ; SSE42-NEXT:    je LBB24_2
5067 ; SSE42-NEXT:  ## %bb.1: ## %cond.load
5068 ; SSE42-NEXT:    pinsrb $0, (%rdi), %xmm2
5069 ; SSE42-NEXT:  LBB24_2: ## %else
5070 ; SSE42-NEXT:    pextrb $1, %xmm4, %eax
5071 ; SSE42-NEXT:    testb $1, %al
5072 ; SSE42-NEXT:    je LBB24_4
5073 ; SSE42-NEXT:  ## %bb.3: ## %cond.load1
5074 ; SSE42-NEXT:    pinsrb $1, 1(%rdi), %xmm2
5075 ; SSE42-NEXT:  LBB24_4: ## %else2
5076 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5077 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5078 ; SSE42-NEXT:    pextrb $2, %xmm4, %eax
5079 ; SSE42-NEXT:    testb $1, %al
5080 ; SSE42-NEXT:    je LBB24_6
5081 ; SSE42-NEXT:  ## %bb.5: ## %cond.load4
5082 ; SSE42-NEXT:    pinsrb $2, 2(%rdi), %xmm2
5083 ; SSE42-NEXT:  LBB24_6: ## %else5
5084 ; SSE42-NEXT:    pextrb $3, %xmm4, %eax
5085 ; SSE42-NEXT:    testb $1, %al
5086 ; SSE42-NEXT:    je LBB24_8
5087 ; SSE42-NEXT:  ## %bb.7: ## %cond.load7
5088 ; SSE42-NEXT:    pinsrb $3, 3(%rdi), %xmm2
5089 ; SSE42-NEXT:  LBB24_8: ## %else8
5090 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5091 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5092 ; SSE42-NEXT:    pextrb $4, %xmm4, %eax
5093 ; SSE42-NEXT:    testb $1, %al
5094 ; SSE42-NEXT:    je LBB24_10
5095 ; SSE42-NEXT:  ## %bb.9: ## %cond.load10
5096 ; SSE42-NEXT:    pinsrb $4, 4(%rdi), %xmm2
5097 ; SSE42-NEXT:  LBB24_10: ## %else11
5098 ; SSE42-NEXT:    pextrb $5, %xmm4, %eax
5099 ; SSE42-NEXT:    testb $1, %al
5100 ; SSE42-NEXT:    je LBB24_12
5101 ; SSE42-NEXT:  ## %bb.11: ## %cond.load13
5102 ; SSE42-NEXT:    pinsrb $5, 5(%rdi), %xmm2
5103 ; SSE42-NEXT:  LBB24_12: ## %else14
5104 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5105 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5106 ; SSE42-NEXT:    pextrb $6, %xmm4, %eax
5107 ; SSE42-NEXT:    testb $1, %al
5108 ; SSE42-NEXT:    je LBB24_14
5109 ; SSE42-NEXT:  ## %bb.13: ## %cond.load16
5110 ; SSE42-NEXT:    pinsrb $6, 6(%rdi), %xmm2
5111 ; SSE42-NEXT:  LBB24_14: ## %else17
5112 ; SSE42-NEXT:    pextrb $7, %xmm4, %eax
5113 ; SSE42-NEXT:    testb $1, %al
5114 ; SSE42-NEXT:    je LBB24_16
5115 ; SSE42-NEXT:  ## %bb.15: ## %cond.load19
5116 ; SSE42-NEXT:    pinsrb $7, 7(%rdi), %xmm2
5117 ; SSE42-NEXT:  LBB24_16: ## %else20
5118 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5119 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5120 ; SSE42-NEXT:    pextrb $8, %xmm4, %eax
5121 ; SSE42-NEXT:    testb $1, %al
5122 ; SSE42-NEXT:    je LBB24_18
5123 ; SSE42-NEXT:  ## %bb.17: ## %cond.load22
5124 ; SSE42-NEXT:    pinsrb $8, 8(%rdi), %xmm2
5125 ; SSE42-NEXT:  LBB24_18: ## %else23
5126 ; SSE42-NEXT:    pextrb $9, %xmm4, %eax
5127 ; SSE42-NEXT:    testb $1, %al
5128 ; SSE42-NEXT:    je LBB24_20
5129 ; SSE42-NEXT:  ## %bb.19: ## %cond.load25
5130 ; SSE42-NEXT:    pinsrb $9, 9(%rdi), %xmm2
5131 ; SSE42-NEXT:  LBB24_20: ## %else26
5132 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5133 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5134 ; SSE42-NEXT:    pextrb $10, %xmm4, %eax
5135 ; SSE42-NEXT:    testb $1, %al
5136 ; SSE42-NEXT:    je LBB24_22
5137 ; SSE42-NEXT:  ## %bb.21: ## %cond.load28
5138 ; SSE42-NEXT:    pinsrb $10, 10(%rdi), %xmm2
5139 ; SSE42-NEXT:  LBB24_22: ## %else29
5140 ; SSE42-NEXT:    pextrb $11, %xmm4, %eax
5141 ; SSE42-NEXT:    testb $1, %al
5142 ; SSE42-NEXT:    je LBB24_24
5143 ; SSE42-NEXT:  ## %bb.23: ## %cond.load31
5144 ; SSE42-NEXT:    pinsrb $11, 11(%rdi), %xmm2
5145 ; SSE42-NEXT:  LBB24_24: ## %else32
5146 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5147 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5148 ; SSE42-NEXT:    pextrb $12, %xmm4, %eax
5149 ; SSE42-NEXT:    testb $1, %al
5150 ; SSE42-NEXT:    je LBB24_26
5151 ; SSE42-NEXT:  ## %bb.25: ## %cond.load34
5152 ; SSE42-NEXT:    pinsrb $12, 12(%rdi), %xmm2
5153 ; SSE42-NEXT:  LBB24_26: ## %else35
5154 ; SSE42-NEXT:    pextrb $13, %xmm4, %eax
5155 ; SSE42-NEXT:    testb $1, %al
5156 ; SSE42-NEXT:    je LBB24_28
5157 ; SSE42-NEXT:  ## %bb.27: ## %cond.load37
5158 ; SSE42-NEXT:    pinsrb $13, 13(%rdi), %xmm2
5159 ; SSE42-NEXT:  LBB24_28: ## %else38
5160 ; SSE42-NEXT:    pxor %xmm4, %xmm4
5161 ; SSE42-NEXT:    pcmpgtb %xmm0, %xmm4
5162 ; SSE42-NEXT:    pextrb $14, %xmm4, %eax
5163 ; SSE42-NEXT:    testb $1, %al
5164 ; SSE42-NEXT:    je LBB24_30
5165 ; SSE42-NEXT:  ## %bb.29: ## %cond.load40
5166 ; SSE42-NEXT:    pinsrb $14, 14(%rdi), %xmm2
5167 ; SSE42-NEXT:  LBB24_30: ## %else41
5168 ; SSE42-NEXT:    pextrb $15, %xmm4, %eax
5169 ; SSE42-NEXT:    testb $1, %al
5170 ; SSE42-NEXT:    je LBB24_32
5171 ; SSE42-NEXT:  ## %bb.31: ## %cond.load43
5172 ; SSE42-NEXT:    pinsrb $15, 15(%rdi), %xmm2
5173 ; SSE42-NEXT:  LBB24_32: ## %else44
5174 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5175 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5176 ; SSE42-NEXT:    pextrb $0, %xmm0, %eax
5177 ; SSE42-NEXT:    testb $1, %al
5178 ; SSE42-NEXT:    je LBB24_34
5179 ; SSE42-NEXT:  ## %bb.33: ## %cond.load46
5180 ; SSE42-NEXT:    pinsrb $0, 16(%rdi), %xmm3
5181 ; SSE42-NEXT:  LBB24_34: ## %else47
5182 ; SSE42-NEXT:    pextrb $1, %xmm0, %eax
5183 ; SSE42-NEXT:    testb $1, %al
5184 ; SSE42-NEXT:    je LBB24_36
5185 ; SSE42-NEXT:  ## %bb.35: ## %cond.load49
5186 ; SSE42-NEXT:    pinsrb $1, 17(%rdi), %xmm3
5187 ; SSE42-NEXT:  LBB24_36: ## %else50
5188 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5189 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5190 ; SSE42-NEXT:    pextrb $2, %xmm0, %eax
5191 ; SSE42-NEXT:    testb $1, %al
5192 ; SSE42-NEXT:    je LBB24_38
5193 ; SSE42-NEXT:  ## %bb.37: ## %cond.load52
5194 ; SSE42-NEXT:    pinsrb $2, 18(%rdi), %xmm3
5195 ; SSE42-NEXT:  LBB24_38: ## %else53
5196 ; SSE42-NEXT:    pextrb $3, %xmm0, %eax
5197 ; SSE42-NEXT:    testb $1, %al
5198 ; SSE42-NEXT:    je LBB24_40
5199 ; SSE42-NEXT:  ## %bb.39: ## %cond.load55
5200 ; SSE42-NEXT:    pinsrb $3, 19(%rdi), %xmm3
5201 ; SSE42-NEXT:  LBB24_40: ## %else56
5202 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5203 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5204 ; SSE42-NEXT:    pextrb $4, %xmm0, %eax
5205 ; SSE42-NEXT:    testb $1, %al
5206 ; SSE42-NEXT:    je LBB24_42
5207 ; SSE42-NEXT:  ## %bb.41: ## %cond.load58
5208 ; SSE42-NEXT:    pinsrb $4, 20(%rdi), %xmm3
5209 ; SSE42-NEXT:  LBB24_42: ## %else59
5210 ; SSE42-NEXT:    pextrb $5, %xmm0, %eax
5211 ; SSE42-NEXT:    testb $1, %al
5212 ; SSE42-NEXT:    je LBB24_44
5213 ; SSE42-NEXT:  ## %bb.43: ## %cond.load61
5214 ; SSE42-NEXT:    pinsrb $5, 21(%rdi), %xmm3
5215 ; SSE42-NEXT:  LBB24_44: ## %else62
5216 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5217 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5218 ; SSE42-NEXT:    pextrb $6, %xmm0, %eax
5219 ; SSE42-NEXT:    testb $1, %al
5220 ; SSE42-NEXT:    je LBB24_46
5221 ; SSE42-NEXT:  ## %bb.45: ## %cond.load64
5222 ; SSE42-NEXT:    pinsrb $6, 22(%rdi), %xmm3
5223 ; SSE42-NEXT:  LBB24_46: ## %else65
5224 ; SSE42-NEXT:    pextrb $7, %xmm0, %eax
5225 ; SSE42-NEXT:    testb $1, %al
5226 ; SSE42-NEXT:    je LBB24_48
5227 ; SSE42-NEXT:  ## %bb.47: ## %cond.load67
5228 ; SSE42-NEXT:    pinsrb $7, 23(%rdi), %xmm3
5229 ; SSE42-NEXT:  LBB24_48: ## %else68
5230 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5231 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5232 ; SSE42-NEXT:    pextrb $8, %xmm0, %eax
5233 ; SSE42-NEXT:    testb $1, %al
5234 ; SSE42-NEXT:    je LBB24_50
5235 ; SSE42-NEXT:  ## %bb.49: ## %cond.load70
5236 ; SSE42-NEXT:    pinsrb $8, 24(%rdi), %xmm3
5237 ; SSE42-NEXT:  LBB24_50: ## %else71
5238 ; SSE42-NEXT:    pextrb $9, %xmm0, %eax
5239 ; SSE42-NEXT:    testb $1, %al
5240 ; SSE42-NEXT:    je LBB24_52
5241 ; SSE42-NEXT:  ## %bb.51: ## %cond.load73
5242 ; SSE42-NEXT:    pinsrb $9, 25(%rdi), %xmm3
5243 ; SSE42-NEXT:  LBB24_52: ## %else74
5244 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5245 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5246 ; SSE42-NEXT:    pextrb $10, %xmm0, %eax
5247 ; SSE42-NEXT:    testb $1, %al
5248 ; SSE42-NEXT:    je LBB24_54
5249 ; SSE42-NEXT:  ## %bb.53: ## %cond.load76
5250 ; SSE42-NEXT:    pinsrb $10, 26(%rdi), %xmm3
5251 ; SSE42-NEXT:  LBB24_54: ## %else77
5252 ; SSE42-NEXT:    pextrb $11, %xmm0, %eax
5253 ; SSE42-NEXT:    testb $1, %al
5254 ; SSE42-NEXT:    je LBB24_56
5255 ; SSE42-NEXT:  ## %bb.55: ## %cond.load79
5256 ; SSE42-NEXT:    pinsrb $11, 27(%rdi), %xmm3
5257 ; SSE42-NEXT:  LBB24_56: ## %else80
5258 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5259 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5260 ; SSE42-NEXT:    pextrb $12, %xmm0, %eax
5261 ; SSE42-NEXT:    testb $1, %al
5262 ; SSE42-NEXT:    je LBB24_58
5263 ; SSE42-NEXT:  ## %bb.57: ## %cond.load82
5264 ; SSE42-NEXT:    pinsrb $12, 28(%rdi), %xmm3
5265 ; SSE42-NEXT:  LBB24_58: ## %else83
5266 ; SSE42-NEXT:    pextrb $13, %xmm0, %eax
5267 ; SSE42-NEXT:    testb $1, %al
5268 ; SSE42-NEXT:    je LBB24_60
5269 ; SSE42-NEXT:  ## %bb.59: ## %cond.load85
5270 ; SSE42-NEXT:    pinsrb $13, 29(%rdi), %xmm3
5271 ; SSE42-NEXT:  LBB24_60: ## %else86
5272 ; SSE42-NEXT:    pxor %xmm0, %xmm0
5273 ; SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
5274 ; SSE42-NEXT:    pextrb $14, %xmm0, %eax
5275 ; SSE42-NEXT:    testb $1, %al
5276 ; SSE42-NEXT:    je LBB24_62
5277 ; SSE42-NEXT:  ## %bb.61: ## %cond.load88
5278 ; SSE42-NEXT:    pinsrb $14, 30(%rdi), %xmm3
5279 ; SSE42-NEXT:  LBB24_62: ## %else89
5280 ; SSE42-NEXT:    pextrb $15, %xmm0, %eax
5281 ; SSE42-NEXT:    testb $1, %al
5282 ; SSE42-NEXT:    je LBB24_64
5283 ; SSE42-NEXT:  ## %bb.63: ## %cond.load91
5284 ; SSE42-NEXT:    pinsrb $15, 31(%rdi), %xmm3
5285 ; SSE42-NEXT:  LBB24_64: ## %else92
5286 ; SSE42-NEXT:    movdqa %xmm2, %xmm0
5287 ; SSE42-NEXT:    movdqa %xmm3, %xmm1
5288 ; SSE42-NEXT:    retq
5289 ;
5290 ; AVX1-LABEL: load_v32i8_v32i8:
5291 ; AVX1:       ## %bb.0:
5292 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5293 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5294 ; AVX1-NEXT:    vpextrb $0, %xmm3, %eax
5295 ; AVX1-NEXT:    testb $1, %al
5296 ; AVX1-NEXT:    je LBB24_2
5297 ; AVX1-NEXT:  ## %bb.1: ## %cond.load
5298 ; AVX1-NEXT:    vpinsrb $0, (%rdi), %xmm1, %xmm3
5299 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5300 ; AVX1-NEXT:  LBB24_2: ## %else
5301 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5302 ; AVX1-NEXT:    vpextrb $1, %xmm2, %eax
5303 ; AVX1-NEXT:    testb $1, %al
5304 ; AVX1-NEXT:    je LBB24_4
5305 ; AVX1-NEXT:  ## %bb.3: ## %cond.load1
5306 ; AVX1-NEXT:    vpinsrb $1, 1(%rdi), %xmm1, %xmm2
5307 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5308 ; AVX1-NEXT:  LBB24_4: ## %else2
5309 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5310 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5311 ; AVX1-NEXT:    vpextrb $2, %xmm3, %eax
5312 ; AVX1-NEXT:    testb $1, %al
5313 ; AVX1-NEXT:    je LBB24_6
5314 ; AVX1-NEXT:  ## %bb.5: ## %cond.load4
5315 ; AVX1-NEXT:    vpinsrb $2, 2(%rdi), %xmm1, %xmm3
5316 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5317 ; AVX1-NEXT:  LBB24_6: ## %else5
5318 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5319 ; AVX1-NEXT:    vpextrb $3, %xmm2, %eax
5320 ; AVX1-NEXT:    testb $1, %al
5321 ; AVX1-NEXT:    je LBB24_8
5322 ; AVX1-NEXT:  ## %bb.7: ## %cond.load7
5323 ; AVX1-NEXT:    vpinsrb $3, 3(%rdi), %xmm1, %xmm2
5324 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5325 ; AVX1-NEXT:  LBB24_8: ## %else8
5326 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5327 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5328 ; AVX1-NEXT:    vpextrb $4, %xmm3, %eax
5329 ; AVX1-NEXT:    testb $1, %al
5330 ; AVX1-NEXT:    je LBB24_10
5331 ; AVX1-NEXT:  ## %bb.9: ## %cond.load10
5332 ; AVX1-NEXT:    vpinsrb $4, 4(%rdi), %xmm1, %xmm3
5333 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5334 ; AVX1-NEXT:  LBB24_10: ## %else11
5335 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5336 ; AVX1-NEXT:    vpextrb $5, %xmm2, %eax
5337 ; AVX1-NEXT:    testb $1, %al
5338 ; AVX1-NEXT:    je LBB24_12
5339 ; AVX1-NEXT:  ## %bb.11: ## %cond.load13
5340 ; AVX1-NEXT:    vpinsrb $5, 5(%rdi), %xmm1, %xmm2
5341 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5342 ; AVX1-NEXT:  LBB24_12: ## %else14
5343 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5344 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5345 ; AVX1-NEXT:    vpextrb $6, %xmm3, %eax
5346 ; AVX1-NEXT:    testb $1, %al
5347 ; AVX1-NEXT:    je LBB24_14
5348 ; AVX1-NEXT:  ## %bb.13: ## %cond.load16
5349 ; AVX1-NEXT:    vpinsrb $6, 6(%rdi), %xmm1, %xmm3
5350 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5351 ; AVX1-NEXT:  LBB24_14: ## %else17
5352 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5353 ; AVX1-NEXT:    vpextrb $7, %xmm2, %eax
5354 ; AVX1-NEXT:    testb $1, %al
5355 ; AVX1-NEXT:    je LBB24_16
5356 ; AVX1-NEXT:  ## %bb.15: ## %cond.load19
5357 ; AVX1-NEXT:    vpinsrb $7, 7(%rdi), %xmm1, %xmm2
5358 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5359 ; AVX1-NEXT:  LBB24_16: ## %else20
5360 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5361 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5362 ; AVX1-NEXT:    vpextrb $8, %xmm3, %eax
5363 ; AVX1-NEXT:    testb $1, %al
5364 ; AVX1-NEXT:    je LBB24_18
5365 ; AVX1-NEXT:  ## %bb.17: ## %cond.load22
5366 ; AVX1-NEXT:    vpinsrb $8, 8(%rdi), %xmm1, %xmm3
5367 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5368 ; AVX1-NEXT:  LBB24_18: ## %else23
5369 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5370 ; AVX1-NEXT:    vpextrb $9, %xmm2, %eax
5371 ; AVX1-NEXT:    testb $1, %al
5372 ; AVX1-NEXT:    je LBB24_20
5373 ; AVX1-NEXT:  ## %bb.19: ## %cond.load25
5374 ; AVX1-NEXT:    vpinsrb $9, 9(%rdi), %xmm1, %xmm2
5375 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5376 ; AVX1-NEXT:  LBB24_20: ## %else26
5377 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5378 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5379 ; AVX1-NEXT:    vpextrb $10, %xmm3, %eax
5380 ; AVX1-NEXT:    testb $1, %al
5381 ; AVX1-NEXT:    je LBB24_22
5382 ; AVX1-NEXT:  ## %bb.21: ## %cond.load28
5383 ; AVX1-NEXT:    vpinsrb $10, 10(%rdi), %xmm1, %xmm3
5384 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5385 ; AVX1-NEXT:  LBB24_22: ## %else29
5386 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5387 ; AVX1-NEXT:    vpextrb $11, %xmm2, %eax
5388 ; AVX1-NEXT:    testb $1, %al
5389 ; AVX1-NEXT:    je LBB24_24
5390 ; AVX1-NEXT:  ## %bb.23: ## %cond.load31
5391 ; AVX1-NEXT:    vpinsrb $11, 11(%rdi), %xmm1, %xmm2
5392 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5393 ; AVX1-NEXT:  LBB24_24: ## %else32
5394 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5395 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5396 ; AVX1-NEXT:    vpextrb $12, %xmm3, %eax
5397 ; AVX1-NEXT:    testb $1, %al
5398 ; AVX1-NEXT:    je LBB24_26
5399 ; AVX1-NEXT:  ## %bb.25: ## %cond.load34
5400 ; AVX1-NEXT:    vpinsrb $12, 12(%rdi), %xmm1, %xmm3
5401 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5402 ; AVX1-NEXT:  LBB24_26: ## %else35
5403 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5404 ; AVX1-NEXT:    vpextrb $13, %xmm2, %eax
5405 ; AVX1-NEXT:    testb $1, %al
5406 ; AVX1-NEXT:    je LBB24_28
5407 ; AVX1-NEXT:  ## %bb.27: ## %cond.load37
5408 ; AVX1-NEXT:    vpinsrb $13, 13(%rdi), %xmm1, %xmm2
5409 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5410 ; AVX1-NEXT:  LBB24_28: ## %else38
5411 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5412 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5413 ; AVX1-NEXT:    vpextrb $14, %xmm3, %eax
5414 ; AVX1-NEXT:    testb $1, %al
5415 ; AVX1-NEXT:    je LBB24_30
5416 ; AVX1-NEXT:  ## %bb.29: ## %cond.load40
5417 ; AVX1-NEXT:    vpinsrb $14, 14(%rdi), %xmm1, %xmm3
5418 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5419 ; AVX1-NEXT:  LBB24_30: ## %else41
5420 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5421 ; AVX1-NEXT:    vpextrb $15, %xmm2, %eax
5422 ; AVX1-NEXT:    testb $1, %al
5423 ; AVX1-NEXT:    je LBB24_32
5424 ; AVX1-NEXT:  ## %bb.31: ## %cond.load43
5425 ; AVX1-NEXT:    vpinsrb $15, 15(%rdi), %xmm1, %xmm2
5426 ; AVX1-NEXT:    vblendps {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5427 ; AVX1-NEXT:  LBB24_32: ## %else44
5428 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
5429 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5430 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5431 ; AVX1-NEXT:    vpextrb $0, %xmm2, %eax
5432 ; AVX1-NEXT:    testb $1, %al
5433 ; AVX1-NEXT:    je LBB24_34
5434 ; AVX1-NEXT:  ## %bb.33: ## %cond.load46
5435 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
5436 ; AVX1-NEXT:    vpinsrb $0, 16(%rdi), %xmm3, %xmm3
5437 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
5438 ; AVX1-NEXT:  LBB24_34: ## %else47
5439 ; AVX1-NEXT:    vpextrb $1, %xmm2, %eax
5440 ; AVX1-NEXT:    testb $1, %al
5441 ; AVX1-NEXT:    je LBB24_36
5442 ; AVX1-NEXT:  ## %bb.35: ## %cond.load49
5443 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5444 ; AVX1-NEXT:    vpinsrb $1, 17(%rdi), %xmm2, %xmm2
5445 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5446 ; AVX1-NEXT:  LBB24_36: ## %else50
5447 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5448 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5449 ; AVX1-NEXT:    vpextrb $2, %xmm2, %eax
5450 ; AVX1-NEXT:    testb $1, %al
5451 ; AVX1-NEXT:    je LBB24_38
5452 ; AVX1-NEXT:  ## %bb.37: ## %cond.load52
5453 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
5454 ; AVX1-NEXT:    vpinsrb $2, 18(%rdi), %xmm3, %xmm3
5455 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
5456 ; AVX1-NEXT:  LBB24_38: ## %else53
5457 ; AVX1-NEXT:    vpextrb $3, %xmm2, %eax
5458 ; AVX1-NEXT:    testb $1, %al
5459 ; AVX1-NEXT:    je LBB24_40
5460 ; AVX1-NEXT:  ## %bb.39: ## %cond.load55
5461 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5462 ; AVX1-NEXT:    vpinsrb $3, 19(%rdi), %xmm2, %xmm2
5463 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5464 ; AVX1-NEXT:  LBB24_40: ## %else56
5465 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5466 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5467 ; AVX1-NEXT:    vpextrb $4, %xmm2, %eax
5468 ; AVX1-NEXT:    testb $1, %al
5469 ; AVX1-NEXT:    je LBB24_42
5470 ; AVX1-NEXT:  ## %bb.41: ## %cond.load58
5471 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
5472 ; AVX1-NEXT:    vpinsrb $4, 20(%rdi), %xmm3, %xmm3
5473 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
5474 ; AVX1-NEXT:  LBB24_42: ## %else59
5475 ; AVX1-NEXT:    vpextrb $5, %xmm2, %eax
5476 ; AVX1-NEXT:    testb $1, %al
5477 ; AVX1-NEXT:    je LBB24_44
5478 ; AVX1-NEXT:  ## %bb.43: ## %cond.load61
5479 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5480 ; AVX1-NEXT:    vpinsrb $5, 21(%rdi), %xmm2, %xmm2
5481 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5482 ; AVX1-NEXT:  LBB24_44: ## %else62
5483 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5484 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5485 ; AVX1-NEXT:    vpextrb $6, %xmm2, %eax
5486 ; AVX1-NEXT:    testb $1, %al
5487 ; AVX1-NEXT:    je LBB24_46
5488 ; AVX1-NEXT:  ## %bb.45: ## %cond.load64
5489 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
5490 ; AVX1-NEXT:    vpinsrb $6, 22(%rdi), %xmm3, %xmm3
5491 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
5492 ; AVX1-NEXT:  LBB24_46: ## %else65
5493 ; AVX1-NEXT:    vpextrb $7, %xmm2, %eax
5494 ; AVX1-NEXT:    testb $1, %al
5495 ; AVX1-NEXT:    je LBB24_48
5496 ; AVX1-NEXT:  ## %bb.47: ## %cond.load67
5497 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5498 ; AVX1-NEXT:    vpinsrb $7, 23(%rdi), %xmm2, %xmm2
5499 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5500 ; AVX1-NEXT:  LBB24_48: ## %else68
5501 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5502 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5503 ; AVX1-NEXT:    vpextrb $8, %xmm2, %eax
5504 ; AVX1-NEXT:    testb $1, %al
5505 ; AVX1-NEXT:    je LBB24_50
5506 ; AVX1-NEXT:  ## %bb.49: ## %cond.load70
5507 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
5508 ; AVX1-NEXT:    vpinsrb $8, 24(%rdi), %xmm3, %xmm3
5509 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
5510 ; AVX1-NEXT:  LBB24_50: ## %else71
5511 ; AVX1-NEXT:    vpextrb $9, %xmm2, %eax
5512 ; AVX1-NEXT:    testb $1, %al
5513 ; AVX1-NEXT:    je LBB24_52
5514 ; AVX1-NEXT:  ## %bb.51: ## %cond.load73
5515 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5516 ; AVX1-NEXT:    vpinsrb $9, 25(%rdi), %xmm2, %xmm2
5517 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5518 ; AVX1-NEXT:  LBB24_52: ## %else74
5519 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5520 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5521 ; AVX1-NEXT:    vpextrb $10, %xmm2, %eax
5522 ; AVX1-NEXT:    testb $1, %al
5523 ; AVX1-NEXT:    je LBB24_54
5524 ; AVX1-NEXT:  ## %bb.53: ## %cond.load76
5525 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
5526 ; AVX1-NEXT:    vpinsrb $10, 26(%rdi), %xmm3, %xmm3
5527 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
5528 ; AVX1-NEXT:  LBB24_54: ## %else77
5529 ; AVX1-NEXT:    vpextrb $11, %xmm2, %eax
5530 ; AVX1-NEXT:    testb $1, %al
5531 ; AVX1-NEXT:    je LBB24_56
5532 ; AVX1-NEXT:  ## %bb.55: ## %cond.load79
5533 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5534 ; AVX1-NEXT:    vpinsrb $11, 27(%rdi), %xmm2, %xmm2
5535 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5536 ; AVX1-NEXT:  LBB24_56: ## %else80
5537 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5538 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5539 ; AVX1-NEXT:    vpextrb $12, %xmm2, %eax
5540 ; AVX1-NEXT:    testb $1, %al
5541 ; AVX1-NEXT:    je LBB24_58
5542 ; AVX1-NEXT:  ## %bb.57: ## %cond.load82
5543 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
5544 ; AVX1-NEXT:    vpinsrb $12, 28(%rdi), %xmm3, %xmm3
5545 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
5546 ; AVX1-NEXT:  LBB24_58: ## %else83
5547 ; AVX1-NEXT:    vpextrb $13, %xmm2, %eax
5548 ; AVX1-NEXT:    testb $1, %al
5549 ; AVX1-NEXT:    je LBB24_60
5550 ; AVX1-NEXT:  ## %bb.59: ## %cond.load85
5551 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5552 ; AVX1-NEXT:    vpinsrb $13, 29(%rdi), %xmm2, %xmm2
5553 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5554 ; AVX1-NEXT:  LBB24_60: ## %else86
5555 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5556 ; AVX1-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm0
5557 ; AVX1-NEXT:    vpextrb $14, %xmm0, %eax
5558 ; AVX1-NEXT:    testb $1, %al
5559 ; AVX1-NEXT:    je LBB24_62
5560 ; AVX1-NEXT:  ## %bb.61: ## %cond.load88
5561 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
5562 ; AVX1-NEXT:    vpinsrb $14, 30(%rdi), %xmm2, %xmm2
5563 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
5564 ; AVX1-NEXT:  LBB24_62: ## %else89
5565 ; AVX1-NEXT:    vpextrb $15, %xmm0, %eax
5566 ; AVX1-NEXT:    testb $1, %al
5567 ; AVX1-NEXT:    je LBB24_64
5568 ; AVX1-NEXT:  ## %bb.63: ## %cond.load91
5569 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm0
5570 ; AVX1-NEXT:    vpinsrb $15, 31(%rdi), %xmm0, %xmm0
5571 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm1
5572 ; AVX1-NEXT:  LBB24_64: ## %else92
5573 ; AVX1-NEXT:    vmovaps %ymm1, %ymm0
5574 ; AVX1-NEXT:    retq
5575 ;
5576 ; AVX2-LABEL: load_v32i8_v32i8:
5577 ; AVX2:       ## %bb.0:
5578 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5579 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5580 ; AVX2-NEXT:    vpextrb $0, %xmm3, %eax
5581 ; AVX2-NEXT:    testb $1, %al
5582 ; AVX2-NEXT:    je LBB24_2
5583 ; AVX2-NEXT:  ## %bb.1: ## %cond.load
5584 ; AVX2-NEXT:    vpinsrb $0, (%rdi), %xmm1, %xmm3
5585 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5586 ; AVX2-NEXT:  LBB24_2: ## %else
5587 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5588 ; AVX2-NEXT:    vpextrb $1, %xmm2, %eax
5589 ; AVX2-NEXT:    testb $1, %al
5590 ; AVX2-NEXT:    je LBB24_4
5591 ; AVX2-NEXT:  ## %bb.3: ## %cond.load1
5592 ; AVX2-NEXT:    vpinsrb $1, 1(%rdi), %xmm1, %xmm2
5593 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5594 ; AVX2-NEXT:  LBB24_4: ## %else2
5595 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5596 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5597 ; AVX2-NEXT:    vpextrb $2, %xmm3, %eax
5598 ; AVX2-NEXT:    testb $1, %al
5599 ; AVX2-NEXT:    je LBB24_6
5600 ; AVX2-NEXT:  ## %bb.5: ## %cond.load4
5601 ; AVX2-NEXT:    vpinsrb $2, 2(%rdi), %xmm1, %xmm3
5602 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5603 ; AVX2-NEXT:  LBB24_6: ## %else5
5604 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5605 ; AVX2-NEXT:    vpextrb $3, %xmm2, %eax
5606 ; AVX2-NEXT:    testb $1, %al
5607 ; AVX2-NEXT:    je LBB24_8
5608 ; AVX2-NEXT:  ## %bb.7: ## %cond.load7
5609 ; AVX2-NEXT:    vpinsrb $3, 3(%rdi), %xmm1, %xmm2
5610 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5611 ; AVX2-NEXT:  LBB24_8: ## %else8
5612 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5613 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5614 ; AVX2-NEXT:    vpextrb $4, %xmm3, %eax
5615 ; AVX2-NEXT:    testb $1, %al
5616 ; AVX2-NEXT:    je LBB24_10
5617 ; AVX2-NEXT:  ## %bb.9: ## %cond.load10
5618 ; AVX2-NEXT:    vpinsrb $4, 4(%rdi), %xmm1, %xmm3
5619 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5620 ; AVX2-NEXT:  LBB24_10: ## %else11
5621 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5622 ; AVX2-NEXT:    vpextrb $5, %xmm2, %eax
5623 ; AVX2-NEXT:    testb $1, %al
5624 ; AVX2-NEXT:    je LBB24_12
5625 ; AVX2-NEXT:  ## %bb.11: ## %cond.load13
5626 ; AVX2-NEXT:    vpinsrb $5, 5(%rdi), %xmm1, %xmm2
5627 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5628 ; AVX2-NEXT:  LBB24_12: ## %else14
5629 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5630 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5631 ; AVX2-NEXT:    vpextrb $6, %xmm3, %eax
5632 ; AVX2-NEXT:    testb $1, %al
5633 ; AVX2-NEXT:    je LBB24_14
5634 ; AVX2-NEXT:  ## %bb.13: ## %cond.load16
5635 ; AVX2-NEXT:    vpinsrb $6, 6(%rdi), %xmm1, %xmm3
5636 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5637 ; AVX2-NEXT:  LBB24_14: ## %else17
5638 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5639 ; AVX2-NEXT:    vpextrb $7, %xmm2, %eax
5640 ; AVX2-NEXT:    testb $1, %al
5641 ; AVX2-NEXT:    je LBB24_16
5642 ; AVX2-NEXT:  ## %bb.15: ## %cond.load19
5643 ; AVX2-NEXT:    vpinsrb $7, 7(%rdi), %xmm1, %xmm2
5644 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5645 ; AVX2-NEXT:  LBB24_16: ## %else20
5646 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5647 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5648 ; AVX2-NEXT:    vpextrb $8, %xmm3, %eax
5649 ; AVX2-NEXT:    testb $1, %al
5650 ; AVX2-NEXT:    je LBB24_18
5651 ; AVX2-NEXT:  ## %bb.17: ## %cond.load22
5652 ; AVX2-NEXT:    vpinsrb $8, 8(%rdi), %xmm1, %xmm3
5653 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5654 ; AVX2-NEXT:  LBB24_18: ## %else23
5655 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5656 ; AVX2-NEXT:    vpextrb $9, %xmm2, %eax
5657 ; AVX2-NEXT:    testb $1, %al
5658 ; AVX2-NEXT:    je LBB24_20
5659 ; AVX2-NEXT:  ## %bb.19: ## %cond.load25
5660 ; AVX2-NEXT:    vpinsrb $9, 9(%rdi), %xmm1, %xmm2
5661 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5662 ; AVX2-NEXT:  LBB24_20: ## %else26
5663 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5664 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5665 ; AVX2-NEXT:    vpextrb $10, %xmm3, %eax
5666 ; AVX2-NEXT:    testb $1, %al
5667 ; AVX2-NEXT:    je LBB24_22
5668 ; AVX2-NEXT:  ## %bb.21: ## %cond.load28
5669 ; AVX2-NEXT:    vpinsrb $10, 10(%rdi), %xmm1, %xmm3
5670 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5671 ; AVX2-NEXT:  LBB24_22: ## %else29
5672 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5673 ; AVX2-NEXT:    vpextrb $11, %xmm2, %eax
5674 ; AVX2-NEXT:    testb $1, %al
5675 ; AVX2-NEXT:    je LBB24_24
5676 ; AVX2-NEXT:  ## %bb.23: ## %cond.load31
5677 ; AVX2-NEXT:    vpinsrb $11, 11(%rdi), %xmm1, %xmm2
5678 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5679 ; AVX2-NEXT:  LBB24_24: ## %else32
5680 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5681 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5682 ; AVX2-NEXT:    vpextrb $12, %xmm3, %eax
5683 ; AVX2-NEXT:    testb $1, %al
5684 ; AVX2-NEXT:    je LBB24_26
5685 ; AVX2-NEXT:  ## %bb.25: ## %cond.load34
5686 ; AVX2-NEXT:    vpinsrb $12, 12(%rdi), %xmm1, %xmm3
5687 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5688 ; AVX2-NEXT:  LBB24_26: ## %else35
5689 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5690 ; AVX2-NEXT:    vpextrb $13, %xmm2, %eax
5691 ; AVX2-NEXT:    testb $1, %al
5692 ; AVX2-NEXT:    je LBB24_28
5693 ; AVX2-NEXT:  ## %bb.27: ## %cond.load37
5694 ; AVX2-NEXT:    vpinsrb $13, 13(%rdi), %xmm1, %xmm2
5695 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5696 ; AVX2-NEXT:  LBB24_28: ## %else38
5697 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5698 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5699 ; AVX2-NEXT:    vpextrb $14, %xmm3, %eax
5700 ; AVX2-NEXT:    testb $1, %al
5701 ; AVX2-NEXT:    je LBB24_30
5702 ; AVX2-NEXT:  ## %bb.29: ## %cond.load40
5703 ; AVX2-NEXT:    vpinsrb $14, 14(%rdi), %xmm1, %xmm3
5704 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5705 ; AVX2-NEXT:  LBB24_30: ## %else41
5706 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5707 ; AVX2-NEXT:    vpextrb $15, %xmm2, %eax
5708 ; AVX2-NEXT:    testb $1, %al
5709 ; AVX2-NEXT:    je LBB24_32
5710 ; AVX2-NEXT:  ## %bb.31: ## %cond.load43
5711 ; AVX2-NEXT:    vpinsrb $15, 15(%rdi), %xmm1, %xmm2
5712 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5713 ; AVX2-NEXT:  LBB24_32: ## %else44
5714 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
5715 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5716 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5717 ; AVX2-NEXT:    vpextrb $0, %xmm2, %eax
5718 ; AVX2-NEXT:    testb $1, %al
5719 ; AVX2-NEXT:    je LBB24_34
5720 ; AVX2-NEXT:  ## %bb.33: ## %cond.load46
5721 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
5722 ; AVX2-NEXT:    vpinsrb $0, 16(%rdi), %xmm3, %xmm3
5723 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
5724 ; AVX2-NEXT:  LBB24_34: ## %else47
5725 ; AVX2-NEXT:    vpextrb $1, %xmm2, %eax
5726 ; AVX2-NEXT:    testb $1, %al
5727 ; AVX2-NEXT:    je LBB24_36
5728 ; AVX2-NEXT:  ## %bb.35: ## %cond.load49
5729 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5730 ; AVX2-NEXT:    vpinsrb $1, 17(%rdi), %xmm2, %xmm2
5731 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5732 ; AVX2-NEXT:  LBB24_36: ## %else50
5733 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5734 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5735 ; AVX2-NEXT:    vpextrb $2, %xmm2, %eax
5736 ; AVX2-NEXT:    testb $1, %al
5737 ; AVX2-NEXT:    je LBB24_38
5738 ; AVX2-NEXT:  ## %bb.37: ## %cond.load52
5739 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
5740 ; AVX2-NEXT:    vpinsrb $2, 18(%rdi), %xmm3, %xmm3
5741 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
5742 ; AVX2-NEXT:  LBB24_38: ## %else53
5743 ; AVX2-NEXT:    vpextrb $3, %xmm2, %eax
5744 ; AVX2-NEXT:    testb $1, %al
5745 ; AVX2-NEXT:    je LBB24_40
5746 ; AVX2-NEXT:  ## %bb.39: ## %cond.load55
5747 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5748 ; AVX2-NEXT:    vpinsrb $3, 19(%rdi), %xmm2, %xmm2
5749 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5750 ; AVX2-NEXT:  LBB24_40: ## %else56
5751 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5752 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5753 ; AVX2-NEXT:    vpextrb $4, %xmm2, %eax
5754 ; AVX2-NEXT:    testb $1, %al
5755 ; AVX2-NEXT:    je LBB24_42
5756 ; AVX2-NEXT:  ## %bb.41: ## %cond.load58
5757 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
5758 ; AVX2-NEXT:    vpinsrb $4, 20(%rdi), %xmm3, %xmm3
5759 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
5760 ; AVX2-NEXT:  LBB24_42: ## %else59
5761 ; AVX2-NEXT:    vpextrb $5, %xmm2, %eax
5762 ; AVX2-NEXT:    testb $1, %al
5763 ; AVX2-NEXT:    je LBB24_44
5764 ; AVX2-NEXT:  ## %bb.43: ## %cond.load61
5765 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5766 ; AVX2-NEXT:    vpinsrb $5, 21(%rdi), %xmm2, %xmm2
5767 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5768 ; AVX2-NEXT:  LBB24_44: ## %else62
5769 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5770 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5771 ; AVX2-NEXT:    vpextrb $6, %xmm2, %eax
5772 ; AVX2-NEXT:    testb $1, %al
5773 ; AVX2-NEXT:    je LBB24_46
5774 ; AVX2-NEXT:  ## %bb.45: ## %cond.load64
5775 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
5776 ; AVX2-NEXT:    vpinsrb $6, 22(%rdi), %xmm3, %xmm3
5777 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
5778 ; AVX2-NEXT:  LBB24_46: ## %else65
5779 ; AVX2-NEXT:    vpextrb $7, %xmm2, %eax
5780 ; AVX2-NEXT:    testb $1, %al
5781 ; AVX2-NEXT:    je LBB24_48
5782 ; AVX2-NEXT:  ## %bb.47: ## %cond.load67
5783 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5784 ; AVX2-NEXT:    vpinsrb $7, 23(%rdi), %xmm2, %xmm2
5785 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5786 ; AVX2-NEXT:  LBB24_48: ## %else68
5787 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5788 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5789 ; AVX2-NEXT:    vpextrb $8, %xmm2, %eax
5790 ; AVX2-NEXT:    testb $1, %al
5791 ; AVX2-NEXT:    je LBB24_50
5792 ; AVX2-NEXT:  ## %bb.49: ## %cond.load70
5793 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
5794 ; AVX2-NEXT:    vpinsrb $8, 24(%rdi), %xmm3, %xmm3
5795 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
5796 ; AVX2-NEXT:  LBB24_50: ## %else71
5797 ; AVX2-NEXT:    vpextrb $9, %xmm2, %eax
5798 ; AVX2-NEXT:    testb $1, %al
5799 ; AVX2-NEXT:    je LBB24_52
5800 ; AVX2-NEXT:  ## %bb.51: ## %cond.load73
5801 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5802 ; AVX2-NEXT:    vpinsrb $9, 25(%rdi), %xmm2, %xmm2
5803 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5804 ; AVX2-NEXT:  LBB24_52: ## %else74
5805 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5806 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5807 ; AVX2-NEXT:    vpextrb $10, %xmm2, %eax
5808 ; AVX2-NEXT:    testb $1, %al
5809 ; AVX2-NEXT:    je LBB24_54
5810 ; AVX2-NEXT:  ## %bb.53: ## %cond.load76
5811 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
5812 ; AVX2-NEXT:    vpinsrb $10, 26(%rdi), %xmm3, %xmm3
5813 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
5814 ; AVX2-NEXT:  LBB24_54: ## %else77
5815 ; AVX2-NEXT:    vpextrb $11, %xmm2, %eax
5816 ; AVX2-NEXT:    testb $1, %al
5817 ; AVX2-NEXT:    je LBB24_56
5818 ; AVX2-NEXT:  ## %bb.55: ## %cond.load79
5819 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5820 ; AVX2-NEXT:    vpinsrb $11, 27(%rdi), %xmm2, %xmm2
5821 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5822 ; AVX2-NEXT:  LBB24_56: ## %else80
5823 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5824 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5825 ; AVX2-NEXT:    vpextrb $12, %xmm2, %eax
5826 ; AVX2-NEXT:    testb $1, %al
5827 ; AVX2-NEXT:    je LBB24_58
5828 ; AVX2-NEXT:  ## %bb.57: ## %cond.load82
5829 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
5830 ; AVX2-NEXT:    vpinsrb $12, 28(%rdi), %xmm3, %xmm3
5831 ; AVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
5832 ; AVX2-NEXT:  LBB24_58: ## %else83
5833 ; AVX2-NEXT:    vpextrb $13, %xmm2, %eax
5834 ; AVX2-NEXT:    testb $1, %al
5835 ; AVX2-NEXT:    je LBB24_60
5836 ; AVX2-NEXT:  ## %bb.59: ## %cond.load85
5837 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5838 ; AVX2-NEXT:    vpinsrb $13, 29(%rdi), %xmm2, %xmm2
5839 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5840 ; AVX2-NEXT:  LBB24_60: ## %else86
5841 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5842 ; AVX2-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm0
5843 ; AVX2-NEXT:    vpextrb $14, %xmm0, %eax
5844 ; AVX2-NEXT:    testb $1, %al
5845 ; AVX2-NEXT:    je LBB24_62
5846 ; AVX2-NEXT:  ## %bb.61: ## %cond.load88
5847 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
5848 ; AVX2-NEXT:    vpinsrb $14, 30(%rdi), %xmm2, %xmm2
5849 ; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
5850 ; AVX2-NEXT:  LBB24_62: ## %else89
5851 ; AVX2-NEXT:    vpextrb $15, %xmm0, %eax
5852 ; AVX2-NEXT:    testb $1, %al
5853 ; AVX2-NEXT:    je LBB24_64
5854 ; AVX2-NEXT:  ## %bb.63: ## %cond.load91
5855 ; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm0
5856 ; AVX2-NEXT:    vpinsrb $15, 31(%rdi), %xmm0, %xmm0
5857 ; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
5858 ; AVX2-NEXT:  LBB24_64: ## %else92
5859 ; AVX2-NEXT:    vmovdqa %ymm1, %ymm0
5860 ; AVX2-NEXT:    retq
5861 ;
5862 ; AVX512F-LABEL: load_v32i8_v32i8:
5863 ; AVX512F:       ## %bb.0:
5864 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5865 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5866 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
5867 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
5868 ; AVX512F-NEXT:    kmovw %k0, %eax
5869 ; AVX512F-NEXT:    testb $1, %al
5870 ; AVX512F-NEXT:    je LBB24_2
5871 ; AVX512F-NEXT:  ## %bb.1: ## %cond.load
5872 ; AVX512F-NEXT:    vpinsrb $0, (%rdi), %xmm1, %xmm3
5873 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5874 ; AVX512F-NEXT:  LBB24_2: ## %else
5875 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5876 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
5877 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
5878 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k0
5879 ; AVX512F-NEXT:    kmovw %k0, %eax
5880 ; AVX512F-NEXT:    testb $1, %al
5881 ; AVX512F-NEXT:    je LBB24_4
5882 ; AVX512F-NEXT:  ## %bb.3: ## %cond.load1
5883 ; AVX512F-NEXT:    vpinsrb $1, 1(%rdi), %xmm1, %xmm2
5884 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5885 ; AVX512F-NEXT:  LBB24_4: ## %else2
5886 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5887 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5888 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
5889 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
5890 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k0
5891 ; AVX512F-NEXT:    kmovw %k0, %eax
5892 ; AVX512F-NEXT:    testb $1, %al
5893 ; AVX512F-NEXT:    je LBB24_6
5894 ; AVX512F-NEXT:  ## %bb.5: ## %cond.load4
5895 ; AVX512F-NEXT:    vpinsrb $2, 2(%rdi), %xmm1, %xmm3
5896 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5897 ; AVX512F-NEXT:  LBB24_6: ## %else5
5898 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5899 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
5900 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
5901 ; AVX512F-NEXT:    kshiftrw $3, %k0, %k0
5902 ; AVX512F-NEXT:    kmovw %k0, %eax
5903 ; AVX512F-NEXT:    testb $1, %al
5904 ; AVX512F-NEXT:    je LBB24_8
5905 ; AVX512F-NEXT:  ## %bb.7: ## %cond.load7
5906 ; AVX512F-NEXT:    vpinsrb $3, 3(%rdi), %xmm1, %xmm2
5907 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5908 ; AVX512F-NEXT:  LBB24_8: ## %else8
5909 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5910 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5911 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
5912 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
5913 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k0
5914 ; AVX512F-NEXT:    kmovw %k0, %eax
5915 ; AVX512F-NEXT:    testb $1, %al
5916 ; AVX512F-NEXT:    je LBB24_10
5917 ; AVX512F-NEXT:  ## %bb.9: ## %cond.load10
5918 ; AVX512F-NEXT:    vpinsrb $4, 4(%rdi), %xmm1, %xmm3
5919 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5920 ; AVX512F-NEXT:  LBB24_10: ## %else11
5921 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5922 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
5923 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
5924 ; AVX512F-NEXT:    kshiftrw $5, %k0, %k0
5925 ; AVX512F-NEXT:    kmovw %k0, %eax
5926 ; AVX512F-NEXT:    testb $1, %al
5927 ; AVX512F-NEXT:    je LBB24_12
5928 ; AVX512F-NEXT:  ## %bb.11: ## %cond.load13
5929 ; AVX512F-NEXT:    vpinsrb $5, 5(%rdi), %xmm1, %xmm2
5930 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5931 ; AVX512F-NEXT:  LBB24_12: ## %else14
5932 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5933 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5934 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
5935 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
5936 ; AVX512F-NEXT:    kshiftrw $6, %k0, %k0
5937 ; AVX512F-NEXT:    kmovw %k0, %eax
5938 ; AVX512F-NEXT:    testb $1, %al
5939 ; AVX512F-NEXT:    je LBB24_14
5940 ; AVX512F-NEXT:  ## %bb.13: ## %cond.load16
5941 ; AVX512F-NEXT:    vpinsrb $6, 6(%rdi), %xmm1, %xmm3
5942 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5943 ; AVX512F-NEXT:  LBB24_14: ## %else17
5944 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5945 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
5946 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
5947 ; AVX512F-NEXT:    kshiftrw $7, %k0, %k0
5948 ; AVX512F-NEXT:    kmovw %k0, %eax
5949 ; AVX512F-NEXT:    testb $1, %al
5950 ; AVX512F-NEXT:    je LBB24_16
5951 ; AVX512F-NEXT:  ## %bb.15: ## %cond.load19
5952 ; AVX512F-NEXT:    vpinsrb $7, 7(%rdi), %xmm1, %xmm2
5953 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5954 ; AVX512F-NEXT:  LBB24_16: ## %else20
5955 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5956 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5957 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
5958 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
5959 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k0
5960 ; AVX512F-NEXT:    kmovw %k0, %eax
5961 ; AVX512F-NEXT:    testb $1, %al
5962 ; AVX512F-NEXT:    je LBB24_18
5963 ; AVX512F-NEXT:  ## %bb.17: ## %cond.load22
5964 ; AVX512F-NEXT:    vpinsrb $8, 8(%rdi), %xmm1, %xmm3
5965 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5966 ; AVX512F-NEXT:  LBB24_18: ## %else23
5967 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5968 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
5969 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
5970 ; AVX512F-NEXT:    kshiftrw $9, %k0, %k0
5971 ; AVX512F-NEXT:    kmovw %k0, %eax
5972 ; AVX512F-NEXT:    testb $1, %al
5973 ; AVX512F-NEXT:    je LBB24_20
5974 ; AVX512F-NEXT:  ## %bb.19: ## %cond.load25
5975 ; AVX512F-NEXT:    vpinsrb $9, 9(%rdi), %xmm1, %xmm2
5976 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
5977 ; AVX512F-NEXT:  LBB24_20: ## %else26
5978 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
5979 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
5980 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
5981 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
5982 ; AVX512F-NEXT:    kshiftrw $10, %k0, %k0
5983 ; AVX512F-NEXT:    kmovw %k0, %eax
5984 ; AVX512F-NEXT:    testb $1, %al
5985 ; AVX512F-NEXT:    je LBB24_22
5986 ; AVX512F-NEXT:  ## %bb.21: ## %cond.load28
5987 ; AVX512F-NEXT:    vpinsrb $10, 10(%rdi), %xmm1, %xmm3
5988 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
5989 ; AVX512F-NEXT:  LBB24_22: ## %else29
5990 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
5991 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
5992 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
5993 ; AVX512F-NEXT:    kshiftrw $11, %k0, %k0
5994 ; AVX512F-NEXT:    kmovw %k0, %eax
5995 ; AVX512F-NEXT:    testb $1, %al
5996 ; AVX512F-NEXT:    je LBB24_24
5997 ; AVX512F-NEXT:  ## %bb.23: ## %cond.load31
5998 ; AVX512F-NEXT:    vpinsrb $11, 11(%rdi), %xmm1, %xmm2
5999 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6000 ; AVX512F-NEXT:  LBB24_24: ## %else32
6001 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6002 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6003 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
6004 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
6005 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k0
6006 ; AVX512F-NEXT:    kmovw %k0, %eax
6007 ; AVX512F-NEXT:    testb $1, %al
6008 ; AVX512F-NEXT:    je LBB24_26
6009 ; AVX512F-NEXT:  ## %bb.25: ## %cond.load34
6010 ; AVX512F-NEXT:    vpinsrb $12, 12(%rdi), %xmm1, %xmm3
6011 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6012 ; AVX512F-NEXT:  LBB24_26: ## %else35
6013 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6014 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6015 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6016 ; AVX512F-NEXT:    kshiftrw $13, %k0, %k0
6017 ; AVX512F-NEXT:    kmovw %k0, %eax
6018 ; AVX512F-NEXT:    testb $1, %al
6019 ; AVX512F-NEXT:    je LBB24_28
6020 ; AVX512F-NEXT:  ## %bb.27: ## %cond.load37
6021 ; AVX512F-NEXT:    vpinsrb $13, 13(%rdi), %xmm1, %xmm2
6022 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6023 ; AVX512F-NEXT:  LBB24_28: ## %else38
6024 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6025 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6026 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
6027 ; AVX512F-NEXT:    vptestmd %zmm3, %zmm3, %k0
6028 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k0
6029 ; AVX512F-NEXT:    kmovw %k0, %eax
6030 ; AVX512F-NEXT:    testb $1, %al
6031 ; AVX512F-NEXT:    je LBB24_30
6032 ; AVX512F-NEXT:  ## %bb.29: ## %cond.load40
6033 ; AVX512F-NEXT:    vpinsrb $14, 14(%rdi), %xmm1, %xmm3
6034 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6035 ; AVX512F-NEXT:  LBB24_30: ## %else41
6036 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6037 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6038 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6039 ; AVX512F-NEXT:    kshiftrw $15, %k0, %k0
6040 ; AVX512F-NEXT:    kmovw %k0, %eax
6041 ; AVX512F-NEXT:    testb $1, %al
6042 ; AVX512F-NEXT:    je LBB24_32
6043 ; AVX512F-NEXT:  ## %bb.31: ## %cond.load43
6044 ; AVX512F-NEXT:    vpinsrb $15, 15(%rdi), %xmm1, %xmm2
6045 ; AVX512F-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6046 ; AVX512F-NEXT:  LBB24_32: ## %else44
6047 ; AVX512F-NEXT:    vextracti128 $1, %ymm0, %xmm0
6048 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6049 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6050 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6051 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6052 ; AVX512F-NEXT:    kmovw %k0, %eax
6053 ; AVX512F-NEXT:    testb $1, %al
6054 ; AVX512F-NEXT:    je LBB24_34
6055 ; AVX512F-NEXT:  ## %bb.33: ## %cond.load46
6056 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6057 ; AVX512F-NEXT:    vpinsrb $0, 16(%rdi), %xmm2, %xmm2
6058 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6059 ; AVX512F-NEXT:  LBB24_34: ## %else47
6060 ; AVX512F-NEXT:    kshiftrw $1, %k0, %k0
6061 ; AVX512F-NEXT:    kmovw %k0, %eax
6062 ; AVX512F-NEXT:    testb $1, %al
6063 ; AVX512F-NEXT:    je LBB24_36
6064 ; AVX512F-NEXT:  ## %bb.35: ## %cond.load49
6065 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6066 ; AVX512F-NEXT:    vpinsrb $1, 17(%rdi), %xmm2, %xmm2
6067 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6068 ; AVX512F-NEXT:  LBB24_36: ## %else50
6069 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6070 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6071 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6072 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6073 ; AVX512F-NEXT:    kshiftrw $2, %k0, %k1
6074 ; AVX512F-NEXT:    kmovw %k1, %eax
6075 ; AVX512F-NEXT:    testb $1, %al
6076 ; AVX512F-NEXT:    je LBB24_38
6077 ; AVX512F-NEXT:  ## %bb.37: ## %cond.load52
6078 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6079 ; AVX512F-NEXT:    vpinsrb $2, 18(%rdi), %xmm2, %xmm2
6080 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6081 ; AVX512F-NEXT:  LBB24_38: ## %else53
6082 ; AVX512F-NEXT:    kshiftrw $3, %k0, %k0
6083 ; AVX512F-NEXT:    kmovw %k0, %eax
6084 ; AVX512F-NEXT:    testb $1, %al
6085 ; AVX512F-NEXT:    je LBB24_40
6086 ; AVX512F-NEXT:  ## %bb.39: ## %cond.load55
6087 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6088 ; AVX512F-NEXT:    vpinsrb $3, 19(%rdi), %xmm2, %xmm2
6089 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6090 ; AVX512F-NEXT:  LBB24_40: ## %else56
6091 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6092 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6093 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6094 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6095 ; AVX512F-NEXT:    kshiftrw $4, %k0, %k1
6096 ; AVX512F-NEXT:    kmovw %k1, %eax
6097 ; AVX512F-NEXT:    testb $1, %al
6098 ; AVX512F-NEXT:    je LBB24_42
6099 ; AVX512F-NEXT:  ## %bb.41: ## %cond.load58
6100 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6101 ; AVX512F-NEXT:    vpinsrb $4, 20(%rdi), %xmm2, %xmm2
6102 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6103 ; AVX512F-NEXT:  LBB24_42: ## %else59
6104 ; AVX512F-NEXT:    kshiftrw $5, %k0, %k0
6105 ; AVX512F-NEXT:    kmovw %k0, %eax
6106 ; AVX512F-NEXT:    testb $1, %al
6107 ; AVX512F-NEXT:    je LBB24_44
6108 ; AVX512F-NEXT:  ## %bb.43: ## %cond.load61
6109 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6110 ; AVX512F-NEXT:    vpinsrb $5, 21(%rdi), %xmm2, %xmm2
6111 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6112 ; AVX512F-NEXT:  LBB24_44: ## %else62
6113 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6114 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6115 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6116 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6117 ; AVX512F-NEXT:    kshiftrw $6, %k0, %k1
6118 ; AVX512F-NEXT:    kmovw %k1, %eax
6119 ; AVX512F-NEXT:    testb $1, %al
6120 ; AVX512F-NEXT:    je LBB24_46
6121 ; AVX512F-NEXT:  ## %bb.45: ## %cond.load64
6122 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6123 ; AVX512F-NEXT:    vpinsrb $6, 22(%rdi), %xmm2, %xmm2
6124 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6125 ; AVX512F-NEXT:  LBB24_46: ## %else65
6126 ; AVX512F-NEXT:    kshiftrw $7, %k0, %k0
6127 ; AVX512F-NEXT:    kmovw %k0, %eax
6128 ; AVX512F-NEXT:    testb $1, %al
6129 ; AVX512F-NEXT:    je LBB24_48
6130 ; AVX512F-NEXT:  ## %bb.47: ## %cond.load67
6131 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6132 ; AVX512F-NEXT:    vpinsrb $7, 23(%rdi), %xmm2, %xmm2
6133 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6134 ; AVX512F-NEXT:  LBB24_48: ## %else68
6135 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6136 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6137 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6138 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6139 ; AVX512F-NEXT:    kshiftrw $8, %k0, %k1
6140 ; AVX512F-NEXT:    kmovw %k1, %eax
6141 ; AVX512F-NEXT:    testb $1, %al
6142 ; AVX512F-NEXT:    je LBB24_50
6143 ; AVX512F-NEXT:  ## %bb.49: ## %cond.load70
6144 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6145 ; AVX512F-NEXT:    vpinsrb $8, 24(%rdi), %xmm2, %xmm2
6146 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6147 ; AVX512F-NEXT:  LBB24_50: ## %else71
6148 ; AVX512F-NEXT:    kshiftrw $9, %k0, %k0
6149 ; AVX512F-NEXT:    kmovw %k0, %eax
6150 ; AVX512F-NEXT:    testb $1, %al
6151 ; AVX512F-NEXT:    je LBB24_52
6152 ; AVX512F-NEXT:  ## %bb.51: ## %cond.load73
6153 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6154 ; AVX512F-NEXT:    vpinsrb $9, 25(%rdi), %xmm2, %xmm2
6155 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6156 ; AVX512F-NEXT:  LBB24_52: ## %else74
6157 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6158 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6159 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6160 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6161 ; AVX512F-NEXT:    kshiftrw $10, %k0, %k1
6162 ; AVX512F-NEXT:    kmovw %k1, %eax
6163 ; AVX512F-NEXT:    testb $1, %al
6164 ; AVX512F-NEXT:    je LBB24_54
6165 ; AVX512F-NEXT:  ## %bb.53: ## %cond.load76
6166 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6167 ; AVX512F-NEXT:    vpinsrb $10, 26(%rdi), %xmm2, %xmm2
6168 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6169 ; AVX512F-NEXT:  LBB24_54: ## %else77
6170 ; AVX512F-NEXT:    kshiftrw $11, %k0, %k0
6171 ; AVX512F-NEXT:    kmovw %k0, %eax
6172 ; AVX512F-NEXT:    testb $1, %al
6173 ; AVX512F-NEXT:    je LBB24_56
6174 ; AVX512F-NEXT:  ## %bb.55: ## %cond.load79
6175 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6176 ; AVX512F-NEXT:    vpinsrb $11, 27(%rdi), %xmm2, %xmm2
6177 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6178 ; AVX512F-NEXT:  LBB24_56: ## %else80
6179 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6180 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6181 ; AVX512F-NEXT:    vpmovsxbd %xmm2, %zmm2
6182 ; AVX512F-NEXT:    vptestmd %zmm2, %zmm2, %k0
6183 ; AVX512F-NEXT:    kshiftrw $12, %k0, %k1
6184 ; AVX512F-NEXT:    kmovw %k1, %eax
6185 ; AVX512F-NEXT:    testb $1, %al
6186 ; AVX512F-NEXT:    je LBB24_58
6187 ; AVX512F-NEXT:  ## %bb.57: ## %cond.load82
6188 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6189 ; AVX512F-NEXT:    vpinsrb $12, 28(%rdi), %xmm2, %xmm2
6190 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6191 ; AVX512F-NEXT:  LBB24_58: ## %else83
6192 ; AVX512F-NEXT:    kshiftrw $13, %k0, %k0
6193 ; AVX512F-NEXT:    kmovw %k0, %eax
6194 ; AVX512F-NEXT:    testb $1, %al
6195 ; AVX512F-NEXT:    je LBB24_60
6196 ; AVX512F-NEXT:  ## %bb.59: ## %cond.load85
6197 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm2
6198 ; AVX512F-NEXT:    vpinsrb $13, 29(%rdi), %xmm2, %xmm2
6199 ; AVX512F-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6200 ; AVX512F-NEXT:  LBB24_60: ## %else86
6201 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6202 ; AVX512F-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm0
6203 ; AVX512F-NEXT:    vpmovsxbd %xmm0, %zmm0
6204 ; AVX512F-NEXT:    vptestmd %zmm0, %zmm0, %k0
6205 ; AVX512F-NEXT:    kshiftrw $14, %k0, %k1
6206 ; AVX512F-NEXT:    kmovw %k1, %eax
6207 ; AVX512F-NEXT:    testb $1, %al
6208 ; AVX512F-NEXT:    je LBB24_62
6209 ; AVX512F-NEXT:  ## %bb.61: ## %cond.load88
6210 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm0
6211 ; AVX512F-NEXT:    vpinsrb $14, 30(%rdi), %xmm0, %xmm0
6212 ; AVX512F-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
6213 ; AVX512F-NEXT:  LBB24_62: ## %else89
6214 ; AVX512F-NEXT:    kshiftrw $15, %k0, %k0
6215 ; AVX512F-NEXT:    kmovw %k0, %eax
6216 ; AVX512F-NEXT:    testb $1, %al
6217 ; AVX512F-NEXT:    je LBB24_64
6218 ; AVX512F-NEXT:  ## %bb.63: ## %cond.load91
6219 ; AVX512F-NEXT:    vextracti128 $1, %ymm1, %xmm0
6220 ; AVX512F-NEXT:    vpinsrb $15, 31(%rdi), %xmm0, %xmm0
6221 ; AVX512F-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
6222 ; AVX512F-NEXT:  LBB24_64: ## %else92
6223 ; AVX512F-NEXT:    vmovdqa %ymm1, %ymm0
6224 ; AVX512F-NEXT:    retq
6225 ;
6226 ; AVX512VLDQ-LABEL: load_v32i8_v32i8:
6227 ; AVX512VLDQ:       ## %bb.0:
6228 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6229 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6230 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6231 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6232 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6233 ; AVX512VLDQ-NEXT:    testb $1, %al
6234 ; AVX512VLDQ-NEXT:    je LBB24_2
6235 ; AVX512VLDQ-NEXT:  ## %bb.1: ## %cond.load
6236 ; AVX512VLDQ-NEXT:    vpinsrb $0, (%rdi), %xmm1, %xmm3
6237 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6238 ; AVX512VLDQ-NEXT:  LBB24_2: ## %else
6239 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6240 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6241 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6242 ; AVX512VLDQ-NEXT:    kshiftrw $1, %k0, %k0
6243 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6244 ; AVX512VLDQ-NEXT:    testb $1, %al
6245 ; AVX512VLDQ-NEXT:    je LBB24_4
6246 ; AVX512VLDQ-NEXT:  ## %bb.3: ## %cond.load1
6247 ; AVX512VLDQ-NEXT:    vpinsrb $1, 1(%rdi), %xmm1, %xmm2
6248 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6249 ; AVX512VLDQ-NEXT:  LBB24_4: ## %else2
6250 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6251 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6252 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6253 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6254 ; AVX512VLDQ-NEXT:    kshiftrw $2, %k0, %k0
6255 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6256 ; AVX512VLDQ-NEXT:    testb $1, %al
6257 ; AVX512VLDQ-NEXT:    je LBB24_6
6258 ; AVX512VLDQ-NEXT:  ## %bb.5: ## %cond.load4
6259 ; AVX512VLDQ-NEXT:    vpinsrb $2, 2(%rdi), %xmm1, %xmm3
6260 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6261 ; AVX512VLDQ-NEXT:  LBB24_6: ## %else5
6262 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6263 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6264 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6265 ; AVX512VLDQ-NEXT:    kshiftrw $3, %k0, %k0
6266 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6267 ; AVX512VLDQ-NEXT:    testb $1, %al
6268 ; AVX512VLDQ-NEXT:    je LBB24_8
6269 ; AVX512VLDQ-NEXT:  ## %bb.7: ## %cond.load7
6270 ; AVX512VLDQ-NEXT:    vpinsrb $3, 3(%rdi), %xmm1, %xmm2
6271 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6272 ; AVX512VLDQ-NEXT:  LBB24_8: ## %else8
6273 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6274 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6275 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6276 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6277 ; AVX512VLDQ-NEXT:    kshiftrw $4, %k0, %k0
6278 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6279 ; AVX512VLDQ-NEXT:    testb $1, %al
6280 ; AVX512VLDQ-NEXT:    je LBB24_10
6281 ; AVX512VLDQ-NEXT:  ## %bb.9: ## %cond.load10
6282 ; AVX512VLDQ-NEXT:    vpinsrb $4, 4(%rdi), %xmm1, %xmm3
6283 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6284 ; AVX512VLDQ-NEXT:  LBB24_10: ## %else11
6285 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6286 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6287 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6288 ; AVX512VLDQ-NEXT:    kshiftrw $5, %k0, %k0
6289 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6290 ; AVX512VLDQ-NEXT:    testb $1, %al
6291 ; AVX512VLDQ-NEXT:    je LBB24_12
6292 ; AVX512VLDQ-NEXT:  ## %bb.11: ## %cond.load13
6293 ; AVX512VLDQ-NEXT:    vpinsrb $5, 5(%rdi), %xmm1, %xmm2
6294 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6295 ; AVX512VLDQ-NEXT:  LBB24_12: ## %else14
6296 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6297 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6298 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6299 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6300 ; AVX512VLDQ-NEXT:    kshiftrw $6, %k0, %k0
6301 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6302 ; AVX512VLDQ-NEXT:    testb $1, %al
6303 ; AVX512VLDQ-NEXT:    je LBB24_14
6304 ; AVX512VLDQ-NEXT:  ## %bb.13: ## %cond.load16
6305 ; AVX512VLDQ-NEXT:    vpinsrb $6, 6(%rdi), %xmm1, %xmm3
6306 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6307 ; AVX512VLDQ-NEXT:  LBB24_14: ## %else17
6308 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6309 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6310 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6311 ; AVX512VLDQ-NEXT:    kshiftrw $7, %k0, %k0
6312 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6313 ; AVX512VLDQ-NEXT:    testb $1, %al
6314 ; AVX512VLDQ-NEXT:    je LBB24_16
6315 ; AVX512VLDQ-NEXT:  ## %bb.15: ## %cond.load19
6316 ; AVX512VLDQ-NEXT:    vpinsrb $7, 7(%rdi), %xmm1, %xmm2
6317 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6318 ; AVX512VLDQ-NEXT:  LBB24_16: ## %else20
6319 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6320 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6321 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6322 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6323 ; AVX512VLDQ-NEXT:    kshiftrw $8, %k0, %k0
6324 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6325 ; AVX512VLDQ-NEXT:    testb $1, %al
6326 ; AVX512VLDQ-NEXT:    je LBB24_18
6327 ; AVX512VLDQ-NEXT:  ## %bb.17: ## %cond.load22
6328 ; AVX512VLDQ-NEXT:    vpinsrb $8, 8(%rdi), %xmm1, %xmm3
6329 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6330 ; AVX512VLDQ-NEXT:  LBB24_18: ## %else23
6331 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6332 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6333 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6334 ; AVX512VLDQ-NEXT:    kshiftrw $9, %k0, %k0
6335 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6336 ; AVX512VLDQ-NEXT:    testb $1, %al
6337 ; AVX512VLDQ-NEXT:    je LBB24_20
6338 ; AVX512VLDQ-NEXT:  ## %bb.19: ## %cond.load25
6339 ; AVX512VLDQ-NEXT:    vpinsrb $9, 9(%rdi), %xmm1, %xmm2
6340 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6341 ; AVX512VLDQ-NEXT:  LBB24_20: ## %else26
6342 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6343 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6344 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6345 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6346 ; AVX512VLDQ-NEXT:    kshiftrw $10, %k0, %k0
6347 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6348 ; AVX512VLDQ-NEXT:    testb $1, %al
6349 ; AVX512VLDQ-NEXT:    je LBB24_22
6350 ; AVX512VLDQ-NEXT:  ## %bb.21: ## %cond.load28
6351 ; AVX512VLDQ-NEXT:    vpinsrb $10, 10(%rdi), %xmm1, %xmm3
6352 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6353 ; AVX512VLDQ-NEXT:  LBB24_22: ## %else29
6354 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6355 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6356 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6357 ; AVX512VLDQ-NEXT:    kshiftrw $11, %k0, %k0
6358 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6359 ; AVX512VLDQ-NEXT:    testb $1, %al
6360 ; AVX512VLDQ-NEXT:    je LBB24_24
6361 ; AVX512VLDQ-NEXT:  ## %bb.23: ## %cond.load31
6362 ; AVX512VLDQ-NEXT:    vpinsrb $11, 11(%rdi), %xmm1, %xmm2
6363 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6364 ; AVX512VLDQ-NEXT:  LBB24_24: ## %else32
6365 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6366 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6367 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6368 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6369 ; AVX512VLDQ-NEXT:    kshiftrw $12, %k0, %k0
6370 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6371 ; AVX512VLDQ-NEXT:    testb $1, %al
6372 ; AVX512VLDQ-NEXT:    je LBB24_26
6373 ; AVX512VLDQ-NEXT:  ## %bb.25: ## %cond.load34
6374 ; AVX512VLDQ-NEXT:    vpinsrb $12, 12(%rdi), %xmm1, %xmm3
6375 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6376 ; AVX512VLDQ-NEXT:  LBB24_26: ## %else35
6377 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6378 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6379 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6380 ; AVX512VLDQ-NEXT:    kshiftrw $13, %k0, %k0
6381 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6382 ; AVX512VLDQ-NEXT:    testb $1, %al
6383 ; AVX512VLDQ-NEXT:    je LBB24_28
6384 ; AVX512VLDQ-NEXT:  ## %bb.27: ## %cond.load37
6385 ; AVX512VLDQ-NEXT:    vpinsrb $13, 13(%rdi), %xmm1, %xmm2
6386 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6387 ; AVX512VLDQ-NEXT:  LBB24_28: ## %else38
6388 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6389 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm3
6390 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm3, %zmm3
6391 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm3, %k0
6392 ; AVX512VLDQ-NEXT:    kshiftrw $14, %k0, %k0
6393 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6394 ; AVX512VLDQ-NEXT:    testb $1, %al
6395 ; AVX512VLDQ-NEXT:    je LBB24_30
6396 ; AVX512VLDQ-NEXT:  ## %bb.29: ## %cond.load40
6397 ; AVX512VLDQ-NEXT:    vpinsrb $14, 14(%rdi), %xmm1, %xmm3
6398 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm3[0,1,2,3],ymm1[4,5,6,7]
6399 ; AVX512VLDQ-NEXT:  LBB24_30: ## %else41
6400 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6401 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6402 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6403 ; AVX512VLDQ-NEXT:    kshiftrw $15, %k0, %k0
6404 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6405 ; AVX512VLDQ-NEXT:    testb $1, %al
6406 ; AVX512VLDQ-NEXT:    je LBB24_32
6407 ; AVX512VLDQ-NEXT:  ## %bb.31: ## %cond.load43
6408 ; AVX512VLDQ-NEXT:    vpinsrb $15, 15(%rdi), %xmm1, %xmm2
6409 ; AVX512VLDQ-NEXT:    vpblendd {{.*#+}} ymm1 = ymm2[0,1,2,3],ymm1[4,5,6,7]
6410 ; AVX512VLDQ-NEXT:  LBB24_32: ## %else44
6411 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm0, %xmm0
6412 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6413 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6414 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6415 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6416 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6417 ; AVX512VLDQ-NEXT:    testb $1, %al
6418 ; AVX512VLDQ-NEXT:    je LBB24_34
6419 ; AVX512VLDQ-NEXT:  ## %bb.33: ## %cond.load46
6420 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6421 ; AVX512VLDQ-NEXT:    vpinsrb $0, 16(%rdi), %xmm2, %xmm2
6422 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6423 ; AVX512VLDQ-NEXT:  LBB24_34: ## %else47
6424 ; AVX512VLDQ-NEXT:    kshiftrw $1, %k0, %k0
6425 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6426 ; AVX512VLDQ-NEXT:    testb $1, %al
6427 ; AVX512VLDQ-NEXT:    je LBB24_36
6428 ; AVX512VLDQ-NEXT:  ## %bb.35: ## %cond.load49
6429 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6430 ; AVX512VLDQ-NEXT:    vpinsrb $1, 17(%rdi), %xmm2, %xmm2
6431 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6432 ; AVX512VLDQ-NEXT:  LBB24_36: ## %else50
6433 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6434 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6435 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6436 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6437 ; AVX512VLDQ-NEXT:    kshiftrw $2, %k0, %k1
6438 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
6439 ; AVX512VLDQ-NEXT:    testb $1, %al
6440 ; AVX512VLDQ-NEXT:    je LBB24_38
6441 ; AVX512VLDQ-NEXT:  ## %bb.37: ## %cond.load52
6442 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6443 ; AVX512VLDQ-NEXT:    vpinsrb $2, 18(%rdi), %xmm2, %xmm2
6444 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6445 ; AVX512VLDQ-NEXT:  LBB24_38: ## %else53
6446 ; AVX512VLDQ-NEXT:    kshiftrw $3, %k0, %k0
6447 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6448 ; AVX512VLDQ-NEXT:    testb $1, %al
6449 ; AVX512VLDQ-NEXT:    je LBB24_40
6450 ; AVX512VLDQ-NEXT:  ## %bb.39: ## %cond.load55
6451 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6452 ; AVX512VLDQ-NEXT:    vpinsrb $3, 19(%rdi), %xmm2, %xmm2
6453 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6454 ; AVX512VLDQ-NEXT:  LBB24_40: ## %else56
6455 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6456 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6457 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6458 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6459 ; AVX512VLDQ-NEXT:    kshiftrw $4, %k0, %k1
6460 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
6461 ; AVX512VLDQ-NEXT:    testb $1, %al
6462 ; AVX512VLDQ-NEXT:    je LBB24_42
6463 ; AVX512VLDQ-NEXT:  ## %bb.41: ## %cond.load58
6464 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6465 ; AVX512VLDQ-NEXT:    vpinsrb $4, 20(%rdi), %xmm2, %xmm2
6466 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6467 ; AVX512VLDQ-NEXT:  LBB24_42: ## %else59
6468 ; AVX512VLDQ-NEXT:    kshiftrw $5, %k0, %k0
6469 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6470 ; AVX512VLDQ-NEXT:    testb $1, %al
6471 ; AVX512VLDQ-NEXT:    je LBB24_44
6472 ; AVX512VLDQ-NEXT:  ## %bb.43: ## %cond.load61
6473 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6474 ; AVX512VLDQ-NEXT:    vpinsrb $5, 21(%rdi), %xmm2, %xmm2
6475 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6476 ; AVX512VLDQ-NEXT:  LBB24_44: ## %else62
6477 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6478 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6479 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6480 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6481 ; AVX512VLDQ-NEXT:    kshiftrw $6, %k0, %k1
6482 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
6483 ; AVX512VLDQ-NEXT:    testb $1, %al
6484 ; AVX512VLDQ-NEXT:    je LBB24_46
6485 ; AVX512VLDQ-NEXT:  ## %bb.45: ## %cond.load64
6486 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6487 ; AVX512VLDQ-NEXT:    vpinsrb $6, 22(%rdi), %xmm2, %xmm2
6488 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6489 ; AVX512VLDQ-NEXT:  LBB24_46: ## %else65
6490 ; AVX512VLDQ-NEXT:    kshiftrw $7, %k0, %k0
6491 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6492 ; AVX512VLDQ-NEXT:    testb $1, %al
6493 ; AVX512VLDQ-NEXT:    je LBB24_48
6494 ; AVX512VLDQ-NEXT:  ## %bb.47: ## %cond.load67
6495 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6496 ; AVX512VLDQ-NEXT:    vpinsrb $7, 23(%rdi), %xmm2, %xmm2
6497 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6498 ; AVX512VLDQ-NEXT:  LBB24_48: ## %else68
6499 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6500 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6501 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6502 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6503 ; AVX512VLDQ-NEXT:    kshiftrw $8, %k0, %k1
6504 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
6505 ; AVX512VLDQ-NEXT:    testb $1, %al
6506 ; AVX512VLDQ-NEXT:    je LBB24_50
6507 ; AVX512VLDQ-NEXT:  ## %bb.49: ## %cond.load70
6508 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6509 ; AVX512VLDQ-NEXT:    vpinsrb $8, 24(%rdi), %xmm2, %xmm2
6510 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6511 ; AVX512VLDQ-NEXT:  LBB24_50: ## %else71
6512 ; AVX512VLDQ-NEXT:    kshiftrw $9, %k0, %k0
6513 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6514 ; AVX512VLDQ-NEXT:    testb $1, %al
6515 ; AVX512VLDQ-NEXT:    je LBB24_52
6516 ; AVX512VLDQ-NEXT:  ## %bb.51: ## %cond.load73
6517 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6518 ; AVX512VLDQ-NEXT:    vpinsrb $9, 25(%rdi), %xmm2, %xmm2
6519 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6520 ; AVX512VLDQ-NEXT:  LBB24_52: ## %else74
6521 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6522 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6523 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6524 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6525 ; AVX512VLDQ-NEXT:    kshiftrw $10, %k0, %k1
6526 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
6527 ; AVX512VLDQ-NEXT:    testb $1, %al
6528 ; AVX512VLDQ-NEXT:    je LBB24_54
6529 ; AVX512VLDQ-NEXT:  ## %bb.53: ## %cond.load76
6530 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6531 ; AVX512VLDQ-NEXT:    vpinsrb $10, 26(%rdi), %xmm2, %xmm2
6532 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6533 ; AVX512VLDQ-NEXT:  LBB24_54: ## %else77
6534 ; AVX512VLDQ-NEXT:    kshiftrw $11, %k0, %k0
6535 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6536 ; AVX512VLDQ-NEXT:    testb $1, %al
6537 ; AVX512VLDQ-NEXT:    je LBB24_56
6538 ; AVX512VLDQ-NEXT:  ## %bb.55: ## %cond.load79
6539 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6540 ; AVX512VLDQ-NEXT:    vpinsrb $11, 27(%rdi), %xmm2, %xmm2
6541 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6542 ; AVX512VLDQ-NEXT:  LBB24_56: ## %else80
6543 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6544 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm2
6545 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm2, %zmm2
6546 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm2, %k0
6547 ; AVX512VLDQ-NEXT:    kshiftrw $12, %k0, %k1
6548 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
6549 ; AVX512VLDQ-NEXT:    testb $1, %al
6550 ; AVX512VLDQ-NEXT:    je LBB24_58
6551 ; AVX512VLDQ-NEXT:  ## %bb.57: ## %cond.load82
6552 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6553 ; AVX512VLDQ-NEXT:    vpinsrb $12, 28(%rdi), %xmm2, %xmm2
6554 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6555 ; AVX512VLDQ-NEXT:  LBB24_58: ## %else83
6556 ; AVX512VLDQ-NEXT:    kshiftrw $13, %k0, %k0
6557 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6558 ; AVX512VLDQ-NEXT:    testb $1, %al
6559 ; AVX512VLDQ-NEXT:    je LBB24_60
6560 ; AVX512VLDQ-NEXT:  ## %bb.59: ## %cond.load85
6561 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm2
6562 ; AVX512VLDQ-NEXT:    vpinsrb $13, 29(%rdi), %xmm2, %xmm2
6563 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm2, %ymm1, %ymm1
6564 ; AVX512VLDQ-NEXT:  LBB24_60: ## %else86
6565 ; AVX512VLDQ-NEXT:    vpxor %xmm2, %xmm2, %xmm2
6566 ; AVX512VLDQ-NEXT:    vpcmpgtb %xmm0, %xmm2, %xmm0
6567 ; AVX512VLDQ-NEXT:    vpmovsxbd %xmm0, %zmm0
6568 ; AVX512VLDQ-NEXT:    vpmovd2m %zmm0, %k0
6569 ; AVX512VLDQ-NEXT:    kshiftrw $14, %k0, %k1
6570 ; AVX512VLDQ-NEXT:    kmovw %k1, %eax
6571 ; AVX512VLDQ-NEXT:    testb $1, %al
6572 ; AVX512VLDQ-NEXT:    je LBB24_62
6573 ; AVX512VLDQ-NEXT:  ## %bb.61: ## %cond.load88
6574 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm0
6575 ; AVX512VLDQ-NEXT:    vpinsrb $14, 30(%rdi), %xmm0, %xmm0
6576 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
6577 ; AVX512VLDQ-NEXT:  LBB24_62: ## %else89
6578 ; AVX512VLDQ-NEXT:    kshiftrw $15, %k0, %k0
6579 ; AVX512VLDQ-NEXT:    kmovw %k0, %eax
6580 ; AVX512VLDQ-NEXT:    testb $1, %al
6581 ; AVX512VLDQ-NEXT:    je LBB24_64
6582 ; AVX512VLDQ-NEXT:  ## %bb.63: ## %cond.load91
6583 ; AVX512VLDQ-NEXT:    vextracti128 $1, %ymm1, %xmm0
6584 ; AVX512VLDQ-NEXT:    vpinsrb $15, 31(%rdi), %xmm0, %xmm0
6585 ; AVX512VLDQ-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm1
6586 ; AVX512VLDQ-NEXT:  LBB24_64: ## %else92
6587 ; AVX512VLDQ-NEXT:    vmovdqa %ymm1, %ymm0
6588 ; AVX512VLDQ-NEXT:    retq
6589 ;
6590 ; AVX512VLBW-LABEL: load_v32i8_v32i8:
6591 ; AVX512VLBW:       ## %bb.0:
6592 ; AVX512VLBW-NEXT:    vpmovb2m %ymm0, %k1
6593 ; AVX512VLBW-NEXT:    vpblendmb (%rdi), %ymm1, %ymm0 {%k1}
6594 ; AVX512VLBW-NEXT:    retq
6595   %mask = icmp slt <32 x i8> %trigger, zeroinitializer
6596   %res = call <32 x i8> @llvm.masked.load.v32i8.p0v32i8(<32 x i8>* %addr, i32 4, <32 x i1> %mask, <32 x i8> %dst)
6597   ret <32 x i8> %res
6598 }
6599
6600 ;;; Loads with Constant Masks - these should be optimized to use something other than a variable blend.
6601
6602 ; 128-bit FP vectors are supported with AVX.
6603
6604 define <4 x float> @mload_constmask_v4f32(<4 x float>* %addr, <4 x float> %dst) {
6605 ; SSE2-LABEL: mload_constmask_v4f32:
6606 ; SSE2:       ## %bb.0:
6607 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6608 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6609 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6610 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = xmm1[0],xmm0[1,2,3]
6611 ; SSE2-NEXT:    movaps %xmm0, %xmm1
6612 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm2[0,2]
6613 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm1[2,0]
6614 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,0]
6615 ; SSE2-NEXT:    retq
6616 ;
6617 ; SSE42-LABEL: mload_constmask_v4f32:
6618 ; SSE42:       ## %bb.0:
6619 ; SSE42-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6620 ; SSE42-NEXT:    blendps {{.*#+}} xmm0 = xmm1[0],xmm0[1,2,3]
6621 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
6622 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1,2],mem[0]
6623 ; SSE42-NEXT:    retq
6624 ;
6625 ; AVX1OR2-LABEL: mload_constmask_v4f32:
6626 ; AVX1OR2:       ## %bb.0:
6627 ; AVX1OR2-NEXT:    vblendps {{.*#+}} xmm0 = mem[0],xmm0[1],mem[2,3]
6628 ; AVX1OR2-NEXT:    retq
6629 ;
6630 ; AVX512F-LABEL: mload_constmask_v4f32:
6631 ; AVX512F:       ## %bb.0:
6632 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
6633 ; AVX512F-NEXT:    movw $13, %ax
6634 ; AVX512F-NEXT:    kmovw %eax, %k1
6635 ; AVX512F-NEXT:    vmovups (%rdi), %zmm0 {%k1}
6636 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
6637 ; AVX512F-NEXT:    vzeroupper
6638 ; AVX512F-NEXT:    retq
6639 ;
6640 ; AVX512VLDQ-LABEL: mload_constmask_v4f32:
6641 ; AVX512VLDQ:       ## %bb.0:
6642 ; AVX512VLDQ-NEXT:    movb $13, %al
6643 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
6644 ; AVX512VLDQ-NEXT:    vmovups (%rdi), %xmm0 {%k1}
6645 ; AVX512VLDQ-NEXT:    retq
6646 ;
6647 ; AVX512VLBW-LABEL: mload_constmask_v4f32:
6648 ; AVX512VLBW:       ## %bb.0:
6649 ; AVX512VLBW-NEXT:    movb $13, %al
6650 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
6651 ; AVX512VLBW-NEXT:    vmovups (%rdi), %xmm0 {%k1}
6652 ; AVX512VLBW-NEXT:    retq
6653   %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> <i1 1, i1 0, i1 1, i1 1>, <4 x float> %dst)
6654   ret <4 x float> %res
6655 }
6656
6657 define <4 x float> @mload_constmask_v4f32_all(<4 x float>* %addr) {
6658 ; SSE-LABEL: mload_constmask_v4f32_all:
6659 ; SSE:       ## %bb.0:
6660 ; SSE-NEXT:    movups (%rdi), %xmm0
6661 ; SSE-NEXT:    retq
6662 ;
6663 ; AVX1OR2-LABEL: mload_constmask_v4f32_all:
6664 ; AVX1OR2:       ## %bb.0:
6665 ; AVX1OR2-NEXT:    vmovups (%rdi), %xmm0
6666 ; AVX1OR2-NEXT:    retq
6667 ;
6668 ; AVX512F-LABEL: mload_constmask_v4f32_all:
6669 ; AVX512F:       ## %bb.0:
6670 ; AVX512F-NEXT:    movw $15, %ax
6671 ; AVX512F-NEXT:    kmovw %eax, %k1
6672 ; AVX512F-NEXT:    vmovups (%rdi), %zmm0 {%k1} {z}
6673 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
6674 ; AVX512F-NEXT:    vzeroupper
6675 ; AVX512F-NEXT:    retq
6676 ;
6677 ; AVX512VL-LABEL: mload_constmask_v4f32_all:
6678 ; AVX512VL:       ## %bb.0:
6679 ; AVX512VL-NEXT:    kxnorw %k0, %k0, %k1
6680 ; AVX512VL-NEXT:    vmovups (%rdi), %xmm0 {%k1} {z}
6681 ; AVX512VL-NEXT:    retq
6682   %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x float>undef)
6683   ret <4 x float> %res
6684 }
6685
6686 define <2 x double> @mload_constmask_v2f64(<2 x double>* %addr, <2 x double> %dst) {
6687 ; SSE-LABEL: mload_constmask_v2f64:
6688 ; SSE:       ## %bb.0:
6689 ; SSE-NEXT:    movhps {{.*#+}} xmm0 = xmm0[0,1],mem[0,1]
6690 ; SSE-NEXT:    retq
6691 ;
6692 ; AVX-LABEL: mload_constmask_v2f64:
6693 ; AVX:       ## %bb.0:
6694 ; AVX-NEXT:    vmovhps {{.*#+}} xmm0 = xmm0[0,1],mem[0,1]
6695 ; AVX-NEXT:    retq
6696   %res = call <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>* %addr, i32 4, <2 x i1> <i1 0, i1 1>, <2 x double> %dst)
6697   ret <2 x double> %res
6698 }
6699
6700 ; 128-bit integer vectors are supported with AVX2.
6701
6702 define <4 x i32> @mload_constmask_v4i32(<4 x i32>* %addr, <4 x i32> %dst) {
6703 ; SSE2-LABEL: mload_constmask_v4i32:
6704 ; SSE2:       ## %bb.0:
6705 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6706 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
6707 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
6708 ; SSE2-NEXT:    movaps %xmm1, %xmm2
6709 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm0[0,2]
6710 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
6711 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm2[2,0]
6712 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,0]
6713 ; SSE2-NEXT:    movaps %xmm1, %xmm0
6714 ; SSE2-NEXT:    retq
6715 ;
6716 ; SSE42-LABEL: mload_constmask_v4i32:
6717 ; SSE42:       ## %bb.0:
6718 ; SSE42-NEXT:    pinsrd $1, 4(%rdi), %xmm0
6719 ; SSE42-NEXT:    pinsrd $2, 8(%rdi), %xmm0
6720 ; SSE42-NEXT:    pinsrd $3, 12(%rdi), %xmm0
6721 ; SSE42-NEXT:    retq
6722 ;
6723 ; AVX1-LABEL: mload_constmask_v4i32:
6724 ; AVX1:       ## %bb.0:
6725 ; AVX1-NEXT:    vmovaps {{.*#+}} xmm1 = [0,4294967295,4294967295,4294967295]
6726 ; AVX1-NEXT:    vmaskmovps (%rdi), %xmm1, %xmm1
6727 ; AVX1-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
6728 ; AVX1-NEXT:    retq
6729 ;
6730 ; AVX2-LABEL: mload_constmask_v4i32:
6731 ; AVX2:       ## %bb.0:
6732 ; AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,4294967295,4294967295,4294967295]
6733 ; AVX2-NEXT:    vpmaskmovd (%rdi), %xmm1, %xmm1
6734 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
6735 ; AVX2-NEXT:    retq
6736 ;
6737 ; AVX512F-LABEL: mload_constmask_v4i32:
6738 ; AVX512F:       ## %bb.0:
6739 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 def $zmm0
6740 ; AVX512F-NEXT:    movw $14, %ax
6741 ; AVX512F-NEXT:    kmovw %eax, %k1
6742 ; AVX512F-NEXT:    vmovdqu32 (%rdi), %zmm0 {%k1}
6743 ; AVX512F-NEXT:    ## kill: def $xmm0 killed $xmm0 killed $zmm0
6744 ; AVX512F-NEXT:    vzeroupper
6745 ; AVX512F-NEXT:    retq
6746 ;
6747 ; AVX512VLDQ-LABEL: mload_constmask_v4i32:
6748 ; AVX512VLDQ:       ## %bb.0:
6749 ; AVX512VLDQ-NEXT:    movb $14, %al
6750 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
6751 ; AVX512VLDQ-NEXT:    vmovdqu32 (%rdi), %xmm0 {%k1}
6752 ; AVX512VLDQ-NEXT:    retq
6753 ;
6754 ; AVX512VLBW-LABEL: mload_constmask_v4i32:
6755 ; AVX512VLBW:       ## %bb.0:
6756 ; AVX512VLBW-NEXT:    movb $14, %al
6757 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
6758 ; AVX512VLBW-NEXT:    vmovdqu32 (%rdi), %xmm0 {%k1}
6759 ; AVX512VLBW-NEXT:    retq
6760   %res = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* %addr, i32 4, <4 x i1> <i1 0, i1 1, i1 1, i1 1>, <4 x i32> %dst)
6761   ret <4 x i32> %res
6762 }
6763
6764 define <2 x i64> @mload_constmask_v2i64(<2 x i64>* %addr, <2 x i64> %dst) {
6765 ; SSE2-LABEL: mload_constmask_v2i64:
6766 ; SSE2:       ## %bb.0:
6767 ; SSE2-NEXT:    movsd {{.*#+}} xmm1 = mem[0],zero
6768 ; SSE2-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
6769 ; SSE2-NEXT:    retq
6770 ;
6771 ; SSE42-LABEL: mload_constmask_v2i64:
6772 ; SSE42:       ## %bb.0:
6773 ; SSE42-NEXT:    pinsrq $1, 8(%rdi), %xmm0
6774 ; SSE42-NEXT:    retq
6775 ;
6776 ; AVX-LABEL: mload_constmask_v2i64:
6777 ; AVX:       ## %bb.0:
6778 ; AVX-NEXT:    vpinsrq $1, 8(%rdi), %xmm0, %xmm0
6779 ; AVX-NEXT:    retq
6780   %res = call <2 x i64> @llvm.masked.load.v2i64.p0v2i64(<2 x i64>* %addr, i32 4, <2 x i1> <i1 0, i1 1>, <2 x i64> %dst)
6781   ret <2 x i64> %res
6782 }
6783
6784 ; 256-bit FP vectors are supported with AVX.
6785
6786 define <8 x float> @mload_constmask_v8f32(<8 x float>* %addr, <8 x float> %dst) {
6787 ; SSE2-LABEL: mload_constmask_v8f32:
6788 ; SSE2:       ## %bb.0:
6789 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6790 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6791 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm3[0,0]
6792 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6793 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
6794 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm3[0,2]
6795 ; SSE2-NEXT:    movaps %xmm2, %xmm0
6796 ; SSE2-NEXT:    retq
6797 ;
6798 ; SSE42-LABEL: mload_constmask_v8f32:
6799 ; SSE42:       ## %bb.0:
6800 ; SSE42-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6801 ; SSE42-NEXT:    blendps {{.*#+}} xmm0 = xmm2[0],xmm0[1,2,3]
6802 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]
6803 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
6804 ; SSE42-NEXT:    retq
6805 ;
6806 ; AVX1OR2-LABEL: mload_constmask_v8f32:
6807 ; AVX1OR2:       ## %bb.0:
6808 ; AVX1OR2-NEXT:    vmovaps {{.*#+}} ymm1 = [4294967295,4294967295,4294967295,0,0,0,0,0]
6809 ; AVX1OR2-NEXT:    vmaskmovps (%rdi), %ymm1, %ymm1
6810 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3,4,5,6,7]
6811 ; AVX1OR2-NEXT:    retq
6812 ;
6813 ; AVX512F-LABEL: mload_constmask_v8f32:
6814 ; AVX512F:       ## %bb.0:
6815 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 def $zmm0
6816 ; AVX512F-NEXT:    movw $7, %ax
6817 ; AVX512F-NEXT:    kmovw %eax, %k1
6818 ; AVX512F-NEXT:    vmovups (%rdi), %zmm0 {%k1}
6819 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
6820 ; AVX512F-NEXT:    retq
6821 ;
6822 ; AVX512VLDQ-LABEL: mload_constmask_v8f32:
6823 ; AVX512VLDQ:       ## %bb.0:
6824 ; AVX512VLDQ-NEXT:    movb $7, %al
6825 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
6826 ; AVX512VLDQ-NEXT:    vmovups (%rdi), %ymm0 {%k1}
6827 ; AVX512VLDQ-NEXT:    retq
6828 ;
6829 ; AVX512VLBW-LABEL: mload_constmask_v8f32:
6830 ; AVX512VLBW:       ## %bb.0:
6831 ; AVX512VLBW-NEXT:    movb $7, %al
6832 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
6833 ; AVX512VLBW-NEXT:    vmovups (%rdi), %ymm0 {%k1}
6834 ; AVX512VLBW-NEXT:    retq
6835   %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 0>, <8 x float> %dst)
6836   ret <8 x float> %res
6837 }
6838
6839 define <8 x float> @mload_constmask_v8f32_zero(<8 x float>* %addr, <8 x float> %dst) {
6840 ; SSE2-LABEL: mload_constmask_v8f32_zero:
6841 ; SSE2:       ## %bb.0:
6842 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
6843 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
6844 ; SSE2-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
6845 ; SSE2-NEXT:    xorps %xmm1, %xmm1
6846 ; SSE2-NEXT:    retq
6847 ;
6848 ; SSE42-LABEL: mload_constmask_v8f32_zero:
6849 ; SSE42:       ## %bb.0:
6850 ; SSE42-NEXT:    movsd {{.*#+}} xmm0 = mem[0],zero
6851 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],zero
6852 ; SSE42-NEXT:    xorps %xmm1, %xmm1
6853 ; SSE42-NEXT:    retq
6854 ;
6855 ; AVX1OR2-LABEL: mload_constmask_v8f32_zero:
6856 ; AVX1OR2:       ## %bb.0:
6857 ; AVX1OR2-NEXT:    vmovaps {{.*#+}} ymm0 = [4294967295,4294967295,4294967295,0,0,0,0,0]
6858 ; AVX1OR2-NEXT:    vmaskmovps (%rdi), %ymm0, %ymm0
6859 ; AVX1OR2-NEXT:    retq
6860 ;
6861 ; AVX512F-LABEL: mload_constmask_v8f32_zero:
6862 ; AVX512F:       ## %bb.0:
6863 ; AVX512F-NEXT:    movw $7, %ax
6864 ; AVX512F-NEXT:    kmovw %eax, %k1
6865 ; AVX512F-NEXT:    vmovups (%rdi), %zmm0 {%k1} {z}
6866 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
6867 ; AVX512F-NEXT:    retq
6868 ;
6869 ; AVX512VLDQ-LABEL: mload_constmask_v8f32_zero:
6870 ; AVX512VLDQ:       ## %bb.0:
6871 ; AVX512VLDQ-NEXT:    movb $7, %al
6872 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
6873 ; AVX512VLDQ-NEXT:    vmovups (%rdi), %ymm0 {%k1} {z}
6874 ; AVX512VLDQ-NEXT:    retq
6875 ;
6876 ; AVX512VLBW-LABEL: mload_constmask_v8f32_zero:
6877 ; AVX512VLBW:       ## %bb.0:
6878 ; AVX512VLBW-NEXT:    movb $7, %al
6879 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
6880 ; AVX512VLBW-NEXT:    vmovups (%rdi), %ymm0 {%k1} {z}
6881 ; AVX512VLBW-NEXT:    retq
6882   %res = call <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 0>, <8 x float> zeroinitializer)
6883   ret <8 x float> %res
6884 }
6885
6886 define <4 x double> @mload_constmask_v4f64(<4 x double>* %addr, <4 x double> %dst) {
6887 ; SSE-LABEL: mload_constmask_v4f64:
6888 ; SSE:       ## %bb.0:
6889 ; SSE-NEXT:    movups (%rdi), %xmm0
6890 ; SSE-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
6891 ; SSE-NEXT:    retq
6892 ;
6893 ; AVX1OR2-LABEL: mload_constmask_v4f64:
6894 ; AVX1OR2:       ## %bb.0:
6895 ; AVX1OR2-NEXT:    vmovapd {{.*#+}} ymm1 = [18446744073709551615,18446744073709551615,18446744073709551615,0]
6896 ; AVX1OR2-NEXT:    vmaskmovpd (%rdi), %ymm1, %ymm1
6897 ; AVX1OR2-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3]
6898 ; AVX1OR2-NEXT:    retq
6899 ;
6900 ; AVX512F-LABEL: mload_constmask_v4f64:
6901 ; AVX512F:       ## %bb.0:
6902 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 def $zmm0
6903 ; AVX512F-NEXT:    movb $7, %al
6904 ; AVX512F-NEXT:    kmovw %eax, %k1
6905 ; AVX512F-NEXT:    vmovupd (%rdi), %zmm0 {%k1}
6906 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
6907 ; AVX512F-NEXT:    retq
6908 ;
6909 ; AVX512VLDQ-LABEL: mload_constmask_v4f64:
6910 ; AVX512VLDQ:       ## %bb.0:
6911 ; AVX512VLDQ-NEXT:    movb $7, %al
6912 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
6913 ; AVX512VLDQ-NEXT:    vmovupd (%rdi), %ymm0 {%k1}
6914 ; AVX512VLDQ-NEXT:    retq
6915 ;
6916 ; AVX512VLBW-LABEL: mload_constmask_v4f64:
6917 ; AVX512VLBW:       ## %bb.0:
6918 ; AVX512VLBW-NEXT:    movb $7, %al
6919 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
6920 ; AVX512VLBW-NEXT:    vmovupd (%rdi), %ymm0 {%k1}
6921 ; AVX512VLBW-NEXT:    retq
6922   %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> <i1 1, i1 1, i1 1, i1 0>, <4 x double> %dst)
6923   ret <4 x double> %res
6924 }
6925
6926 ; 256-bit integer vectors are supported with AVX2.
6927
6928 define <8 x i32> @mload_constmask_v8i32(<8 x i32>* %addr, <8 x i32> %dst) {
6929 ; SSE2-LABEL: mload_constmask_v8i32:
6930 ; SSE2:       ## %bb.0:
6931 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6932 ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero
6933 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,0],xmm3[0,0]
6934 ; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero
6935 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,0],xmm0[3,0]
6936 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[2,0],xmm3[0,2]
6937 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
6938 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
6939 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
6940 ; SSE2-NEXT:    movaps %xmm2, %xmm0
6941 ; SSE2-NEXT:    retq
6942 ;
6943 ; SSE42-LABEL: mload_constmask_v8i32:
6944 ; SSE42:       ## %bb.0:
6945 ; SSE42-NEXT:    pinsrd $0, (%rdi), %xmm0
6946 ; SSE42-NEXT:    pinsrd $1, 4(%rdi), %xmm0
6947 ; SSE42-NEXT:    pinsrd $2, 8(%rdi), %xmm0
6948 ; SSE42-NEXT:    pinsrd $3, 28(%rdi), %xmm1
6949 ; SSE42-NEXT:    retq
6950 ;
6951 ; AVX1OR2-LABEL: mload_constmask_v8i32:
6952 ; AVX1OR2:       ## %bb.0:
6953 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm0 = mem[0,1,2],ymm0[3,4,5,6],mem[7]
6954 ; AVX1OR2-NEXT:    retq
6955 ;
6956 ; AVX512F-LABEL: mload_constmask_v8i32:
6957 ; AVX512F:       ## %bb.0:
6958 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 def $zmm0
6959 ; AVX512F-NEXT:    movw $135, %ax
6960 ; AVX512F-NEXT:    kmovw %eax, %k1
6961 ; AVX512F-NEXT:    vmovdqu32 (%rdi), %zmm0 {%k1}
6962 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
6963 ; AVX512F-NEXT:    retq
6964 ;
6965 ; AVX512VLDQ-LABEL: mload_constmask_v8i32:
6966 ; AVX512VLDQ:       ## %bb.0:
6967 ; AVX512VLDQ-NEXT:    movb $-121, %al
6968 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
6969 ; AVX512VLDQ-NEXT:    vmovdqu32 (%rdi), %ymm0 {%k1}
6970 ; AVX512VLDQ-NEXT:    retq
6971 ;
6972 ; AVX512VLBW-LABEL: mload_constmask_v8i32:
6973 ; AVX512VLBW:       ## %bb.0:
6974 ; AVX512VLBW-NEXT:    movb $-121, %al
6975 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
6976 ; AVX512VLBW-NEXT:    vmovdqu32 (%rdi), %ymm0 {%k1}
6977 ; AVX512VLBW-NEXT:    retq
6978   %res = call <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 1>, <8 x i32> %dst)
6979   ret <8 x i32> %res
6980 }
6981
6982 define <4 x i64> @mload_constmask_v4i64(<4 x i64>* %addr, <4 x i64> %dst) {
6983 ; SSE2-LABEL: mload_constmask_v4i64:
6984 ; SSE2:       ## %bb.0:
6985 ; SSE2-NEXT:    movlps {{.*#+}} xmm0 = mem[0,1],xmm0[2,3]
6986 ; SSE2-NEXT:    movsd {{.*#+}} xmm2 = mem[0],zero
6987 ; SSE2-NEXT:    movlhps {{.*#+}} xmm1 = xmm1[0],xmm2[0]
6988 ; SSE2-NEXT:    retq
6989 ;
6990 ; SSE42-LABEL: mload_constmask_v4i64:
6991 ; SSE42:       ## %bb.0:
6992 ; SSE42-NEXT:    pinsrq $0, (%rdi), %xmm0
6993 ; SSE42-NEXT:    pinsrq $1, 24(%rdi), %xmm1
6994 ; SSE42-NEXT:    retq
6995 ;
6996 ; AVX1OR2-LABEL: mload_constmask_v4i64:
6997 ; AVX1OR2:       ## %bb.0:
6998 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm0 = mem[0,1],ymm0[2,3,4,5],mem[6,7]
6999 ; AVX1OR2-NEXT:    retq
7000 ;
7001 ; AVX512F-LABEL: mload_constmask_v4i64:
7002 ; AVX512F:       ## %bb.0:
7003 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 def $zmm0
7004 ; AVX512F-NEXT:    movb $9, %al
7005 ; AVX512F-NEXT:    kmovw %eax, %k1
7006 ; AVX512F-NEXT:    vmovdqu64 (%rdi), %zmm0 {%k1}
7007 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
7008 ; AVX512F-NEXT:    retq
7009 ;
7010 ; AVX512VLDQ-LABEL: mload_constmask_v4i64:
7011 ; AVX512VLDQ:       ## %bb.0:
7012 ; AVX512VLDQ-NEXT:    movb $9, %al
7013 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
7014 ; AVX512VLDQ-NEXT:    vmovdqu64 (%rdi), %ymm0 {%k1}
7015 ; AVX512VLDQ-NEXT:    retq
7016 ;
7017 ; AVX512VLBW-LABEL: mload_constmask_v4i64:
7018 ; AVX512VLBW:       ## %bb.0:
7019 ; AVX512VLBW-NEXT:    movb $9, %al
7020 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
7021 ; AVX512VLBW-NEXT:    vmovdqu64 (%rdi), %ymm0 {%k1}
7022 ; AVX512VLBW-NEXT:    retq
7023   %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> <i1 1, i1 0, i1 0, i1 1>, <4 x i64> %dst)
7024   ret <4 x i64> %res
7025 }
7026
7027 ; 512-bit FP vectors are supported with AVX512.
7028
7029 define <8 x double> @mload_constmask_v8f64(<8 x double>* %addr, <8 x double> %dst) {
7030 ; SSE-LABEL: mload_constmask_v8f64:
7031 ; SSE:       ## %bb.0:
7032 ; SSE-NEXT:    movups (%rdi), %xmm0
7033 ; SSE-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
7034 ; SSE-NEXT:    movhps {{.*#+}} xmm3 = xmm3[0,1],mem[0,1]
7035 ; SSE-NEXT:    retq
7036 ;
7037 ; AVX1OR2-LABEL: mload_constmask_v8f64:
7038 ; AVX1OR2:       ## %bb.0:
7039 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm0 = mem[0,1,2,3,4,5],ymm0[6,7]
7040 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm1 = ymm1[0,1,2,3,4,5],mem[6,7]
7041 ; AVX1OR2-NEXT:    retq
7042 ;
7043 ; AVX512F-LABEL: mload_constmask_v8f64:
7044 ; AVX512F:       ## %bb.0:
7045 ; AVX512F-NEXT:    movb $-121, %al
7046 ; AVX512F-NEXT:    kmovw %eax, %k1
7047 ; AVX512F-NEXT:    vmovupd (%rdi), %zmm0 {%k1}
7048 ; AVX512F-NEXT:    retq
7049 ;
7050 ; AVX512VLDQ-LABEL: mload_constmask_v8f64:
7051 ; AVX512VLDQ:       ## %bb.0:
7052 ; AVX512VLDQ-NEXT:    movb $-121, %al
7053 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
7054 ; AVX512VLDQ-NEXT:    vmovupd (%rdi), %zmm0 {%k1}
7055 ; AVX512VLDQ-NEXT:    retq
7056 ;
7057 ; AVX512VLBW-LABEL: mload_constmask_v8f64:
7058 ; AVX512VLBW:       ## %bb.0:
7059 ; AVX512VLBW-NEXT:    movb $-121, %al
7060 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
7061 ; AVX512VLBW-NEXT:    vmovupd (%rdi), %zmm0 {%k1}
7062 ; AVX512VLBW-NEXT:    retq
7063   %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> <i1 1, i1 1, i1 1, i1 0, i1 0, i1 0, i1 0, i1 1>, <8 x double> %dst)
7064   ret <8 x double> %res
7065 }
7066
7067 ; If the pass-through operand is undef, no blend is needed.
7068
7069 define <4 x double> @mload_constmask_v4f64_undef_passthrough(<4 x double>* %addr) {
7070 ; SSE-LABEL: mload_constmask_v4f64_undef_passthrough:
7071 ; SSE:       ## %bb.0:
7072 ; SSE-NEXT:    movups (%rdi), %xmm0
7073 ; SSE-NEXT:    movsd {{.*#+}} xmm1 = mem[0],zero
7074 ; SSE-NEXT:    retq
7075 ;
7076 ; AVX1OR2-LABEL: mload_constmask_v4f64_undef_passthrough:
7077 ; AVX1OR2:       ## %bb.0:
7078 ; AVX1OR2-NEXT:    vmovapd {{.*#+}} ymm0 = [18446744073709551615,18446744073709551615,18446744073709551615,0]
7079 ; AVX1OR2-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm0
7080 ; AVX1OR2-NEXT:    retq
7081 ;
7082 ; AVX512F-LABEL: mload_constmask_v4f64_undef_passthrough:
7083 ; AVX512F:       ## %bb.0:
7084 ; AVX512F-NEXT:    movb $7, %al
7085 ; AVX512F-NEXT:    kmovw %eax, %k1
7086 ; AVX512F-NEXT:    vmovupd (%rdi), %zmm0 {%k1} {z}
7087 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
7088 ; AVX512F-NEXT:    retq
7089 ;
7090 ; AVX512VLDQ-LABEL: mload_constmask_v4f64_undef_passthrough:
7091 ; AVX512VLDQ:       ## %bb.0:
7092 ; AVX512VLDQ-NEXT:    movb $7, %al
7093 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
7094 ; AVX512VLDQ-NEXT:    vmovupd (%rdi), %ymm0 {%k1} {z}
7095 ; AVX512VLDQ-NEXT:    retq
7096 ;
7097 ; AVX512VLBW-LABEL: mload_constmask_v4f64_undef_passthrough:
7098 ; AVX512VLBW:       ## %bb.0:
7099 ; AVX512VLBW-NEXT:    movb $7, %al
7100 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
7101 ; AVX512VLBW-NEXT:    vmovupd (%rdi), %ymm0 {%k1} {z}
7102 ; AVX512VLBW-NEXT:    retq
7103   %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> <i1 1, i1 1, i1 1, i1 0>, <4 x double> undef)
7104   ret <4 x double> %res
7105 }
7106
7107 define <4 x i64> @mload_constmask_v4i64_undef_passthrough(<4 x i64>* %addr) {
7108 ; SSE-LABEL: mload_constmask_v4i64_undef_passthrough:
7109 ; SSE:       ## %bb.0:
7110 ; SSE-NEXT:    movsd {{.*#+}} xmm1 = mem[0],zero
7111 ; SSE-NEXT:    movq {{.*#+}} xmm0 = mem[0],zero
7112 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
7113 ; SSE-NEXT:    retq
7114 ;
7115 ; AVX1-LABEL: mload_constmask_v4i64_undef_passthrough:
7116 ; AVX1:       ## %bb.0:
7117 ; AVX1-NEXT:    vmovapd {{.*#+}} ymm0 = [0,18446744073709551615,18446744073709551615,0]
7118 ; AVX1-NEXT:    vmaskmovpd (%rdi), %ymm0, %ymm0
7119 ; AVX1-NEXT:    retq
7120 ;
7121 ; AVX2-LABEL: mload_constmask_v4i64_undef_passthrough:
7122 ; AVX2:       ## %bb.0:
7123 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm0 = [0,18446744073709551615,18446744073709551615,0]
7124 ; AVX2-NEXT:    vpmaskmovq (%rdi), %ymm0, %ymm0
7125 ; AVX2-NEXT:    retq
7126 ;
7127 ; AVX512F-LABEL: mload_constmask_v4i64_undef_passthrough:
7128 ; AVX512F:       ## %bb.0:
7129 ; AVX512F-NEXT:    movb $6, %al
7130 ; AVX512F-NEXT:    kmovw %eax, %k1
7131 ; AVX512F-NEXT:    vmovdqu64 (%rdi), %zmm0 {%k1} {z}
7132 ; AVX512F-NEXT:    ## kill: def $ymm0 killed $ymm0 killed $zmm0
7133 ; AVX512F-NEXT:    retq
7134 ;
7135 ; AVX512VLDQ-LABEL: mload_constmask_v4i64_undef_passthrough:
7136 ; AVX512VLDQ:       ## %bb.0:
7137 ; AVX512VLDQ-NEXT:    movb $6, %al
7138 ; AVX512VLDQ-NEXT:    kmovw %eax, %k1
7139 ; AVX512VLDQ-NEXT:    vmovdqu64 (%rdi), %ymm0 {%k1} {z}
7140 ; AVX512VLDQ-NEXT:    retq
7141 ;
7142 ; AVX512VLBW-LABEL: mload_constmask_v4i64_undef_passthrough:
7143 ; AVX512VLBW:       ## %bb.0:
7144 ; AVX512VLBW-NEXT:    movb $6, %al
7145 ; AVX512VLBW-NEXT:    kmovd %eax, %k1
7146 ; AVX512VLBW-NEXT:    vmovdqu64 (%rdi), %ymm0 {%k1} {z}
7147 ; AVX512VLBW-NEXT:    retq
7148   %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> <i1 0, i1 1, i1 1, i1 0>, <4 x i64> undef)
7149   ret <4 x i64> %res
7150 }
7151
7152 ;  When only one element of the mask is set, reduce to a scalar load.
7153
7154 define <4 x i32> @load_one_mask_bit_set1(<4 x i32>* %addr, <4 x i32> %val) {
7155 ; SSE2-LABEL: load_one_mask_bit_set1:
7156 ; SSE2:       ## %bb.0:
7157 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
7158 ; SSE2-NEXT:    movss {{.*#+}} xmm0 = xmm1[0],xmm0[1,2,3]
7159 ; SSE2-NEXT:    retq
7160 ;
7161 ; SSE42-LABEL: load_one_mask_bit_set1:
7162 ; SSE42:       ## %bb.0:
7163 ; SSE42-NEXT:    pinsrd $0, (%rdi), %xmm0
7164 ; SSE42-NEXT:    retq
7165 ;
7166 ; AVX-LABEL: load_one_mask_bit_set1:
7167 ; AVX:       ## %bb.0:
7168 ; AVX-NEXT:    vpinsrd $0, (%rdi), %xmm0, %xmm0
7169 ; AVX-NEXT:    retq
7170   %res = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* %addr, i32 4, <4 x i1> <i1 true, i1 false, i1 false, i1 false>, <4 x i32> %val)
7171   ret <4 x i32> %res
7172 }
7173
7174 ; Choose a different element to show that the correct address offset is produced.
7175
7176 define <4 x float> @load_one_mask_bit_set2(<4 x float>* %addr, <4 x float> %val) {
7177 ; SSE2-LABEL: load_one_mask_bit_set2:
7178 ; SSE2:       ## %bb.0:
7179 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero
7180 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[3,0]
7181 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
7182 ; SSE2-NEXT:    retq
7183 ;
7184 ; SSE42-LABEL: load_one_mask_bit_set2:
7185 ; SSE42:       ## %bb.0:
7186 ; SSE42-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
7187 ; SSE42-NEXT:    retq
7188 ;
7189 ; AVX-LABEL: load_one_mask_bit_set2:
7190 ; AVX:       ## %bb.0:
7191 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]
7192 ; AVX-NEXT:    retq
7193   %res = call <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>* %addr, i32 4, <4 x i1> <i1 false, i1 false, i1 true, i1 false>, <4 x float> %val)
7194   ret <4 x float> %res
7195 }
7196
7197 ; Choose a different scalar type and a high element of a 256-bit vector because AVX doesn't support those evenly.
7198
7199 define <4 x i64> @load_one_mask_bit_set3(<4 x i64>* %addr, <4 x i64> %val) {
7200 ; SSE2-LABEL: load_one_mask_bit_set3:
7201 ; SSE2:       ## %bb.0:
7202 ; SSE2-NEXT:    movlps {{.*#+}} xmm1 = mem[0,1],xmm1[2,3]
7203 ; SSE2-NEXT:    retq
7204 ;
7205 ; SSE42-LABEL: load_one_mask_bit_set3:
7206 ; SSE42:       ## %bb.0:
7207 ; SSE42-NEXT:    pinsrq $0, 16(%rdi), %xmm1
7208 ; SSE42-NEXT:    retq
7209 ;
7210 ; AVX1-LABEL: load_one_mask_bit_set3:
7211 ; AVX1:       ## %bb.0:
7212 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
7213 ; AVX1-NEXT:    vpinsrq $0, 16(%rdi), %xmm1, %xmm1
7214 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
7215 ; AVX1-NEXT:    retq
7216 ;
7217 ; AVX2-LABEL: load_one_mask_bit_set3:
7218 ; AVX2:       ## %bb.0:
7219 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
7220 ; AVX2-NEXT:    vpinsrq $0, 16(%rdi), %xmm1, %xmm1
7221 ; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
7222 ; AVX2-NEXT:    retq
7223 ;
7224 ; AVX512-LABEL: load_one_mask_bit_set3:
7225 ; AVX512:       ## %bb.0:
7226 ; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm1
7227 ; AVX512-NEXT:    vpinsrq $0, 16(%rdi), %xmm1, %xmm1
7228 ; AVX512-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
7229 ; AVX512-NEXT:    retq
7230   %res = call <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>* %addr, i32 4, <4 x i1> <i1 false, i1 false, i1 true, i1 false>, <4 x i64> %val)
7231   ret <4 x i64> %res
7232 }
7233
7234 ; Choose a different scalar type and a high element of a 256-bit vector because AVX doesn't support those evenly.
7235
7236 define <4 x double> @load_one_mask_bit_set4(<4 x double>* %addr, <4 x double> %val) {
7237 ; SSE-LABEL: load_one_mask_bit_set4:
7238 ; SSE:       ## %bb.0:
7239 ; SSE-NEXT:    movhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
7240 ; SSE-NEXT:    retq
7241 ;
7242 ; AVX-LABEL: load_one_mask_bit_set4:
7243 ; AVX:       ## %bb.0:
7244 ; AVX-NEXT:    vextractf128 $1, %ymm0, %xmm1
7245 ; AVX-NEXT:    vmovhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
7246 ; AVX-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
7247 ; AVX-NEXT:    retq
7248   %res = call <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>* %addr, i32 4, <4 x i1> <i1 false, i1 false, i1 false, i1 true>, <4 x double> %val)
7249   ret <4 x double> %res
7250 }
7251
7252 ; Try a 512-bit vector to make sure AVX doesn't die and AVX512 works as expected.
7253
7254 define <8 x double> @load_one_mask_bit_set5(<8 x double>* %addr, <8 x double> %val) {
7255 ; SSE-LABEL: load_one_mask_bit_set5:
7256 ; SSE:       ## %bb.0:
7257 ; SSE-NEXT:    movhps {{.*#+}} xmm3 = xmm3[0,1],mem[0,1]
7258 ; SSE-NEXT:    retq
7259 ;
7260 ; AVX1OR2-LABEL: load_one_mask_bit_set5:
7261 ; AVX1OR2:       ## %bb.0:
7262 ; AVX1OR2-NEXT:    vextractf128 $1, %ymm1, %xmm2
7263 ; AVX1OR2-NEXT:    vmovhps {{.*#+}} xmm2 = xmm2[0,1],mem[0,1]
7264 ; AVX1OR2-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
7265 ; AVX1OR2-NEXT:    retq
7266 ;
7267 ; AVX512-LABEL: load_one_mask_bit_set5:
7268 ; AVX512:       ## %bb.0:
7269 ; AVX512-NEXT:    vextractf32x4 $3, %zmm0, %xmm1
7270 ; AVX512-NEXT:    vmovhps {{.*#+}} xmm1 = xmm1[0,1],mem[0,1]
7271 ; AVX512-NEXT:    vinsertf32x4 $3, %xmm1, %zmm0, %zmm0
7272 ; AVX512-NEXT:    retq
7273   %res = call <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>* %addr, i32 4, <8 x i1> <i1 false, i1 false, i1 false, i1 false, i1 false, i1 false, i1 false, i1 true>, <8 x double> %val)
7274   ret <8 x double> %res
7275 }
7276
7277 define i32 @pr38986(i1 %c, i32* %p) {
7278 ; SSE-LABEL: pr38986:
7279 ; SSE:       ## %bb.0:
7280 ; SSE-NEXT:    testb $1, %dil
7281 ; SSE-NEXT:    ## implicit-def: $eax
7282 ; SSE-NEXT:    je LBB43_2
7283 ; SSE-NEXT:  ## %bb.1: ## %cond.load
7284 ; SSE-NEXT:    movl (%rsi), %eax
7285 ; SSE-NEXT:  LBB43_2: ## %else
7286 ; SSE-NEXT:    retq
7287 ;
7288 ; AVX-LABEL: pr38986:
7289 ; AVX:       ## %bb.0:
7290 ; AVX-NEXT:    testb $1, %dil
7291 ; AVX-NEXT:    ## implicit-def: $eax
7292 ; AVX-NEXT:    je LBB43_2
7293 ; AVX-NEXT:  ## %bb.1: ## %cond.load
7294 ; AVX-NEXT:    movl (%rsi), %eax
7295 ; AVX-NEXT:  LBB43_2: ## %else
7296 ; AVX-NEXT:    retq
7297  %vc = insertelement <1 x i1> undef, i1 %c, i32 0
7298  %vp = bitcast i32* %p to <1 x i32>*
7299  %L = call <1 x i32> @llvm.masked.load.v1i32.p0v1i32 (<1 x i32>* %vp, i32 4, <1 x i1> %vc, <1 x i32> undef)
7300  %ret = bitcast <1 x i32> %L to i32
7301  ret i32 %ret
7302 }
7303
7304 define <2 x double> @zero_mask(<2 x double>* %addr, <2 x double> %dst) {
7305 ; SSE-LABEL: zero_mask:
7306 ; SSE:       ## %bb.0:
7307 ; SSE-NEXT:    retq
7308 ;
7309 ; AVX-LABEL: zero_mask:
7310 ; AVX:       ## %bb.0:
7311 ; AVX-NEXT:    retq
7312   %res = call <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>* %addr, i32 4, <2 x i1> zeroinitializer, <2 x double> %dst)
7313   ret <2 x double> %res
7314 }
7315
7316 declare <8 x double> @llvm.masked.load.v8f64.p0v8f64(<8 x double>*, i32, <8 x i1>, <8 x double>)
7317 declare <4 x double> @llvm.masked.load.v4f64.p0v4f64(<4 x double>*, i32, <4 x i1>, <4 x double>)
7318 declare <2 x double> @llvm.masked.load.v2f64.p0v2f64(<2 x double>*, i32, <2 x i1>, <2 x double>)
7319 declare <1 x double> @llvm.masked.load.v1f64.p0v1f64(<1 x double>*, i32, <1 x i1>, <1 x double>)
7320
7321 declare <16 x float> @llvm.masked.load.v16f32.p0v16f32(<16 x float>*, i32, <16 x i1>, <16 x float>)
7322 declare <8 x float> @llvm.masked.load.v8f32.p0v8f32(<8 x float>*, i32, <8 x i1>, <8 x float>)
7323 declare <4 x float> @llvm.masked.load.v4f32.p0v4f32(<4 x float>*, i32, <4 x i1>, <4 x float>)
7324 declare <2 x float> @llvm.masked.load.v2f32.p0v2f32(<2 x float>*, i32, <2 x i1>, <2 x float>)
7325
7326 declare <8 x i64> @llvm.masked.load.v8i64.p0v8i64(<8 x i64>*, i32, <8 x i1>, <8 x i64>)
7327 declare <4 x i64> @llvm.masked.load.v4i64.p0v4i64(<4 x i64>*, i32, <4 x i1>, <4 x i64>)
7328 declare <2 x i64> @llvm.masked.load.v2i64.p0v2i64(<2 x i64>*, i32, <2 x i1>, <2 x i64>)
7329 declare <1 x i64> @llvm.masked.load.v1i64.p0v1i64(<1 x i64>*, i32, <1 x i1>, <1 x i64>)
7330
7331 declare <16 x i32> @llvm.masked.load.v16i32.p0v16i32(<16 x i32>*, i32, <16 x i1>, <16 x i32>)
7332 declare <8 x i32> @llvm.masked.load.v8i32.p0v8i32(<8 x i32>*, i32, <8 x i1>, <8 x i32>)
7333 declare <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>*, i32, <4 x i1>, <4 x i32>)
7334 declare <2 x i32> @llvm.masked.load.v2i32.p0v2i32(<2 x i32>*, i32, <2 x i1>, <2 x i32>)
7335 declare <1 x i32> @llvm.masked.load.v1i32.p0v1i32(<1 x i32>*, i32, <1 x i1>, <1 x i32>)
7336
7337 declare <32 x i16> @llvm.masked.load.v32i16.p0v32i16(<32 x i16>*, i32, <32 x i1>, <32 x i16>)
7338 declare <16 x i16> @llvm.masked.load.v16i16.p0v16i16(<16 x i16>*, i32, <16 x i1>, <16 x i16>)
7339 declare <8 x i16> @llvm.masked.load.v8i16.p0v8i16(<8 x i16>*, i32, <8 x i1>, <8 x i16>)
7340 declare <4 x i16> @llvm.masked.load.v4i16.p0v4i16(<4 x i16>*, i32, <4 x i1>, <4 x i16>)
7341
7342 declare <64 x i8> @llvm.masked.load.v64i8.p0v64i8(<64 x i8>*, i32, <64 x i1>, <64 x i8>)
7343 declare <32 x i8> @llvm.masked.load.v32i8.p0v32i8(<32 x i8>*, i32, <32 x i1>, <32 x i8>)
7344 declare <16 x i8> @llvm.masked.load.v16i8.p0v16i8(<16 x i8>*, i32, <16 x i1>, <16 x i8>)
7345 declare <8 x i8> @llvm.masked.load.v8i8.p0v8i8(<8 x i8>*, i32, <8 x i1>, <8 x i8>)