clang/lib/Headers/avx512vlbitalgintrin.h

   1 /*===---- avx512vlbitalgintrin.h - BITALG intrinsics -----------------------===
   2  *
   3  *
   4  * Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
   5  * See https://llvm.org/LICENSE.txt for license information.
   6  * SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
   7  *
   8  *===-----------------------------------------------------------------------===
   9  */
  10 #ifndef __IMMINTRIN_H
  11 #error "Never use <avx512vlbitalgintrin.h> directly; include <immintrin.h> instead."
  12 #endif
  13
  14 #ifndef __AVX512VLBITALGINTRIN_H
  15 #define __AVX512VLBITALGINTRIN_H
  16
  17 /* Define the default attributes for the functions in this file. */
  18 #define __DEFAULT_FN_ATTRS128                                                  \
  19   __attribute__((__always_inline__, __nodebug__,                               \
  20                  __target__("avx512vl,avx512bitalg,no-evex512"),               \
  21                  __min_vector_width__(128)))
  22 #define __DEFAULT_FN_ATTRS256                                                  \
  23   __attribute__((__always_inline__, __nodebug__,                               \
  24                  __target__("avx512vl,avx512bitalg,no-evex512"),               \
  25                  __min_vector_width__(256)))
  26
  27 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  28 _mm256_popcnt_epi16(__m256i __A)
  29 {
  30   return (__m256i)__builtin_elementwise_popcount((__v16hu)__A);
  31 }
  32
  33 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  34 _mm256_mask_popcnt_epi16(__m256i __A, __mmask16 __U, __m256i __B)
  35 {
  36   return (__m256i) __builtin_ia32_selectw_256((__mmask16) __U,
  37               (__v16hi) _mm256_popcnt_epi16(__B),
  38               (__v16hi) __A);
  39 }
  40
  41 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  42 _mm256_maskz_popcnt_epi16(__mmask16 __U, __m256i __B)
  43 {
  44   return _mm256_mask_popcnt_epi16((__m256i) _mm256_setzero_si256(),
  45               __U,
  46               __B);
  47 }
  48
  49 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  50 _mm_popcnt_epi16(__m128i __A)
  51 {
  52   return (__m128i)__builtin_elementwise_popcount((__v8hu)__A);
  53 }
  54
  55 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  56 _mm_mask_popcnt_epi16(__m128i __A, __mmask8 __U, __m128i __B)
  57 {
  58   return (__m128i) __builtin_ia32_selectw_128((__mmask8) __U,
  59               (__v8hi) _mm_popcnt_epi16(__B),
  60               (__v8hi) __A);
  61 }
  62
  63 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  64 _mm_maskz_popcnt_epi16(__mmask8 __U, __m128i __B)
  65 {
  66   return _mm_mask_popcnt_epi16((__m128i) _mm_setzero_si128(),
  67               __U,
  68               __B);
  69 }
  70
  71 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  72 _mm256_popcnt_epi8(__m256i __A)
  73 {
  74   return (__m256i)__builtin_elementwise_popcount((__v32qu)__A);
  75 }
  76
  77 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  78 _mm256_mask_popcnt_epi8(__m256i __A, __mmask32 __U, __m256i __B)
  79 {
  80   return (__m256i) __builtin_ia32_selectb_256((__mmask32) __U,
  81               (__v32qi) _mm256_popcnt_epi8(__B),
  82               (__v32qi) __A);
  83 }
  84
  85 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  86 _mm256_maskz_popcnt_epi8(__mmask32 __U, __m256i __B)
  87 {
  88   return _mm256_mask_popcnt_epi8((__m256i) _mm256_setzero_si256(),
  89               __U,
  90               __B);
  91 }
  92
  93 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  94 _mm_popcnt_epi8(__m128i __A)
  95 {
  96   return (__m128i)__builtin_elementwise_popcount((__v16qu)__A);
  97 }
  98
  99 static __inline__ __m128i __DEFAULT_FN_ATTRS128
 100 _mm_mask_popcnt_epi8(__m128i __A, __mmask16 __U, __m128i __B)
 101 {
 102   return (__m128i) __builtin_ia32_selectb_128((__mmask16) __U,
 103               (__v16qi) _mm_popcnt_epi8(__B),
 104               (__v16qi) __A);
 105 }
 106
 107 static __inline__ __m128i __DEFAULT_FN_ATTRS128
 108 _mm_maskz_popcnt_epi8(__mmask16 __U, __m128i __B)
 109 {
 110   return _mm_mask_popcnt_epi8((__m128i) _mm_setzero_si128(),
 111               __U,
 112               __B);
 113 }
 114
 115 static __inline__ __mmask32 __DEFAULT_FN_ATTRS256
 116 _mm256_mask_bitshuffle_epi64_mask(__mmask32 __U, __m256i __A, __m256i __B)
 117 {
 118   return (__mmask32) __builtin_ia32_vpshufbitqmb256_mask((__v32qi) __A,
 119               (__v32qi) __B,
 120               __U);
 121 }
 122
 123 static __inline__ __mmask32 __DEFAULT_FN_ATTRS256
 124 _mm256_bitshuffle_epi64_mask(__m256i __A, __m256i __B)
 125 {
 126   return _mm256_mask_bitshuffle_epi64_mask((__mmask32) -1,
 127               __A,
 128               __B);
 129 }
 130
 131 static __inline__ __mmask16 __DEFAULT_FN_ATTRS128
 132 _mm_mask_bitshuffle_epi64_mask(__mmask16 __U, __m128i __A, __m128i __B)
 133 {
 134   return (__mmask16) __builtin_ia32_vpshufbitqmb128_mask((__v16qi) __A,
 135               (__v16qi) __B,
 136               __U);
 137 }
 138
 139 static __inline__ __mmask16 __DEFAULT_FN_ATTRS128
 140 _mm_bitshuffle_epi64_mask(__m128i __A, __m128i __B)
 141 {
 142   return _mm_mask_bitshuffle_epi64_mask((__mmask16) -1,
 143               __A,
 144               __B);
 145 }
 146
 147
 148 #undef __DEFAULT_FN_ATTRS128
 149 #undef __DEFAULT_FN_ATTRS256
 150
 151 #endif