clang/test/CodeGen/builtins-x86.c

   1 // RUN: %clang_cc1 -DUSE_64 -triple x86_64-unknown-unknown -target-feature +fxsr -target-feature +avx -target-feature +xsaveopt -target-feature +xsaves -target-feature +xsavec -target-feature +mwaitx -target-feature +clzero -target-feature +shstk -target-feature +wbnoinvd -target-feature +cldemote -Wno-implicit-function-declaration -emit-llvm -o %t %s
   2 // RUN: %clang_cc1 -DUSE_ALL -triple x86_64-unknown-unknown -target-feature +fxsr -target-feature +avx -target-feature +xsaveopt -target-feature +xsaves -target-feature +xsavec -target-feature +mwaitx -target-feature +shstk -target-feature +clzero -target-feature +wbnoinvd -target-feature +cldemote -Wno-implicit-function-declaration -fsyntax-only -o %t %s
   3 // RUN: %clang_cc1 -DUSE_64 -DOPENCL -x cl -cl-std=CL2.0 -triple x86_64-unknown-unknown -target-feature +fxsr -target-feature +avx -target-feature +xsaveopt -target-feature +xsaves -target-feature +xsavec -target-feature +mwaitx -target-feature +clzero -target-feature +shstk -target-feature +wbnoinvd -target-feature +cldemote -emit-llvm -o %t %s
   4
   5 #ifdef USE_ALL
   6 #define USE_3DNOW
   7 #define USE_64
   8 #define USE_SSE4
   9 #endif
  10
  11 // 64-bit
  12 typedef char V8c __attribute__((vector_size(8 * sizeof(char))));
  13 typedef signed short V4s __attribute__((vector_size(8)));
  14 typedef signed int V2i __attribute__((vector_size(8)));
  15 #ifndef OPENCL
  16 typedef signed long long V1LLi __attribute__((vector_size(8)));
  17 #else
  18 typedef signed long V1LLi __attribute__((vector_size(8)));
  19 #endif
  20
  21 typedef float V2f __attribute__((vector_size(8)));
  22
  23 // 128-bit
  24 typedef char V16c __attribute__((vector_size(16)));
  25 typedef signed short V8s __attribute__((vector_size(16)));
  26 typedef signed int V4i __attribute__((vector_size(16)));
  27 #ifndef OPENCL
  28 typedef signed long long V2LLi __attribute__((vector_size(16)));
  29 #else
  30 typedef signed long V2LLi __attribute__((vector_size(16)));
  31 #endif
  32
  33 typedef float V4f __attribute__((vector_size(16)));
  34 typedef double V2d __attribute__((vector_size(16)));
  35
  36 // 256-bit
  37 typedef char V32c __attribute__((vector_size(32)));
  38 typedef signed int V8i __attribute__((vector_size(32)));
  39 #ifndef OPENCL
  40 typedef signed long long V4LLi __attribute__((vector_size(32)));
  41 #else
  42 typedef signed long V4LLi __attribute__((vector_size(32)));
  43 #endif
  44
  45 typedef double V4d __attribute__((vector_size(32)));
  46 typedef float  V8f __attribute__((vector_size(32)));
  47
  48 void f0(void) {
  49   signed char         tmp_c;
  50 //  unsigned char       tmp_Uc;
  51   signed short        tmp_s;
  52 #ifdef USE_ALL
  53   unsigned short      tmp_Us;
  54 #endif
  55   signed int          tmp_i;
  56   unsigned int        tmp_Ui;
  57 #ifndef OPENCL
  58   signed long long    tmp_LLi;
  59   unsigned long long  tmp_ULLi;
  60 #else
  61   signed long         tmp_LLi;
  62   unsigned long       tmp_ULLi;
  63 #endif
  64   float               tmp_f;
  65   double              tmp_d;
  66
  67   void*          tmp_vp;
  68   const void*    tmp_vCp;
  69   char*          tmp_cp;
  70   const char*    tmp_cCp;
  71   int*           tmp_ip;
  72   float*         tmp_fp;
  73   const float*   tmp_fCp;
  74   double*        tmp_dp;
  75   const double*  tmp_dCp;
  76 #ifndef OPENCL
  77   long long*     tmp_LLip;
  78 #else
  79   long*          tmp_LLip;
  80 #endif
  81
  82 #define imm_i 32
  83 #define imm_i_0_2 0
  84 #define imm_i_0_4 3
  85 #define imm_i_0_8 7
  86 #define imm_i_0_16 15
  87   // Check this.
  88 #define imm_i_0_256 0
  89
  90   V2i*   tmp_V2ip;
  91   V1LLi* tmp_V1LLip;
  92   V2LLi* tmp_V2LLip;
  93
  94   // 64-bit
  95   V8c    tmp_V8c;
  96   V4s    tmp_V4s;
  97   V2i    tmp_V2i;
  98   V1LLi  tmp_V1LLi;
  99 #ifdef USE_3DNOW
 100   V2f    tmp_V2f;
 101 #endif
 102
 103   // 128-bit
 104   V16c   tmp_V16c;
 105   V8s    tmp_V8s;
 106   V4i    tmp_V4i;
 107   V2LLi  tmp_V2LLi;
 108   V4f    tmp_V4f;
 109   V2d    tmp_V2d;
 110   V2d*   tmp_V2dp;
 111   V4f*   tmp_V4fp;
 112   const V2d* tmp_V2dCp;
 113   const V4f* tmp_V4fCp;
 114
 115   // 256-bit
 116   V32c   tmp_V32c;
 117   V4d    tmp_V4d;
 118   V8f    tmp_V8f;
 119   V4LLi  tmp_V4LLi;
 120   V8i    tmp_V8i;
 121   V4LLi* tmp_V4LLip;
 122   V4d*   tmp_V4dp;
 123   V8f*   tmp_V8fp;
 124   const V4d* tmp_V4dCp;
 125   const V8f* tmp_V8fCp;
 126
 127   tmp_V2d = __builtin_ia32_undef128();
 128   tmp_V4d = __builtin_ia32_undef256();
 129
 130   tmp_i = __builtin_ia32_comieq(tmp_V4f, tmp_V4f);
 131   tmp_i = __builtin_ia32_comilt(tmp_V4f, tmp_V4f);
 132   tmp_i = __builtin_ia32_comile(tmp_V4f, tmp_V4f);
 133   tmp_i = __builtin_ia32_comigt(tmp_V4f, tmp_V4f);
 134   tmp_i = __builtin_ia32_comige(tmp_V4f, tmp_V4f);
 135   tmp_i = __builtin_ia32_comineq(tmp_V4f, tmp_V4f);
 136   tmp_i = __builtin_ia32_ucomieq(tmp_V4f, tmp_V4f);
 137   tmp_i = __builtin_ia32_ucomilt(tmp_V4f, tmp_V4f);
 138   tmp_i = __builtin_ia32_ucomile(tmp_V4f, tmp_V4f);
 139   tmp_i = __builtin_ia32_ucomigt(tmp_V4f, tmp_V4f);
 140   tmp_i = __builtin_ia32_ucomige(tmp_V4f, tmp_V4f);
 141   tmp_i = __builtin_ia32_ucomineq(tmp_V4f, tmp_V4f);
 142   tmp_i = __builtin_ia32_comisdeq(tmp_V2d, tmp_V2d);
 143   tmp_i = __builtin_ia32_comisdlt(tmp_V2d, tmp_V2d);
 144   tmp_i = __builtin_ia32_comisdle(tmp_V2d, tmp_V2d);
 145   tmp_i = __builtin_ia32_comisdgt(tmp_V2d, tmp_V2d);
 146   tmp_i = __builtin_ia32_comisdge(tmp_V2d, tmp_V2d);
 147   tmp_i = __builtin_ia32_comisdneq(tmp_V2d, tmp_V2d);
 148   tmp_i = __builtin_ia32_ucomisdeq(tmp_V2d, tmp_V2d);
 149   tmp_i = __builtin_ia32_ucomisdlt(tmp_V2d, tmp_V2d);
 150   tmp_i = __builtin_ia32_ucomisdle(tmp_V2d, tmp_V2d);
 151   tmp_i = __builtin_ia32_ucomisdgt(tmp_V2d, tmp_V2d);
 152   tmp_i = __builtin_ia32_ucomisdge(tmp_V2d, tmp_V2d);
 153   tmp_i = __builtin_ia32_ucomisdneq(tmp_V2d, tmp_V2d);
 154   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 0);
 155   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 1);
 156   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 2);
 157   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 3);
 158   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 4);
 159   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 5);
 160   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 6);
 161   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 7);
 162   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 0);
 163   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 1);
 164   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 2);
 165   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 3);
 166   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 4);
 167   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 5);
 168   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 6);
 169   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 7);
 170   tmp_V4f = __builtin_ia32_minps(tmp_V4f, tmp_V4f);
 171   tmp_V4f = __builtin_ia32_maxps(tmp_V4f, tmp_V4f);
 172   tmp_V4f = __builtin_ia32_minss(tmp_V4f, tmp_V4f);
 173   tmp_V4f = __builtin_ia32_maxss(tmp_V4f, tmp_V4f);
 174
 175   tmp_V8c = __builtin_ia32_paddsb(tmp_V8c, tmp_V8c);
 176   tmp_V4s = __builtin_ia32_paddsw(tmp_V4s, tmp_V4s);
 177   tmp_V8c = __builtin_ia32_psubsb(tmp_V8c, tmp_V8c);
 178   tmp_V4s = __builtin_ia32_psubsw(tmp_V4s, tmp_V4s);
 179   tmp_V8c = __builtin_ia32_paddusb(tmp_V8c, tmp_V8c);
 180   tmp_V4s = __builtin_ia32_paddusw(tmp_V4s, tmp_V4s);
 181   tmp_V8c = __builtin_ia32_psubusb(tmp_V8c, tmp_V8c);
 182   tmp_V4s = __builtin_ia32_psubusw(tmp_V4s, tmp_V4s);
 183   tmp_V4s = __builtin_ia32_pmulhw(tmp_V4s, tmp_V4s);
 184   tmp_V4s = __builtin_ia32_pmulhuw(tmp_V4s, tmp_V4s);
 185   tmp_V8c = __builtin_ia32_pcmpeqb(tmp_V8c, tmp_V8c);
 186   tmp_V4s = __builtin_ia32_pcmpeqw(tmp_V4s, tmp_V4s);
 187   tmp_V2i = __builtin_ia32_pcmpeqd(tmp_V2i, tmp_V2i);
 188   tmp_V8c = __builtin_ia32_pcmpgtb(tmp_V8c, tmp_V8c);
 189   tmp_V4s = __builtin_ia32_pcmpgtw(tmp_V4s, tmp_V4s);
 190   tmp_V2i = __builtin_ia32_pcmpgtd(tmp_V2i, tmp_V2i);
 191   tmp_V8c = __builtin_ia32_pmaxub(tmp_V8c, tmp_V8c);
 192   tmp_V4s = __builtin_ia32_pmaxsw(tmp_V4s, tmp_V4s);
 193   tmp_V8c = __builtin_ia32_pminub(tmp_V8c, tmp_V8c);
 194   tmp_V4s = __builtin_ia32_pminsw(tmp_V4s, tmp_V4s);
 195   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 0);
 196   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 1);
 197   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 2);
 198   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 3);
 199   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 4);
 200   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 5);
 201   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 6);
 202   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 7);
 203   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 0);
 204   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 1);
 205   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 2);
 206   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 3);
 207   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 4);
 208   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 5);
 209   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 6);
 210   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 7);
 211   tmp_V2d = __builtin_ia32_minpd(tmp_V2d, tmp_V2d);
 212   tmp_V2d = __builtin_ia32_maxpd(tmp_V2d, tmp_V2d);
 213   tmp_V2d = __builtin_ia32_minsd(tmp_V2d, tmp_V2d);
 214   tmp_V2d = __builtin_ia32_maxsd(tmp_V2d, tmp_V2d);
 215   tmp_V8s = __builtin_ia32_pmulhw128(tmp_V8s, tmp_V8s);
 216   tmp_V16c = __builtin_ia32_packsswb128(tmp_V8s, tmp_V8s);
 217   tmp_V8s = __builtin_ia32_packssdw128(tmp_V4i, tmp_V4i);
 218   tmp_V16c = __builtin_ia32_packuswb128(tmp_V8s, tmp_V8s);
 219   tmp_V8s = __builtin_ia32_pmulhuw128(tmp_V8s, tmp_V8s);
 220   tmp_V4f = __builtin_ia32_addsubps(tmp_V4f, tmp_V4f);
 221   tmp_V2d = __builtin_ia32_addsubpd(tmp_V2d, tmp_V2d);
 222   tmp_V4f = __builtin_ia32_haddps(tmp_V4f, tmp_V4f);
 223   tmp_V2d = __builtin_ia32_haddpd(tmp_V2d, tmp_V2d);
 224   tmp_V4f = __builtin_ia32_hsubps(tmp_V4f, tmp_V4f);
 225   tmp_V2d = __builtin_ia32_hsubpd(tmp_V2d, tmp_V2d);
 226   tmp_V8s = __builtin_ia32_phaddw128(tmp_V8s, tmp_V8s);
 227   tmp_V4s = __builtin_ia32_phaddw(tmp_V4s, tmp_V4s);
 228   tmp_V4i = __builtin_ia32_phaddd128(tmp_V4i, tmp_V4i);
 229   tmp_V2i = __builtin_ia32_phaddd(tmp_V2i, tmp_V2i);
 230   tmp_V8s = __builtin_ia32_phaddsw128(tmp_V8s, tmp_V8s);
 231   tmp_V4s = __builtin_ia32_phaddsw(tmp_V4s, tmp_V4s);
 232   tmp_V8s = __builtin_ia32_phsubw128(tmp_V8s, tmp_V8s);
 233   tmp_V4s = __builtin_ia32_phsubw(tmp_V4s, tmp_V4s);
 234   tmp_V4i = __builtin_ia32_phsubd128(tmp_V4i, tmp_V4i);
 235   tmp_V2i = __builtin_ia32_phsubd(tmp_V2i, tmp_V2i);
 236   tmp_V8s = __builtin_ia32_phsubsw128(tmp_V8s, tmp_V8s);
 237   tmp_V4s = __builtin_ia32_phsubsw(tmp_V4s, tmp_V4s);
 238   tmp_V8s = __builtin_ia32_pmaddubsw128(tmp_V16c, tmp_V16c);
 239   tmp_V8c = __builtin_ia32_pmaddubsw(tmp_V8c, tmp_V8c);
 240   tmp_V8s = __builtin_ia32_pmulhrsw128(tmp_V8s, tmp_V8s);
 241   tmp_V4s = __builtin_ia32_pmulhrsw(tmp_V4s, tmp_V4s);
 242   tmp_V16c = __builtin_ia32_pshufb128(tmp_V16c, tmp_V16c);
 243   tmp_V8c = __builtin_ia32_pshufb(tmp_V8c, tmp_V8c);
 244   tmp_V16c = __builtin_ia32_psignb128(tmp_V16c, tmp_V16c);
 245   tmp_V8c = __builtin_ia32_psignb(tmp_V8c, tmp_V8c);
 246   tmp_V8s = __builtin_ia32_psignw128(tmp_V8s, tmp_V8s);
 247   tmp_V4s = __builtin_ia32_psignw(tmp_V4s, tmp_V4s);
 248   tmp_V4i = __builtin_ia32_psignd128(tmp_V4i, tmp_V4i);
 249   tmp_V2i = __builtin_ia32_psignd(tmp_V2i, tmp_V2i);
 250   tmp_V8c = __builtin_ia32_pabsb(tmp_V8c);
 251   tmp_V4s = __builtin_ia32_pabsw(tmp_V4s);
 252   tmp_V2i = __builtin_ia32_pabsd(tmp_V2i);
 253   tmp_V4s = __builtin_ia32_psllw(tmp_V4s, tmp_V1LLi);
 254   tmp_V2i = __builtin_ia32_pslld(tmp_V2i, tmp_V1LLi);
 255   tmp_V1LLi = __builtin_ia32_psllq(tmp_V1LLi, tmp_V1LLi);
 256   tmp_V4s = __builtin_ia32_psrlw(tmp_V4s, tmp_V1LLi);
 257   tmp_V2i = __builtin_ia32_psrld(tmp_V2i, tmp_V1LLi);
 258   tmp_V1LLi = __builtin_ia32_psrlq(tmp_V1LLi, tmp_V1LLi);
 259   tmp_V4s = __builtin_ia32_psraw(tmp_V4s, tmp_V1LLi);
 260   tmp_V2i = __builtin_ia32_psrad(tmp_V2i, tmp_V1LLi);
 261   tmp_V2i = __builtin_ia32_pmaddwd(tmp_V4s, tmp_V4s);
 262   tmp_V8c = __builtin_ia32_packsswb(tmp_V4s, tmp_V4s);
 263   tmp_V4s = __builtin_ia32_packssdw(tmp_V2i, tmp_V2i);
 264   tmp_V8c = __builtin_ia32_packuswb(tmp_V4s, tmp_V4s);
 265   tmp_i = __builtin_ia32_vec_ext_v2si(tmp_V2i, 0);
 266
 267   __builtin_ia32_incsspd(tmp_Ui);
 268   __builtin_ia32_incsspq(tmp_ULLi);
 269   tmp_Ui = __builtin_ia32_rdsspd(tmp_Ui);
 270   tmp_ULLi = __builtin_ia32_rdsspq(tmp_ULLi);
 271   __builtin_ia32_saveprevssp();
 272   __builtin_ia32_rstorssp(tmp_vp);
 273   __builtin_ia32_wrssd(tmp_Ui, tmp_vp);
 274   __builtin_ia32_wrssq(tmp_ULLi, tmp_vp);
 275   __builtin_ia32_wrussd(tmp_Ui, tmp_vp);
 276   __builtin_ia32_wrussq(tmp_ULLi, tmp_vp);
 277   __builtin_ia32_setssbsy();
 278   __builtin_ia32_clrssbsy(tmp_vp);
 279
 280   (void) __builtin_ia32_ldmxcsr(tmp_Ui);
 281 #ifndef OPENCL
 282   (void) _mm_setcsr(tmp_Ui);
 283 #endif
 284   tmp_Ui = __builtin_ia32_stmxcsr();
 285 #ifndef OPENCL
 286   tmp_Ui = _mm_getcsr();
 287 #endif
 288   (void)__builtin_ia32_fxsave(tmp_vp);
 289   (void)__builtin_ia32_fxsave64(tmp_vp);
 290   (void)__builtin_ia32_fxrstor(tmp_vp);
 291   (void)__builtin_ia32_fxrstor64(tmp_vp);
 292
 293   (void)__builtin_ia32_xsave(tmp_vp, tmp_ULLi);
 294   (void)__builtin_ia32_xsave64(tmp_vp, tmp_ULLi);
 295   tmp_ULLi = __builtin_ia32_xgetbv(tmp_Ui);
 296   (void)__builtin_ia32_xsetbv(tmp_Ui, tmp_ULLi);
 297   (void)__builtin_ia32_xrstor(tmp_vp, tmp_ULLi);
 298   (void)__builtin_ia32_xrstor64(tmp_vp, tmp_ULLi);
 299   (void)__builtin_ia32_xsaveopt(tmp_vp, tmp_ULLi);
 300   (void)__builtin_ia32_xsaveopt64(tmp_vp, tmp_ULLi);
 301   (void)__builtin_ia32_xrstors(tmp_vp, tmp_ULLi);
 302   (void)__builtin_ia32_xrstors64(tmp_vp, tmp_ULLi);
 303   (void)__builtin_ia32_xsavec(tmp_vp, tmp_ULLi);
 304   (void)__builtin_ia32_xsavec64(tmp_vp, tmp_ULLi);
 305   (void)__builtin_ia32_xsaves(tmp_vp, tmp_ULLi);
 306   (void)__builtin_ia32_xsaves64(tmp_vp, tmp_ULLi);
 307
 308   (void) __builtin_ia32_monitorx(tmp_vp, tmp_Ui, tmp_Ui);
 309   (void) __builtin_ia32_mwaitx(tmp_Ui, tmp_Ui, tmp_Ui);
 310   (void) __builtin_ia32_clzero(tmp_vp);
 311   (void) __builtin_ia32_cldemote(tmp_vp);
 312
 313   tmp_V4f = __builtin_ia32_cvtpi2ps(tmp_V4f, tmp_V2i);
 314   tmp_V2i = __builtin_ia32_cvtps2pi(tmp_V4f);
 315   tmp_i = __builtin_ia32_cvtss2si(tmp_V4f);
 316   tmp_i = __builtin_ia32_cvttss2si(tmp_V4f);
 317
 318   tmp_i = __builtin_ia32_rdtsc();
 319   tmp_i = __rdtsc();
 320   tmp_i = __builtin_ia32_rdtscp(&tmp_Ui);
 321   tmp_LLi = __builtin_ia32_rdpmc(tmp_i);
 322   __builtin_ia32_wbnoinvd();
 323 #ifdef USE_64
 324   tmp_LLi = __builtin_ia32_cvtss2si64(tmp_V4f);
 325   tmp_LLi = __builtin_ia32_cvttss2si64(tmp_V4f);
 326 #endif
 327   tmp_V2i = __builtin_ia32_cvttps2pi(tmp_V4f);
 328   (void) __builtin_ia32_maskmovq(tmp_V8c, tmp_V8c, tmp_cp);
 329   tmp_i = __builtin_ia32_movmskps(tmp_V4f);
 330   tmp_i = __builtin_ia32_pmovmskb(tmp_V8c);
 331   (void) __builtin_ia32_movntq(tmp_V1LLip, tmp_V1LLi);
 332   (void) __builtin_ia32_sfence();
 333 #ifndef OPENCL
 334   (void) _mm_sfence();
 335 #endif
 336
 337   tmp_V4s = __builtin_ia32_psadbw(tmp_V8c, tmp_V8c);
 338   tmp_V4f = __builtin_ia32_rcpps(tmp_V4f);
 339   tmp_V4f = __builtin_ia32_rcpss(tmp_V4f);
 340   tmp_V4f = __builtin_ia32_rsqrtps(tmp_V4f);
 341   tmp_V4f = __builtin_ia32_rsqrtss(tmp_V4f);
 342   tmp_V4f = __builtin_ia32_sqrtps(tmp_V4f);
 343   tmp_V4f = __builtin_ia32_sqrtss(tmp_V4f);
 344   (void) __builtin_ia32_maskmovdqu(tmp_V16c, tmp_V16c, tmp_cp);
 345   tmp_i = __builtin_ia32_movmskpd(tmp_V2d);
 346   tmp_i = __builtin_ia32_pmovmskb128(tmp_V16c);
 347   (void) __builtin_ia32_movnti(tmp_ip, tmp_i);
 348 #ifdef USE_64
 349   (void) __builtin_ia32_movnti64(tmp_LLip, tmp_LLi);
 350 #endif
 351   tmp_V2LLi = __builtin_ia32_psadbw128(tmp_V16c, tmp_V16c);
 352   tmp_V2d = __builtin_ia32_sqrtpd(tmp_V2d);
 353   tmp_V2d = __builtin_ia32_sqrtsd(tmp_V2d);
 354   tmp_V2LLi = __builtin_ia32_cvtpd2dq(tmp_V2d);
 355   tmp_V2i = __builtin_ia32_cvtpd2pi(tmp_V2d);
 356   tmp_V4f = __builtin_ia32_cvtpd2ps(tmp_V2d);
 357   tmp_V4i = __builtin_ia32_cvttpd2dq(tmp_V2d);
 358   tmp_V2i = __builtin_ia32_cvttpd2pi(tmp_V2d);
 359   tmp_V2d = __builtin_ia32_cvtpi2pd(tmp_V2i);
 360   tmp_i = __builtin_ia32_cvtsd2si(tmp_V2d);
 361   tmp_i = __builtin_ia32_cvttsd2si(tmp_V2d);
 362   tmp_V4f = __builtin_ia32_cvtsd2ss(tmp_V4f, tmp_V2d);
 363 #ifdef USE_64
 364   tmp_LLi = __builtin_ia32_cvtsd2si64(tmp_V2d);
 365   tmp_LLi = __builtin_ia32_cvttsd2si64(tmp_V2d);
 366 #endif
 367   tmp_V4i = __builtin_ia32_cvtps2dq(tmp_V4f);
 368   tmp_V4i = __builtin_ia32_cvttps2dq(tmp_V4f);
 369   (void) __builtin_ia32_clflush(tmp_vCp);
 370 #ifndef OPENCL
 371   (void) _mm_clflush(tmp_vCp);
 372 #endif
 373   (void) __builtin_ia32_lfence();
 374 #ifndef OPENCL
 375   (void) _mm_lfence();
 376 #endif
 377   (void) __builtin_ia32_mfence();
 378 #ifndef OPENCL
 379   (void) _mm_mfence();
 380 #endif
 381   (void) __builtin_ia32_pause();
 382 #ifndef OPENCL
 383   (void) _mm_pause();
 384 #endif
 385
 386   tmp_V4s = __builtin_ia32_psllwi(tmp_V4s, imm_i_0_8);
 387   tmp_V2i = __builtin_ia32_pslldi(tmp_V2i, imm_i_0_8);
 388   tmp_V1LLi = __builtin_ia32_psllqi(tmp_V1LLi, imm_i_0_8);
 389   tmp_V4s = __builtin_ia32_psrawi(tmp_V4s, imm_i_0_8);
 390   tmp_V2i = __builtin_ia32_psradi(tmp_V2i, imm_i_0_8);
 391   tmp_V4s = __builtin_ia32_psrlwi(tmp_V4s, imm_i_0_8);
 392   tmp_V2i = __builtin_ia32_psrldi(tmp_V2i, imm_i_0_8);
 393   tmp_V1LLi = __builtin_ia32_psrlqi(tmp_V1LLi, imm_i_0_8);
 394
 395   // Using non-immediate argument supported for gcc compatibility
 396   tmp_V4s = __builtin_ia32_psllwi(tmp_V4s, tmp_i);
 397   tmp_V2i = __builtin_ia32_pslldi(tmp_V2i, tmp_i);
 398   tmp_V1LLi = __builtin_ia32_psllqi(tmp_V1LLi, tmp_i);
 399   tmp_V4s = __builtin_ia32_psrawi(tmp_V4s, tmp_i);
 400   tmp_V2i = __builtin_ia32_psradi(tmp_V2i, tmp_i);
 401   tmp_V4s = __builtin_ia32_psrlwi(tmp_V4s, tmp_i);
 402   tmp_V2i = __builtin_ia32_psrldi(tmp_V2i, tmp_i);
 403   tmp_V1LLi = __builtin_ia32_psrlqi(tmp_V1LLi, tmp_i);
 404
 405   tmp_V1LLi = __builtin_ia32_pmuludq(tmp_V2i, tmp_V2i);
 406   tmp_V2LLi = __builtin_ia32_pmuludq128(tmp_V4i, tmp_V4i);
 407   tmp_V8s = __builtin_ia32_psraw128(tmp_V8s, tmp_V8s);
 408   tmp_V4i = __builtin_ia32_psrad128(tmp_V4i, tmp_V4i);
 409   tmp_V8s = __builtin_ia32_psrlw128(tmp_V8s, tmp_V8s);
 410   tmp_V4i = __builtin_ia32_psrld128(tmp_V4i, tmp_V4i);
 411   tmp_V2LLi = __builtin_ia32_psrlq128(tmp_V2LLi, tmp_V2LLi);
 412   tmp_V8s = __builtin_ia32_psllw128(tmp_V8s, tmp_V8s);
 413   tmp_V4i = __builtin_ia32_pslld128(tmp_V4i, tmp_V4i);
 414   tmp_V2LLi = __builtin_ia32_psllq128(tmp_V2LLi, tmp_V2LLi);
 415
 416   tmp_V8s = __builtin_ia32_psllwi128(tmp_V8s, imm_i_0_8);
 417   tmp_V4i = __builtin_ia32_pslldi128(tmp_V4i, imm_i_0_8);
 418   tmp_V2LLi = __builtin_ia32_psllqi128(tmp_V2LLi, imm_i_0_8);
 419   tmp_V8s = __builtin_ia32_psrlwi128(tmp_V8s, imm_i_0_8);
 420   tmp_V4i = __builtin_ia32_psrldi128(tmp_V4i, imm_i_0_8);
 421   tmp_V2LLi = __builtin_ia32_psrlqi128(tmp_V2LLi, imm_i_0_8);
 422   tmp_V8s = __builtin_ia32_psrawi128(tmp_V8s, imm_i_0_8);
 423   tmp_V4i = __builtin_ia32_psradi128(tmp_V4i, imm_i_0_8);
 424
 425   // Using non-immediate argument supported for gcc compatibility
 426   tmp_V8s = __builtin_ia32_psllwi128(tmp_V8s, tmp_i);
 427   tmp_V4i = __builtin_ia32_pslldi128(tmp_V4i, tmp_i);
 428   tmp_V2LLi = __builtin_ia32_psllqi128(tmp_V2LLi, tmp_i);
 429   tmp_V8s = __builtin_ia32_psrlwi128(tmp_V8s, tmp_i);
 430   tmp_V4i = __builtin_ia32_psrldi128(tmp_V4i, tmp_i);
 431   tmp_V2LLi = __builtin_ia32_psrlqi128(tmp_V2LLi, tmp_i);
 432   tmp_V8s = __builtin_ia32_psrawi128(tmp_V8s, tmp_i);
 433   tmp_V4i = __builtin_ia32_psradi128(tmp_V4i, tmp_i);
 434
 435   tmp_V4i = __builtin_ia32_pmaddwd128(tmp_V8s, tmp_V8s);
 436   (void) __builtin_ia32_monitor(tmp_vp, tmp_Ui, tmp_Ui);
 437   (void) __builtin_ia32_mwait(tmp_Ui, tmp_Ui);
 438   tmp_V16c = __builtin_ia32_lddqu(tmp_cCp);
 439   tmp_V16c = __builtin_ia32_palignr128(tmp_V16c, tmp_V16c, imm_i);
 440   tmp_V8c = __builtin_ia32_palignr(tmp_V8c, tmp_V8c, imm_i);
 441 #ifdef USE_SSE4
 442   tmp_V16c = __builtin_ia32_pblendvb128(tmp_V16c, tmp_V16c, tmp_V16c);
 443   tmp_V2d = __builtin_ia32_blendvpd(tmp_V2d, tmp_V2d, tmp_V2d);
 444   tmp_V4f = __builtin_ia32_blendvps(tmp_V4f, tmp_V4f, tmp_V4f);
 445   tmp_V8s = __builtin_ia32_packusdw128(tmp_V4i, tmp_V4i);
 446   tmp_V2LLi = __builtin_ia32_pmuldq128(tmp_V4i, tmp_V4i);
 447   tmp_V4f = __builtin_ia32_roundps(tmp_V4f, imm_i_0_16);
 448   tmp_V4f = __builtin_ia32_roundss(tmp_V4f, tmp_V4f, imm_i_0_16);
 449   tmp_V2d = __builtin_ia32_roundsd(tmp_V2d, tmp_V2d, imm_i_0_16);
 450   tmp_V2d = __builtin_ia32_roundpd(tmp_V2d, imm_i_0_16);
 451   tmp_V4f = __builtin_ia32_insertps128(tmp_V4f, tmp_V4f, imm_i_0_256);
 452 #endif
 453
 454   tmp_V4d = __builtin_ia32_addsubpd256(tmp_V4d, tmp_V4d);
 455   tmp_V8f = __builtin_ia32_addsubps256(tmp_V8f, tmp_V8f);
 456   tmp_V4d = __builtin_ia32_haddpd256(tmp_V4d, tmp_V4d);
 457   tmp_V8f = __builtin_ia32_hsubps256(tmp_V8f, tmp_V8f);
 458   tmp_V4d = __builtin_ia32_hsubpd256(tmp_V4d, tmp_V4d);
 459   tmp_V8f = __builtin_ia32_haddps256(tmp_V8f, tmp_V8f);
 460   tmp_V4d = __builtin_ia32_maxpd256(tmp_V4d, tmp_V4d);
 461   tmp_V8f = __builtin_ia32_maxps256(tmp_V8f, tmp_V8f);
 462   tmp_V4d = __builtin_ia32_minpd256(tmp_V4d, tmp_V4d);
 463   tmp_V8f = __builtin_ia32_minps256(tmp_V8f, tmp_V8f);
 464   tmp_V2d = __builtin_ia32_vpermilvarpd(tmp_V2d, tmp_V2LLi);
 465   tmp_V4f = __builtin_ia32_vpermilvarps(tmp_V4f, tmp_V4i);
 466   tmp_V4d = __builtin_ia32_vpermilvarpd256(tmp_V4d, tmp_V4LLi);
 467   tmp_V8f = __builtin_ia32_vpermilvarps256(tmp_V8f, tmp_V8i);
 468   tmp_V4d = __builtin_ia32_blendvpd256(tmp_V4d, tmp_V4d, tmp_V4d);
 469   tmp_V8f = __builtin_ia32_blendvps256(tmp_V8f, tmp_V8f, tmp_V8f);
 470   tmp_V8f = __builtin_ia32_dpps256(tmp_V8f, tmp_V8f, 0x7);
 471   tmp_V4d = __builtin_ia32_cmppd256(tmp_V4d, tmp_V4d, 0);
 472   tmp_V8f = __builtin_ia32_cmpps256(tmp_V8f, tmp_V8f, 0);
 473   tmp_V4f = __builtin_ia32_cvtpd2ps256(tmp_V4d);
 474   tmp_V8i = __builtin_ia32_cvtps2dq256(tmp_V8f);
 475   tmp_V4i = __builtin_ia32_cvttpd2dq256(tmp_V4d);
 476   tmp_V4i = __builtin_ia32_cvtpd2dq256(tmp_V4d);
 477   tmp_V8i = __builtin_ia32_cvttps2dq256(tmp_V8f);
 478   tmp_V4d = __builtin_ia32_vperm2f128_pd256(tmp_V4d, tmp_V4d, 0x7);
 479   tmp_V8f = __builtin_ia32_vperm2f128_ps256(tmp_V8f, tmp_V8f, 0x7);
 480   tmp_V8i = __builtin_ia32_vperm2f128_si256(tmp_V8i, tmp_V8i, 0x7);
 481   tmp_V4d = __builtin_ia32_sqrtpd256(tmp_V4d);
 482   tmp_V8f = __builtin_ia32_sqrtps256(tmp_V8f);
 483   tmp_V8f = __builtin_ia32_rsqrtps256(tmp_V8f);
 484   tmp_V8f = __builtin_ia32_rcpps256(tmp_V8f);
 485   tmp_V4d = __builtin_ia32_roundpd256(tmp_V4d, 0x1);
 486   tmp_V8f = __builtin_ia32_roundps256(tmp_V8f, 0x1);
 487   tmp_i = __builtin_ia32_vtestzpd(tmp_V2d, tmp_V2d);
 488   tmp_i = __builtin_ia32_vtestcpd(tmp_V2d, tmp_V2d);
 489   tmp_i = __builtin_ia32_vtestnzcpd(tmp_V2d, tmp_V2d);
 490   tmp_i = __builtin_ia32_vtestzps(tmp_V4f, tmp_V4f);
 491   tmp_i = __builtin_ia32_vtestcps(tmp_V4f, tmp_V4f);
 492   tmp_i = __builtin_ia32_vtestnzcps(tmp_V4f, tmp_V4f);
 493   tmp_i = __builtin_ia32_vtestzpd256(tmp_V4d, tmp_V4d);
 494   tmp_i = __builtin_ia32_vtestcpd256(tmp_V4d, tmp_V4d);
 495   tmp_i = __builtin_ia32_vtestnzcpd256(tmp_V4d, tmp_V4d);
 496   tmp_i = __builtin_ia32_vtestzps256(tmp_V8f, tmp_V8f);
 497   tmp_i = __builtin_ia32_vtestcps256(tmp_V8f, tmp_V8f);
 498   tmp_i = __builtin_ia32_vtestnzcps256(tmp_V8f, tmp_V8f);
 499   tmp_i = __builtin_ia32_ptestz256(tmp_V4LLi, tmp_V4LLi);
 500   tmp_i = __builtin_ia32_ptestc256(tmp_V4LLi, tmp_V4LLi);
 501   tmp_i = __builtin_ia32_ptestnzc256(tmp_V4LLi, tmp_V4LLi);
 502   tmp_i = __builtin_ia32_movmskpd256(tmp_V4d);
 503   tmp_i = __builtin_ia32_movmskps256(tmp_V8f);
 504   __builtin_ia32_vzeroall();
 505   __builtin_ia32_vzeroupper();
 506   tmp_V32c = __builtin_ia32_lddqu256(tmp_cCp);
 507   tmp_V2d = __builtin_ia32_maskloadpd(tmp_V2dCp, tmp_V2LLi);
 508   tmp_V4f = __builtin_ia32_maskloadps(tmp_V4fCp, tmp_V4i);
 509   tmp_V4d = __builtin_ia32_maskloadpd256(tmp_V4dCp, tmp_V4LLi);
 510   tmp_V8f = __builtin_ia32_maskloadps256(tmp_V8fCp, tmp_V8i);
 511   __builtin_ia32_maskstorepd(tmp_V2dp, tmp_V2LLi, tmp_V2d);
 512   __builtin_ia32_maskstoreps(tmp_V4fp, tmp_V4i, tmp_V4f);
 513   __builtin_ia32_maskstorepd256(tmp_V4dp, tmp_V4LLi, tmp_V4d);
 514   __builtin_ia32_maskstoreps256(tmp_V8fp, tmp_V8i, tmp_V8f);
 515
 516 #ifdef USE_3DNOW
 517   tmp_V8c = __builtin_ia32_pavgusb(tmp_V8c, tmp_V8c);
 518   tmp_V2i = __builtin_ia32_pf2id(tmp_V2f);
 519   tmp_V2f = __builtin_ia32_pfacc(tmp_V2f, tmp_V2f);
 520   tmp_V2f = __builtin_ia32_pfadd(tmp_V2f, tmp_V2f);
 521   tmp_V2i = __builtin_ia32_pfcmpeq(tmp_V2f, tmp_V2f);
 522   tmp_V2i = __builtin_ia32_pfcmpge(tmp_V2f, tmp_V2f);
 523   tmp_V2i = __builtin_ia32_pfcmpgt(tmp_V2f, tmp_V2f);
 524   tmp_V2f = __builtin_ia32_pfmax(tmp_V2f, tmp_V2f);
 525   tmp_V2f = __builtin_ia32_pfmin(tmp_V2f, tmp_V2f);
 526   tmp_V2f = __builtin_ia32_pfmul(tmp_V2f, tmp_V2f);
 527   tmp_V2f = __builtin_ia32_pfrcp(tmp_V2f);
 528   tmp_V2f = __builtin_ia32_pfrcpit1(tmp_V2f, tmp_V2f);
 529   tmp_V2f = __builtin_ia32_pfrcpit2(tmp_V2f, tmp_V2f);
 530   tmp_V2f = __builtin_ia32_pfrsqrt(tmp_V2f);
 531   tmp_V2f = __builtin_ia32_pfrsqit1(tmp_V2f, tmp_V2f);
 532   tmp_V2f = __builtin_ia32_pfsub(tmp_V2f, tmp_V2f);
 533   tmp_V2f = __builtin_ia32_pfsubr(tmp_V2f, tmp_V2f);
 534   tmp_V2f = __builtin_ia32_pi2fd(tmp_V2i);
 535   tmp_V4s = __builtin_ia32_pmulhrw(tmp_V4s, tmp_V4s);
 536   tmp_V2i = __builtin_ia32_pf2iw(tmp_V2f);
 537   tmp_V2f = __builtin_ia32_pfnacc(tmp_V2f, tmp_V2f);
 538   tmp_V2f = __builtin_ia32_pfpnacc(tmp_V2f, tmp_V2f);
 539   tmp_V2f = __builtin_ia32_pi2fw(tmp_V2i);
 540   tmp_V2f = __builtin_ia32_pswapdsf(tmp_V2f);
 541   tmp_V2i = __builtin_ia32_pswapdsi(tmp_V2i);
 542
 543   tmp_V4i = __builtin_ia32_sha1rnds4(tmp_V4i, tmp_V4i, imm_i_0_4);
 544   tmp_V4i = __builtin_ia32_sha1nexte(tmp_V4i, tmp_V4i);
 545   tmp_V4i = __builtin_ia32_sha1msg1(tmp_V4i, tmp_V4i);
 546   tmp_V4i = __builtin_ia32_sha1msg2(tmp_V4i, tmp_V4i);
 547   tmp_V4i = __builtin_ia32_sha256rnds2(tmp_V4i, tmp_V4i, tmp_V4i);
 548   tmp_V4i = __builtin_ia32_sha256msg1(tmp_V4i, tmp_V4i);
 549   tmp_V4i = __builtin_ia32_sha256msg2(tmp_V4i, tmp_V4i);
 550 #endif
 551 }