clang/test/CodeGen/builtins-x86.c

   1 // RUN: %clang_cc1 -DUSE_64 -triple x86_64-unknown-unknown -target-feature +fxsr -target-feature +avx -target-feature +xsaveopt -target-feature +xsaves -target-feature +xsavec -target-feature +mwaitx -target-feature +clzero -target-feature +shstk -target-feature +wbnoinvd -target-feature +cldemote -Wno-implicit-function-declaration -emit-llvm -o %t %s
   2 // RUN: %clang_cc1 -DUSE_ALL -triple x86_64-unknown-unknown -target-feature +fxsr -target-feature +avx -target-feature +xsaveopt -target-feature +xsaves -target-feature +xsavec -target-feature +mwaitx -target-feature +shstk -target-feature +clzero -target-feature +wbnoinvd -target-feature +cldemote -Wno-implicit-function-declaration -fsyntax-only -o %t %s
   3 // RUN: %clang_cc1 -DUSE_64 -DOPENCL -x cl -cl-std=CL2.0 -triple x86_64-unknown-unknown -target-feature +fxsr -target-feature +avx -target-feature +xsaveopt -target-feature +xsaves -target-feature +xsavec -target-feature +mwaitx -target-feature +clzero -target-feature +shstk -target-feature +wbnoinvd -target-feature +cldemote -emit-llvm -o %t %s
   4
   5 #ifdef USE_ALL
   6 #define USE_64
   7 #define USE_SSE4
   8 #endif
   9
  10 // 64-bit
  11 typedef char V8c __attribute__((vector_size(8 * sizeof(char))));
  12 typedef signed short V4s __attribute__((vector_size(8)));
  13 typedef signed int V2i __attribute__((vector_size(8)));
  14 #ifndef OPENCL
  15 typedef signed long long V1LLi __attribute__((vector_size(8)));
  16 #else
  17 typedef signed long V1LLi __attribute__((vector_size(8)));
  18 #endif
  19
  20 typedef float V2f __attribute__((vector_size(8)));
  21
  22 // 128-bit
  23 typedef char V16c __attribute__((vector_size(16)));
  24 typedef signed short V8s __attribute__((vector_size(16)));
  25 typedef signed int V4i __attribute__((vector_size(16)));
  26 #ifndef OPENCL
  27 typedef signed long long V2LLi __attribute__((vector_size(16)));
  28 #else
  29 typedef signed long V2LLi __attribute__((vector_size(16)));
  30 #endif
  31
  32 typedef float V4f __attribute__((vector_size(16)));
  33 typedef double V2d __attribute__((vector_size(16)));
  34
  35 // 256-bit
  36 typedef char V32c __attribute__((vector_size(32)));
  37 typedef signed int V8i __attribute__((vector_size(32)));
  38 #ifndef OPENCL
  39 typedef signed long long V4LLi __attribute__((vector_size(32)));
  40 #else
  41 typedef signed long V4LLi __attribute__((vector_size(32)));
  42 #endif
  43
  44 typedef double V4d __attribute__((vector_size(32)));
  45 typedef float  V8f __attribute__((vector_size(32)));
  46
  47 void f0(void) {
  48   signed char         tmp_c;
  49 //  unsigned char       tmp_Uc;
  50   signed short        tmp_s;
  51 #ifdef USE_ALL
  52   unsigned short      tmp_Us;
  53 #endif
  54   signed int          tmp_i;
  55   unsigned int        tmp_Ui;
  56 #ifndef OPENCL
  57   signed long long    tmp_LLi;
  58   unsigned long long  tmp_ULLi;
  59 #else
  60   signed long         tmp_LLi;
  61   unsigned long       tmp_ULLi;
  62 #endif
  63   float               tmp_f;
  64   double              tmp_d;
  65
  66   void*          tmp_vp;
  67   const void*    tmp_vCp;
  68   char*          tmp_cp;
  69   const char*    tmp_cCp;
  70   int*           tmp_ip;
  71   float*         tmp_fp;
  72   const float*   tmp_fCp;
  73   double*        tmp_dp;
  74   const double*  tmp_dCp;
  75 #ifndef OPENCL
  76   long long*     tmp_LLip;
  77 #else
  78   long*          tmp_LLip;
  79 #endif
  80
  81 #define imm_i 32
  82 #define imm_i_0_2 0
  83 #define imm_i_0_4 3
  84 #define imm_i_0_8 7
  85 #define imm_i_0_16 15
  86   // Check this.
  87 #define imm_i_0_256 0
  88
  89   V2i*   tmp_V2ip;
  90   V1LLi* tmp_V1LLip;
  91   V2LLi* tmp_V2LLip;
  92
  93   // 64-bit
  94   V8c    tmp_V8c;
  95   V4s    tmp_V4s;
  96   V2i    tmp_V2i;
  97   V1LLi  tmp_V1LLi;
  98
  99   // 128-bit
 100   V16c   tmp_V16c;
 101   V8s    tmp_V8s;
 102   V4i    tmp_V4i;
 103   V2LLi  tmp_V2LLi;
 104   V4f    tmp_V4f;
 105   V2d    tmp_V2d;
 106   V2d*   tmp_V2dp;
 107   V4f*   tmp_V4fp;
 108   const V2d* tmp_V2dCp;
 109   const V4f* tmp_V4fCp;
 110
 111   // 256-bit
 112   V32c   tmp_V32c;
 113   V4d    tmp_V4d;
 114   V8f    tmp_V8f;
 115   V4LLi  tmp_V4LLi;
 116   V8i    tmp_V8i;
 117   V4LLi* tmp_V4LLip;
 118   V4d*   tmp_V4dp;
 119   V8f*   tmp_V8fp;
 120   const V4d* tmp_V4dCp;
 121   const V8f* tmp_V8fCp;
 122
 123   tmp_V2d = __builtin_ia32_undef128();
 124   tmp_V4d = __builtin_ia32_undef256();
 125
 126   tmp_i = __builtin_ia32_comieq(tmp_V4f, tmp_V4f);
 127   tmp_i = __builtin_ia32_comilt(tmp_V4f, tmp_V4f);
 128   tmp_i = __builtin_ia32_comile(tmp_V4f, tmp_V4f);
 129   tmp_i = __builtin_ia32_comigt(tmp_V4f, tmp_V4f);
 130   tmp_i = __builtin_ia32_comige(tmp_V4f, tmp_V4f);
 131   tmp_i = __builtin_ia32_comineq(tmp_V4f, tmp_V4f);
 132   tmp_i = __builtin_ia32_ucomieq(tmp_V4f, tmp_V4f);
 133   tmp_i = __builtin_ia32_ucomilt(tmp_V4f, tmp_V4f);
 134   tmp_i = __builtin_ia32_ucomile(tmp_V4f, tmp_V4f);
 135   tmp_i = __builtin_ia32_ucomigt(tmp_V4f, tmp_V4f);
 136   tmp_i = __builtin_ia32_ucomige(tmp_V4f, tmp_V4f);
 137   tmp_i = __builtin_ia32_ucomineq(tmp_V4f, tmp_V4f);
 138   tmp_i = __builtin_ia32_comisdeq(tmp_V2d, tmp_V2d);
 139   tmp_i = __builtin_ia32_comisdlt(tmp_V2d, tmp_V2d);
 140   tmp_i = __builtin_ia32_comisdle(tmp_V2d, tmp_V2d);
 141   tmp_i = __builtin_ia32_comisdgt(tmp_V2d, tmp_V2d);
 142   tmp_i = __builtin_ia32_comisdge(tmp_V2d, tmp_V2d);
 143   tmp_i = __builtin_ia32_comisdneq(tmp_V2d, tmp_V2d);
 144   tmp_i = __builtin_ia32_ucomisdeq(tmp_V2d, tmp_V2d);
 145   tmp_i = __builtin_ia32_ucomisdlt(tmp_V2d, tmp_V2d);
 146   tmp_i = __builtin_ia32_ucomisdle(tmp_V2d, tmp_V2d);
 147   tmp_i = __builtin_ia32_ucomisdgt(tmp_V2d, tmp_V2d);
 148   tmp_i = __builtin_ia32_ucomisdge(tmp_V2d, tmp_V2d);
 149   tmp_i = __builtin_ia32_ucomisdneq(tmp_V2d, tmp_V2d);
 150   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 0);
 151   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 1);
 152   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 2);
 153   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 3);
 154   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 4);
 155   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 5);
 156   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 6);
 157   tmp_V4f = __builtin_ia32_cmpps(tmp_V4f, tmp_V4f, 7);
 158   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 0);
 159   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 1);
 160   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 2);
 161   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 3);
 162   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 4);
 163   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 5);
 164   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 6);
 165   tmp_V4f = __builtin_ia32_cmpss(tmp_V4f, tmp_V4f, 7);
 166   tmp_V4f = __builtin_ia32_minps(tmp_V4f, tmp_V4f);
 167   tmp_V4f = __builtin_ia32_maxps(tmp_V4f, tmp_V4f);
 168   tmp_V4f = __builtin_ia32_minss(tmp_V4f, tmp_V4f);
 169   tmp_V4f = __builtin_ia32_maxss(tmp_V4f, tmp_V4f);
 170
 171   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 0);
 172   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 1);
 173   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 2);
 174   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 3);
 175   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 4);
 176   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 5);
 177   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 6);
 178   tmp_V2d = __builtin_ia32_cmppd(tmp_V2d, tmp_V2d, 7);
 179   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 0);
 180   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 1);
 181   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 2);
 182   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 3);
 183   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 4);
 184   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 5);
 185   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 6);
 186   tmp_V2d = __builtin_ia32_cmpsd(tmp_V2d, tmp_V2d, 7);
 187   tmp_V2d = __builtin_ia32_minpd(tmp_V2d, tmp_V2d);
 188   tmp_V2d = __builtin_ia32_maxpd(tmp_V2d, tmp_V2d);
 189   tmp_V2d = __builtin_ia32_minsd(tmp_V2d, tmp_V2d);
 190   tmp_V2d = __builtin_ia32_maxsd(tmp_V2d, tmp_V2d);
 191   tmp_V8s = __builtin_ia32_pmulhw128(tmp_V8s, tmp_V8s);
 192   tmp_V16c = __builtin_ia32_packsswb128(tmp_V8s, tmp_V8s);
 193   tmp_V8s = __builtin_ia32_packssdw128(tmp_V4i, tmp_V4i);
 194   tmp_V16c = __builtin_ia32_packuswb128(tmp_V8s, tmp_V8s);
 195   tmp_V8s = __builtin_ia32_pmulhuw128(tmp_V8s, tmp_V8s);
 196   tmp_V4f = __builtin_ia32_addsubps(tmp_V4f, tmp_V4f);
 197   tmp_V2d = __builtin_ia32_addsubpd(tmp_V2d, tmp_V2d);
 198   tmp_V4f = __builtin_ia32_haddps(tmp_V4f, tmp_V4f);
 199   tmp_V2d = __builtin_ia32_haddpd(tmp_V2d, tmp_V2d);
 200   tmp_V4f = __builtin_ia32_hsubps(tmp_V4f, tmp_V4f);
 201   tmp_V2d = __builtin_ia32_hsubpd(tmp_V2d, tmp_V2d);
 202   tmp_V8s = __builtin_ia32_phaddw128(tmp_V8s, tmp_V8s);
 203   tmp_V4i = __builtin_ia32_phaddd128(tmp_V4i, tmp_V4i);
 204   tmp_V8s = __builtin_ia32_phaddsw128(tmp_V8s, tmp_V8s);
 205   tmp_V8s = __builtin_ia32_phsubw128(tmp_V8s, tmp_V8s);
 206   tmp_V4i = __builtin_ia32_phsubd128(tmp_V4i, tmp_V4i);
 207   tmp_V8s = __builtin_ia32_phsubsw128(tmp_V8s, tmp_V8s);
 208   tmp_V8s = __builtin_ia32_pmaddubsw128(tmp_V16c, tmp_V16c);
 209   tmp_V8s = __builtin_ia32_pmulhrsw128(tmp_V8s, tmp_V8s);
 210   tmp_V16c = __builtin_ia32_pshufb128(tmp_V16c, tmp_V16c);
 211   tmp_V16c = __builtin_ia32_psignb128(tmp_V16c, tmp_V16c);
 212   tmp_V8s = __builtin_ia32_psignw128(tmp_V8s, tmp_V8s);
 213   tmp_V4i = __builtin_ia32_psignd128(tmp_V4i, tmp_V4i);
 214
 215   __builtin_ia32_incsspd(tmp_Ui);
 216   __builtin_ia32_incsspq(tmp_ULLi);
 217   tmp_Ui = __builtin_ia32_rdsspd(tmp_Ui);
 218   tmp_ULLi = __builtin_ia32_rdsspq(tmp_ULLi);
 219   __builtin_ia32_saveprevssp();
 220   __builtin_ia32_rstorssp(tmp_vp);
 221   __builtin_ia32_wrssd(tmp_Ui, tmp_vp);
 222   __builtin_ia32_wrssq(tmp_ULLi, tmp_vp);
 223   __builtin_ia32_wrussd(tmp_Ui, tmp_vp);
 224   __builtin_ia32_wrussq(tmp_ULLi, tmp_vp);
 225   __builtin_ia32_setssbsy();
 226   __builtin_ia32_clrssbsy(tmp_vp);
 227
 228   (void) __builtin_ia32_ldmxcsr(tmp_Ui);
 229 #ifndef OPENCL
 230   (void) _mm_setcsr(tmp_Ui);
 231 #endif
 232   tmp_Ui = __builtin_ia32_stmxcsr();
 233 #ifndef OPENCL
 234   tmp_Ui = _mm_getcsr();
 235 #endif
 236   (void)__builtin_ia32_fxsave(tmp_vp);
 237   (void)__builtin_ia32_fxsave64(tmp_vp);
 238   (void)__builtin_ia32_fxrstor(tmp_vp);
 239   (void)__builtin_ia32_fxrstor64(tmp_vp);
 240
 241   (void)__builtin_ia32_xsave(tmp_vp, tmp_ULLi);
 242   (void)__builtin_ia32_xsave64(tmp_vp, tmp_ULLi);
 243   tmp_ULLi = __builtin_ia32_xgetbv(tmp_Ui);
 244   (void)__builtin_ia32_xsetbv(tmp_Ui, tmp_ULLi);
 245   (void)__builtin_ia32_xrstor(tmp_vp, tmp_ULLi);
 246   (void)__builtin_ia32_xrstor64(tmp_vp, tmp_ULLi);
 247   (void)__builtin_ia32_xsaveopt(tmp_vp, tmp_ULLi);
 248   (void)__builtin_ia32_xsaveopt64(tmp_vp, tmp_ULLi);
 249   (void)__builtin_ia32_xrstors(tmp_vp, tmp_ULLi);
 250   (void)__builtin_ia32_xrstors64(tmp_vp, tmp_ULLi);
 251   (void)__builtin_ia32_xsavec(tmp_vp, tmp_ULLi);
 252   (void)__builtin_ia32_xsavec64(tmp_vp, tmp_ULLi);
 253   (void)__builtin_ia32_xsaves(tmp_vp, tmp_ULLi);
 254   (void)__builtin_ia32_xsaves64(tmp_vp, tmp_ULLi);
 255
 256   (void) __builtin_ia32_monitorx(tmp_vp, tmp_Ui, tmp_Ui);
 257   (void) __builtin_ia32_mwaitx(tmp_Ui, tmp_Ui, tmp_Ui);
 258   (void) __builtin_ia32_clzero(tmp_vp);
 259   (void) __builtin_ia32_cldemote(tmp_vp);
 260
 261   tmp_i = __builtin_ia32_cvtss2si(tmp_V4f);
 262   tmp_i = __builtin_ia32_cvttss2si(tmp_V4f);
 263
 264   tmp_i = __builtin_ia32_rdtsc();
 265   tmp_i = __rdtsc();
 266   tmp_i = __builtin_ia32_rdtscp(&tmp_Ui);
 267   tmp_LLi = __builtin_ia32_rdpmc(tmp_i);
 268   __builtin_ia32_wbnoinvd();
 269 #ifdef USE_64
 270   tmp_LLi = __builtin_ia32_cvtss2si64(tmp_V4f);
 271   tmp_LLi = __builtin_ia32_cvttss2si64(tmp_V4f);
 272 #endif
 273   tmp_i = __builtin_ia32_movmskps(tmp_V4f);
 274   (void) __builtin_ia32_sfence();
 275 #ifndef OPENCL
 276   (void) _mm_sfence();
 277 #endif
 278
 279   tmp_V4f = __builtin_ia32_rcpps(tmp_V4f);
 280   tmp_V4f = __builtin_ia32_rcpss(tmp_V4f);
 281   tmp_V4f = __builtin_ia32_rsqrtps(tmp_V4f);
 282   tmp_V4f = __builtin_ia32_rsqrtss(tmp_V4f);
 283   tmp_V4f = __builtin_ia32_sqrtps(tmp_V4f);
 284   tmp_V4f = __builtin_ia32_sqrtss(tmp_V4f);
 285   (void) __builtin_ia32_maskmovdqu(tmp_V16c, tmp_V16c, tmp_cp);
 286   tmp_i = __builtin_ia32_movmskpd(tmp_V2d);
 287   tmp_i = __builtin_ia32_pmovmskb128(tmp_V16c);
 288   (void) __builtin_ia32_movnti(tmp_ip, tmp_i);
 289 #ifdef USE_64
 290   (void) __builtin_ia32_movnti64(tmp_LLip, tmp_LLi);
 291 #endif
 292   tmp_V2LLi = __builtin_ia32_psadbw128(tmp_V16c, tmp_V16c);
 293   tmp_V2d = __builtin_ia32_sqrtpd(tmp_V2d);
 294   tmp_V2d = __builtin_ia32_sqrtsd(tmp_V2d);
 295   tmp_V2LLi = __builtin_ia32_cvtpd2dq(tmp_V2d);
 296   tmp_V4f = __builtin_ia32_cvtpd2ps(tmp_V2d);
 297   tmp_V4i = __builtin_ia32_cvttpd2dq(tmp_V2d);
 298   tmp_i = __builtin_ia32_cvtsd2si(tmp_V2d);
 299   tmp_i = __builtin_ia32_cvttsd2si(tmp_V2d);
 300   tmp_V4f = __builtin_ia32_cvtsd2ss(tmp_V4f, tmp_V2d);
 301 #ifdef USE_64
 302   tmp_LLi = __builtin_ia32_cvtsd2si64(tmp_V2d);
 303   tmp_LLi = __builtin_ia32_cvttsd2si64(tmp_V2d);
 304 #endif
 305   tmp_V4i = __builtin_ia32_cvtps2dq(tmp_V4f);
 306   tmp_V4i = __builtin_ia32_cvttps2dq(tmp_V4f);
 307   (void) __builtin_ia32_clflush(tmp_vCp);
 308 #ifndef OPENCL
 309   (void) _mm_clflush(tmp_vCp);
 310 #endif
 311   (void) __builtin_ia32_lfence();
 312 #ifndef OPENCL
 313   (void) _mm_lfence();
 314 #endif
 315   (void) __builtin_ia32_mfence();
 316 #ifndef OPENCL
 317   (void) _mm_mfence();
 318 #endif
 319   (void) __builtin_ia32_pause();
 320 #ifndef OPENCL
 321   (void) _mm_pause();
 322 #endif
 323
 324
 325   // Using non-immediate argument supported for gcc compatibility
 326
 327   tmp_V2LLi = __builtin_ia32_pmuludq128(tmp_V4i, tmp_V4i);
 328   tmp_V8s = __builtin_ia32_psraw128(tmp_V8s, tmp_V8s);
 329   tmp_V4i = __builtin_ia32_psrad128(tmp_V4i, tmp_V4i);
 330   tmp_V8s = __builtin_ia32_psrlw128(tmp_V8s, tmp_V8s);
 331   tmp_V4i = __builtin_ia32_psrld128(tmp_V4i, tmp_V4i);
 332   tmp_V2LLi = __builtin_ia32_psrlq128(tmp_V2LLi, tmp_V2LLi);
 333   tmp_V8s = __builtin_ia32_psllw128(tmp_V8s, tmp_V8s);
 334   tmp_V4i = __builtin_ia32_pslld128(tmp_V4i, tmp_V4i);
 335   tmp_V2LLi = __builtin_ia32_psllq128(tmp_V2LLi, tmp_V2LLi);
 336
 337   tmp_V8s = __builtin_ia32_psllwi128(tmp_V8s, imm_i_0_8);
 338   tmp_V4i = __builtin_ia32_pslldi128(tmp_V4i, imm_i_0_8);
 339   tmp_V2LLi = __builtin_ia32_psllqi128(tmp_V2LLi, imm_i_0_8);
 340   tmp_V8s = __builtin_ia32_psrlwi128(tmp_V8s, imm_i_0_8);
 341   tmp_V4i = __builtin_ia32_psrldi128(tmp_V4i, imm_i_0_8);
 342   tmp_V2LLi = __builtin_ia32_psrlqi128(tmp_V2LLi, imm_i_0_8);
 343   tmp_V8s = __builtin_ia32_psrawi128(tmp_V8s, imm_i_0_8);
 344   tmp_V4i = __builtin_ia32_psradi128(tmp_V4i, imm_i_0_8);
 345
 346   // Using non-immediate argument supported for gcc compatibility
 347   tmp_V8s = __builtin_ia32_psllwi128(tmp_V8s, tmp_i);
 348   tmp_V4i = __builtin_ia32_pslldi128(tmp_V4i, tmp_i);
 349   tmp_V2LLi = __builtin_ia32_psllqi128(tmp_V2LLi, tmp_i);
 350   tmp_V8s = __builtin_ia32_psrlwi128(tmp_V8s, tmp_i);
 351   tmp_V4i = __builtin_ia32_psrldi128(tmp_V4i, tmp_i);
 352   tmp_V2LLi = __builtin_ia32_psrlqi128(tmp_V2LLi, tmp_i);
 353   tmp_V8s = __builtin_ia32_psrawi128(tmp_V8s, tmp_i);
 354   tmp_V4i = __builtin_ia32_psradi128(tmp_V4i, tmp_i);
 355
 356   tmp_V4i = __builtin_ia32_pmaddwd128(tmp_V8s, tmp_V8s);
 357   (void) __builtin_ia32_monitor(tmp_vp, tmp_Ui, tmp_Ui);
 358   (void) __builtin_ia32_mwait(tmp_Ui, tmp_Ui);
 359   tmp_V16c = __builtin_ia32_lddqu(tmp_cCp);
 360   tmp_V16c = __builtin_ia32_palignr128(tmp_V16c, tmp_V16c, imm_i);
 361 #ifdef USE_SSE4
 362   tmp_V16c = __builtin_ia32_pblendvb128(tmp_V16c, tmp_V16c, tmp_V16c);
 363   tmp_V2d = __builtin_ia32_blendvpd(tmp_V2d, tmp_V2d, tmp_V2d);
 364   tmp_V4f = __builtin_ia32_blendvps(tmp_V4f, tmp_V4f, tmp_V4f);
 365   tmp_V8s = __builtin_ia32_packusdw128(tmp_V4i, tmp_V4i);
 366   tmp_V2LLi = __builtin_ia32_pmuldq128(tmp_V4i, tmp_V4i);
 367   tmp_V4f = __builtin_ia32_roundps(tmp_V4f, imm_i_0_16);
 368   tmp_V4f = __builtin_ia32_roundss(tmp_V4f, tmp_V4f, imm_i_0_16);
 369   tmp_V2d = __builtin_ia32_roundsd(tmp_V2d, tmp_V2d, imm_i_0_16);
 370   tmp_V2d = __builtin_ia32_roundpd(tmp_V2d, imm_i_0_16);
 371   tmp_V4f = __builtin_ia32_insertps128(tmp_V4f, tmp_V4f, imm_i_0_256);
 372 #endif
 373
 374   tmp_V4d = __builtin_ia32_addsubpd256(tmp_V4d, tmp_V4d);
 375   tmp_V8f = __builtin_ia32_addsubps256(tmp_V8f, tmp_V8f);
 376   tmp_V4d = __builtin_ia32_haddpd256(tmp_V4d, tmp_V4d);
 377   tmp_V8f = __builtin_ia32_hsubps256(tmp_V8f, tmp_V8f);
 378   tmp_V4d = __builtin_ia32_hsubpd256(tmp_V4d, tmp_V4d);
 379   tmp_V8f = __builtin_ia32_haddps256(tmp_V8f, tmp_V8f);
 380   tmp_V4d = __builtin_ia32_maxpd256(tmp_V4d, tmp_V4d);
 381   tmp_V8f = __builtin_ia32_maxps256(tmp_V8f, tmp_V8f);
 382   tmp_V4d = __builtin_ia32_minpd256(tmp_V4d, tmp_V4d);
 383   tmp_V8f = __builtin_ia32_minps256(tmp_V8f, tmp_V8f);
 384   tmp_V2d = __builtin_ia32_vpermilvarpd(tmp_V2d, tmp_V2LLi);
 385   tmp_V4f = __builtin_ia32_vpermilvarps(tmp_V4f, tmp_V4i);
 386   tmp_V4d = __builtin_ia32_vpermilvarpd256(tmp_V4d, tmp_V4LLi);
 387   tmp_V8f = __builtin_ia32_vpermilvarps256(tmp_V8f, tmp_V8i);
 388   tmp_V4d = __builtin_ia32_blendvpd256(tmp_V4d, tmp_V4d, tmp_V4d);
 389   tmp_V8f = __builtin_ia32_blendvps256(tmp_V8f, tmp_V8f, tmp_V8f);
 390   tmp_V8f = __builtin_ia32_dpps256(tmp_V8f, tmp_V8f, 0x7);
 391   tmp_V4d = __builtin_ia32_cmppd256(tmp_V4d, tmp_V4d, 0);
 392   tmp_V8f = __builtin_ia32_cmpps256(tmp_V8f, tmp_V8f, 0);
 393   tmp_V4f = __builtin_ia32_cvtpd2ps256(tmp_V4d);
 394   tmp_V8i = __builtin_ia32_cvtps2dq256(tmp_V8f);
 395   tmp_V4i = __builtin_ia32_cvttpd2dq256(tmp_V4d);
 396   tmp_V4i = __builtin_ia32_cvtpd2dq256(tmp_V4d);
 397   tmp_V8i = __builtin_ia32_cvttps2dq256(tmp_V8f);
 398   tmp_V4d = __builtin_ia32_vperm2f128_pd256(tmp_V4d, tmp_V4d, 0x7);
 399   tmp_V8f = __builtin_ia32_vperm2f128_ps256(tmp_V8f, tmp_V8f, 0x7);
 400   tmp_V8i = __builtin_ia32_vperm2f128_si256(tmp_V8i, tmp_V8i, 0x7);
 401   tmp_V4d = __builtin_ia32_sqrtpd256(tmp_V4d);
 402   tmp_V8f = __builtin_ia32_sqrtps256(tmp_V8f);
 403   tmp_V8f = __builtin_ia32_rsqrtps256(tmp_V8f);
 404   tmp_V8f = __builtin_ia32_rcpps256(tmp_V8f);
 405   tmp_V4d = __builtin_ia32_roundpd256(tmp_V4d, 0x1);
 406   tmp_V8f = __builtin_ia32_roundps256(tmp_V8f, 0x1);
 407   tmp_i = __builtin_ia32_vtestzpd(tmp_V2d, tmp_V2d);
 408   tmp_i = __builtin_ia32_vtestcpd(tmp_V2d, tmp_V2d);
 409   tmp_i = __builtin_ia32_vtestnzcpd(tmp_V2d, tmp_V2d);
 410   tmp_i = __builtin_ia32_vtestzps(tmp_V4f, tmp_V4f);
 411   tmp_i = __builtin_ia32_vtestcps(tmp_V4f, tmp_V4f);
 412   tmp_i = __builtin_ia32_vtestnzcps(tmp_V4f, tmp_V4f);
 413   tmp_i = __builtin_ia32_vtestzpd256(tmp_V4d, tmp_V4d);
 414   tmp_i = __builtin_ia32_vtestcpd256(tmp_V4d, tmp_V4d);
 415   tmp_i = __builtin_ia32_vtestnzcpd256(tmp_V4d, tmp_V4d);
 416   tmp_i = __builtin_ia32_vtestzps256(tmp_V8f, tmp_V8f);
 417   tmp_i = __builtin_ia32_vtestcps256(tmp_V8f, tmp_V8f);
 418   tmp_i = __builtin_ia32_vtestnzcps256(tmp_V8f, tmp_V8f);
 419   tmp_i = __builtin_ia32_ptestz256(tmp_V4LLi, tmp_V4LLi);
 420   tmp_i = __builtin_ia32_ptestc256(tmp_V4LLi, tmp_V4LLi);
 421   tmp_i = __builtin_ia32_ptestnzc256(tmp_V4LLi, tmp_V4LLi);
 422   tmp_i = __builtin_ia32_movmskpd256(tmp_V4d);
 423   tmp_i = __builtin_ia32_movmskps256(tmp_V8f);
 424   __builtin_ia32_vzeroall();
 425   __builtin_ia32_vzeroupper();
 426   tmp_V32c = __builtin_ia32_lddqu256(tmp_cCp);
 427   tmp_V2d = __builtin_ia32_maskloadpd(tmp_V2dCp, tmp_V2LLi);
 428   tmp_V4f = __builtin_ia32_maskloadps(tmp_V4fCp, tmp_V4i);
 429   tmp_V4d = __builtin_ia32_maskloadpd256(tmp_V4dCp, tmp_V4LLi);
 430   tmp_V8f = __builtin_ia32_maskloadps256(tmp_V8fCp, tmp_V8i);
 431   __builtin_ia32_maskstorepd(tmp_V2dp, tmp_V2LLi, tmp_V2d);
 432   __builtin_ia32_maskstoreps(tmp_V4fp, tmp_V4i, tmp_V4f);
 433   __builtin_ia32_maskstorepd256(tmp_V4dp, tmp_V4LLi, tmp_V4d);
 434   __builtin_ia32_maskstoreps256(tmp_V8fp, tmp_V8i, tmp_V8f);
 435
 436 #if USE_ALL
 437   tmp_V4i = __builtin_ia32_sha1rnds4(tmp_V4i, tmp_V4i, imm_i_0_4);
 438   tmp_V4i = __builtin_ia32_sha1nexte(tmp_V4i, tmp_V4i);
 439   tmp_V4i = __builtin_ia32_sha1msg1(tmp_V4i, tmp_V4i);
 440   tmp_V4i = __builtin_ia32_sha1msg2(tmp_V4i, tmp_V4i);
 441   tmp_V4i = __builtin_ia32_sha256rnds2(tmp_V4i, tmp_V4i, tmp_V4i);
 442   tmp_V4i = __builtin_ia32_sha256msg1(tmp_V4i, tmp_V4i);
 443   tmp_V4i = __builtin_ia32_sha256msg2(tmp_V4i, tmp_V4i);
 444 #endif
 445 }