content/test/data/gpu/webgl_conformance_test_expectations.txt

   1 // Copyright (c) 2012 The Chromium Authors. All rights reserved.
   2 // Use of this source code is governed by a BSD-style license that can be
   3 // found in the LICENSE file.
   4
   5 // This file contains a list of defective WebGL conformance tests. The expected
   6 // format is:
   7 //  {BUG#} {MODIFIERS} : {TEST_NAME} = {PASS,FAIL,FLAKY,TIMEOUT,SKIP}
   8 //
   9 // MODIFIERS can be a combination of the below list:
  10 //  WIN XP VISTA WIN7 MAC LEOPARD SNOWLEOPARD LION LINUX CHROMEOS MOUNTAINLION
  11 //  NVIDIA AMD INTEL
  12 //  0x**** (this is a gpu's PCI device ID)
  13 //  DEBUG RELEASE
  14 //
  15 // TEST_NAME can be a specific test name, or have a '*' in the end, which
  16 // indicates a prefix matching.
  17 //
  18 // Any tests whose expectations are not PASS will be skipped on the bots.
  19 //
  20 // Examples:
  21 //  91530 MAC WIN LINUX : context_lost_restored = TIMEOUT
  22 //  91533 WIN : gl_min_uniforms = FAIL
  23 //  91531 MAC WIN LINUX : conformance_more_* = SKIP
  24 //  91532 MAC NVIDIA 0x0640 : tex_image_and_sub_image_2d_with_video = PASS FAIL
  25
  26 134743 WIN : conformance_extensions_oes_standard_derivatives = FAIL
  27
  28 UNFILED MAC WIN LINUX : conformance_more_* = SKIP
  29 UNFILED MAC WIN LINUX : conformance_ogles_* = SKIP
  30
  31 UNFILED MAC WIN LINUX : conformance_state_gl_get_calls = FAIL
  32 UNFILED MAC WIN LINUX : conformance_attribs_gl_vertex_attrib_render = FAIL
  33
  34 UNFILED MAC DEBUG : conformance_uniforms_uniform_samplers_test = FAIL
  35 UNFILED WIN : conformance_uniforms_uniform_samplers_test = FAIL
  36 UNFILED LINUX NVIDIA AMD : conformance_uniforms_uniform_samplers_test = FAIL
  37
  38 UNFILED WIN MAC : conformance_glsl_misc_shader_with_short_circuiting_operators = FAIL
  39
  40 UNFILED WIN LINUX : conformance_textures_texture_attachment_formats = FAIL
  41
  42 125963 MAC AMD : conformance_programs_use_program_crash_with_discard_in_fragment_shader = FAIL
  43 125963 MAC AMD : conformance_typedarrays_data_view_test = FAIL
  44
  45 125864 WIN : conformance_canvas_texture_bindings_unaffected_on_resize = FAIL
  46 125864 WIN : conformance_glsl_misc_shader_with_comma_assignment = FAIL
  47 125864 WIN : conformance_glsl_misc_shader_with_comma_conditional_assignment = FAIL
  48 125864 WIN : conformance_programs_gl_bind_attrib_location_long_names_test = FAIL
  49 125864 WIN : conformance_textures_texture_upload_cube_maps = FAIL
  50
  51 131260 WIN DEBUG : conformance_extensions_oes_texture_float_with_video = FLAKY
  52 131260 WIN DEBUG : conformance_textures_tex_image_and_sub_image_2d_with_video = FLAKY
  53 131260 WIN DEBUG : conformance_textures_tex_image_and_sub_image_2d_with_video_rgb565 = FLAKY
  54
  55 125864 MAC WIN LINUX : conformance_uniforms_uniform_default_values = FAIL
  56
  57 125864 LINUX : conformance_extensions_ext_texture_filter_anisotropic = FAIL
  58
  59 125864 MAC : conformance_glsl_misc_glsl_vertex_branch = FAIL
  60 125864 MAC : conformance_glsl_misc_shader_with_gles_1_frag = FAIL
  61
  62 UNFILED MAC WIN LINUX : conformance_glsl_misc_shader_with_conditional_scoping = FAIL
  63 UNFILED MAC WIN LINUX : conformance_glsl_misc_shader_with_do_scoping = FAIL
  64 UNFILED MAC WIN LINUX : conformance_glsl_misc_shader_with_for_scoping = FAIL
  65 UNFILED MAC WIN LINUX : conformance_glsl_misc_shader_with_functional_scoping = FAIL
  66 UNFILED MAC WIN LINUX : conformance_glsl_misc_shader_with_hex_int_constant_macro = FAIL
  67 UNFILED MAC WIN LINUX : conformance_glsl_misc_shader_with_vec4_vec3_vec4_conditional = FAIL
  68
  69 125679 MAC WIN LINUX : conformance_buffers_index_validation = FAIL
  70 125679 MAC WIN LINUX : conformance_context_context_creation_and_destruction = FAIL
  71 125679 WIN LINUX : conformance_glsl_misc_shader_with_non_reserved_words = FAIL
  72
  73 113695 MAC WIN LINUX : conformance_misc_instanceof_test = FAIL
  74
  75 UNFILED MAC WIN LINUX : conformance_textures_origin_clean_conformance = FAIL
  76
  77 UNFILED WIN : conformance_glsl_functions_glsl_function_atan = FAIL
  78 UNFILED WIN : conformance_glsl_functions_glsl_function_atan_xy = FAIL
  79 UNFILED WIN : conformance_glsl_misc_struct_nesting_under_maximum = FAIL
  80
  81 UNFILED WIN : conformance_extensions_webgl_compressed_texture_s3tc = FAIL
  82 UNFILED WIN : conformance_glsl_samplers_glsl_function_texture2d_bias = FAIL
  83
  84 UNFILED XP NVIDIA : conformance_textures_texture_mips = FAIL
  85
  86 UNFILED WIN7 INTEL : conformance_context_context_attributes_alpha_depth_stencil_antialias = FAIL
  87 UNFILED WIN7 INTEL : conformance_context_context_lost_restored = FAIL
  88 UNFILED WIN7 INTEL : conformance_context_premultiplyalpha_test = FAIL
  89 UNFILED WIN7 INTEL : conformance_extensions_oes_texture_float = FAIL
  90 UNFILED WIN7 INTEL : conformance_limits_gl_min_attribs = FAIL
  91 UNFILED WIN7 INTEL : conformance_limits_gl_max_texture_dimensions = FAIL
  92 UNFILED WIN7 INTEL : conformance_limits_gl_min_textures = FAIL
  93 UNFILED WIN7 INTEL : conformance_limits_gl_min_uniforms = FAIL
  94 UNFILED WIN7 INTEL : conformance_rendering_gl_clear = FAIL
  95 UNFILED WIN7 INTEL : conformance_textures_copy_tex_image_and_sub_image_2d = FAIL
  96 UNFILED WIN7 INTEL : conformance_textures_gl_teximage = FAIL
  97 UNFILED WIN7 INTEL : conformance_textures_tex_image_and_sub_image_2d_with_array_buffer_view = FAIL
  98 UNFILED WIN7 INTEL : conformance_textures_tex_image_and_sub_image_2d_with_image_data = FAIL
  99 UNFILED WIN7 INTEL : conformance_textures_tex_image_with_format_and_type = FAIL
 100 UNFILED WIN7 INTEL : conformance_textures_tex_sub_image_2d = FAIL
 101 UNFILED WIN7 INTEL : conformance_textures_texparameter_test = FAIL
 102 UNFILED WIN7 INTEL : conformance_textures_texture_active_bind_2 = FAIL
 103 UNFILED WIN7 INTEL : conformance_textures_texture_active_bind = FAIL
 104 UNFILED WIN7 INTEL : conformance_textures_texture_complete = FAIL
 105 UNFILED WIN7 INTEL : conformance_textures_texture_formats_test = FAIL
 106 UNFILED WIN7 INTEL : conformance_textures_texture_mips = FAIL
 107 UNFILED WIN7 INTEL : conformance_textures_texture_npot = FAIL
 108 UNFILED WIN7 INTEL : conformance_textures_texture_size_cube_maps = FAIL
 109 UNFILED WIN7 INTEL : conformance_glsl_functions_glsl_function_asin = FAIL
 110 UNFILED WIN7 INTEL : conformance_glsl_variables_gl_fragcoord = FAIL
 111 UNFILED WIN7 INTEL : conformance_glsl_variables_gl_pointcoord = FAIL
 112
 113 UNFILED WIN7 INTEL : conformance_misc_delayed_drawing = FAIL
 114 UNFILED WIN7 INTEL : conformance_textures_texture_clear = FAIL
 115 UNFILED WIN7 INTEL : conformance_glsl_samplers_glsl_function_texture2dlod = FAIL
 116
 117 UNFILED WIN7 INTEL : conformance_attribs_gl_disabled_vertex_attrib = FAIL
 118 UNFILED WIN7 INTEL : conformance_extensions_oes_texture_float_with_image_data = FAIL
 119 UNFILED WIN7 INTEL : conformance_glsl_samplers_glsl_function_texture2dproj = FLAKY
 120
 121 UNFILED WIN7 INTEL : conformance_renderbuffers_framebuffer_state_restoration = FAIL
 122 UNFILED WIN7 INTEL : conformance_textures_tex_image_and_sub_image_2d_with_image_data_rgb565 = FAIL
 123 UNFILED WIN7 INTEL : conformance_textures_tex_image_and_sub_image_2d_with_image_data_rgba4444 = FAIL
 124 UNFILED WIN7 INTEL : conformance_textures_tex_image_and_sub_image_2d_with_image_data_rgba5551 = FAIL
 125
 126 162344 WIN7 DEBUG NVIDIA : conformance_textures_tex_image_and_sub_image_2d_with_video_rgba4444 = TIMEOUT
 127 162344 WIN7 DEBUG NVIDIA : conformance_textures_tex_image_and_sub_image_2d_with_video_rgba5551 = TIMEOUT
 128
 129 UNFILED MAC INTEL : conformance_glsl_functions_glsl_function_asin = FAIL
 130 UNFILED MAC INTEL : conformance_glsl_functions_glsl_function_dot = FAIL
 131 UNFILED MAC INTEL : conformance_glsl_functions_glsl_function_faceforward = FAIL
 132 UNFILED MAC INTEL : conformance_glsl_functions_glsl_function_length = FAIL
 133 UNFILED MAC INTEL : conformance_glsl_functions_glsl_function_normalize = FAIL
 134 UNFILED MAC INTEL : conformance_glsl_functions_glsl_function_reflect = FAIL
 135 UNFILED MAC INTEL : conformance_glsl_functions_glsl_function_smoothstep_gentype = FAIL
 136 UNFILED MAC INTEL : conformance_glsl_variables_gl_pointcoord = FAIL
 137 UNFILED MAC INTEL : conformance_limits_gl_max_texture_dimensions = FAIL
 138 UNFILED MAC INTEL : conformance_rendering_line_loop_tri_fan = FAIL
 139
 140 UNFILED MAC AMD : conformance_attribs_gl_vertex_attrib = FAIL
 141 UNFILED MAC AMD : conformance_attribs_gl_vertexattribpointer_offsets = FAIL
 142 UNFILED MAC AMD : conformance_attribs_gl_vertexattribpointer = FAIL
 143 UNFILED MAC AMD : conformance_misc_type_conversion_test = FAIL
 144 UNFILED MAC AMD : conformance_renderbuffers_framebuffer_object_attachment = FAIL
 145 196706 MOUNTAINLION AMD : conformance_textures_copy_tex_image_and_sub_image_2d = FAIL
 146 196706 LION : conformance_textures_copy_tex_image_and_sub_image_2d = FAIL
 147 UNFILED MAC AMD : conformance_typedarrays_array_unit_tests = FAIL
 148 UNFILED MAC AMD : conformance_glsl_functions_glsl_function_distance = FAIL
 149 UNFILED MAC AMD : conformance_glsl_functions_glsl_function_dot = FAIL
 150 UNFILED MAC AMD : conformance_glsl_functions_glsl_function_length = FAIL
 151 UNFILED MAC AMD : conformance_glsl_variables_gl_pointcoord = FAIL
 152 UNFILED MAC AMD : conformance_reading_read_pixels_test = TIMEOUT
 153 122651 MAC AMD : conformance_misc_object_deletion_behaviour = TIMEOUT
 154
 155 // Retina Macbook bots
 156 144312 MAC NVIDIA 0x0fd5 : conformance_textures_gl_teximage = FLAKY
 157
 158 UNFILED LINUX NVIDIA : conformance_uniforms_uniform_location = FAIL
 159 UNFILED LINUX NVIDIA : conformance_textures_texture_mips = FAIL
 160
 161 UNFILED LINUX INTEL : conformance_renderbuffers_framebuffer_object_attachment = FAIL
 162 UNFILED LINUX INTEL : conformance_state_gl_object_get_calls = FAIL
 163 UNFILED LINUX INTEL : conformance_textures_texture_npot = FAIL
 164 UNFILED LINUX INTEL : conformance_glsl_variables_gl_pointcoord = FAIL
 165
 166 UNFILED LINUX INTEL : conformance_extensions_webgl_compressed_texture_s3tc = FAIL
 167 UNFILED LINUX INTEL : conformance_glsl_samplers_glsl_function_texture2dlod = FAIL
 168
 169 UNFILED LINUX INTEL : conformance_glsl_functions_glsl_function_cos = FAIL
 170
 171 UNFILED LINUX INTEL : conformance_canvas_framebuffer_bindings_unaffected_on_resize = FAIL
 172
 173 UNFILED LINUX AMD : conformance_misc_object_deletion_behaviour = FAIL
 174 UNFILED LINUX AMD : conformance_textures_texture_mips = FAIL
 175
 176 121139 MAC : conformance_textures_texture_size = FAIL
 177 121139 WIN INTEL : conformance_textures_texture_size = FAIL
 178 121139 LINUX AMD : conformance_textures_texture_size = FAIL
 179 121139 WIN7 NVIDIA DEBUG : conformance_textures_texture_size = FAIL
 180
 181 137892 LINUX INTEL : conformance_glsl_functions_glsl_function_acos = FAIL
 182 137892 LINUX INTEL : conformance_glsl_functions_glsl_function_asin = FAIL
 183 137892 LINUX INTEL : conformance_glsl_functions_glsl_function_atan = FAIL
 184 137892 LINUX INTEL : conformance_glsl_functions_glsl_function_atan_xy = FAIL
 185 137892 LINUX INTEL : conformance_glsl_functions_glsl_function_sin = FAIL
 186 137892 LINUX INTEL : conformance_reading_read_pixels_test = FAIL
 187 137892 LINUX INTEL : conformance_rendering_point_size = FAIL
 188 137892 LINUX INTEL : conformance_textures_texture_mips = FAIL
 189
 190 173794 LINUX NVIDIA : conformance_attribs_gl_disabled_vertex_attrib = FLAKY
 191
 192 254742 LINUX DEBUG : conformance_attribs_gl_enable_vertex_atrib = TIMEOUT
 193 254742 LINUX DEBUG : conformance_attribs_gl_vertex_attrib_zero_issues = TIMEOUT
 194
 195 ////////////////////////////////////////////////////////////////////////////////
 196 //
 197 //  Temprory entries: they should be removed once the bugs are fixed.
 198 //
 199 ////////////////////////////////////////////////////////////////////////////////