test/permutations.test

   1 # 2008 June 21
   2 #
   3 # The author disclaims copyright to this source code.  In place of
   4 # a legal notice, here is a blessing:
   5 #
   6 #    May you do good and not evil.
   7 #    May you find forgiveness for yourself and forgive others.
   8 #    May you share freely, never taking more than you give.
   9 #
  10 #***********************************************************************
  11 #
  12
  13 set testdir [file dirname $argv0]
  14 source $testdir/tester.tcl
  15 db close
  16
  17 #-------------------------------------------------------------------------
  18 # test_suite NAME OPTIONS
  19 #
  20 # where available options are:
  21 #
  22 #       -description TITLE                  (default "")
  23 #       -initialize  SCRIPT                 (default "")
  24 #       -shutdown    SCRIPT                 (default "")
  25 #       -presql      SQL                    (default "")
  26 #       -files       LIST-OF-FILES          (default $::ALLTESTS)
  27 #       -prefix      NAME                   (default "$::NAME.")
  28 #       -dbconfig    SCRIPT                 (default "")
  29 #
  30 proc test_suite {name args} {
  31
  32   set default(-shutdown)    ""
  33   set default(-initialize)  ""
  34   set default(-presql)      ""
  35   set default(-description) "no description supplied (fixme)"
  36   set default(-files)       ""
  37   set default(-prefix)      "${name}."
  38   set default(-dbconfig)    ""
  39
  40   array set options [array get default]
  41   if {[llength $args]%2} {
  42     error "uneven number of options/switches passed to test_suite"
  43   }
  44   foreach {k v} $args {
  45     set o [array names options ${k}*]
  46     if {[llength $o]>1}  { error "ambiguous option: $k" }
  47     if {[llength $o]==0} { error "unknown option: $k" }
  48     set options([lindex $o 0]) $v
  49   }
  50
  51   set     ::testspec($name) [array get options]
  52   lappend ::testsuitelist $name
  53 }
  54
  55 #-------------------------------------------------------------------------
  56 # test_set ARGS...
  57 #
  58 proc test_set {args} {
  59   set isExclude 0
  60   foreach a $args {
  61     if {[string match -* $a]} {
  62       switch -- $a {
  63         -include { set isExclude 0 }
  64         -exclude { set isExclude 1 }
  65         default {
  66           error "Unknown switch: $a"
  67         }
  68       }
  69     } elseif {$isExclude == 0} {
  70       foreach f $a { set t($f) 1 }
  71     } else {
  72       foreach f $a { array unset t $f }
  73       foreach f $a { array unset t */$f }
  74     }
  75   }
  76
  77   return [array names t]
  78 }
  79
  80 #-------------------------------------------------------------------------
  81 # Set up the following global list variables containing the names of
  82 # various test scripts:
  83 #
  84 #   $alltests
  85 #   $allquicktests
  86 #
  87 set alltests [list]
  88 foreach f [glob $testdir/*.test] { lappend alltests [file tail $f] }
  89 foreach f [glob -nocomplain       \
  90     $testdir/../ext/rtree/*.test  \
  91     $testdir/../ext/fts5/test/*.test   \
  92     $testdir/../ext/lsm1/test/*.test   \
  93 ] {
  94   lappend alltests $f
  95 }
  96 foreach f [glob -nocomplain $testdir/../ext/session/*.test] {
  97   lappend alltests $f
  98 }
  99
 100 if {$::tcl_platform(platform)!="unix"} {
 101   set alltests [test_set $alltests -exclude crash.test crash2.test]
 102 }
 103 set alltests [test_set $alltests -exclude {
 104   all.test        async.test         quick.test  veryquick.test
 105   memleak.test    permutations.test  soak.test   fts3.test
 106   mallocAll.test  rtree.test         full.test   extraquick.test
 107   session.test
 108 }]
 109
 110 set allquicktests [test_set $alltests -exclude {
 111   async2.test async3.test backup_ioerr.test corrupt.test
 112   corruptC.test crash.test crash2.test crash3.test crash4.test crash5.test
 113   crash6.test crash7.test delete3.test e_fts3.test fts3rnd.test
 114   fkey_malloc.test fuzz.test fuzz3.test fuzz_malloc.test in2.test loadext.test
 115   misc7.test mutex2.test notify2.test onefile.test pagerfault2.test
 116   savepoint4.test savepoint6.test select9.test
 117   speed1.test speed1p.test speed2.test speed3.test speed4.test
 118   speed4p.test sqllimits1.test tkt2686.test thread001.test thread002.test
 119   thread003.test thread004.test thread005.test trans2.test vacuum3.test
 120   incrvacuum_ioerr.test autovacuum_crash.test btree8.test shared_err.test
 121   vtab_err.test walslow.test walcrash.test walcrash3.test
 122   walthread.test rtree3.test indexfault.test securedel2.test
 123   sort3.test sort4.test fts4growth.test fts4growth2.test
 124   bigsort.test rbu.test walprotocol.test mmap4.test fuzzer2.test
 125   walcrash2.test e_fkey.test backup.test
 126
 127   fts4merge.test fts4merge2.test fts4merge4.test fts4check.test
 128   fts3cov.test fts3snippet.test fts3corrupt2.test fts3an.test
 129   fts3defer.test fts4langid.test fts3sort.test fts5unicode.test
 130
 131   rtree4.test
 132 }]
 133 if {[info exists ::env(QUICKTEST_INCLUDE)]} {
 134   set allquicktests [concat $allquicktests $::env(QUICKTEST_INCLUDE)]
 135 }
 136 if {[info exists ::env(QUICKTEST_OMIT)]} {
 137   foreach x [split $::env(QUICKTEST_OMIT) ,] {
 138     regsub -all \\y$x\\y $allquicktests {} allquicktests
 139   }
 140 }
 141
 142 # If the TEST_FAILURE environment variable is set, it means that we what to
 143 # deliberately provoke test failures in order to test the test infrastructure.
 144 # Only the main.test module is needed for this.
 145 #
 146 if {[info exists ::env(TEST_FAILURE)]} {
 147   set allquicktests main.test
 148 }
 149
 150 #############################################################################
 151 # Start of tests
 152 #
 153
 154 #-------------------------------------------------------------------------
 155 # Define the generic test suites:
 156 #
 157 #   veryquick
 158 #   quick
 159 #   full
 160 #
 161 lappend ::testsuitelist xxx
 162
 163 test_suite "veryquick" -prefix "" -description {
 164   "Very" quick test suite. Runs in minutes on a workstation.
 165   This test suite is the same as the "quick" tests, except that some files
 166   that test malloc and IO errors are omitted.
 167 } -files [
 168   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *bigfile* *_err* \
 169       *fts5corrupt* *fts5big* *fts5aj*
 170 ]
 171
 172 test_suite "extraquick" -prefix "" -description {
 173   "Extra" quick test suite. Runs in a few minutes on a workstation.
 174   This test suite is the same as the "veryquick" tests, except that
 175   slower tests are omitted.
 176 } -files [
 177   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *bigfile* *_err* \
 178      wal3.test fts4merge* sort2.test mmap1.test walcrash* \
 179      percentile.test where8m.test walcksum.test savepoint3.test \
 180      fuzzer1.test fuzzer3.test fts3expr3.test
 181 ]
 182
 183 test_suite "mmap" -prefix "mm-" -description {
 184   Similar to veryquick. Except with memory mapping enabled.
 185 } -presql {
 186   pragma mmap_size = 268435456;
 187 } -files [
 188   test_set $allquicktests -exclude *malloc* *ioerr* *fault* -include malloc.test
 189 ]
 190
 191 test_suite "valgrind" -prefix "" -description {
 192   Run the "veryquick" test suite with a couple of multi-process tests (that
 193   fail under valgrind) omitted.
 194 } -files [
 195   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *_err* wal.test \
 196               shell*.test crash8.test atof1.test selectG.test \
 197               tkt-fc62af4523.test numindex1.test
 198 ] -initialize {
 199   set ::G(valgrind) 1
 200 } -shutdown {
 201   unset -nocomplain ::G(valgrind)
 202 }
 203
 204 test_suite "valgrind-nolookaside" -prefix "" -description {
 205   Run the "veryquick" test suite with a couple of multi-process tests (that
 206   fail under valgrind) omitted.
 207 } -files [
 208   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *_err* \
 209       wal.test atof1.test
 210 ] -initialize {
 211   set ::G(valgrind) 1
 212   catch {db close}
 213   sqlite3_shutdown
 214   sqlite3_config_lookaside 0 0
 215   sqlite3_initialize
 216   autoinstall_test_functions
 217 } -shutdown {
 218   catch {db close}
 219   sqlite3_shutdown
 220   sqlite3_config_lookaside 100 500
 221   sqlite3_initialize
 222   autoinstall_test_functions
 223   unset -nocomplain ::G(valgrind)
 224 }
 225
 226
 227 test_suite "quick" -prefix "" -description {
 228   Quick test suite. Runs in around 10 minutes on a workstation.
 229 } -files [
 230   test_set $allquicktests
 231 ]
 232
 233 test_suite "full" -prefix "" -description {
 234   Full test suite. Takes a long time.
 235 } -files [
 236   test_set $alltests
 237 ] -initialize {
 238   unset -nocomplain ::G(isquick)
 239 }
 240
 241 test_suite "threads" -prefix "" -description {
 242   All multi-threaded tests.
 243 } -files {
 244   notify2.test   thread001.test thread002.test thread003.test
 245   thread004.test thread005.test walthread.test
 246 }
 247
 248 test_suite "fts3" -prefix "" -description {
 249   All FTS3 tests except fts3rnd.test.
 250 } -files {
 251   fts3aa.test fts3ab.test fts3ac.test fts3ad.test
 252   fts3ae.test fts3af.test fts3ag.test fts3ah.test
 253   fts3ai.test fts3aj.test fts3ak.test fts3al.test
 254   fts3am.test fts3an.test fts3ao.test fts3atoken.test
 255   fts3auto.test fts3aux1.test fts3aux2.test fts3b.test
 256   fts3comp1.test fts3conf.test fts3corrupt2.test fts3corrupt.test
 257   fts3cov.test fts3c.test fts3defer2.test fts3defer3.test
 258   fts3defer.test fts3drop.test fts3d.test fts3e.test
 259   fts3expr2.test fts3expr3.test fts3expr4.test fts3expr5.test
 260   fts3expr.test fts3fault2.test fts3fault.test fts3first.test
 261   fts3join.test fts3malloc.test fts3matchinfo.test fts3near.test
 262   fts3offsets.test fts3prefix2.test fts3prefix.test fts3query.test
 263   fts3shared.test fts3snippet.test fts3sort.test fts3tok1.test
 264   fts3tok_err.test fts3varint.test fts4aa.test fts4check.test
 265   fts4content.test fts4docid.test fts4growth2.test fts4growth.test
 266   fts4incr.test fts4langid.test fts4lastrowid.test fts4merge2.test
 267   fts4merge4.test fts4merge.test fts4noti.test fts4onepass.test
 268   fts4opt.test fts4unicode.test
 269   fts3corrupt3.test
 270   fts3misc.test
 271 }
 272
 273 test_suite "fts5" -prefix "" -description {
 274   All FTS5 tests.
 275 } -files [glob -nocomplain $::testdir/../ext/fts5/test/*.test]
 276
 277 test_suite "fts5-light" -prefix "" -description {
 278   All FTS5 tests.
 279 } -files [
 280   test_set \
 281       [glob -nocomplain $::testdir/../ext/fts5/test/*.test] \
 282       -exclude *corrupt* *fault* *big* *fts5aj*
 283 ]
 284
 285 test_suite "lsm1" -prefix "" -description {
 286   All LSM1 tests.
 287 } -files [glob -nocomplain $::testdir/../ext/lsm1/test/*.test]
 288
 289 test_suite "nofaultsim" -prefix "" -description {
 290   "Very" quick test suite. Runs in less than 5 minutes on a workstation.
 291   This test suite is the same as the "quick" tests, except that some files
 292   that test malloc and IO errors are omitted.
 293 } -files [
 294   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *_err*
 295 ] -initialize {
 296   catch {db close}
 297   sqlite3_shutdown
 298   install_malloc_faultsim 0
 299   sqlite3_initialize
 300   autoinstall_test_functions
 301 } -shutdown {
 302   unset -nocomplain ::G(valgrind)
 303 }
 304
 305 test_suite "queryplanner" -prefix "" -description {
 306   Tests of the query planner and query optimizer
 307 } -files {
 308   alter2.test alter3.test alter4.test alter.test analyze3.test
 309   analyze4.test analyze5.test analyze6.test analyze7.test analyze8.test
 310   analyze.test attach2.test attach3.test attach4.test
 311   attach.test autoinc.test autoindex1.test between.test cast.test
 312   check.test closure01.test coalesce.test collate1.test collate2.test
 313   collate3.test collate4.test collate5.test collate6.test collate7.test
 314   collate8.test collate9.test collateA.test colmeta.test colname.test
 315   conflict.test count.test coveridxscan.test createtab.test cse.test
 316   date.test dbstatus2.test dbstatus.test default.test delete2.test
 317   delete3.test delete.test descidx1.test descidx2.test descidx3.test
 318   distinctagg.test distinct.test e_createtable.test e_delete.test
 319   e_droptrigger.test e_dropview.test e_expr.test e_insert.test
 320   eqp.test e_reindex.test e_resolve.test e_select2.test e_select.test
 321   e_update.test exists.test expr.test fkey1.test fkey2.test fkey3.test
 322   fkey4.test fkey5.test func2.test func3.test func.test
 323   in3.test in4.test in5.test index2.test index3.test
 324   index4.test index5.test indexedby.test index.test
 325   insert2.test insert3.test insert4.test insert5.test insert.test
 326   instr.test in.test intpkey.test join2.test join3.test join4.test
 327   join5.test join6.test join.test like2.test like.test limit.test
 328   minmax2.test minmax3.test minmax4.test minmax.test misc1.test misc2.test
 329   misc3.test misc4.test misc5.test misc6.test misc7.test orderby1.test
 330   orderby2.test orderby3.test orderby4.test randexpr1.test regexp1.test
 331   reindex.test rowhash.test rowid.test schema2.test schema3.test
 332   schema4.test schema5.test schema.test
 333   select1.test select2.test select3.test select4.test select5.test
 334   select6.test select7.test select8.test select9.test selectA.test
 335   selectB.test selectC.test selectD.test selectE.test sidedelete.test
 336   sort.test spellfix.test subquery2.test subquery.test subselect.test
 337   substr.test tkt-02a8e81d44.test tkt1435.test tkt1443.test tkt1444.test
 338   tkt1449.test tkt1473.test tkt1501.test tkt1512.test tkt1514.test
 339   tkt1536.test tkt1537.test tkt1567.test tkt1644.test tkt1667.test
 340   tkt1873.test tkt2141.test tkt2192.test tkt2213.test tkt2251.test
 341   tkt2285.test tkt2332.test tkt2339.test tkt2391.test tkt2409.test
 342   tkt2450.test tkt2565.test tkt2640.test tkt2643.test tkt2686.test
 343   tkt-26ff0c2d1e.test tkt2767.test tkt2817.test tkt2820.test tkt2822.test
 344   tkt2832.test tkt2854.test tkt2920.test tkt2927.test tkt2942.test
 345   tkt-2a5629202f.test tkt-2d1a5c67d.test tkt-2ea2425d34.test tkt3080.test
 346   tkt3093.test tkt3121.test tkt-31338dca7e.test tkt-313723c356.test
 347   tkt3201.test tkt3292.test tkt3298.test tkt3334.test tkt3346.test
 348   tkt3357.test tkt3419.test tkt3424.test tkt3442.test tkt3457.test
 349   tkt3461.test tkt3493.test tkt3508.test tkt3522.test tkt3527.test
 350   tkt3541.test tkt3554.test tkt3581.test tkt35xx.test tkt3630.test
 351   tkt3718.test tkt3731.test tkt3757.test tkt3761.test tkt3762.test
 352   tkt3773.test tkt3791.test tkt3793.test tkt3810.test tkt3824.test
 353   tkt3832.test tkt3838.test tkt3841.test tkt-385a5b56b9.test tkt3871.test
 354   tkt3879.test tkt-38cb5df375.test tkt3911.test tkt3918.test tkt3922.test
 355   tkt3929.test tkt3935.test tkt3992.test tkt3997.test tkt-3998683a16.test
 356   tkt-3a77c9714e.test tkt-3fe897352e.test tkt4018.test tkt-4a03edc4c8.test
 357   tkt-4dd95f6943.test tkt-54844eea3f.test tkt-5d863f876e.test
 358   tkt-5e10420e8d.test tkt-5ee23731f.test tkt-6bfb98dfc0.test
 359   tkt-752e1646fc.test tkt-78e04e52ea.test tkt-7a31705a7e6.test
 360   tkt-7bbfb7d442.test tkt-80ba201079.test tkt-80e031a00f.test
 361   tkt-8454a207b9.test tkt-91e2e8ba6f.test tkt-94c04eaadb.test
 362   tkt-9d68c883.test tkt-a7b7803e.test tkt-b1d3a2e531.test
 363   tkt-b351d95f9.test tkt-b72787b1.test tkt-bd484a090c.test
 364   tkt-bdc6bbbb38.test tkt-c48d99d690.test tkt-cbd054fa6b.test
 365   tkt-d11f09d36e.test tkt-d635236375.test tkt-d82e3f3721.test
 366   tkt-f3e5abed55.test tkt-f777251dc7a.test tkt-f7b4edec.test
 367   tkt-f973c7ac31.test tkt-fa7bf5ec.test tkt-fc62af4523.test
 368   tkt-fc7bd6358f.test trigger1.test trigger2.test trigger3.test
 369   trigger4.test trigger5.test trigger6.test trigger7.test trigger8.test
 370   trigger9.test triggerA.test triggerB.test triggerC.test triggerD.test
 371   types2.test types3.test types.test unique.test unordered.test
 372   update.test view.test vtab1.test vtab2.test vtab3.test vtab4.test
 373   vtab5.test vtab6.test vtab7.test vtab8.test vtab9.test vtab_alter.test
 374   vtabA.test vtabB.test vtabC.test vtabD.test vtabE.test
 375   vtabF.test where2.test where3.test where4.test where5.test where6.test
 376   where7.test where8m.test where8.test where9.test whereA.test whereB.test
 377   whereC.test whereD.test whereE.test whereF.test wherelimit.test
 378   where.test
 379 }
 380
 381 test_suite "vfslog" -prefix "" -description {
 382   "Vfslog" quick test suite. Like "veryquick" except does not omits
 383   a few tests that do not work with a version 1 VFS. And the quota* tests,
 384   which do not work with a VFS that uses the pVfs argument passed to
 385   sqlite3_vfs methods.
 386 } -files [
 387   test_set $allquicktests -exclude *malloc* *ioerr* *fault* oserror.test \
 388   pager1.test syscall.test sysfault.test tkt3457.test quota* superlock* \
 389   wal* mmap*
 390 ]
 391
 392 lappend ::testsuitelist xxx
 393 #-------------------------------------------------------------------------
 394 # Define the coverage related test suites:
 395 #
 396 #   coverage-wal
 397 #
 398 test_suite "coverage-wal" -description {
 399   Coverage tests for file wal.c.
 400 } -files {
 401   wal.test       wal2.test     wal3.test       walmode.test
 402   walbak.test    walhook.test  walcrash2.test  walcksum.test
 403   walfault.test  walbig.test   walnoshm.test
 404   wal5.test
 405 }
 406
 407 test_suite "coverage-pager" -description {
 408   Coverage tests for file pager.c.
 409 } -files {
 410   pager1.test    pager2.test  pagerfault.test  pagerfault2.test
 411   walfault.test  walbak.test  journal2.test    tkt-9d68c883.test
 412 }
 413
 414 test_suite "coverage-analyze" -description {
 415   Coverage tests for file analyze.c.
 416 } -files {
 417   analyze3.test analyze4.test analyze5.test analyze6.test
 418   analyze7.test analyze8.test analyze9.test analyzeA.test
 419   analyze.test analyzeB.test mallocA.test
 420 }
 421
 422 test_suite "coverage-sorter" -description {
 423   Coverage tests for file vdbesort.c.
 424 } -files {
 425   sort.test sortfault.test
 426 }
 427
 428
 429 lappend ::testsuitelist xxx
 430 #-------------------------------------------------------------------------
 431 # Define the permutation test suites:
 432 #
 433
 434 # Run some tests using pre-allocated page and scratch blocks.
 435 #
 436 # mmap1.test is excluded because a good number of its tests depend on
 437 # the page-cache being larger than the database. But this permutation
 438 # causes the effective limit on the page-cache to be just 24 pages.
 439 #
 440 test_suite "memsubsys1" -description {
 441   Tests using pre-allocated page and scratch blocks
 442 } -files [
 443   test_set $::allquicktests -exclude ioerr5.test malloc5.test mmap1.test
 444 ] -initialize {
 445   test_set_config_pagecache 4096 24
 446   catch {db close}
 447   sqlite3_shutdown
 448   sqlite3_config_scratch 25000 1
 449   sqlite3_initialize
 450   autoinstall_test_functions
 451 } -shutdown {
 452   test_restore_config_pagecache
 453   catch {db close}
 454   sqlite3_shutdown
 455   sqlite3_config_scratch 0 0
 456   sqlite3_initialize
 457   autoinstall_test_functions
 458 }
 459
 460 # Run some tests using pre-allocated page and scratch blocks. This time
 461 # the allocations are too small to use in most cases.
 462 #
 463 # Both ioerr5.test and malloc5.test are excluded because they test the
 464 # sqlite3_soft_heap_limit() and sqlite3_release_memory() functionality.
 465 # This functionality is disabled if a pre-allocated page block is provided.
 466 #
 467 test_suite "memsubsys2" -description {
 468   Tests using small pre-allocated page and scratch blocks
 469 } -files [
 470   test_set $::allquicktests -exclude ioerr5.test malloc5.test
 471 ] -initialize {
 472   test_set_config_pagecache 512 5
 473   catch {db close}
 474   sqlite3_shutdown
 475   sqlite3_config_scratch 1000 1
 476   sqlite3_initialize
 477   autoinstall_test_functions
 478 } -shutdown {
 479   test_restore_config_pagecache
 480   catch {db close}
 481   sqlite3_shutdown
 482   sqlite3_config_scratch 0 0
 483   sqlite3_initialize
 484   autoinstall_test_functions
 485 }
 486
 487 # Run all tests with the lookaside allocator disabled.
 488 #
 489 test_suite "nolookaside" -description {
 490   OOM tests with lookaside disabled
 491 } -initialize {
 492   catch {db close}
 493   sqlite3_shutdown
 494   sqlite3_config_lookaside 0 0
 495   sqlite3_initialize
 496   autoinstall_test_functions
 497 } -shutdown {
 498   catch {db close}
 499   sqlite3_shutdown
 500   sqlite3_config_lookaside 100 500
 501   sqlite3_initialize
 502   autoinstall_test_functions
 503 } -files $::allquicktests
 504
 505 # Run some tests in SQLITE_CONFIG_SINGLETHREAD mode.
 506 #
 507 test_suite "singlethread" -description {
 508   Tests run in SQLITE_CONFIG_SINGLETHREAD mode
 509 } -initialize {
 510   catch {db close}
 511   sqlite3_shutdown
 512   catch {sqlite3_config singlethread}
 513   sqlite3_initialize
 514   autoinstall_test_functions
 515 } -files {
 516   delete.test   delete2.test  insert.test  rollback.test  select1.test
 517   select2.test  trans.test    update.test  vacuum.test    types.test
 518   types2.test   types3.test
 519 } -shutdown {
 520   catch {db close}
 521   sqlite3_shutdown
 522   catch {sqlite3_config serialized}
 523   sqlite3_initialize
 524   autoinstall_test_functions
 525 }
 526
 527 test_suite "nomutex" -description {
 528   Tests run with the SQLITE_OPEN_MULTITHREADED flag passed to sqlite3_open().
 529 } -initialize {
 530   rename sqlite3 sqlite3_nomutex
 531   proc sqlite3 {args} {
 532     if {[string range [lindex $args 0] 0 0] ne "-"} {
 533       lappend args -fullmutex 0 -nomutex 1
 534     }
 535     uplevel [concat sqlite3_nomutex $args]
 536   }
 537 } -files {
 538   delete.test   delete2.test  insert.test  rollback.test  select1.test
 539   select2.test  trans.test    update.test  vacuum.test    types.test
 540   types2.test   types3.test
 541 } -shutdown {
 542   rename sqlite3 {}
 543   rename sqlite3_nomutex sqlite3
 544 }
 545
 546 # Run some tests in SQLITE_CONFIG_MULTITHREAD mode.
 547 #
 548 test_suite "multithread" -description {
 549   Tests run in SQLITE_CONFIG_MULTITHREAD mode
 550 } -initialize {
 551   catch {db close}
 552   sqlite3_shutdown
 553   catch {sqlite3_config multithread}
 554   sqlite3_initialize
 555   autoinstall_test_functions
 556 } -files {
 557   delete.test   delete2.test  insert.test  rollback.test  select1.test
 558   select2.test  trans.test    update.test  vacuum.test    types.test
 559   types2.test   types3.test   sort4.test
 560 } -shutdown {
 561   catch {db close}
 562   sqlite3_shutdown
 563   catch {sqlite3_config serialized}
 564   sqlite3_initialize
 565   autoinstall_test_functions
 566 }
 567
 568 # Run some tests in SQLITE_OPEN_FULLMUTEX mode.
 569 #
 570 test_suite "fullmutex" -description {
 571   Tests run in SQLITE_OPEN_FULLMUTEX mode
 572 } -initialize {
 573   rename sqlite3 sqlite3_fullmutex
 574   proc sqlite3 {args} {
 575     if {[string range [lindex $args 0] 0 0] ne "-"} {
 576       lappend args -nomutex 0 -fullmutex 1
 577     }
 578     uplevel [concat sqlite3_fullmutex $args]
 579   }
 580 } -files {
 581   delete.test   delete2.test  insert.test  rollback.test  select1.test
 582   select2.test  trans.test    update.test  vacuum.test    types.test
 583   types2.test   types3.test
 584 } -shutdown {
 585   rename sqlite3 {}
 586   rename sqlite3_fullmutex sqlite3
 587 }
 588
 589 # Run some tests using the "onefile" demo.
 590 #
 591 test_suite "onefile" -description {
 592   Run some tests using the "test_onefile.c" demo
 593 } -initialize {
 594   rename sqlite3 sqlite3_onefile
 595   proc sqlite3 {args} {
 596     if {[string range [lindex $args 0] 0 0] ne "-"} {
 597       lappend args -vfs fs
 598     }
 599     uplevel [concat sqlite3_onefile $args]
 600   }
 601 } -files {
 602   conflict.test  insert.test   insert2.test  insert3.test
 603   rollback.test  select1.test  select2.test  select3.test
 604 } -shutdown {
 605   rename sqlite3 {}
 606   rename sqlite3_onefile sqlite3
 607 }
 608
 609 # Run some tests using UTF-16 databases.
 610 #
 611 test_suite "utf16" -description {
 612   Run tests using UTF-16 databases
 613 } -presql {
 614   pragma encoding = 'UTF-16'
 615 } -files {
 616     alter.test alter3.test
 617     analyze.test analyze3.test analyze4.test analyze5.test analyze6.test
 618     analyze7.test analyze8.test analyze9.test analyzeA.test analyzeB.test
 619     auth.test bind.test blob.test capi2.test capi3.test collate1.test
 620     collate2.test collate3.test collate4.test collate5.test collate6.test
 621     conflict.test date.test delete.test expr.test fkey1.test func.test
 622     hook.test index.test insert2.test insert.test interrupt.test in.test
 623     intpkey.test ioerr.test join2.test join.test lastinsert.test
 624     laststmtchanges.test limit.test lock2.test lock.test main.test
 625     memdb.test minmax.test misc1.test misc2.test misc3.test notnull.test
 626     null.test progress.test quote.test rowid.test select1.test select2.test
 627     select3.test select4.test select5.test select6.test sort.test
 628     subselect.test tableapi.test table.test temptable.test
 629     trace.test trigger1.test trigger2.test trigger3.test
 630     trigger4.test types2.test types.test unique.test update.test
 631     vacuum.test view.test where.test
 632     bestindex1.test
 633 }
 634
 635 # Run some tests in exclusive locking mode.
 636 #
 637 test_suite "exclusive" -description {
 638   Run tests in exclusive locking mode.
 639 } -presql {
 640   pragma locking_mode = 'exclusive'
 641 } -files {
 642   rollback.test select1.test select2.test
 643   malloc.test ioerr.test
 644 }
 645
 646 # Run some tests in exclusive locking mode with truncated journals.
 647 #
 648 test_suite "exclusive-truncate" -description {
 649   Run tests in exclusive locking mode and truncate journal mode.
 650 } -presql {
 651   pragma locking_mode = 'exclusive';
 652   pragma journal_mode = TRUNCATE;
 653 } -files {
 654   delete.test delete2.test insert.test rollback.test select1.test
 655   select2.test update.test malloc.test ioerr.test
 656 }
 657
 658 # Run some tests in persistent journal mode.
 659 #
 660 test_suite "persistent_journal" -description {
 661   Run tests in persistent-journal mode.
 662 } -presql {
 663   pragma journal_mode = persist
 664 } -files {
 665   delete.test delete2.test insert.test rollback.test select1.test
 666   select2.test trans.test update.test vacuum.test
 667 }
 668
 669 # Run some tests in truncating journal mode.
 670 #
 671 test_suite "truncate_journal" -description {
 672   Run tests in persistent-journal mode.
 673 } -presql {
 674   pragma journal_mode = truncate
 675 } -files {
 676   delete.test delete2.test insert.test rollback.test select1.test
 677   select2.test trans.test update.test vacuum.test
 678   malloc.test ioerr.test
 679 }
 680
 681 # Run some error tests in persistent journal mode.
 682 #
 683 test_suite "persistent_journal_error" -description {
 684   Run malloc.test and ioerr.test in persistent-journal mode.
 685 } -presql {
 686   pragma journal_mode = persist
 687 } -files {
 688   malloc.test ioerr.test
 689 }
 690
 691 # Run some tests in no journal mode.
 692 #
 693 test_suite "no_journal" -description {
 694   Run tests in no-journal mode.
 695 } -presql {
 696   pragma journal_mode = persist
 697 } -files {
 698   delete.test delete2.test insert.test rollback.test select1.test
 699   select2.test trans.test update.test vacuum.test
 700 }
 701
 702 # Run some error tests in no journal mode.
 703 #
 704 test_suite "no_journal_error" -description {
 705   Run malloc.test and ioerr.test in no-journal mode.
 706 } -presql {
 707   pragma journal_mode = persist
 708 } -files {
 709   malloc.test ioerr.test
 710 }
 711
 712 # Run some crash-tests in autovacuum mode.
 713 #
 714 test_suite "autovacuum_crash" -description {
 715   Run crash.test in autovacuum mode.
 716 } -presql {
 717   pragma auto_vacuum = 1
 718 } -files crash.test
 719
 720 # Run some ioerr-tests in autovacuum mode.
 721 #
 722 test_suite "autovacuum_ioerr" -description {
 723   Run ioerr.test in autovacuum mode.
 724 } -presql {
 725   pragma auto_vacuum = 1
 726 } -files ioerr.test
 727
 728 # Run tests with an in-memory journal.
 729 #
 730 test_suite "inmemory_journal" -description {
 731   Run tests with an in-memory journal file.
 732 } -presql {
 733   pragma journal_mode = 'memory'
 734 } -files [test_set $::allquicktests -exclude {
 735   # Exclude all tests that simulate IO errors.
 736   autovacuum_ioerr2.test cffault.test incrvacuum_ioerr.test ioerr.test
 737   ioerr.test ioerr2.test ioerr3.test ioerr4.test ioerr5.test
 738   vacuum3.test incrblob_err.test diskfull.test backup_ioerr.test
 739   e_fts3.test fts3cov.test fts3malloc.test fts3rnd.test
 740   fts3snippet.test mmapfault.test sessionfault.test sessionfault2.test
 741
 742   # Exclude test scripts that use tcl IO to access journal files or count
 743   # the number of fsync() calls.
 744   pager.test exclusive.test jrnlmode.test sync.test misc1.test
 745   journal1.test conflict.test crash8.test tkt3457.test io.test
 746   journal3.test 8_3_names.test
 747
 748   pager1.test async4.test corrupt.test filefmt.test pager2.test
 749   corrupt5.test corruptA.test pageropt.test
 750
 751   # Exclude stmt.test, which expects sub-journals to use temporary files.
 752   stmt.test symlink.test
 753
 754   zerodamage.test
 755
 756   # WAL mode is different.
 757   wal* tkt-2d1a5c67d.test backcompat.test e_wal* rowallock.test
 758
 759   # This test does not work as the "PRAGMA journal_mode = memory"
 760   # statement switches the database out of wal mode at inopportune
 761   # times.
 762   snapshot_fault.test
 763
 764   # This test assumes a journal file is created on disk.
 765   delete_db.test
 766
 767   # This test depends on a successful recovery from the pager error
 768   # state. Which is not possible with an in-memory journal
 769   fts5fault1.test
 770 }]
 771
 772 ifcapable mem3 {
 773   test_suite "memsys3" -description {
 774     Run tests using the allocator in mem3.c.
 775   } -files [test_set $::allquicktests -exclude {
 776     autovacuum.test           delete3.test              manydb.test
 777     bigrow.test               incrblob2.test            memdb.test
 778     bitvec.test               index2.test               memsubsys1.test
 779     capi3c.test               ioerr.test                memsubsys2.test
 780     capi3.test                join3.test                pagesize.test
 781     collate5.test             limit.test                backup_ioerr.test
 782     backup_malloc.test
 783   }] -initialize {
 784     catch {db close}
 785     sqlite3_reset_auto_extension
 786     sqlite3_shutdown
 787     sqlite3_config_heap 25000000 0
 788     sqlite3_config_lookaside 0 0
 789     ifcapable mem5 {
 790       # If both memsys3 and memsys5 are enabled in the build, the call to
 791       # [sqlite3_config_heap] will initialize the system to use memsys5.
 792       # The following overrides this preference and installs the memsys3
 793       # allocator.
 794       sqlite3_install_memsys3
 795     }
 796     install_malloc_faultsim 1
 797     sqlite3_initialize
 798     autoinstall_test_functions
 799   } -shutdown {
 800     catch {db close}
 801     sqlite3_shutdown
 802     sqlite3_config_heap 0 0
 803     sqlite3_config_lookaside 100 500
 804     install_malloc_faultsim 1
 805     sqlite3_initialize
 806     autoinstall_test_functions
 807   }
 808 }
 809
 810 ifcapable mem5 {
 811   test_suite "memsys5" -description {
 812     Run tests using the allocator in mem5.c.
 813   } -files [test_set $::allquicktests -exclude {
 814     autovacuum.test           delete3.test              manydb.test
 815     bigrow.test               incrblob2.test            memdb.test
 816     bitvec.test               index2.test               memsubsys1.test
 817     capi3c.test               ioerr.test                memsubsys2.test
 818     capi3.test                join3.test                pagesize.test
 819     collate5.test             limit.test                zeroblob.test
 820   }] -initialize {
 821     catch {db close}
 822     sqlite3_shutdown
 823     sqlite3_config_heap 25000000 64
 824     sqlite3_config_lookaside 0 0
 825     install_malloc_faultsim 1
 826     sqlite3_initialize
 827     autoinstall_test_functions
 828   } -shutdown {
 829     catch {db close}
 830     sqlite3_shutdown
 831     sqlite3_config_heap 0 0
 832     sqlite3_config_lookaside 100 500
 833     install_malloc_faultsim 1
 834     sqlite3_initialize
 835     autoinstall_test_functions
 836   }
 837
 838   test_suite "memsys5-2" -description {
 839     Run tests using the allocator in mem5.c in a different configuration.
 840   } -files {
 841     select1.test
 842   } -initialize {
 843     catch {db close}
 844     sqlite3_shutdown
 845     sqlite3_config_memstatus 0
 846     sqlite3_config_heap 40000000 16
 847     sqlite3_config_lookaside 0 0
 848     install_malloc_faultsim 1
 849     sqlite3_initialize
 850     autoinstall_test_functions
 851   } -shutdown {
 852     catch {db close}
 853     sqlite3_shutdown
 854     sqlite3_config_heap 0 0
 855     sqlite3_config_lookaside 100 500
 856     install_malloc_faultsim 1
 857     sqlite3_initialize
 858     autoinstall_test_functions
 859   }
 860 }
 861
 862 ifcapable threadsafe {
 863   test_suite "no_mutex_try" -description {
 864      The sqlite3_mutex_try() interface always fails
 865   } -files [
 866     test_set $::allquicktests -exclude mutex1.test mutex2.test
 867   ] -initialize {
 868     catch {db close}
 869     sqlite3_shutdown
 870     install_mutex_counters 1
 871     set ::disable_mutex_try 1
 872     sqlite3_initialize
 873     autoinstall_test_functions
 874   } -shutdown {
 875     catch {db close}
 876     sqlite3_shutdown
 877     install_mutex_counters 0
 878     sqlite3_initialize
 879     autoinstall_test_functions
 880   }
 881 }
 882
 883 # run_tests "crash_safe_append" -description {
 884 #   Run crash.test with persistent journals on a SAFE_APPEND file-system.
 885 # } -initialize {
 886 #   rename crashsql sa_crashsql
 887 #   proc crashsql {args} {
 888 #     set options [lrange $args 0 [expr {[llength $args]-2}]]
 889 #     lappend options -char safe_append
 890 #     set sql [lindex $args end]
 891 #     lappend options "
 892 #       PRAGMA journal_mode=persistent;
 893 #       $sql
 894 #     "
 895 #     set fd [open test.db-journal w]
 896 #     puts $fd [string repeat 1234567890 100000]
 897 #     close $fd
 898 #     eval sa_crashsql $options
 899 #   }
 900 # } -shutdown {
 901 #   rename crashsql {}
 902 #   rename sa_crashsql crashsql
 903 # } -files crash.test
 904
 905 test_suite "safe_append" -description {
 906   Run some tests on a SAFE_APPEND file-system.
 907 } -initialize {
 908   rename sqlite3 sqlite3_safeappend
 909   proc sqlite3 {args} {
 910     if {[string range [lindex $args 0] 0 0] ne "-"} {
 911       lappend args -vfs devsym
 912     }
 913     uplevel [concat sqlite3_safeappend $args]
 914   }
 915   sqlite3_simulate_device -char safe_append
 916 } -shutdown {
 917   rename sqlite3 {}
 918   rename sqlite3_shutdown sqlite3
 919 } -files [
 920   test_set $::allquicktests shared_err.test -exclude async3.test
 921 ]
 922
 923 # The set of tests to run on the alternative-pcache
 924 set perm-alt-pcache-testset {
 925   async.test
 926   attach.test
 927   delete.test delete2.test
 928   index.test
 929   insert.test insert2.test
 930   join.test join2.test
 931   rollback.test
 932   select1.test select2.test
 933   trans.test
 934   update.test
 935 }
 936
 937 foreach discard_rate {0 10 50 90 100} {
 938   test_suite "pcache${discard_rate}" -description "
 939     Alternative pcache implementation with ${discard_rate}% random discard
 940   " -initialize "
 941     catch {db close}
 942     sqlite3_shutdown
 943     sqlite3_config_alt_pcache 1 $discard_rate 1
 944     sqlite3_initialize
 945     autoinstall_test_functions
 946   " -shutdown {
 947     catch {db close}
 948     sqlite3_shutdown
 949     sqlite3_config_alt_pcache 0 0 0
 950     sqlite3_config_lookaside 100 500
 951     install_malloc_faultsim 1
 952     sqlite3_initialize
 953     autoinstall_test_functions
 954   } -files ${perm-alt-pcache-testset}
 955 }
 956
 957 test_suite "journaltest" -description {
 958   Check that pages are synced before being written (test_journal.c).
 959 } -initialize {
 960   catch {db close}
 961   register_jt_vfs -default ""
 962 } -shutdown {
 963   unregister_jt_vfs
 964 } -files [test_set $::allquicktests -exclude {
 965   wal* incrvacuum.test ioerr.test corrupt4.test io.test crash8.test
 966   async4.test bigfile.test backcompat.test e_wal* fstat.test mmap2.test
 967   pager1.test syscall.test tkt3457.test *malloc* mmap* multiplex* nolock*
 968   pager2.test *fault* rowal* snapshot* superlock* symlink.test
 969   delete_db.test
 970 }]
 971
 972 if {[info commands register_demovfs] != ""} {
 973   test_suite "demovfs" -description {
 974     Check that the demovfs (code in test_demovfs.c) more or less works.
 975   } -initialize {
 976     register_demovfs
 977   } -shutdown {
 978     unregister_demovfs
 979   } -files {
 980     insert.test   insert2.test  insert3.test rollback.test
 981     select1.test  select2.test  select3.test
 982   }
 983 }
 984
 985 test_suite "wal" -description {
 986   Run tests with journal_mode=WAL
 987 } -initialize {
 988   set ::G(savepoint6_iterations) 100
 989 } -shutdown {
 990   unset -nocomplain ::G(savepoint6_iterations)
 991 } -files {
 992   savepoint.test     savepoint2.test     savepoint6.test
 993   trans.test         avtrans.test
 994
 995   fts3aa.test  fts3ab.test  fts3ac.test  fts3ad.test
 996   fts3ae.test  fts3af.test  fts3ag.test  fts3ah.test
 997   fts3ai.test  fts3aj.test  fts3ak.test  fts3al.test
 998   fts3am.test  fts3an.test  fts3ao.test  fts3b.test
 999   fts3c.test   fts3d.test   fts3e.test   fts3query.test
1000 }
1001
1002 test_suite "rtree" -description {
1003   All R-tree related tests. Provides coverage of source file rtree.c.
1004 } -files [glob -nocomplain $::testdir/../ext/rtree/*.test]
1005
1006 test_suite "session" -description {
1007   All session module related tests.
1008 } -files [glob -nocomplain $::testdir/../ext/session/*.test]
1009
1010 test_suite "session_eec" -description {
1011   All session module related tests with sqlite3_extended_result_codes() set.
1012 } -files [
1013   glob -nocomplain $::testdir/../ext/session/*.test
1014 ] -dbconfig {
1015   sqlite3_extended_result_codes $::dbhandle 1
1016 }
1017
1018 test_suite "session_strm" -description {
1019   All session module related tests using the streaming APIs.
1020 } -files [
1021   glob -nocomplain $::testdir/../ext/session/*.test
1022 ] -dbconfig {
1023   set ::sqlite3session_streams 1
1024 }
1025
1026 test_suite "rbu" -description {
1027   RBU tests.
1028 } -files [
1029   test_set [glob -nocomplain $::testdir/../ext/rbu/*.test] -exclude rbu.test
1030 ]
1031
1032 test_suite "no_optimization" -description {
1033   Run test scripts with optimizations disabled using the
1034   sqlite3_test_control(SQLITE_TESTCTRL_OPTIMIZATIONS) interface.
1035 } -files {
1036   where.test where2.test where3.test where4.test where5.test
1037   where6.test where7.test where8.test where9.test
1038   whereA.test whereB.test wherelimit.test
1039   select1.test select2.test select3.test select4.test select5.test
1040   select7.test select8.test selectA.test selectC.test
1041 } -dbconfig {
1042   optimization_control $::dbhandle all 0
1043 }
1044
1045 test_suite "prepare" -description {
1046   Run tests with the db connection using sqlite3_prepare() instead of _v2().
1047 } -dbconfig {
1048   db_use_legacy_prepare $::dbhandle 1
1049   #$::dbhandle cache size 0
1050 } -files [
1051   test_set $allquicktests -exclude *malloc* *ioerr* *fault* \
1052       stmtvtab1.test index9.test
1053 ]
1054
1055 # End of tests
1056 #############################################################################
1057
1058 # run_tests NAME OPTIONS
1059 #
1060 # where available options are:
1061 #
1062 #       -description TITLE
1063 #       -initialize  SCRIPT
1064 #       -shutdown    SCRIPT
1065 #       -presql      SQL
1066 #       -files       LIST-OF-FILES
1067 #       -prefix      NAME
1068 #
1069 proc run_tests {name args} {
1070   array set options $args
1071
1072   set ::G(perm:name)         $name
1073   set ::G(perm:prefix)       $options(-prefix)
1074   set ::G(perm:presql)       $options(-presql)
1075   set ::G(isquick)           1
1076   set ::G(perm:dbconfig)     $options(-dbconfig)
1077
1078   foreach file [lsort $options(-files)] {
1079     uplevel $options(-initialize)
1080     if {[file tail $file] == $file} { set file [file join $::testdir $file] }
1081     slave_test_file $file
1082     uplevel $options(-shutdown)
1083   }
1084
1085   unset ::G(perm:name)
1086   unset ::G(perm:prefix)
1087   unset ::G(perm:presql)
1088   unset ::G(perm:dbconfig)
1089 }
1090
1091 proc run_test_suite {name} {
1092   if {[info exists ::testspec($name)]==0} {
1093     error "No such test suite: $name"
1094   }
1095   uplevel run_tests $name $::testspec($name)
1096 }
1097
1098 proc help {} {
1099   puts "Usage: $::argv0 TESTSUITE ?TESTFILE?"
1100   puts ""
1101   puts "Available test-suites are:"
1102   foreach k $::testsuitelist {
1103     if {[info exists ::testspec($k)]==0} {
1104       puts "         ----------------------------------------"
1105       puts ""
1106     } else {
1107       array set o $::testspec($k)
1108       puts "Test suite: \"$k\""
1109       set d [string trim $o(-description)]
1110       set d [regsub {\n *} $d "\n  "]
1111       puts "  $d"
1112       puts ""
1113     }
1114   }
1115   exit -1
1116 }
1117
1118 if {[file tail $argv0] == "permutations.test"} {
1119   proc main {argv} {
1120     if {[llength $argv]==0} {
1121       help
1122     } else {
1123       set suite [file tail [lindex $argv 0]]
1124       if {[info exists ::testspec($suite)]==0} help
1125       set extra ""
1126       if {[llength $argv]>1} { set extra [list -files [lrange $argv 1 end]] }
1127       eval run_tests $suite $::testspec($suite) $extra
1128     }
1129   }
1130   main $argv
1131   finish_test
1132 }