t/00-startup.t

   1 # -*-perl-*-
   2
   3 use strict;
   4 use warnings;
   5 use Test::More;
   6 use FindBin qw($Bin);
   7
   8 use MogileFS::Server;
   9 use MogileFS::Util qw(error_code);
  10 use MogileFS::Test;
  11
  12 BEGIN {
  13     $ENV{TESTING} = 1;
  14 }
  15
  16 find_mogclient_or_skip();
  17
  18 # use mogadm to init it,
  19 # mogstored on temp dir,
  20 # register mogstored temp dir,
  21 # mogilefsd startup,
  22 # add file,
  23 # etc
  24
  25 my $sto = eval { temp_store(); };
  26 if (!$sto) {
  27     plan skip_all => "Can't create temporary test database: $@";
  28     exit 0;
  29 }
  30
  31 my $dbh = $sto->dbh;
  32 my $rv;
  33
  34 my ($hostA_ip, $hostB_ip, $hostC_ip) = (qw/127.0.1.1 127.0.1.2 127.0.1.3/);
  35
  36 use File::Temp;
  37 my %mogroot;
  38 $mogroot{1} = File::Temp::tempdir( CLEANUP => 1 );
  39 $mogroot{2} = File::Temp::tempdir( CLEANUP => 1 );
  40 $mogroot{3} = File::Temp::tempdir( CLEANUP => 1 );
  41 my $dev2host = { 1 => 1, 2 => 1,
  42                  3 => 2, 4 => 2,
  43                  5 => 3, 6 => 3, };
  44 foreach (sort { $a <=> $b } keys %$dev2host) {
  45     my $root = $mogroot{$dev2host->{$_}};
  46     mkdir("$root/dev$_") or die "Failed to create dev$_ dir: $!";
  47 }
  48
  49 my $ms1 = create_mogstored($hostA_ip, $mogroot{1});
  50 ok($ms1, "got mogstored1");
  51 my $ms2 = create_mogstored($hostB_ip, $mogroot{2});
  52 ok($ms2, "got mogstored2");
  53
  54 while (! -e "$mogroot{1}/dev1/usage" &&
  55        ! -e "$mogroot{2}/dev4/usage") {
  56     print "Waiting on usage...\n";
  57     sleep 1;
  58 }
  59
  60 my $tmptrack = create_temp_tracker($sto);
  61 ok($tmptrack);
  62
  63 my $mogc = MogileFS::Client->new(
  64                                  domain => "testdom",
  65                                  hosts  => [ "127.0.0.1:7001" ],
  66                                  );
  67 my $be = $mogc->{backend}; # gross, reaching inside of MogileFS::Client
  68
  69 my $lasttime = 1167609600; # Mon Jan  1 00:00:00 UTC 2007
  70 ok(try_for(3, sub {
  71     my $timestamp = $dbh->selectrow_array("SELECT ".$sto->unix_timestamp);
  72     # FIXME: Some databases might be pedantic about the FROM
  73     # but having it on others means that if the table has no rows
  74     # we won't get any results!
  75     my $rv = $timestamp > $lasttime;
  76     $lasttime = $timestamp;
  77     return $rv;
  78 }), "Store provides sane unix_timestamp");
  79
  80 # test some basic commands to backend
  81 ok($be->do_request("test", {}), "test ping worked");
  82 ok(!$be->do_request("test", {crash => 1}), "crash didn't");
  83 ok($be->do_request("test", {}), "test ping again worked");
  84
  85 {
  86     my $c = IO::Socket::INET->new(PeerAddr => '127.0.0.1:7001', Timeout => 3);
  87     ok(want($c, 1, "queryworker"), "set 1 queryworker");
  88
  89     my $expect = "ERR no_domain No+domain+provided\r\n" x 2;
  90
  91     # bad domain won't return twice
  92     my $cmd = "list_keys domain=\r\n";
  93     $c->syswrite($cmd x 2);
  94     my $r;
  95     my $resp = "";
  96     do {
  97         $r = $c->sysread(my $buf, 500);
  98         if (defined $r && $r > 0) {
  99             $resp .= $buf;
 100         }
 101     } while ($r && length($resp) != length($expect));
 102     is($resp, $expect, "response matches expected");
 103
 104     ok(want($c, 2, "queryworker"), "restored 2 queryworkers");
 105 }
 106
 107 ok($tmptrack->mogadm("domain", "add", "todie"), "created todie domain");
 108 ok($tmptrack->mogadm("domain", "delete", "todie"), "delete todie domain");
 109 ok(!$tmptrack->mogadm("domain", "delete", "todie"), "didn't delete todie domain again");
 110
 111 # ensure "default" class is removed when its domain is removed
 112 {
 113     use Data::Dumper;
 114     my $before = Dumper($sto->get_all_classes);
 115     ok($tmptrack->mogadm("domain", "add", "def"), "created def domain");
 116
 117     my $dmid = $sto->get_domainid_by_name("def");
 118     ok(defined($dmid), "def dmid retrieved");
 119
 120     isnt($sto->domain_has_classes($dmid), "domain_has_classes does not show default class");
 121     ok($tmptrack->mogadm("class", "modify", "def", "default", "--mindevcount=3"), "modified default to have mindevcount=3");
 122
 123     my $classid = $sto->get_classid_by_name($dmid, "default");
 124     is($classid, 0, "default class has classid=0");
 125     isnt($sto->domain_has_classes($dmid), "domain_has_classes does not show default class");
 126     ok($tmptrack->mogadm("domain", "delete", "def"), "remove def domain");
 127     is($sto->get_domainid_by_name("def"), undef, "def nonexistent");
 128     is($sto->get_classid_by_name($dmid, "default"), undef, "def/default class nonexistent");
 129
 130     my $after = Dumper($sto->get_all_classes);
 131     is($after, $before, "class listing is unchanged");
 132 }
 133
 134 ok($tmptrack->mogadm("domain", "add", "hasclass"), "created hasclass domain");
 135 ok($tmptrack->mogadm("class", "add", "hasclass", "nodel"), "created nodel class");
 136 ok(!$tmptrack->mogadm("domain", "delete", "hasclass"), "didn't delete hasclass domain");
 137 ok($tmptrack->mogadm("class", "delete", "hasclass", "nodel"), "created nodel class");
 138 ok($tmptrack->mogadm("domain", "delete", "hasclass"), "didn't delete hasclass domain");
 139
 140 ok($tmptrack->mogadm("domain", "add", "testdom"), "created test domain");
 141 ok($tmptrack->mogadm("class", "add", "testdom", "1copy", "--mindevcount=1"), "created 1copy class in testdom");
 142 ok($tmptrack->mogadm("class", "add", "testdom", "2copies", "--mindevcount=2"), "created 2copies class in testdom");
 143 ok($tmptrack->mogadm("class", "add", "testdom", "poltest", "--replpolicy=MultipleHosts(3)"),
 144     "created a specific policy class");
 145
 146 ok($tmptrack->mogadm("host", "add", "hostA", "--ip=$hostA_ip", "--status=alive"), "created hostA");
 147 ok($tmptrack->mogadm("host", "add", "hostB", "--ip=$hostB_ip", "--status=alive"), "created hostB");
 148
 149 ok($tmptrack->mogadm("device", "add", "hostA", 1), "created dev1 on hostA");
 150 ok($tmptrack->mogadm("device", "add", "hostA", 2), "created dev2 on hostA");
 151 ok($tmptrack->mogadm("device", "add", "hostB", 3), "created dev3 on hostB");
 152 ok($tmptrack->mogadm("device", "add", "hostB", 4), "created dev4 on hostB");
 153
 154 #ok($tmptrack->mogadm("device", "mark", "hostA", 1, "alive"), "dev1 alive");
 155 #ok($tmptrack->mogadm("device", "mark", "hostA", 2, "alive"), "dev2 alive");
 156 #ok($tmptrack->mogadm("device", "mark", "hostB", 3, "alive"), "dev3 alive");
 157 #ok($tmptrack->mogadm("device", "mark", "hostB", 4, "alive"), "dev4 alive");
 158
 159 # wait for monitor
 160 {
 161     my $was = $be->{timeout};  # can't use local on phash :(
 162     $be->{timeout} = 10;
 163     ok($be->do_request("clear_cache", {}), "waited for monitor")
 164         or die "Failed to wait for monitor";
 165     ok($be->do_request("clear_cache", {}), "waited for monitor")
 166         or die "Failed to wait for monitor";
 167     $be->{timeout} = $was;
 168 }
 169
 170 {
 171     my $fh = $mogc->new_file('no_content', "2copies");
 172     die "Error: " . $mogc->errstr unless $fh;
 173     ok(close($fh), "closed file");
 174 }
 175
 176 {
 177     my $fh = $mogc->new_file('no_content', "2copies");
 178     die "Error: " . $mogc->errstr unless $fh;
 179     ok(close($fh), "closed file");
 180 }
 181
 182 # wait for it to replicate
 183 ok(try_for(10, sub {
 184     my @urls = $mogc->get_paths("no_content");
 185     my $nloc = @urls;
 186     if ($nloc < 2) {
 187         diag("no_content still only on $nloc devices");
 188         return 0;
 189     }
 190     return 1;
 191 }), "replicated to 2 paths");
 192
 193 ok(try_for(3, sub {
 194     my $to_repl_rows = $dbh->selectrow_array("SELECT COUNT(*) FROM file_to_replicate");
 195     return $to_repl_rows == 0;
 196 }), "no more files to replicate");
 197
 198 # quick delete test
 199 ok($mogc->delete("no_content"), "deleted no_content")
 200     or die "Error: " . $mogc->errstr;
 201
 202 # create two sample files
 203 my $data = "My test file.\n" x 1024;
 204 foreach my $k (qw(file1 file2)) {
 205     my $fh = $mogc->new_file($k, "2copies");
 206     ok($fh, "got filehandle") or
 207         die "Error: " . $mogc->errstr;
 208     print $fh $data;
 209     ok(close($fh), "closed file");
 210 }
 211
 212 # quick delete test
 213 ok($mogc->delete("file2"), "deleted file2")
 214     or die "Error: " . $mogc->errstr;
 215
 216 # verify we can't delete the domain now
 217 ok(!$tmptrack->mogadm("domain", "delete", "testdom"), "can't delete domain in use");
 218
 219 # wait for it to replicate
 220 my @urls;
 221 ok(try_for(10, sub {
 222     @urls = $mogc->get_paths("file1");
 223     my $nloc = @urls;
 224     if ($nloc < 2) {
 225         diag("file1 still only on $nloc devices");
 226         return 0;
 227     }
 228     return 1;
 229 }), "replicated to 2 paths");
 230
 231 ok(try_for(3, sub {
 232     my $to_repl_rows = $dbh->selectrow_array("SELECT COUNT(*) FROM file_to_replicate");
 233     return $to_repl_rows == 0;
 234 }), "no more files to replicate");
 235
 236 my $p1 = MogPath->new($urls[0]);
 237 my $p2 = MogPath->new($urls[1]);
 238 isnt($p1->host, $p2->host, "host1 and host2 are different");
 239 my $path1 = $mogroot{$dev2host->{$p1->device}} . $p1->path;
 240 my $path2 = $mogroot{$dev2host->{$p2->device}} . $p2->path;
 241 is(-s $path1, length($data), "right length on disk for path1");
 242 is(-s $path2, length($data), "right length on disk for path2");
 243
 244 ok(unlink($path1), "deleted path $path1");
 245 my $dead_url = $urls[0];
 246 for (1..10) {
 247     @urls = $mogc->get_paths("file1");
 248     isnt($urls[0], $dead_url, "didn't return dead url first (try $_)");
 249 }
 250
 251 # Tests for updateclass command
 252 {
 253     my $fh = $mogc->new_file('file1copy', "1copy");
 254     ok($fh, "got filehandle") or
 255         die "Error: " . $mogc->errstr;
 256     print $fh 'EXAMPLE DATA';
 257     ok(close($fh), "closed file");
 258
 259     is scalar($mogc->get_paths("file1copy")), 1, 'File is on 1 device';
 260
 261     ok($mogc->update_class('file1copy', '2copies'), "updated class to 2 copies");
 262
 263     # wait for it to replicate
 264     ok(try_for(10, sub {
 265         my @urls = $mogc->get_paths("file1copy");
 266         my $nloc = @urls;
 267         if ($nloc < 2) {
 268             diag("no_content still only on $nloc devices");
 269             return 0;
 270         }
 271         return 1;
 272     }), "replicated to 2 paths");
 273
 274     ok($mogc->update_class('file1copy', 'default'), "updated class to default");
 275
 276     ok($mogc->delete("file1copy"), "deleted updateclass testfile file1copy")
 277         or die "Error: " . $mogc->errstr;
 278 }
 279
 280 ok($be->do_request("rename", {
 281     from_key => "file1",
 282     to_key   => "file1renamed",
 283     domain   => "testdom",
 284 }), "renamed file1 to file1renamed");
 285
 286 ok($be->do_request("delete", {
 287     key    => "file1renamed",
 288     domain => "testdom",
 289 }), "deleted file1renamed");
 290
 291 # create a couple hundred files now
 292 my $n_files = 100;
 293 diag("Creating $n_files files...");
 294 for my $n (1..$n_files) {
 295     my $fh = $mogc->new_file("manyhundred_$n", "2copies")
 296         or die "Failed to create manyhundred_$n: " . $mogc->errstr;
 297     my $data = "File number $n.\n" x 512;
 298     print $fh $data;
 299     close($fh) or die "Failed to close manyhundred_$n";
 300     diag("created $n/$n_files") if $n % 10 == 0;
 301 }
 302 pass("Created a ton of files");
 303
 304 # wait for replication to go down
 305 {
 306     my $iters = 30;
 307     my $to_repl_rows;
 308     while ($iters) {
 309         $iters--;
 310         $to_repl_rows = $dbh->selectrow_array("SELECT COUNT(*) FROM file_to_replicate");
 311         last if ! $to_repl_rows;
 312         diag("Files to replicate: $to_repl_rows");
 313         sleep 1;
 314     }
 315     die "Failed to replicate all $n_files files" if $to_repl_rows;
 316     pass("Replicated all $n_files files");
 317 }
 318
 319 # now let's delete a host, which should fail hard, because there are still devices attached to it
 320 {
 321     die "Can't delete an active host" if
 322         $tmptrack->mogadm("host", "delete", "hostB");
 323     pass("didn't delete hostB");
 324 }
 325
 326 # create a new host and device, for when we start killing some devices
 327 my $ms3 = create_mogstored($hostC_ip, $mogroot{3});
 328 ok($ms3, "got mogstored3");
 329 ok($tmptrack->mogadm("host", "add", "hostC", "--ip=$hostC_ip", "--status=alive"), "created hostC");
 330 ok($tmptrack->mogadm("device", "add", "hostC", 5), "created dev5 on hostC");
 331 ok($tmptrack->mogadm("device", "add", "hostC", 6), "created dev6 on hostC");
 332
 333 ok($tmptrack->mogadm("device", "mark", "hostB", 3, "dead"), "marked device B/3 dead");
 334 ok($tmptrack->mogadm("device", "mark", "hostB", 4, "dead"), "marked device B/4 dead");
 335
 336 ok(try_for(40, sub {
 337     my %has;
 338     my $sth = $dbh->prepare("SELECT devid, COUNT(*) FROM file_on GROUP BY devid");
 339     $sth->execute;
 340     while (my ($devid, $ct) = $sth->fetchrow_array) {
 341         $has{$devid} = $ct;
 342     }
 343     diag("Replication update: " . join(", ", map { "dev$_: " . sprintf("%3d", ($has{$_}||0)) } (1..6)));
 344     return 0 if $has{3} || $has{4};
 345     return $has{1} && $has{1} && $has{5} && $has{6};
 346 }), "files replicated to hostC from hostB");
 347
 348 # kill hostB now
 349 # hosts are no longer able to be nuked even if they have deleted devices.
 350 # this saves us from some subtle bugs.
 351 #ok($tmptrack->mogadm("host", "delete", "hostB"), "killed hostB");
 352
 353 # delete them all, see if they go away.
 354 for my $n (1..$n_files) {
 355     my $rv = $mogc->delete("manyhundred_$n")
 356         or die "Failed to delete manyhundred_$n";
 357 }
 358 pass("deleted all $n_files files");
 359
 360 ok(try_for(25, sub {
 361     my @files;
 362     foreach my $hn (1, 3) {
 363         my @lfiles = `find $mogroot{$hn} -type f -name '*.fid'`;
 364         push @files, @lfiles;
 365         diag("files on host $hn = " . scalar(@lfiles));
 366     }
 367     return @files == 0;
 368 }), "and they're gone from filesystem");
 369
 370 foreach my $t (qw(file file_on file_to_delete)) {
 371     ok(try_for(5, sub {
 372         return $dbh->selectrow_array("SELECT COUNT(*) FROM $t") == 0;
 373     }), "table $t is empty");
 374 }
 375
 376 # Test some broken client modes.
 377 {
 378     my $c = IO::Socket::INET->new(PeerAddr => '127.0.0.1:7001',
 379         Timeout => 3);
 380     die "Failed to connect to test tracker" unless $c;
 381     # Pretend to upload a file, then tell the server weird things.
 382     # Not trying to be defensable to all sorts of things, but ensuring we're
 383     # safe against double close, bad destdev, etc.
 384     print $c "create_open "
 385         . "domain=testdom&fid=0&class=&multi_dest=1&key=fufufu\n";
 386     my $res = <$c>;
 387     my $fidid;
 388     ok($res =~ m/fid=(\d+)/, "bare create_open worked");
 389     $fidid = $1;
 390     # Pretend we uploaded something.
 391     print $c "create_close "
 392         . "domain=testdom&fid=$fidid&devid=4&size=0&key=fufufu"
 393         . "&path=http://127.0.1.2:7500/dev4/0/000/000/0000000$fidid.fid\n";
 394     my $res2 = <$c>;
 395     ok($res2 =~ m/invalid_destdev/, "cannot upload to unlisted destdev");
 396
 397     # TODO: test double closing, etc.
 398 }
 399
 400 # give an explicit fid, to prevent bugs like the reason behind
 401 # commit ac5534a0c3d046e660fa7581c9173857f182bd81
 402 # This is functionality is a bad idea otherwise.
 403 {
 404     my $expfid = 2147483632;
 405     my $opts = { fid => $expfid };
 406     my $fh = $mogc->new_file("explicit_fid", "1copy", 2, $opts);
 407     die "Error: " . $mogc->errstr unless $fh;
 408     ok((print $fh "hi" ), "wrote 2 bytes");
 409     ok(close($fh), "closed file");
 410     my $info = $mogc->file_info("explicit_fid");
 411
 412     is($info->{devcount}, 1, "devcount is 1");
 413     is($info->{fid}, $opts->{fid}, "explicit fid is correctly set");
 414 }
 415
 416 {
 417     my $fh = $mogc->new_file("0", "1copy");
 418     ok((print $fh "zero\n"), "wrote to file");
 419     ok(close($fh), "closed file");
 420
 421     my $info = $mogc->file_info("0");
 422     is("HASH", ref($info), "file_info returned a hash");
 423     is("0", $info->{key}, "key matches 0");
 424     is("1copy", $info->{class}, "class matches for 0 key");
 425
 426     my @paths = $mogc->get_paths("0");
 427     is(1, scalar(@paths), "path returned for 0");
 428
 429     $mogc->rename("0", "zero");
 430     is($info->{fid}, $mogc->file_info("zero")->{fid}, "rename from 0");
 431     $mogc->rename("zero", "0");
 432     is($info->{fid}, $mogc->file_info("0")->{fid}, "rename to 0");
 433     $mogc->update_class("0", "2copies");
 434     is("2copies", $mogc->file_info("0")->{class}, "class updated for 0 key");
 435
 436     my $debug = $mogc->file_debug(key => "0");
 437     is($debug->{fid_fid}, $info->{fid}, "FID from debug matches");
 438     is($debug->{fid_dkey}, "0", "key from debug matches");
 439
 440     ok($mogc->delete("0"), "delete 0 works");
 441 }
 442
 443 # ensure all workers can be stopped/started
 444 {
 445     my $c = IO::Socket::INET->new(PeerAddr => '127.0.0.1:7001', Timeout => 3);
 446     my @jobs = qw(fsck queryworker delete replicate reaper monitor job_master);
 447
 448     foreach my $j (@jobs) {
 449       ok(want($c, 0, $j), "shut down all $j");
 450     }
 451     foreach my $j (@jobs) {
 452       ok(want($c, 1, $j), "start 1 $j");
 453     }
 454 }
 455
 456 # list_keys with underscore
 457 {
 458     my $c = IO::Socket::INET->new(PeerAddr => '127.0.0.1:7001', Timeout => 3);
 459
 460     foreach my $k (qw(under_score under.score)) {
 461         my $fh = $mogc->new_file($k, '1copy');
 462         ok($fh, "got filehandle for $k");
 463         ok(close($fh), "created file $k");
 464     }
 465
 466     # we only have one queryworker from the previous test, so no need to
 467     # clear cache twice and wait on monitor after "mogadm settings set"
 468     foreach my $cslk (qw(on off)) {
 469         ok($tmptrack->mogadm("settings", "set", "case_sensitive_list_keys", $cslk), "case_sensitive_list_keys = $cslk");
 470         ok($be->do_request("clear_cache", {}), "cleared_cache");
 471         my @l = $mogc->list_keys("under_");
 472         is_deeply(['under_score', [ 'under_score' ]], \@l, "list_keys handled underscore properly (case-sensitive $cslk)");
 473     }
 474
 475     # restore default
 476     $sto->set_server_setting('case_sensitive_list_keys', undef);
 477 }
 478
 479 done_testing();