Fix dRAID sequential resilver silent damage handling
commit8fb577ae6da03ed72edca9adad027779e69db146
authorBrian Behlendorf <behlendorf1@llnl.gov>
Thu, 20 May 2021 22:05:26 +0000 (20 15:05 -0700)
committerGitHub <noreply@github.com>
Thu, 20 May 2021 22:05:26 +0000 (20 15:05 -0700)
tree1e8ce6bc6aa49ad0fa62cac9f7dc569106093d46
parent6ac2d7f76f8b56f0d5869c60c0b49b15018d1a53
Fix dRAID sequential resilver silent damage handling

This change addresses two distinct scenarios which are possible
when performing a sequential resilver to a dRAID pool with vdevs
that contain silent unknown damage. Which in this circumstance
took the form of the devices being intentionally overwritten with
zeros. However, it could also result from a device returning incorrect
data while a sequential resilver was in progress.

Scenario 1) A sequential resilver is performed while all of the
dRAID vdevs are ONLINE and there is silent damage present on the
vdev being resilvered. In this case, nothing will be repaired
by vdev_raidz_io_done_reconstruct_known_missing() because
rc->rc_error isn't set on any of the raid columns. To address
this vdev_draid_io_start_read() has been updated to always mark
the resilvering column as ESTALE for sequential resilver IO.

Scenario 2) Multiple columns contain silent damage for the same
block and a sequential resilver is performed. In this case it's
impossible to generate the correct data from parity unless all of
the damaged columns are being sequentially resilvered (and thus
only good data is used to generate parity). This is as expected
and there's nothing which can be done about it. However, we need
to be careful not to make to situation worse. Since we can't
verify the data is actually good without a checksum, we must
only repair the devices which are being sequentially resilvered.
Otherwise, an incorrect repair to a device which previously
contained good data could effectively lock in the damage and
make reconstruction impossible. A check for this was added to
vdev_raidz_io_done_verified() along with a new test case.

Lastly, this change updates the redundancy_draid_spare1 and
redundancy_draid_spare3 test cases to be more representative
of normal dRAID replacement operation.  Specifically, what we
care about is that the scrub run after a sequential resilver
does not find additional blocks which need repair.  This would
indicate the sequential resilver failed to rebuild a section of
one of the devices. Note also the tests were switched to using
the verify_pool() function which still checks for checksum errors.

Reviewed-by: Mark Maybee <mark.maybee@delphix.com>
Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>
Closes #12061
include/sys/vdev_raidz_impl.h
module/zfs/vdev_draid.c
module/zfs/vdev_raidz.c
tests/runfiles/common.run
tests/zfs-tests/tests/functional/redundancy/Makefile.am
tests/zfs-tests/tests/functional/redundancy/redundancy_draid_damaged.ksh [new file with mode: 0755]
tests/zfs-tests/tests/functional/redundancy/redundancy_draid_spare1.ksh
tests/zfs-tests/tests/functional/redundancy/redundancy_draid_spare3.ksh