Восстановление данных сетевого хранилища ASUSTOR AS-606T
| Задача | Перестал работать сервер raid5 на 6 дисков | ||||||
| Оборудование |
|
||||||
| Проблема заказчика |
Утром обнаружили, что нет доступа к файловой структуре на сервере. Корневая папка видна, а к остальным доступа нет. Зашли по IP в систему администрирования — во внутреннем файловом менеджере аналогичная картина. Пишет, что все диски исправны, но не активны. В журнале событий никаких ошибок — только перезагрузка и включение. Корневые папки показывает, но в них зайти нельзя — пишет, что не существует разделов. Сетевое хранилище ASUSTOR AS 606 T. Пробовали вытаскивать-вставлять диски в выключенном состоянии. Пробовали перезагружать сервер. Smart-параметры всех дисков в норме. Общий объем не показывает. |
||||||
| Процесс |
Это стандартный RAID, созданный с использованием Linux mdadm. Первым делом проанализировали содержимое mdadm Superblock: в текущей версии конфигурации, которая хранится на дисках, видно, что это RAID5/6 со стандартным размером блока 64 Кб. Все диски актуальны и участвуют в массиве. Заметили странность — поля “time of last superblock update” и “creation time” указывают на вчерашний день. Попробовали собрать массив с этими параметрами — получили битую файловую систему. Предположили стандартную проблему для RAID5 mdadm — рассинхронизацию дисков. Сделали проверку RAID5 на прохождение теста XOR. Видна рассинхронизация. Это значит, что какой-то из дисков неактуален и при сборке нужно его исключить. Путем перебора определили такой диск — с ним файловая система EXT4 открывается с минимальным количеством ошибок. Вероятно, массив какое-то время работал без одного из дисков, потом потерял еще один и был пересоздан со стандартными параметрами — таким образом мы получили конфигурацию mdadm, которая не соответствует реальному положению дел на дисках. В интернете встречается множество таких кейсов и советы пересоздать найденную конфигурацию с помощью команды “mdadm –create”. Мы считаем, что это может привести к необратимым повреждениям данных и поэтому будем использовать собственный интерпретатор RAID, который будет работать с дисками в режиме read-only. Это поможет избежать ситуаций, когда проблемы этого хранилища пришлись не только на область конфигурации raid-массива, но и на область данных. |
||||||
| Результат |
100%-е восстановление данных. Все 12,3 Тб данных переданы заказчику |
