Статьи о RAID, NAS и серверах
Пропали данные с NAS. Что делать при сбое RAID?
На Synology или QNAP перестали открываться общие папки. В панели управления при этом могут быть видны все диски. Такое бывает, когда NAS обнаруживает накопители, но не может собрать из них RAID. Бывает и так, что массив собрался, а том с файлами не открывается.
Если важные файлы ещё читаются без зависаний и ошибок, первым делом скопируйте их на отдельный носитель и проверьте копию. Если файлы уже недоступны, не запускайте rebuild, не создавайте новый пул и не соглашайтесь на инициализацию дисков. Сначала нужно выяснить, что именно отказало и на каких дисках остались актуальные данные.

Как устроено хранение данных в NAS
NAS – небольшой компьютер с несколькими накопителями. Во многих Synology и QNAP RAID собирает программа, которая работает в самом хранилище. Поэтому при сбое приходится разбираться и с физическими дисками, и со служебной разметкой, и с состоянием системы.
На большинстве Synology под DSM выделены небольшие системные разделы, которые зеркалируются между дисками. Пользовательские данные хранятся в отдельных разделах. Из них собирается RAID, на котором работает пул хранения. В некоторых конфигурациях Synology Hybrid RAID (SHR) объединяет несколько групп, чтобы лучше использовать диски разной ёмкости. В QNAP с QTS пул также может состоять из нескольких групп RAID.
Том – область, в которой файловая система хранит файлы и папки. На Synology это обычно Btrfs или ext4. Доступ к общей папке по сети зависит от работы сетевой службы и прав пользователя. DSM или QTS может запускаться, пул может быть доступен, а том или общие папки – нет.
На двух дисках можно сделать зеркало RAID 1 или выбрать RAID 0, чтобы использовать всю ёмкость без защиты от отказа диска. С тремя дисками возможен RAID 5, с четырьмя – RAID 6 и RAID 10. В зависимости от модели Synology доступны также SHR-1 и SHR-2, а QNAP с QTS при достаточном числе дисков поддерживает RAID 50 и RAID 60. Тип массива важен и при аварии: от него зависит, какие диски нужны для чтения данных и куда NAS будет писать при восстановлении избыточности.
Где искать сбой: система, массив или том
Если панель управления открывается, посмотрите отдельно на состояние дисков, пула и тома. На Synology это «Диспетчер хранения», на QNAP с QTS – Storage & Snapshots.
- Система NAS. Хранилище обнаруживается в сети, но панель управления не открывается. Или Synology запускается и сообщает
System Partition Failed– повреждён один из системных разделов DSM. Иногда ранее работавшее устройство предлагает установить систему заново. По одному такому сообщению нельзя судить о состоянии пользовательских данных. Если файлы важны, сохраните сообщение и остановитесь до подтверждения установки. - Массив или пул. При статусе
Degradedчасть избыточности потеряна, но данные часто ещё читаются. Этим моментом нужно воспользоваться для копирования. Если у пула Synology статусCrashed, штатная командаRepairдля деградировавшего пула не применяется. В QNAP статус группыNot Activeтоже требует выяснить, какие участники выпали и почему. Заменять диск наугад в этой ситуации опасно. - Том или доступ к папкам. Пул может выглядеть исправным, а том перейти в режим «только чтение» или перестать открываться. Проверьте, доступны ли файлы через File Station. Если там всё открывается, а с компьютера папки недоступны, проверьте сетевой доступ и права пользователей. Rebuild на права доступа не влияет.
У владельца QNAP TS-439 Pro II файлы не появились даже после переноса дисков в такой же корпус. Данные вернулись после того, как мы собрали RAID 5 виртуально. Пример восстановления QNAP TS-439 Pro II
Видимый диск не обязательно участвует в массиве. Например, NAS определяет накопитель, но не может прочитать его служебную разметку. Или диск выпал из массива из-за ошибок чтения, обрыва связи или слишком долгого ответа, а позже снова появился в списке. Если за это время NAS продолжал писать данные, на вернувшемся диске осталась их старая версия.
В одном из наших случаев Synology исключил из RAID 6 четыре диска почти одновременно. Все четыре удалось запустить. Мы проверили, какие данные на них актуальны, и вернули 35 ТБ. Пример восстановления Synology RAID 6
Чем rebuild отличается от инициализации
Rebuild восстанавливает избыточность массива после выпадения участника. В штатной ситуации результат пишется на один диск – новый или назначенный для замены. В RAID 5 и RAID 6 система читает данные и блоки чётности с оставшихся дисков и по ним вычисляет содержимое недостающего диска. В RAID 10 с зеркальными парами содержимое берётся с актуального диска той же пары. Rebuild восстанавливает недостающие блоки массива. Повреждённую файловую систему он не исправляет.
Инициализация, или перестроение массива, затрагивает массив целиком. При инициализации RAID 5 или RAID 6 система может заново записывать блоки чётности на диски по схеме выбранного уровня. В RAID 10 она может синхронизировать зеркальные пары, вплоть до полной перезаписи диска в паре. Если инициализировать новый RAID поверх старого, особенно с другим порядком дисков или другой конфигурацией, запись может затронуть блоки, в которых ещё находятся нужные данные.
Самая опасная ошибка при rebuild – перепутать, откуда читать и куда писать. Допустим, из SHR-1 полгода назад выпал один диск. Хранилище продолжило работать. На нём создавали, меняли и удаляли файлы. Потом выпал второй диск, и папки стали недоступны. При проверке первый диск снова определился и даже читается без ошибок. Но данные на нём – полугодовой давности.
Если принудительно собрать массив со старым диском и назначить второй диск для rebuild, в расчёт попадут блоки из разных состояний массива. При этом второй диск, на котором остались более свежие данные, будет перезаписан. До этой операции можно было прочитать оба диска и сравнить, что на них сохранилось. После неё части исходных данных может уже не быть.
У Synology и QNAP есть штатные процедуры на случай, когда исправные диски случайно извлекли или они временно потеряли связь с NAS. У этих процедур свои условия. Когда файлы исчезли, а диски выпадали в разное время или их уже меняли местами, сначала нужно выяснить состав массива и порядок отказов.
Когда остановиться и что сохранить
Если файлы не открываются, чтение зависает, диски повторно пропадают или слышны щелчки, остановите попытки восстановления. Не запускайте проверки по кругу и не перезагружайте NAS в надежде, что он соберёт массив со следующей попытки.
Если панель управления ещё открыта, сохраните снимки экрана со статусами дисков, пула и тома. Запишите, что было перед сбоем и что уже успели сделать. Сохраните все исходные накопители, включая ранее выпавшие или заменённые. Если вынимаете диски, отметьте, в каком отсеке стоял каждый. Сообщите инженеру, был ли в NAS SSD-кэш и когда сделали последнюю проверенную резервную копию.
Перед операциями, которые могут изменить содержимое исходных дисков, нужны посекторные копии участников массива. Если диск щёлкает, не определяется или нестабильно читается, не пытайтесь любой ценой снять копию самостоятельно. В такой ситуации работу начинают с диагностики накопителя.
Два примера из практики DATARC
Synology DS3612xs. Из SHR выпали три диска. В хранилище стояло 11 дисков, семь из них составляли массив SHR. После нескольких отключений питания, с которыми не справился ИБП, из массива выпали три диска. На двух были нечитаемые участки, у третьего отказал блок магнитных головок.
Мы заменили головки на неисправном диске, считали нужные области всех семи накопителей и перенесли данные на новые диски и воспроизвели конфигурацию SHR. Папки всё равно не открылись. Потребовалось отдельно исправить повреждения ext4 и перенести настройки прав доступа к общим папкам. После этого данные снова стали доступны через NAS. Все операции с записью мы выполняли на новых дисках. Как восстановили Synology DS3612xs
QNAP. Rebuild RAID 5 не завершился, пропал доступ к 1С. После отказа диска хранилище не смогло завершить rebuild. Мы определили исходную конфигурацию и собрали RAID 5 виртуально из двух участников. В массиве нашли образы двух виртуальных дисков, открыли их и извлекли нужные данные 1С. Заказчик проверил результат удалённо. Как восстановили данные 1С с QNAP
Как мы восстанавливаем данные с NAS
В лаборатории подключаем диски напрямую к рабочей станции и читаем их отдельно. Выясняем, какие диски входили в массив, какие выпали раньше и какие содержат актуальные данные. Если накопитель неисправен, сначала решаем, как его прочитать. При необходимости снимаем посекторные копии. Затем собираем RAID виртуально или работаем на копиях и извлекаем файлы на отдельный носитель. Содержимое исходных дисков мы не меняем.
Для первого обращения достаточно модели NAS, числа дисков и короткого описания сбоя. Если вы уже запускали rebuild или меняли диски, скажите об этом сразу. Восстановление данных с NAS в DATARC
