Статьи о RAID, NAS и серверах
Восстановление данных виртуальных машин на VMFS
В VMware ESXi сбой может затронуть всё хранилище, один виртуальный диск или только данные внутри машины. После отказа RAID нужно восстановить доступ к VMFS. После удаления VMDK или потери снимка приходится искать блоки конкретного диска. В обоих случаях результат зависит от того, какие блоки сохранились и в каком состоянии.

Пропало хранилище, машина или данные внутри неё
- ESXi потерял доступ к хранилищуЕсли пропал сам LUN, проверяем подключение к системе хранения и состояние массива. Если LUN виден, а VMFS недоступна, проверяем, читаются ли блоки тома и сохранилась ли файловая система.
- Машина или её VMDK исчезли из каталогаПосле удаления ищем сохранившиеся записи о файлах и их блоки. Чем больше записывали на datastore после сбоя, тем выше риск перезаписи нужных участков.
- ESXi видит файлы, но машина не запускаетсяПо тексту ошибки выясняем, какой виртуальный диск или снимок ESXi не смог открыть. Если файл заблокирован, проверяем, какой хост или процесс его держит. Если ошибки чтения затронули несколько машин, начинаем с их общего хранилища.
- Машина включилась, а нужная база или папка недоступнаПроверяем разделы внутри VMDK и сами данные. Отдельно выясняем, читаются ли нужные файлы и может ли SQL Server работать с восстановленной базой.
Из чего состоит виртуальный диск и его снимки
VMFS – файловая система на хранилище ESXi. В ней лежат конфигурация машины .vmx и её виртуальные диски VMDK. В обычной конфигурации на VMFS у базового диска есть небольшой файл описания data.vmdk и файл с блоками данных data-flat.vmdk. В описании, или дескрипторе, указано, где лежат данные и как их читать. Внутри самого виртуального диска уже находятся разделы и файловые системы гостевой ОС, например NTFS.
Когда у диска есть снимок, новые записи идут в файл изменений. У этого файла свой дескриптор, который указывает на предыдущий диск в цепочке. Если снимков несколько, ESXi при чтении берёт нужный блок из самого нового звена, где он записан. Когда там блока нет, ищет его дальше, вплоть до базового диска.
Как ESXi читает диск с двумя снимками
- Активное звено
data-000002.vmdkdata-000002-sesparse.vmdk - Предыдущий снимок
data-000001.vmdkdata-000001-sesparse.vmdk - Базовый диск
data.vmdkdata-flat.vmdk
-delta.vmdk или -sesparse.vmdk.Порядок снимков определяют ссылки в дескрипторах. В них parentCID дочернего звена должен совпадать с CID родительского. Несовпадение может означать, что родительский диск меняли после создания снимка или подложили другую его версию. Правка идентификаторов меняет только описание. Состояние блоков нужно выяснить до любых изменений.
Почему нужен промежуточный снимок
| Блок | A | B | C | D | E | F |
|---|---|---|---|---|---|---|
| База | A0 | B0 | C0 | D0 | E0 | F0 |
| Снимок 1 | – | B1 | – | – | E1 | – |
| Снимок 2 | – | – | C2 | – | E2 | – |
| Диск сейчас | A0 | B1 | C2 | D0 | E2 | F0 |
Что проверить, прежде чем что-то менять
- Уточните масштаб. Не запускается одна машина или несколько на том же datastore? Видна ли папка и все ли нужные файлы на месте? Для диагностики пригодится точный текст ошибки. Если журнал
vmware.logчитается, его можно скопировать отдельно. - Проверьте, есть ли резервная копия за подходящую дату. Если она есть, разверните её на другом исправном хранилище и откройте нужные файлы или базу. Возврат к снимку на исходном datastore меняет его состояние.
- Если проверенной копии нет и были удаление, ошибки чтения или сбой массива, остановите запись на затронутое хранилище, насколько позволяет работа системы. Оставьте существующие VMDK и снимки на месте до диагностики.
Как мы восстанавливаем данные с VMFS и VMDK
Если проблема на уровне RAID. Подключаем диски отдельно и работаем с исходными носителями на чтение. Неисправные диски сначала приводим в состояние, пригодное для считывания. При необходимости снимаем посекторные копии. Затем собираем виртуальный RAID и проверяем, читаются ли на нём VMFS, VMDK и разделы внутри виртуальных дисков.
VMFS обычно хранит сравнительно немного очень больших файлов. При подборе параметров RAID в ней может оказаться слишком мало служебных структур, по которым можно быстро проверить порядок блоков. NTFS внутри виртуальной машины даёт дополнительные ориентиры. Но её фрагменты лежат внутри VMDK, а сам VMDK может занимать разрозненные участки VMFS. Поэтому мы проверяем структуру на нескольких уровнях. Одного списка файлов для проверки сборки мало. Восстановление данных с RAID
Где проверяем результат восстановления
- RAID и LUNНаходим актуальные блоки и раскладку массива.
- VMFSОпределяем, где лежат участки файлов.
- VMDK и снимкиВосстанавливаем доступное состояние диска.
- Файлы и базыПроверяем то, что нужно заказчику.
Если удалили VMDK или часть блоков успели перезаписать. По нашему опыту, после удаления VMFS часто сохраняет недостаточно служебной информации для восстановления исходного размещения большого файла. Если поверх освободившихся блоков уже записали новые данные, прежнее содержимое этих блоков можно взять только из другой копии. Сохранившиеся участки проверяем отдельно. Иногда по остаткам метаданных внутри виртуального диска удаётся связать фрагменты с нужными файлами и вернуть часть исходной структуры папок. Восстановление данных с VMFS
Результат зависит от того, что лежало внутри. В файловом архиве документы и фотографии можно проверять по одному. Часть файлов может открыться, даже если виртуальная машина целиком не собирается. Для SQL Server нужна согласованная база. По нашей практике, после перезаписи части её блоков рассчитывать на рабочую базу целиком обычно не приходится. Иногда удаётся извлечь отдельные таблицы или записи. То, что удалось вернуть, проверяем на копии.
Из практики DATARC. Каталог читался при неверной сборке RAID
На сервере HP ProLiant с RAID 5 хранились виртуальные машины VMware ESXi. При подборе параметров массива мы видели файлы в VMFS, но ни один вариант сборки из привезённых дисков не давал правильного содержимого.
Оказалось, один диск оставили в серверной, считая его резервным. Контроллер уже успел выполнить rebuild на этот hot spare после первого отказа, и диск стал участником массива. Когда его прислали, удалось собрать RAID. Каталог файлов мы видели и до этого, а для чтения самих данных понадобился актуальный участник. Случай с HP Smart Array P410i
Если важнее всего вернуть конкретную папку, базу или несколько машин, скажите об этом сразу. От этой задачи зависит, какой виртуальный диск разбирать первым и что проверять до передачи результата. Восстановление данных виртуальных машин
