Хранилища

Система виртуализации РОСА Виртуализация использует централизованную систему хранилищ для виртуальных дисков, файлов ISO и снимков ВМ.

В обязанности администратора входят создание, настройка, присоединение и поддержка хранилищ. Дополнительно администратору необходимо иметь представление о типах хранилищ и сценариях их использования.

Сеть хранения в РОСА Виртуализация может быть реализована следующими средствами:

Сетевая файловая система NFS.
Экспорт GlusterFS.
Любые POSIX-совместимые файловые системы.
Интерфейс iSCSI.
Локальные хранилища, присоединенные непосредственно к хостам виртуализации.
Протокол Fibre Channel (FCP).
Параллельный доступ pNFS.

Настроенное хранилище является предварительным условием для создания дата-центра, поскольку дата-центр невозможно инициализировать до тех пор, пока не будут присоединены и активированы домены хранилищ.

Для добавления доменов хранилищ необходимы рабочий доступ на Портал администрирования, а также как минимум один подключенный хост со статусом "Запущен".

В РОСА Виртуализация используются следующие типы доменов хранилищ:

Домен данных. В доменах данных хранятся виртуальные жесткие диски и файлы OVF всех ВМ и шаблонов в дата-центре. Кроме того, в доменах данных хранятся снимки ВМ. Домены данных не могут быть общими для разных дата-центров. Домены данных нескольких различных типов (iSCSI, NFS, FC, POSIX и Gluster) могут быть добавлены в один дата-центр при условии, что они являются разделяемыми, а не локальными. Домен данных необходимо присоединить к дата-центру, перед тем как присоединять к дата-центру домены других типов.
Домен ISO. В доменах ISO хранятся файлы образов ISO (или логические носители CD), используемые для установки и загрузки операционных систем и приложений виртуальных машин. Наличие домена ISO отменяет необходимость физических носителей для дата-центров. Домен ISO может быть общим для разных дата-центров. Домены ISO могут создаваться только на базе файловой системы NFS. К дата-центру может быть присоединен только один домен ISO.

Примечание — Домены ISO являются устаревшими, поэтому для хранения образов ISO рекомендуется использовать домен данных, созданный на базе файловой системы NFS.

Домен экспорта. Домены экспорта — это временные репозитории хранения, используемые для копирования и перемещения образов между дата-центрами и окружениями виртуализации РОСА Виртуализация. Домен экспорта можно использовать для создания резервных копий ВМ. Домен экспорта можно перемещать между дата-центрами, при этом домен экспорта может быть активным одновременно только в одном из дата-центров. Домены экспорта можно создавать только на базе файловой системы NFS. К дата-центру может быть присоединен только один домен экспорта.

Примечание — Домены хранилищ экспорта являются устаревшими. Домены хранилищ данных можно отсоединить от дата-центра и импортировать в другие дата-центры в том же или в другом окружении. После этого виртуальные машины, "плавающие" виртуальные диски и шаблоны можно загрузить из домена хранения в прикрепленный дата-центр. Подробные сведения об импорте доменов хранилищ см. в п. Импорт доменов хранилищ.

Настройку и присоединение хранилищ к окружению виртуализации РОСА Виртуализация следует начинать только после того, как были определены требования к хранилищам со стороны дата-центров.

Домен хранилища

Домен хранилища — это собрание образов, имеющих общий интерфейс хранения. Домен хранилища содержит полные образы шаблонов и ВМ (включая снимки) или файлов ISO.

Домен хранилища может быть создан на базе блочных устройств (iSCSI или FCP) или файловых систем (NFS, GlusterFS или других POSIX-совместимых файловых систем).

Если домен хранилища создан на базе блочных устройств, то каждый виртуальный диск, шаблон или снимок являются логическими томами. Блочные устройства собираются в логическую сущность, называемую "группой томов", а затем разделяются диспетчером логических томов LVM (Logical Volume Manager) на логические тома для их использования в качестве виртуальных жестких дисков.

В файловых системах все виртуальные диски, шаблоны и снимки являются файлами.

Виртуальные диски могут иметь два формата — QCOW2 или raw. Тип хранилища может быть разреженный (тонкое резервирование) или предварительно зарезервированный. Снимки всегда имеют разреженный тип, но могут быть сделаны для виртуальных дисков любого из вышеперечисленных форматов.

ВМ, разделяющие один и тот же домен хранилища, могут мигрировать между хостами в одном кластере.

Подготовка и добавление хранилища NFS

Подготовка хранилища NFS

Общие ресурсы NFS создаются в хранилище файлов или на удаленном сервере в качестве доменов хранилищ. После экспорта этих общих ресурсов в удаленное хранилище и настройки их конфигурации в виртуализированном ЦУ они будут автоматически импортированы на хосты виртуализации.

Для того чтобы виртуализированный ЦУ мог хранить данные в доменах хранилищ, представленных экспортированными каталогами, необходимы специальные системные учетные записи пользователей и системные группы пользователей.

В следующей последовательности действий описывается настройка прав доступа для каталога /exports/data. Шаги с использованием команд chown и chmod необходимо повторить для каждого каталога, который планируется использовать в качестве домена хранилищ в РОСА Виртуализация.

Последовательность действий по подготовке хранилища NFS:

создать группу kvm:

groupadd kvm -g 36

создать пользователя vdsm в группе kvm:

useradd vdsm -u 36 -g 36

указать значение "36:36" для изменения владельцев каталога /exports/data на vdsm:kvm:

chown -R 36:36 /exports/data

изменить режим доступа к каталогу /exports/data так, чтобы владелец имел доступ на чтение и запись, а группа и другие пользователи имели доступ на чтение и выполнение:

chmod 0755 /exports/data

Добавление хранилища NFS

В следующей последовательности действий описывается как присоединить существующее хранилище NFS к окружению виртуализации РОСА Виртуализация в качестве домена данных.

Последовательность действий по добавлению хранилища NFS:

на Портале администрирования выбрать "Хранилище → Домены";
нажать кнопку Добавить домен;
в окне "Новый домен" указать "Имя" домена хранилища (рисунок 170);

Рисунок 170 ‒ Добавление хранилища NFS

принять значения по умолчанию для списков "Дата-центр", "Функции домена", "Тип хранилища", "Формат" и "Хост";
ввести "Путь экспорта", используемый для домена хранилища. Путь должен иметь формат "123.123.0.10:/data" (для IPv4), "[2001:0:0:0:0:0:0:5db1]:/data" (для IPv6) или "domain.example.com:/data";
при необходимости нажать кнопку Дополнительные параметры для настройки следующих значений:

в поле "Индикатор предупреждения о недостатке места (%)" указать значение в процентах. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого процентного значения, пользователю будет показано предупреждающее сообщение, а событие будет занесено в журнал;
в поле "Блокатор при отсутствии места (ГБ)" ввести значение в ГБ. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого значения, пользователю будет показано сообщение об ошибке, событие будет занесено в журнал, а любое новое действие (даже временное), которому необходимо дисковое пространство, будет заблокировано;
установить флажок "Забить нулями после удаления". Этот выбор можно изменить после создания домена, но для уже существующих дисков этот параметр изменить нельзя;

нажать кнопку OK.

Примечание — "Новый домен" данных NFS будет иметь статус "Заблокировано" до тех пор, пока не будет подготовлен диск, после чего домен будет автоматически подключен к дата-центру.

Для добавления хранилища NFS при необходимости использования домена экспорта или домен ISO можно выполнить вышеперечисленные действия, но в списке "Функция домена" выбрать значение "Экспорт" или "ISO".

Увеличение объема хранилища NFS

Для увеличения объема хранилища NFS можно либо создать новый домен хранилища и добавить его в существующий дата-центр, либо увеличить доступный объем на сервере NFS.

Для увеличения существующего домена хранилища NFS нужно выполнить следующие действия:

нажать "Хранилище → Домены";
нажать на название существующего домена NFS, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр" и нажать кнопку Обслуживание, чтобы перевести домен хранилища в режим обслуживания. Это действие размонтирует существующий общий ресурс и даст возможность изменить размер домена хранилища;
изменить размер хранилища на сервере NFS до необходимого объема;
в подробном просмотре перейти на вкладку "Дата-центр" и нажать кнопку Активировать, чтобы смонтировать домен хранилища.

Подготовка и добавление локального хранилища

Подготовка локального хранилища

Локальный домен хранилища можно настроить на хосте. При настройке локального хранилища хост автоматически добавляется в новый дата-центр и кластер, состоящий из одного хоста. Для кластеров, состоящих из множества хостов, требуется, чтобы у каждого хоста имелся доступ ко всем доменам хранилищ, что невозможно в случае локального хранилища.

Примечания:
Виртуальные машины, созданные в кластере с единственным хостом, не могут мигрировать, их нельзя изолировать (огородить) или добавить в планирование.
На хостах виртуализации локальные хранилища всегда должны настраиваться на файловой системе, отделенной от корневого каталога "/". Для предотвращения потенциальных потерь данных во время обновления версий ПО рекомендуется использовать отдельный логический том.

Для подготовки локального хранилища на стандартных хостах нужно выполнить следующие действия:

создать каталог (например, /data/images), который будет использоваться как локальное хранилище:

mkdir -p /data/images

изменить владельцев каталога /data/images на пользователя vdsm и группу kvm и установить права на чтение и запись в каталоге /data/images для владельца:

chown 36:36 /data /data/images
chmod 0755 /data /data/images

На хосте виртуализации рекомендуется создать локальное хранилище на логическом томе следующим образом:

создать каталог локального хранилища:

mkdir /data
lvcreate -L $SIZE rhvh -n data
mkfs.ext4 /dev/mapper/rhvh-data
echo "/dev/mapper/rhvh-data /data ext4 defaults,discard 1 2" \
>> /etc/fstab
mount /data

смонтировать новое локальное хранилище и затем изменить владельца и права доступа:

mount -a
chown 36:36 /data /rhvh-data
chmod 0755 /data /rhvh-data

Добавление локального хранилища

Добавление локального хранилища помещает хост в новый дата-центр и кластер.

В следующей последовательности действий в окне параметров локального хранилища соединено создание дата-центра, кластера и хранилища.

Последовательность действий по добавлению локального хранилища:

нажать "Ресурсы → Хосты" и выбрать хост;
нажать "Управление → Обслуживание" и далее нажать OK;
нажать "Управление → Настроить";
нажать на кнопки кнопку Изменить рядом с полями "Дата-центр", "Кластер" и "Хранилище", чтобы настроить домен локального хранилища;
в текстовом поле указать путь до локального хранилища;
при необходимости перейти на вкладку "Оптимизация", чтобы настроить политику оптимизации памяти для нового кластера локального хранилища;
нажать кнопку OK.

В результате хост присоединится к сети в собственном дата-центре.

Управление хранилищами на базе файловой системы, совместимой с POSIX

Подготовка хранилища на базе файловой системы, совместимой с POSIX

Поддержка файловой системы стандарта POSIX дает возможность монтировать файловые системы с теми же самыми параметрами монтирования, которые обычно применяются при ручном монтировании из командной строки.

Любая файловая система, совместимая с POSIX и используемая в качестве домена хранилища в РОСА Виртуализация, должна быть кластерной, а также должна поддерживать разреженные файлы и прямой ввод-вывод. Например, файловая система CIFS (Common Internet File System) не поддерживает механизм прямого ввода-вывода, что делает CIFS несовместимой с Системой.

Примечание — Не следует монтировать хранилище NFS, создавая домен хранилища на базе ФС, совместимой с POSIX. Всегда рекомендуется создавать для этого домен хранилища NFS.

Добавление хранилища на базе файловой системы, совместимой с POSIX

В следующей последовательности действий описывается, как присоединить к РОСА Виртуализация в качестве домена данных существующее хранилище на базе файловой системы, совместимой с POSIX.

Последовательность действий по добавлению хранилища на базе файловой системы, совместимой с POSIX:

нажать "Хранилище → Домены";
нажать кнопку Добавить домен;
в окне "Новый домен" указать "Имя" для домена хранилища (рисунок 171);

Рисунок 171 ‒ Добавление хранилища с POSIX-совместимой файловой системой

выбрать "Дата-центр", связанный с доменом хранилища (выбранный дата-центр должен иметь тип POSIX), или при отсутствии такого дата-центра выбрать "Нет";
из выпадающего списка "Функция домена" выбрать "Данные", а из списка "Тип хранилища" выбрать "POSIX-совместимая ФС";
из выпадающего списка выбрать "Хост";
указать "Путь" до POSIX-совместимой ФС в формате команды mount;
указать "Тип VFS" в формате команды mount с аргументом "–t";
указать дополнительные "Параметры монтирования" в формате команды mount с аргументом "–o". Параметры монтирования должны указываться в виде списка, разделенного запятыми;
при необходимости нажать кнопку Дополнительные параметры для настройки следующих значений:

в поле "Индикатор предупреждения о недостатке места (%)" указать значение в процентах. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого процентного значения, пользователю будет показано предупреждающее сообщение, а событие будет занесено в журнал;
в поле "Блокатор при отсутствии места (ГБ)" ввести значение в ГБ. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого значения, пользователю будет показано сообщение об ошибке, событие будет занесено в журнал, а любое новое действие (даже временное), которому необходимо дисковое пространство, будет заблокировано;
установить флажок "Забить нулями после удаления". Этот выбор можно изменить после создания домена, но для уже существующих дисков этот параметр изменить нельзя;

нажать кнопку OK.

Подготовка и добавление блочного хранилища

Подготовка хранилища iSCSI

Система виртуализации РОСА Виртуализация поддерживает хранилища iSCSI.

Хранилище iSCSI представляет собой домен хранилища из группы томов на базе LUN. Группы томов и номера LUN нельзя присоединить более чем к одному домену хранилища одновременно.

Важно:

При использовании блочного хранилища и планировании размещения ВМ на устройствах raw или прямых LUN под управлением диспетчера логических томов необходимо создать фильтр для скрытия гостевых логических томов. Это предотвратит активацию гостевых томов при загрузке хоста, что потенциально может привести к повреждению данных.
Система виртуализации РОСА Виртуализация на данный момент не поддерживает хранилища с размером блоков в 4КБ. Блочные хранилища необходимо настраивать в старом режиме (512 байт на блок).
В ситуации, когда хост загружается из хранилища SAN и впоследствии теряет связь с хранилищем, файловые системы хранилища становятся доступны только для чтения и остаются в этом состоянии после восстановления связи. Для предотвращения этой ситуации рекомендуется добавить в корневую файловую систему SAN замещающий конфигурационный файл доступа по нескольким путям к загрузочным LUN, чтобы обеспечить постановку их в очередь при наличии соединения:
```
cat /etc/multipath/conf.d/host.conf
multipaths {
multipath {
wwid wwid_загрузочного_LUN
no_path_retry queue
}
```

Добавление хранилища iSCSI

В следующей последовательности действий описывается, как присоединить к РОСА Виртуализация в качестве домена данных существующее хранилище iSCSI.

Последовательность действий по добавлению хранилища iSCSI:

нажать "Хранилище → Домены";
нажать кнопку Добавить домен;
В окне "Новый домен" указать "Имя домена хранилища" (рисунок 172);
выбрать "Дата-центр";

Рисунок 172 ‒ Добавление хранилища iSCSI

в качестве "Функции" домена выбрать "Данные", а в качестве "Типа хранилища" выбрать "iSCSI";
из выпадающего списка "Хост" выбрать активный хост;

Примечание — Подключение к домену хранилища идет от выбранного хоста, а не напрямую из виртуализированного ЦУ, поэтому у всех хостов должен быть доступ к устройству хранения до того, как будет настроен домен хранилища.

виртуализированный ЦУ может отобразить цели iSCSI на номера LUN или номера LUN на цели iSCSI. В окне "Новый домен" при выборе типа хранилища "iSCSI" автоматически отображаются известные цели с неиспользуемыми LUN. Опционально, если отсутствует цель, используемая для добавления хранилища, выполнить следующие действия по обнаружению целей:

для активации возможности обнаружения целей нажать "Обнаружить цели". В результате в окне "Новый домен" автоматически будут показаны цели с неиспользуемыми в окружении LUN, а также будут показаны LUN, используемые вне окружения. Параметр "Обнаружить цели" можно использовать для добавления LUN ко многим целям или нескольких путей к одним и тем же LUN;
в поле "Адрес" ввести полное доменное имя или IP-адрес хоста iSCSI (рисунок 173);
в поле "Порт" указать номер порта, к которому будет подключаться хост при просмотре целей (рисунок 173). Значение по умолчанию — "3260";

Рисунок 173 ‒ Секция "Обнаружение таргетов" для хранилища типа iSCSI

если для защиты хранилища используется CHAP, установить флажок "Аутентификация пользователей" и далее ввести "Имя пользователя CHAP" и "Пароль CHAP" (рисунок 173);

Примечание — Учетные записи цели iSCSI для конкретного хоста можно настроить с помощью REST API.

нажать "Обнаружение";
выбрать одну или несколько целей из списка с результатами обнаружения (рисунок 174);

Рисунок 174 ‒ Список целей iSCSI ‒ результаты обнаружения целей

нажать кнопку Вход в систему при выборе одной цели или нажать кнопку Выполнить вход для всех при выборе нескольких целей (стрелка → (вправо) в правой части формы на рисунке 174);

Примечание — Если для доступа требуется более одного пути, необходимо обнаружить и выполнить вход на цели с использованием всех путей. Изменение домена хранилища для добавления дополнительных путей на данный момент не поддерживается.

нажать на кнопку + рядом с необходимой целью (рисунок 175). Элемент раскроется и будут показаны все неиспользуемые LUN, присоединенные к цели. Для добавления цели нажать кнопку Добавить;

Рисунок 175 ‒ Добавление цели iSCSI

установить флажок для каждого LUN, используемого для создания домена хранилища;
при необходимости нажать кнопку Дополнительные параметры для настройки следующих значений:

в поле "Индикатор предупреждения о недостатке места (%)" указать значение в процентах. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого процентного значения, пользователю будет показано предупреждающее сообщение, а событие будет занесено в журнал;
в поле "Блокатор при отсутствии места (ГБ)" ввести значение в ГБ. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого значения, пользователю будет показано сообщение об ошибке, событие будет занесено в журнал, а любое новое действие (даже временное), которому необходимо дисковое пространство, будет заблокировано;
установить флажок "Забить нулями после удаления". Этот выбор можно изменить после создания домена, но для уже существующих дисков этот параметр изменить нельзя;

нажать кнопку OK.

После проведения инициализации хранилище iSCSI будет добавлено в список доступных хранилищ (рисунок 176).

Рисунок 176 ‒ Домен хранилища с типом хранилища iSCSI добавлен и активен

Если к одной цели было настроено несколько соединений из хранилищ, то для завершения создания связки iSCSI см. инструкцию, приведенную в п. Настройка доступа к iSCSI по нескольким путям.

В случае если текущая сеть хранилища должна мигрировать в связку iSCSI, см. п. Миграция доменов хранилищ между дата-центрами в разных окружениях.

Настройка доступа к iSCSI по нескольким путям

Доступ к iSCSI по нескольким путям дает возможность создания и управления группами логических сетей и подключений к хранилищу iSCSI. Конфигурация нескольких сетевых путей от хоста до хранилища iSCSI предохраняет хост от простоя во время потенциального сбоя сетевого пути.

С помощью сетевых карт или VLAN, присвоенных логическим путям в связке iSCSI, виртуализированный ЦУ подключает каждый хост в дата-центре к каждой из целей.

В целях избыточности связку iSCSI можно создать с помощью нескольких целей iSCSI и логических сетей.

Предварительным условием для настройки доступа к iSCSI по нескольким путям является наличие одной или нескольких целей iSCSI (см. п. Добавление хранилища iSCSI), а также одной или нескольких логических сетей (см. п. Создание новой логической сети в дата-центре или кластере), отвечающих следующим требованиям:

Логическая сеть не является требуемой сетью или сетью виртуальной машины.
Логическая сеть присвоена интерфейсу хоста (см. п. Изменение параметров сетевых интерфейсов и присвоение хостам логических сетей).
Логической сети присвоен статический IP-адрес в той же VLAN и подсети, в которой размещаются другие логические сети в связке iSCSI (см. п. Изменение параметров сетевых интерфейсов и присвоение хостам логических сетей).

Для настройки доступа к iSCSI по нескольким путям требуется:

нажать "Ресурсы → Дата-центры";
нажать на имя дата-центра, чтобы перейти к подробному просмотру;
на вкладке "Доступ к iSCSI по нескольким путям" нажать кнопку Добавить;
в окне "Добавить связку iSCSI" указать "Имя" и "Описание";
выбрать логическую сеть из списка "Логические сети" и домен хранилища из списка "Таргеты хранилища", при этом все пути до одной и той же цели должны быть выбраны;
нажать кнопку OK.

В результате хосты в дата-центре будут подключены к целям iSCSI с помощью логических сетей в связке iSCSI.

Миграция логической сети в связку iSCSI

При наличии логической сети, созданной для передачи трафика iSCSI и настроенной поверх существующей сетевой связки, эту сеть можно перенести в связку iSCSI в той же подсети с нулевым временем простоя и без сбоев.

Для миграции логической сети в связку iSCSI нужно:

изменить текущую логическую сеть так, чтобы она не была "Требуемой":
1. нажать "Ресурсы → Кластеры";
2. нажать на название кластера, чтобы перейти к подробному просмотру;
3. во вкладке "Логические сети" выбрать текущую логическую сеть (например, "net-1") и нажать "Управление сетями";
4. снять флажок "Требуется" и нажать кнопку OK;
создать новую логическую сеть, не являющуюся "Требуемой" и не являющуюся "Сетью ВМ":
1. нажать кнопку Добавить сеть, чтобы открыть окно "Новая логическая сеть";
2. во вкладке "Общие" ввести "Имя" (например, "net-2") и снять флажок "Сеть ВМ";
3. во вкладке "Кластер" снять флажок "Требовать" и нажать кнопку OK;
удалить текущую сетевую связку и заново присвоить логические сети:
1. нажать "Ресурсы → Хосты";
2. нажать на имя хоста, чтобы перейти к подробному просмотру;
3. во вкладке "Сетевые интерфейсы" нажать "Настроить сети хоста";
4. переместить сеть "net-1" вправо, чтобы заново присвоить эту сеть;
5. переместить текущую связку вправо для удаления;
6. переместить сети "net-1" и "net-2" влево, чтобы присвоить эти сети физическим интерфейсам;
7. нажать на значок карандаша рядом с сетью "net-2", чтобы открыть окно "Свойства сети";
8. во вкладке "IPV4" выбрать "Статический";
9. указать "IP" и "Сетевую маску/префикс маршрутизации подсети" и нажать кнопку OK;
создать связку iSCSI:
1. нажать "Ресурсы → Дата-центры";
2. нажать на имя дата-центра, чтобы перейти к подробному просмотру;
3. во вкладке "Доступ к iSCSI по нескольким путям" нажать кнопку Добавить;
4. в окне "Добавить связку iSCSI" указать "Имя", выбрать сети "net-1" и "net-2" и нажать кнопку OK.

В результате в дата-центре теперь будет связка iSCSI, включающая в себя и старую (net-1), и новую (net-2) логические сети.

Подготовка хранилища FCP

Система виртуализации РОСА Виртуализация поддерживает хранилище SAN путем создания домена хранилища из группы томов, созданной из ранее существовавших LUN. Ни группы томов, ни номера LUN нельзя присоединить более чем к одному домену хранилища одновременно.

Важно — Администраторы РОСА Виртуализация должны иметь практические знания о теории и принципах работы сетей хранения данных SAN. Как правило, для переноса трафика между хостом и общим внешним хранилищем SAN используется протокол FCP. В связи с этим SAN иногда называют хранилищем FCP.

Примечания:
При использовании блочного хранилища и планировании размещения ВМ на устройствах raw или прямых LUN под управлением диспетчера логических томов необходимо создать фильтр для скрытия гостевых логических томов. Это предотвратит активацию гостевых томов при загрузке хоста, что потенциально может привести к повреждению данных.
Система виртуализации РОСА Виртуализация на данный момент не поддерживает хранилища с размером блоков в 4КБ. Блочные хранилища необходимо настраивать в старом режиме (512 байт на блок).
В ситуации, когда хост загружается из хранилища SAN и впоследствии теряет связь с хранилищем, файловые системы хранилища становятся доступны только для чтения и остаются в этом состоянии после восстановления связи. Для предотвращения этой ситуации рекомендуется добавить в корневую ФС SAN замещающий конфигурационный файл доступа по нескольким путям к загрузочным LUN, чтобы обеспечить постановку их в очередь при наличии соединения:

cat /etc/multipath/conf.d/host.conf
multipaths {
multipath {
wwid wwid_загрузочного_LUN
no_path_retry queue
}

Добавление хранилища FCP

В следующей последовательности действий описывается как присоединить к РОСА Виртуализация в качестве домена данных существующее хранилище FCP.

Последовательность действий по добавлению хранилища FCP:

нажать "Хранилище → Домены";
нажать "Добавить домен";
указать "Имя" домена хранилища;
из выпадающего списка выбрать "Дата-центр FCP" или при отсутствии такого дата-центра выбрать "Нет";
из выпадающих списков выбрать "Функцию домена" и "Тип хранилища". Типы доменов хранилища, несовместимые с выбранным дата-центром, не будут доступны;
в поле "Хост" выбрать активный хост. Если этот домен данных не первый в этом дата-центре, необходимо выбрать SPM-хост дата-центра;

Важно — Подключение к домену хранилища идет через выбранный хост, а не напрямую из виртуализированного ЦУ. В Системе должен существовать как минимум один активный хост, присоединенный к выбранному дата-центру. До начала настройки домена хранилища у всех хостов должен быть доступ к устройству хранения.

при выборе типа хранилища "Оптоволокно" в окне "Новый домен" автоматически показываются известные цели с неиспользуемыми LUN. Установить флажок "LUN ID", чтобы выбрать все доступные LUN;
опционально нажать кнопку Дополнительные параметры для настройки следующих значений:

в поле "Индикатор предупреждения о недостатке места" ввести процентное значение. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого процентного значения, пользователю будет показано предупреждающее сообщение, а событие будет занесено в журнал;
в поле "Блокатор при отсутствии места (ГБ)" ввести значение в ГБ. Если объем свободного пространства, доступного в домене хранилища, будет ниже этого значения, пользователю будет показано сообщение об ошибке, событие будет занесено в журнал, а любое новое действие (даже временное), которому необходимо дисковое пространство, будет заблокировано;
установить флажок "Забить нулями после удаления". Этот выбор можно изменить после создания домена, но для уже существующих дисков этот параметр изменить нельзя;

нажать кнопку OK.

Примечание — Во время подготовки к использованию домен данных FCP будет иметь статус "Заблокировано". Домен автоматически присоединится к дата-центру, когда будет готов к использованию.

Увеличение размера хранилища iSCSI или FCP

Для увеличения объема хранилища iSCSI или FCP существуют следующие способы:

Добавление существующего LUN в текущий домен хранения.
Создание нового домена с новыми LUN и добавление этого домена в существующий дата-центр (см. п. Импорт доменов хранилищ).
Расширение домена хранения за счет изменения размера базовых LUN.

В следующей последовательности действий описывается, как расширить хранилище сети хранения данных SAN при помощи добавления нового номера LUN в существующий домен хранения со статусом "Запущен".

Примечание — Все хосты со статусом "Запущен" должны иметь доступ к LUN, в противном случае действие закончится неудачей, и LUN не будет добавлен в домен хранения. При этом хосты не будут затронуты. Если недавно добавленный хост, а также хост, выходящий из режима обслуживания или из статуса "В нерабочем состоянии", не будет иметь доступа к LUN, то такой хост получит статус "В нерабочем состоянии".

Для увеличения размера существующего хранилища iSCSI или FCP нужно:

нажать "Хранилище → Домены" и выбрать домен iSCSI или FCP;
нажать "Управление доменом";
нажать "Таргеты > LUN" и далее нажать кнопку Обнаружить таргеты;
указать сведения о подключении для сервера хранилища и далее нажать кнопку Обнаружить для инициации подключения;
нажать "Таргеты > LUN" и установить флажок для нового доступного LUN;
нажать кнопку OK, чтобы добавить LUN в выбранный домен хранения.

В результате домен хранения увеличится на размер добавленного LUN.

При расширении домена хранения с помощью изменения размера базовых LUN информация об этих LUN также должна быть обновлена на Портале администрирования.

Для обновления информации о размере LUN на Портале администрирования требуется:

нажать "Хранилище → Домены" и выбрать домен iSCSI или FCP;
нажать "Управление доменом";
нажать "LUN > Таргеты";
в столбце "Дополнительный размер" нажать на кнопку Добавить дополнительный размер хранилища для обновления информации о LUN;
нажать кнопку OK, чтобы LUN отображал новый размер хранилища.

Повторное использование LUN

Следует обратить внимание, что номера LUN не могут быть повторно использованы в их текущем состоянии для создания домена хранилища или виртуального диска. При попытке повторно использовать LUN будет выведено следующее сообщение об ошибке на Портале администрирования:

Сбой инициализации физического устройства. Убедитесь, что устройство пусто и у хоста есть к нему доступ.

Виртуализированный ЦУ покажет следующую ошибку во время установки:

[ ERROR ] Error creating Volume Group: Failed to initialize physical device: ("[u'/dev/mapper/000000000000000000000']",)
[ ERROR ] Failed to execute stage 'Misc configuration': Failed to initialize physical device: ("[u'/dev/mapper/000000000000000000000']",)

Перед повторным использованием номера LUN необходимо очистить старую таблицу разделов от LUN. Для этого следует выполнить команду dd с указанием идентификатора LUN, который необходимо использовать повторно, максимального числа байтов для одновременного чтения и записи, а также числа копируемых входных блоков:

dd if=/dev/zero of=/dev/mapper/LUN_ID bs=1M count=200 oflag=direct

Важно — Это действие необходимо выполнить для корректного LUN во избежание непреднамеренного повреждения данных.

Подготовка и добавление хранилища Gluster

Процесс развертывания хранилища Gluster приведен в документе .

Импорт существующих доменов хранилищ

Обзор процесса импорта существующих доменов хранилищ

Кроме добавления новых доменов хранилищ, не содержащих данные, можно импортировать уже существующие и получить доступ к хранящимся в них данным. С помощью импорта домена хранилища можно восстанавливать данные после сбоев в базе данных виртуализированного ЦУ, а также переносить данные из одного дата-центра или окружения в другое.

Ниже приводится общий обзор процесса импорта для каждого из типов доменов хранилищ:

Домен данных.

Импорт существующего домена хранения данных дает доступ ко всем ВМ и шаблонам, хранящимся в этом домене. После импорта домена данных необходимо вручную импортировать ВМ, образы "плавающих" виртуальных дисков и шаблоны в целевой дата-центр. Процесс импорта ВМ и шаблонов, хранящихся в домене данных, аналогичен процессу экспорта домена хранилищ. Но, поскольку домены хранения данных содержат все ВМ и шаблоны указанного дата-центра, импорт доменов хранения данных рекомендуется осуществлять в целях восстановления данных или при масштабных миграциях ВМ между дата-центрами или окружениями.

Примечание — Импорт существующих доменов хранения данных, присоединенных к дата-центрам, возможен при корректном поддерживаемом уровне совместимости.

Домен ISO.

Импорт существующего домена хранения ISO дает доступ ко всем файлам ISO и виртуальным дискам, хранящимся в этом домене. После завершения процесса импорта для доступа к этим ресурсам не требуется дополнительных действий, их можно присоединять к виртуальным машинам по требованию.

Примечание — Домены ISO являются устаревшими, поэтому для хранения образов ISO рекомендуется использовать домен данных, созданный на базе файловой системы NFS.

Домен экспорта.

Импорт существующего домена хранения экспорта дает доступ ко всем образам ВМ и шаблонам, хранящимся в этом домене. Поскольку домены экспорта созданы для экспорта и импорта образов ВМ и шаблонов, импорт доменов хранения экспорта рекомендуется осуществлять при небольших миграциях ВМ и шаблонов внутри окружения или между окружениями.

Примечание — Домены хранилищ экспорта являются устаревшими. Домены хранилищ данных можно отсоединить от дата-центра и импортировать в другие дата-центры в том же или в другом окружении. После этого виртуальные машины, "плавающие" виртуальные диски и шаблоны можно загрузить из домена хранения в прикрепленный дата-центр. Подробные сведения об импорте доменов хранилищ см. п. Импорт доменов хранилищ.

Следует обратить внимание, что после прикрепления домена хранения к целевому дата-центру домен может быть обновлен до нового формата, после чего повторное прикрепление к исходному дата-центру может быть невозможным. В свою очередь, это может нарушить процесс использования доменов данных в качестве замены доменам экспорта.

Импорт доменов хранилищ

Для предотвращения возможного повреждения данных при импорте домена хранения, ранее прикрепленного к дата-центру в том же или в другом окружении, подразумевается, что домен хранения уже не прикреплен ни к одному из дата-центров в любом окружении.

Следует обратить внимание, что целевой дата-центр должен быть инициализирован для импорта и прикрепления существующего домена хранения к этому дата-центру.

Для импорта домена хранения нужно выполнить следующие действия:

нажать "Хранилище → Домены";
нажать кнопку Импортировать домен;
выбрать "Дата-центр", в который нужно импортировать домен хранения;
указать "Имя" домена хранения (рисунок 177);

Рисунок 177 ‒ Импорт домена хранения

из выпадающих списков выбрать "Функцию домена" и "Тип хранилища";
выбрать "Хост".

Важно — Подключение к домену осуществляется через выбранный хост, а не напрямую из виртуализированного ЦУ. Таким образом, должен существовать как минимум один активный хост, присоединенный к выбранному дата-центру. До начала настройки домена у всех хостов должен быть доступ к устройству хранения.

указать сведения о домене хранения;

Примечание — Поля для ввода сведений о домене хранения изменяются в зависимости от значений, выбранных в списках "Функция домена" и "Тип хранилища". Эти поля аналогичны полям, отображаемым при добавлении нового домена хранения.

установить флажок "Активировать домен в дата-центре", чтобы активировать домен хранения после присоединения его к выбранному дата-центру;
нажать кнопку OK.

В результате из домена хранения теперь можно импортировать ВМ и шаблоны в выбранный дата-центр.

Миграция доменов хранилищ между дата-центрами в одном окружении

При миграции домена хранения между дата-центрами в границах окружения РОСА Виртуализация осуществляется открепление домена от одного дата-центра и прикрепление к другому дата-центру, чтобы целевой дата-центр получил доступ к данным, хранящимся в домене.

Для миграции домена хранения между дата-центрами в одном окружении нужно:

выключить все ВМ, выполняющиеся в домене хранения;
нажать "Хранилище → Домены";
нажать на название домена хранения, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать "Обслуживание" и нажать кнопку OK;
нажать "Отсоединить" и нажать кнопку OK;
нажать кнопку Присоединить;
выбрать целевой дата-центр и нажать кнопку OK.

В результате домен хранения прикреплен к целевому дата-центру и автоматически активируется, что позволяет импортировать ВМ и шаблоны из домена хранения в целевой дата-центр.

Миграция доменов хранилищ между дата-центрами в разных окружениях

При миграции домена хранения между дата-центрами в разных окружениях РОСА Виртуализация осуществляется удаление домена из одного окружения и импорт домена в другое окружение, чтобы целевое окружение получило доступ к данным, хранящимся в домене.

Дата-центры в разных окружениях должны иметь корректный поддерживаемый уровень совместимости для обеспечения возможности импорта и присоединения домена хранения данных.

Для миграции домена хранения между дата-центрами в разных окружениях нужно выполнить следующие действия:

войти на Портал администрирования в исходном окружении;
выключить все ВМ, выполняющиеся в домене хранения;
нажать "Хранилище → Домены";
нажать на название домена хранения, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать "Обслуживание" и нажать кнопку OK;
нажать "Открепить" и нажать кнопку OK;
нажать кнопку Удалить;
в окне "Удалить хранилище" убедиться в том, что флажок "Форматировать домен" не установлен, т. е. содержимое хранилища не будет потеряно, и данные в домене сохранятся для последующего использования;
нажать кнопку OK для удаления домена хранения из исходного окружения;
войти на Портал администрирования в целевом окружении;
нажать "Хранилище → Домены";
нажать кнопку Импортировать домен;
из выпадающего списка "Дата-центр" выбрать целевой дата-центр;
ввести "Имя" домена хранения;
из соответствующих выпадающих списков выбрать "Функцию домена" и "Тип хранилища";
выбрать "Хост";
указать сведения о домене хранения;

Примечание — Поля для ввода сведений о домене хранения изменяются в зависимости от значений, выбранных в списках "Функция домена" и "Тип хранилища". Эти поля аналогичны полям, отображаемым при добавлении нового домена хранения.

установить флажок "Активировать домен дата-центра", чтобы домен хранения был активирован автоматически при присоединении;
нажать кнопку OK.

В результате домен хранения будет присоединен к целевому дата-центру в новом окружении РОСА Виртуализация и автоматически активирован, что позволяет импортировать ВМ и шаблоны из домена хранения в целевой дата-центр.

Импорт виртуальных машин из импортированных доменов данных

Импорт ВМ из импортированного домена хранения данных может осуществляться в один или несколько целевых кластеров.

В следующей последовательности действий предполагается, что ранее импортированный домен хранения данных был присоединен к дата-центру и активирован.

Для импорта ВМ из импортированного домена данных нужно выполнить следующие действия:

нажать "Хранилище → Домены";
нажать на имя импортированного домена данных, чтобы перейти к подробному просмотру;
перейти на вкладку "Импорт ВМ";
выбрать одну или несколько ВМ для импорта;
нажать кнопку Импортировать;
убедиться, что для каждой ВМ в окне "Импорт ВМ" выбран корректный целевой кластер из списка "Кластер";
отобразить внешние профили vNIC ВМ на профили, присутствующие в целевом кластере:

нажать "Отображение профилей vNIC";
выбрать используемый профиль vNIC из выпадающего списка "Целевой профиль vNIC";
если в окне "Импорт ВМ" было выбрано несколько целевых кластеров, выбрать каждый целевой кластер из выпадающего списка "Целевой кластер" и убедиться в том, что отображения корректны;
нажать кнопку OK;

при обнаружении конфликта MAC-адресов рядом с именем ВМ появится "!" (восклицательный знак). Навести курсор на "!" (восклицательный знак), чтобы просмотреть всплывающую подсказку с возникшей ошибкой. Установить флажок "Повторно присвоить неправильные MAC", чтобы повторно присвоить конфликтующие MAC-адреса всем проблемным ВМ;

Примечание — Импорт ВМ закончится неудачей в случае отсутствия доступных MAC-адресов для присвоения. Тем не менее возможен импорт ВМ без присвоения новых адресов при использовании MAC-адресов, расположенных вне диапазона пула MAC-адресов кластера.

нажать кнопку OK.

Импорт шаблонов из импортированных доменов данных

Импорт шаблонов из импортированного домена хранения данных может осуществляться в один или несколько целевых кластеров.

Для импорта шаблонов из импортированного домена данных нужно выполнить следующие действия:

нажать "Хранилище → Домены";
нажать на имя импортированного домена данных, чтобы перейти к подробному просмотру;
перейти на вкладку "Импорт шаблонов";
выбрать один или несколько шаблонов для импорта;
нажать кнопку Импортировать;
убедиться, что для каждого шаблона в окне "Импорт шаблонов" выбран корректный целевой кластер из списка "Кластер";
отобразить внешние профили vNIC на профили, присутствующие в целевом кластере:

нажать кнопку Отображение профилей vNIC;
выбрать используемый профиль vNIC из выпадающего списка "Целевой профиль vNIC";
если в окне "Импорт шаблонов" было выбрано несколько целевых кластеров, выбрать каждый целевой кластер из выпадающего списка "Целевой кластер" и убедиться в том, что отображения корректны;
нажать кнопку OK;

нажать кнопку OK.

Работа с доменами хранилищ

Размещение образов в доменах данных

Образы виртуальных дисков и образы ISO в домен хранения данных можно загрузить с помощью Портала администрирования или REST API.

Виртуальные диски, совместимые с QEMU, можно присоединять к виртуальным машинам. Диски должны иметь тип raw или QCOW2. Диски, созданные на базе виртуального диска с типом QCOW2, нельзя сделать общими, а файл виртуального диска с типом QCOW2 не должен иметь резервной копии.

Образы ISO можно присоединять к ВМ в качестве CD или использовать для загрузки ВМ.

Так как функция загрузки (отправки) образов в домен использует HTML5 API, в качестве п*редварительных условий для размещения образов в доменах данных *в окружении необходимо иметь следующие компоненты:

Прокси ввода-вывода изображений ovirt-imageio-proxy, настроенный с помощью engine-setup.
Центр сертификации, импортированный в веб-браузер, с помощью которого осуществляется доступ на Портал администрирования. Для импорта центра сертификации следует перейти по адресу https://адрес_диспетчера_виртуализации/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA и включить все параметры доверия.
Браузер с поддержкой HTML5.

Для размещения образа в домене хранения данных нужно выполнить следующие действия:

нажать "Хранилище → Домены хранилищ → ISO → Диски" (рисунок 178);

Рисунок 178 ‒ Секция "Хранилище → Домены хранилищ → ISO", вкладка "Диски"

в меню нажать кнопку Отправить и выбрать "Начать" (рисунок 179);

Рисунок 179 ‒ Форма для отправки образа диска в хранилище

нажать кнопку Выберите файл и выбрать образ для загрузки в домен (рисунок 180);

Рисунок 180 ‒ Выбор файла с образом диска для отправки в домен

заполнить поля "Параметры диска";
нажать кнопку OK.

Статус загрузки образа в домен отображается с помощью индикатора выполнения.

В меню по нажатию кнопки Отправить можно приостановить, отменить или возобновить отправку файлов.

Увеличение значения времени ожидания отправки

Для увеличения значения времени ожидания отправки необходимо:

в случае превышения времени ожидания окончания отправки и появления соответствующего сообщения "Причина: превышение времени ожидания в связи с неактивностью передачи" выполнить следующую команду для увеличения значения времени ожидания:

engine-config -s TransferImageClientInactivityTimeoutInSeconds=6000

перезапустить службу ovirt-engine:

systemctl restart ovirt-engine

Перевод доменов хранилищ в режим обслуживания

Перед откреплением и удалением домена хранения следует обязательно перевести этот домен в режим обслуживания. Это необходимо для присвоения другому домену данных роли домена мастер-данных.

Примечание — Домен хранения нельзя переместить в режим обслуживания, если у ВМ имеется аренда в этом домене. ВМ сначала необходимо выключить, удалить аренду или переместить аренду в другой домен хранения.

Расширение доменов iSCSI с помощью добавления дополнительных LUN можно выполнять только при активном домене.

Для перевода домена хранения в режим обслуживания нужно:

выключить все ВМ, выполняющиеся в домене хранения;
нажать "Хранилище → Домены";
нажать на имя домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать кнопку Обслуживание;

Примечание — Опционально установить флажок "Игнорировать сбой обновления OVF" для перемещения домена хранения в режим обслуживания даже при сбое обновления OVF.

нажать кнопку кнопку OK.

В результате домен хранения деактивируется и в списке результатов получает статус "Неактивен".

Неактивные домены хранения можно изменять, отключать, удалять или активировать повторно в дата-центре.

Примечание — Активировать, отсоединять и помещать домены в режим обслуживания можно также во вкладке "Хранилище" в подробном просмотре дата-центра, к которому присоединены эти домены.

Изменение параметров доменов хранилищ

Параметры доменов хранилищ можно изменить на Портале администрирования. При этом параметры "Дата-центр", "Функция домена", "Тип хранилища" и "Формат" изменить нельзя.

Параметры, доступные для изменения, зависят от статуса домена хранения ("Активен" или "Неактивен"):

Активен.

Для домена с активным статусом можно изменить значение следующих полей: "Имя", "Описание", "Комментарий", "Индикатор предупреждения о недостатке места (%)", "Блокировщик действия при критической нехватке места", "Забить нулями после удаления" и "Освободить блоки перед удалением".

Поле "Имя" можно изменить только для активного домена хранения. Другие поля также можно изменить при неактивном домене.

Неактивен.

Для неактивного домена, то есть находящегося в режиме обслуживания или не присоединенного, можно изменить значения всех полей, за исключением полей "Имя", "Дата-центр", "Функция домена", "Тип хранилища" и "Формат".

Изменить параметры сетевых соединений, параметры монтирования, а также другие дополнительные параметры, можно только для неактивного домена. Эти параметры поддерживаются только для типов доменов NFS, POSIX и локальных.

Примечание — Сетевые соединения хранилищ iSCSI нельзя редактировать на Портале администрирования, но можно редактировать с помощью REST API.

Для изменения параметров активного домена хранения нужно:

нажать "Хранилище → Домены" и выбрать домен хранения;
нажать "Управление доменом";
при необходимости изменить значения доступных полей;
нажать кнопку OK.

Для изменения параметров неактивного домена хранения нужно:

нажать "Хранилище → Домены";
если домен хранения активен, переместить домен в режим обслуживания:

нажать на имя домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать кнопку Обслуживание;
нажать кнопку OK;

нажать кнопку Управление доменом;
изменить путь к хранилищу и другие необходимые сведения. Сведения о новых сетевых соединениях должны иметь тот же тип хранилища, что и исходное соединение;
нажать кнопку OK;
активировать домен хранения:

нажать на имя домена хранения, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать кнопку Активировать.

Обновление файлов OVF

По умолчанию файлы OVF обновляются каждые 60 минут.

Также файлы OVF можно обновить вручную (например, после импорта ВМ или критически важного обновления ПО).

Для обновления файлов OVF нужно:

нажать "Хранилище → Домены";
выбрать домен хранения, нажать кнопку (три точки) (Больше действий) и далее нажать кнопку Обновить файлы OVF.

Активация доменов хранилищ из режима обслуживания

Если ранее домен хранения был переведен в режим обслуживания, то для возобновления использования необходимо активировать этот домен из режима обслуживания.

Для активации домена хранения из режима обслуживания необходимо:

нажать "Хранилище → Домены";
нажать на имя неактивного домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центры";
нажать кнопку Активировать.

Примечание — При попытке активации домена ISO до активации домена данных будет показано соответствующее сообщение об ошибке, и домен ISO не будет активирован.

Отсоединение домена хранения от дата-центра

Домен хранения необходимо отсоединить от одного дата-центра, чтобы выполнить миграцию домена в другой дата-центр.

Для отсоединения домена хранения от дата-центра нужно:

нажать "Хранилище → Домены";
нажать на имя домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать кнопку Обслуживание;
нажать кнопку OK для инициации режима обслуживания;
нажать кнопку Отсоединить;
нажать кнопку OK, чтобы отсоединить домен хранения.

В результате домен хранения будет отсоединен от текущего дата-центра и готов для присоединения к другому дата-центру.

Присоединение домена хранения к дата-центру

Для присоединения домена хранения к дата-центру нужно:

нажать "Хранилище → Домены";
нажать на имя домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать кнопку Присоединить;
выбрать необходимый дата-центр;
нажать кнопку OK.

В результате домен хранения будет присоединен к выбранному дата-центру и автоматически активирован.

Удаление домена хранения

Для удаления домена хранения нужно:

нажать "Хранилище → Домены";
переместить домен хранения в режим обслуживания и отсоединить домен:

нажать на имя домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Дата-центр";
нажать кнопку Обслуживание и далее нажать кнопку OK;
нажать кнопку Отсоединить и далее нажать кнопку OK;

нажать кнопку Удалить;
опционально установить флажок "Форматировать домен", чтобы окончательно стереть все содержимое домена, т.е. содержимое хранилища будет потеряно;
нажать кнопку OK.

Разрушение домена хранения

Домен хранения, содержащий ошибки, не всегда возможно удалить посредством стандартной процедуры. Разрушение домена хранения принудительно удаляет домен из окружения.

Для разрушения домена хранения:

нажать "Хранилище → Домены".
выбрать домен хранилища, нажать кнопку (три точки) (Больше действий) и далее нажать кнопку Разрушить;
установить флажок "Одобрить операцию";
нажать кнопку OK.

Создание профилей дисков

Профили дисков определяют максимальные уровни пропускной способности и операций ввода-вывода виртуальных дисков в домене хранения.

Профили дисков создаются на базе профилей хранилищ, настроенных в дата-центрах.

Профили дисков назначаются вручную каждому виртуальному диску.

В следующей последовательности действий подразумевается, что ранее в дата-центре, к которому принадлежит домен хранения, была настроена одна или несколько записей о качестве обслуживания хранилищ.

Для создания профиля диска нужно выполнить следующие действия:

нажать "Хранилище → Домены";
нажать на имя домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Профили диска";
нажать кнопку Добавить;
ввести "Имя" и "Описание" профиля диска;
в списке "QoS" выбрать запись о качестве обслуживания, которую нужно применить к профилю диска;
нажать кнопку OK.

Удаление профилей дисков

Для удаления профиля диска нужно:

нажать "Хранилище → Домены";
нажать на имя домена, чтобы перейти к подробному просмотру;
перейти на вкладку "Профили диска";
выбрать удаляемый профиль диска;
нажать кнопку Удалить;
нажать кнопку OK.

Просмотр состояния работоспособности доменов хранилищ

В дополнение к обычному "Статусу" у доменов хранилищ есть внешний статус работоспособности. Информация о внешнем статусе работоспособности доставляется модулями или внешними системами или же настраивается администратором.

Внешний статус работоспособности отображается слева от имени домена в виде следующих значков:

OK ‒ без значка;
Информация ‒ "синяя i";
Предупреждение ‒ "желтый восклицательный знак";
Ошибка ‒ "красный крестик";
Сбой ‒ "вилка".

Чтобы узнать дополнительные подробности о работоспособности домена хранения, требуется нажать на имя домена и перейти на вкладку "События".

Примечание — Внешний статус работоспособности домена также можно узнать с помощью REST API (элемент "external_status" в запросе GET). Для указания статуса работоспособности домена через REST API можно использовать набор events.

Параметр "Освободить блоки перед удалением"

Если параметр "Освободить блоки перед удалением" включен, при удалении логического тома вызывается команда blkdiscard, и базовое хранилище оповещается о том, что блоки свободны. Далее массив хранилища может использовать (выделять по запросу) освобожденное пространство.

Параметр "Освободить блоки перед удалением" эффективен и доступен только для доменов блочных хранилищ, таких как iSCSI или FCP (хранилище должно поддерживать Discard). Для файловых хранилищ, таких как NFS, этот параметр недоступен.

Параметр "Освободить блоки перед удалением" можно включить как при создании домена блочного хранилища iSCSI или FCP, так и при изменении параметров этого домена.

Управление хостами хранилища Gluster

Масштабирование тома GlusterFS

Для масштабирования тома GlusterFS необходимо выполнить следующие действия:

на вкладке "Ресурсы → Хосты" добавить хост с подготовленным устройством хранения данных и дождаться перезагрузки и активации хоста;
при необходимости выполнить настройку сети, предоставляющей доступ к GlusterFS (рисунок 181);

Рисунок 181 ‒ Добавление хоста с подготовленным устройством хранения данных

на вкладке "Ресурсы → Хосты" нажать на имя добавленного хоста и перейти на страницу "Устройства хранения";
выделить нужное устройство и нажать кнопку Создать элемент тома (рисунок 182);

Рисунок 182 ‒ Устройства хранения хоста

задать имя элемента тома в поле "Имя элемента тома" и нажать клавишу Tab, после чего поле "Точка монтирования" должно заполниться автоматически;
если для выбранного устройства хранения используется RAID, то указать его тип, выбрав из списка "Тип RAID" необходимый тип;
задать размер тома в поле "Размер";
нажать кнопку ОК (рисунок 183).

Рисунок 183 ‒ Создание элемента тома

Правильно созданный и готовый к подключению элемент тома выглядит так, как показано на рисунке 184.

Рисунок 184 ‒ Устройства хранения хоста с созданным элементом тома

Примечание ‒ После создания элемента тома и до окончания всей процедуры расширения тома GlusterFS нельзя нажимать кнопку Синхронизировать или же перезагружать хост с подготовленным устройством хранения данных для GlusterFS.

выполнить все описанные выше действия последовательно для каждого хоста, участвующего в расширении тома GlusterFS. Количество новых элементов тома должно быть кратно числу реплик;
перейти на вкладку "Хранилище → Тома";
нажать на имя расширяемого тома и перейти на страницу "Элементы тома";
нажать кнопку Добавить и заполнить таблицу новыми элементами тома с каждого подготовленного для этой задачи хоста. Количество добавляемых элементов тома должно быть кратно числу реплик;
нажать кнопку ОК. Потребуется некоторое время, не менее 5 минут, для подключения новых элементов тома и получения данных Self-Heal (рисунок 185);

Рисунок 185 ‒ Добавление элементов тома

после успешного завершения подключения новых элементов тома данные Self-Heal должны перейти в статус "ОК", а элемент тома в активное состояние (рисунок 186).

Рисунок 186 ‒ Элементы тома и их состояние

Замена элемента тома в случае его полной недоступности

В случае поломки хоста может потребоваться замена элемента тома.

Для замены элемента тома требуется выполнить следующие действия:

открыть вкладку "Ресурсы → Хосты";
выбрать в списке хостов неисправный хост и перевести его в режим обслуживания;
добавить в кластер новый хост с именем, отличающимся от имени хоста, который требуется заменить (рисунок 187);

Рисунок 187 ‒ Список хостов с добавленным новым хостом

на вкладке "Ресурсы → Хосты" нажать на имя добавленного хоста и перейти на страницу "Устройства хранения";
выбрать нужное устройство хранения и нажать кнопку Создать элемент тома (рисунок 188);

Рисунок 188 ‒ Создание элементов тома

задать в поле "Имя элемента тома" имя элемента тома и нажать клавишу Tab, после чего поле "Точка монтирования" должно заполниться автоматически;
если для выбранного устройства хранения используется RAID, то указать его тип, выбрав необходимое значение из списка "Тип RAID" в группе "Параметры RAID";
задать размер тома в поле "Размер" и нажать кнопку ОК. Желательно, чтобы имя элемента тома было точно таким же, как и на неисправном хосте, который требуется заменить;
перейти на вкладку "Хранилище → Тома" и нажать на имя поврежденного тома;
перейти на вкладку "Элементы тома", выделить поврежденный элемент тома и нажать кнопку Заменить элемент тома (рисунок 189);

Рисунок 189 ‒ Замена элементов тома

в поле "Хост" формы замены элемента тома выбрать ранее добавленный хост с подготовленным новым элементом тома, в поле "Каталог brick" выбрать элемент тома (рисунок 189);
нажать кнопку ОК. Потребуется некоторое время, не менее 5 минут, для замены старого элемента тома на новый, получения данных Self-Heal и перехода в активное состояние (рисунок 190);

Рисунок 190 ‒ Элементы тома и их состояние

после успешной замены элемента тома перейти на вкладку "Ресурсы → Хосты" и выполнить процедуру удаления неисправного хоста виртуализации, в форме "Удалить хосты" подтвердив удаление хоста, нажав на кнопку OK (рисунок 201).

Подключение отказоустойчивого хранилища CephFS

Важно ‒ В данном разделе описываются процесс и параметры настройки "Средства виртуализации "РОСА Виртуализация 4" при подключения хранилища CephFS. Данный раздел не является руководством по настройке и администрированию кластера хранилища Ceph. Для настройки и администрирования кластера хранилища Ceph следует обратиться к соответствующему руководству поставщика хранилища. Для самостоятельной установки хранилища Ceph можно воспользоваться документацией по ссылке https://docs.ceph.com/en/latest/.

Требования к программным и аппаратным средствам

Требования к РОСА Виртуализация

Требования к РОСА Виртуализация включают следующие условия:

Развернута базовая конфигурация РОСА Виртуализация, предназначенная для использования в промышленном режиме функционирования в качестве средства виртуализации вычислительных центров.
Используется РОСА Виртуализация версии 4.0 или новее.

Отказоустойчивое хранилище Ceph

Требования к хранилищу Ceph включают следующие условия:

Развернута конфигурация отказоустойчивого хранилища Ceph ‒ кластер, хосты, мониторы (MON), серверы метаданных (MDS), устройства хранения объектов (OSD).
Используется версия Ceph 18.x или 19.x.

Создание и настройка файловой системы CephFS в кластере Ceph

Все действия по созданию и настройке файловой системы Ceph (CephFS) можно выполнить с помощью веб-интерфейса администрирования кластера Ceph.

Проверка версии Ceph и работоспособности кластера

Проверка версии Ceph в веб-интерфейсе

Для проверки версии Ceph в веб-интерфейсе следует:

открыть в веб-браузере интерфейс администрирования Ceph. Обычно это интерфейс Ceph Dashboard, доступный по URL-адресу вашего кластера. Адрес выглядит как http://<ip-адрес-вашего-кластера>:<порт>, где порт по умолчанию — 8080;
войти в панель администрирования, для чего ввести свои учетные данные для получения доступа к панели управления (логин и пароль администратора) (рисунок 191);

Рисунок 191 ‒ Форма для ввода логина и пароля для доступа в интерфейс администрирования Ceph

после входа в Систему и появления главной панели управления ("Панель мониторинга") найти информацию о версии, которая располагается в группе "Ceph version" секции "Details" (рисунок 192).

Рисунок 192 ‒ Информация о версии Ceph в веб-интерфейсе

В данном примере используется Ceph версии "18.2.4 reef (stable)".

Данная версия подходит для подключения хранилища CephFS к РОСА Виртуализация.

Проверка работоспособности кластера Ceph в веб-интерфейсе

В п. Проверка версии Ceph в веб-интерфейсе описаны действия по входу в интерфейс администрирования Ceph и проверке версии Ceph.

Для проверки работоспособности кластера Ceph в веб-интерфейсе нужно:

открыть в веб-интерфейсе Ceph "Панель мониторинга" и найти в панели мониторинга секцию "Status" (рисунок 193). Если рядом со словом "Кластер" стоит значок (флажок в круге зеленого цвета), то кластер функционирует в штатном режиме;

Рисунок 193 ‒ Панель мониторинга веб-интерфейса Ceph

найти в панели мониторинга секцию "Inventory" (рисунок 194). В этой секции отображается информация о хостах Ceph, мониторах, менеджерах, OSD, пулах и серверах метаданных (MDS). Хосты Ceph, мониторы, менеджеры, OSD, пулы и сервер метаданных (MDS) должны быть активны (напротив соответствующего параметра стоит значок (флажок в круге зеленого цвета)).

Рисунок 194 ‒ Хранилище Ceph — секция "Inventory"

Примечание ‒ Object Gateway и iSCSI Gateway не требуются для подключения CephFS к РОСА Виртуализация. Подключение использует возможности CephFS.

Проверка версии Ceph в командной строке

Для проверки версии Ceph в командной строке нужно выполнить вход на хост Ceph с помощью SSH и затем выполнить в консоли команду ceph --version:

[root@rv-ceph01 ~]# ceph --version
ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)

В данном примере используется Ceph версии "18.2.4 reef (stable)". Данная версия подходит для подключения хранилища CephFS к РОСА Виртуализация.

Проверка работоспособности кластера Ceph в командной строке

Для проверки работоспособности кластера Ceph в командной строке выполнить вход на хост Ceph с помощью ssh, и затем выполнить в консоли команду ceph status:

[root@rv-ceph01 ~]# ceph status
cluster:
id:     2525fc77-cff1-4455-9c25-1887e8a850f8
health: HEALTH_OK
services:
mon: 3 daemons, quorum rv-ceph01,rv-ceph02,rv-ceph03 (age 14h)
mgr: rv-ceph01(active, since 11d), standbys: rv-ceph02, rv-ceph03
mds: 1/1 daemons up, 2 standby
osd: 3 osds: 3 up (since 11d), 3 in (since 6w)
data:
volumes: 1/1 healthy
pools:   3 pools, 81 pgs
objects: 2.20k objects, 8.3 GiB
usage:   29 GiB used, 871 GiB / 900 GiB avail
pgs:     81 active+clean
io:
client:   513 KiB/s rd, 3.6 KiB/s wr, 1 op/s rd, 1 op/s wr

Статус "health: HEALTH_OK" сообщает о том, что кластер работоспособен.

Проверку работоспособности кластера Ceph можно также выполнить, используя фильтр grep для получения статуса кластера:

[root@rv-ceph01 ~]# ceph status | grep health:
health: HEALTH_OK

Создание файловой системы Ceph

Для создания необходимо открыть в браузере веб-интерфейс администрирования кластера Ceph и выбрать в боковой панели управления секцию "Файловые системы". В результате откроется экранная форма для управления файловыми системами Ceph (рисунок 195).

Рисунок 195 ‒ Интерфейс формы "Файловые системы"

Далее следует нажать на кнопку + Создание, ввести в поле "Имя" имя файловой системы cephfs_rv и нажать на кнопку Создание файловой системы для создания файловой системы с указанным именем (рисунок 195).

После создания файловая система отобразится в списке доступных файловых систем Ceph (рисунок 196).

Рисунок 196 ‒ Список доступных файловых систем Ceph

Создание группы подтомов

В файловой системе cephfs_rv необходимо создать "Группу подтомов (Subvolume group)" с именем vdsm_kvm и соответствующими значениями в полях UID ‒ "36", GID ‒ "36".

Права доступа на директорию следует оставить без изменений: 755 (rwxr-xr-x).

Для создания группы подтомов нужно выполнить следующие действия:

выбрать файловую систему в верхней части формы и затем дополнительную секцию "Группы подтомов" в нижней части формы;
нажать на кнопку + Создание для создания группы подтомов (рисунок 197);

Рисунок 196 ‒ Создание группы подтомов

ввести в поле "Имя" имя группы "vdsm_kvm", в поле UID ‒ "36", в поле GID — "36" (рисунок 198).

Рисунок 198 ‒ Создание группы подтомов с именем vdsm_kvm

нажать на кнопку Создание группы подтома для создания группы подтома с указанными выше параметрами.

Создание подтома vmstore

В файловой системе cephfs_rv необходимо создать "Подтом (Subvolume)" с именем vmstore, принадлежащий ранее созданной группе подтомов с именем vdsm_kvm.

Нет необходимости устанавливать какие-либо значения в полях "UID", "GID" или менять права доступа на директорию. Все эти параметры будут унаследованы от группы подтомов с vdsm_kvm.

В верхней части формы "Файловые системы" нужно выбрать файловую систему cephfs_rv и далее дополнительную секцию "Подтома" в нижней части формы, затем нажать на кнопку + Создание для создания группы подтома (рисунок 199).

Рисунок 199 ‒ Создание подтома

Затем следует ввести в поле "Имя" имя подтома vmstore и нажать на кнопку Создание подтома для создания подтома с указанным именем (рисунок 200).

Рисунок 200 ‒ Определение параметров создаваемого подтома

Значение в поле "Путь" ("Path") в дальнейшем понадобится для подключения подтома к РОСА Виртуализация на веб-портале администрирования.

Это значение можно скопировать в буфер обмена, нажав на соответствующую кнопку, как показано на рисунке 201.

Пример ‒ Значение пути к подтому vmstore на рисунке 201:

/volumes/vdsm_kvm/vmstore/c8c53f4c-b39e-4fc7-bd9f-5e1c84023871

Рисунок 201 ‒ Копирование пути к подтому vmstore в буфер обмена

Создание пользователя-клиента Ceph

Для создания пользователя-клиента Ceph нужно:

выбрать в боковой панели управления секцию "Кластер → Пользователи Ceph", и откроется экранная форма для управления пользователями кластера Ceph (рисунок 202);

Рисунок 202 ‒ Управление пользователями кластера Ceph

создать пользователя client.rvuser с соответствующими правами доступа к ранее созданной файловой системе cephfs_rv и разрешением на чтение/запись метаданных для всех Subvolume в группе vdsm_kvm, для чего нажать на кнопку + Create (рисунок 203), добавить сущности и права доступа, приведенные в таблице 59;

Рисунок 203 ‒ Добавление пользователя в кластер Ceph

после завершения ввода данных нажать на кнопку Create user (Создать пользователя) (рисунок 204).

Рисунок 204 ‒ Создание пользователя rvuser с правами доступа к сущностям mon, mds, osd

Пользователь rvuser будет добавлен в кластер Ceph. При необходимости внесения изменения в параметры пользователя можно выбрать пользователя в списке и воспользоваться опцией в меню "Edit" (Редактировать) (рисунок 205).

Рисунок 205 ‒ Информация о пользователе rvuser в разделе "Пользователи Ceph"

Добавление домена хранилища CephFS в Портале администрирования РОСА Виртуализация

Для добавления домена хранилища CephFS нужно:

войти в браузере на Портал администрирования РОСА Виртуализация и выбрать в боковой панели управления пункт меню "Хранилище → Домены"; откроется экранная форма для управления доменами хранилищ "Хранилище → Домены хранилищ";
нажать на кнопку Добавить домен для добавление нового домена хранилища, и откроется экранная форма для добавления нового домена;
в поле "Тип хранилища" выбрать тип хранилища "CEPH" (рисунок 206);

Рисунок 206 ‒ Экранная форма для добавления нового домена

настроить параметры добавляемого хранилища (рисунок 207):

Рисунок 207 ‒ Добавления нового домена Ceph с именем cephfs_vmstore

в поле "Имя" указать имя добавляемого домена, например cephfs_vmstore для домена, предназначенного для хранения данных ВМ;
в поле "Описание" указать описание для добавляемого домена;
в поле "Комментарий" ввести дополнительный комментарий для добавляемого домена;

Примечание ‒ Описание и комментарий к домену будут отображаться в списке доменов на экранной форме доменами хранилищ "Хранилище → Домены хранилищ".

в поле "Имя файловой системы" указать имя добавляемой файловой системы "cephfs_rv", которое было указано в веб- интерфейсе администрирования кластера Ceph при создании файловой системы на вкладке "Файловые системы" (File Systems);

Примечание ‒ При добавлении дополнительных файловых систем CephFS следует указывать в поле "Имя файловой системы" соответствующее имя добавляемой файловой системы.

в поле "Путь к подтому" вставить значение из поля "Путь" (Path) для подтома (Subvolume) с именем "vmstore". Значение поля "Путь" можно скопировать в буфер обмена в веб-интерфейсе администрирования кластера Ceph;
в поле "Имя пользователя" указать "rvuser" ‒ ту часть сущности пользователя (User entity), которая была указана после точки при создании пользователя client.rvuser** **в веб-интерфейсе администрирования кластера Ceph;
в поле "Ключ пользователя" вставить значение "key" для пользователя client.rvuser, которое можно получить, выполнив команду в консоли на одном из хостов кластера Ceph:

ceph auth get client.rvuser

Пример выполнения команды на одном из хостов кластера Ceph:

[root@rv-ceph01 ~]# ceph auth get client.rvuser
[client.rvuser]
key = AQAdTIpnp5BiEhAAVneGqAVUOaB0LIveqUJ9qQ==
caps mds = "allow r, allow rw path=/volumes/vdsm_kvm"
caps mon = "allow r"
caps osd = "allow rw tag cephfs data=cephfs_rv"

В данном примере значением ключа "key" является: "AQAdTIpnp5BiEhAAVneGqAVUOaB0LIveqUJ9qQ==".

в поле "Конфигурация кластера" нет необходимости указывать все содержимое файла ceph.conf. Достаточно указать минимальную конфигурацию, в которой присутствуют поля "fsid" и "mon_host". Этого будет достаточно, чтобы обеспечить отказоустойчивость хранилища при наличии нескольких мониторов в конфигурации кластера Ceph. Минимальную конфигурацию кластера Ceph можно получить можно с помощью консольной команды:

ceph config generate-minimal-conf

Параметры конфигурационного файла Ceph:

[global]
fsid = <fsid>
mon_initial_members = <имя_mon_узла>
mon_host = <ip_mon_узла>
public_network = <ip_сеть>
cluster_network = <ip_сеть>
[mon.<имя_mon_узла>]
host = <имя_mon_узла>
mon_addr = <ip_mon_узла>
[osd]
osd_journal_size = 10000

где:

fsid (File System Identifier) — это уникальный идентификатор кластера Ceph. Он используется для распознавания различных кластеров и обеспечения их целостности. Каждый кластер Ceph должен иметь свой собственный fsid, который генерируется автоматически при инициализации кластера. Этот идентификатор представляет собой UUID (Universally Unique Identifier), и его значение должно быть уникальным для каждого кластера, чтобы избежать конфликтов;
mon_initial_members — это параметр в конфигурационном файле Ceph, который определяет список начальных мониторов (MON) в кластере Ceph. Этот параметр важен для правильной инициализации кластера и его работы. Значение mon_initial_members представляет собой разделенный запятыми список имен мониторов, которые будут использоваться при первой инициализации кластера. Например:

mon_initial_members = mon1, mon2, mon3

Имена, указанные в этом списке, должны соответствовать именам, которые назначены вашим мониторам. Эти имена используются для связи между мониторами и для формирования кворума.

Мониторы Ceph работают по принципу кворума, что означает, что для принятия решений необходима доступностьбольшинства (более половины) мониторов. mon_initial_members помогает Системе понять, какие мониторы участвуют в формировании кворума.

mon_host — это параметр в конфигурации Ceph, который определяет адреса (или имена) мониторов (MON) кластера Ceph. Мониторы отвечают за отслеживание состояния кластера, управление его метаданными и обеспечивают согласованность данных.

Параметр "mon_host" может содержать один или несколько IP-адресов или доменных имен, разделенных запятыми. Например:

[global]
mon_host = 192.168.1.1,192.168.1.2,192.168.1.3

В этом примере указаны три адреса мониторов, которые будут использоваться клиентами и другими компонентами Ceph для связи с монитором кластера.

Пример выполнения команды для получения минимальной конфигурации кластера Ceph:

[root@rv-ceph01 ~]# ceph config generate-minimal-conf
minimal ceph.conf for 2525fc77-cff1-4455-9c25-1887e8a850f8
[global]
fsid = 2525fc77-cff1-4455-9c25-1887e8a850f8
mon_host = [v2:192.168.11.181:3300/0,v1:192.168.11.181:6789/0] [v2:192.168.11.182:3300/0,v1:192.168.11.182:6789/0] [v2:192.168.11.183:3300/0,v1:192.168.11.183:6789/0]

Команда выводит минимальный конфигурационный файл для кластера Ceph на стандартный вывод (stdout) терминала. Файл не сохраняется автоматически в каком-либо месте.

Если требуется сохранить его в файл (например, ceph-minimal.conf), можно перенаправить вывод команды в файл:

ceph config generate-minimal-conf > ceph-minimal.conf

Примечание ‒ Вывод данной команды будет сохранен в текущем фолдере.

Для просмотра содержимого сгенерированного минимального конфигурационного файла можно использовать команду cat:

[root@rv-ceph01 ~]# cat ceph-minimal.conf
minimal ceph.conf for 2525fc77-cff1-4455-9c25-1887e8a850f8
[global]
fsid = 2525fc77-cff1-4455-9c25-1887e8a850f8
mon_host = [v2:192.168.11.181:3300/0,v1:192.168.11.181:6789/0] [v2:192.168.11.182:3300/0,v1:192.168.11.182:6789/0] [v2:192.168.11.183:3300/0,v1:192.168.11.183:6789/0]

нажать кнопку ОК для добавления нового домена хранилища Ceph в РОСА Виртуализация (рисунок 207).

Домен с именем cepfs_vmstore был добавлен в РОСА Виртуализация и отображается в списке доступных доменов хранилищ (рисунок 208).

Рисунок 208 ‒ Домены хранилищ РОСА Виртуализация

Следует повторить операцию по добавлению домена для домена cepfs_iso, предназначенного для хранения ISO-дисков.

Подключение отказоустойчивого хранилища CephFS к РОСА Виртуализация завершено, и подключенные хранилища можно использовать.