Провайдеры инфраструктуры

О провайдерах

На вкладке "Провайдеры" доступны настройки конфигурации платформы виртуализации, на которой будут размещены узлы кластера Комплекса, а также отображается список созданных экземпляров провайдеров. Для каждого экземпляра приведены следующие сведения (рисунок 48):

Имя;
Версия Kubernetes;
Тип провайдера;
Связанные кластеры;
Разрешена ли установка CSI;
Имя IP-пула и свободных IP-адресов.

Для настройки отображения таблицы, нажав на пиктограмму , чтобы вывести на экран информацию о привязанных IP-пулах и свободных IP-адресах.

Рисунок 48 ‒ Конфигурация провайдеров

Следует обратить внимание, что экземпляр провайдера, с которым инсталлирован кластер управления, не должен использоваться при создании клиентских кластеров.

Доступно создание конфигураций провайдеров:

провайдер инфраструктуры VMware vSphere;
провайдер инфраструктуры oVirt;
провайдер инфраструктуры Basis Dynamix;
провайдер инфраструктуры OpenStack;
Shturvalv2 ‒ внутренний провайдер Комплекса ‒ поддерживает добавление виртуальных и физических машин в качестве хостов для дальнейшего использования в кластерах;
провайдер инфраструктуры Yandex Cloud.

Подробнее о настройке шаблонов провайдеров можно ознакомиться на следующих страницах этого разделе документации.

В конфигурации экземпляра провайдера можно добавить шаблон виртуальной машины с версией Kubernetes, соответствующей версии Комплекса. После обновления платформы на новую минорную версию есть возможность добавить шаблон ВМ с обновленной версией Kubernetes.

Узнать о деталях создания кластера с каждым из видов провайдера можно в п. Основная информация.

Для дублирования провайдера нужно нажать "Создать дубликат" на странице выбранного провайдера. Дубликат экземпляра будет создан со всеми предыдущими настройками без имени провайдера. Возможность дублирования доступна для провайдеров: OpenStack, Basis Dynamix, vSphere и oVirt.

Basis Dynamix

Чтобы использовать провайдер Basis Dynamix, необходимо иметь созданную учетную запись и сервисную роль в Комплексе виртуализации Basis Dynamix.

В разделе "Spaces" нужно создать аккаунт и ресурсную группу, затем в аккаунт добавить пользователей, от имени которых будет предоставлен доступ для заведения провайдера в Комплекс.

Учетная запись должен обладать уровнем доступа "admin" к управлению объектами раздела "Network" и "Resource Group" в платформе виртуализации.

Для ресурсной группы нужно настроить:

параметры виртуальных машин и стандартный образ в разделе "Cloud";
"External Networks" и "ViNs" в разделе "Network";

Для добавления шаблона виртуальной машины в провайдер должен быть создан такой шаблон в вашей платформе виртуализации. Инструкция по созданию шаблона в п. Создание шаблонов виртуальных машин.

Для конфигурации провайдера на стороне платформы на странице "Конфигурация провайдеров" нажать Добавить экземпляр провайдера, в выпадающем списке выбрать "+ Basis Dynamix".

В блоке "Конфигурация подключения" необходимо задать (рисунок 49):

Адрес сервера (соответствует DecordAddress);
SSO сервера (соответствует DecordSSO);
ID приложения;
API ключ;
Проверять ли сертификат безопасности (по умолчанию выбрано "Нет").

Рисунок 49 ‒ Добавление экземпляра провайдера Basis Dynamix

После настройки конфигурации нужно выполнить проверку подключения, нажав Проверить подключение.

После успешного подключения в блоке "Конфигурация провайдера" доступны следующие действия (рисунок 50):

задать "Имя провайдера" (будет использоваться для выбора шаблона при создании кластера);
выбрать "Имя аккаунта";
выбрать "Ресурсная группа" (соответствует имени ResourceGroup);
выбрать "Имя VINS" (название внутренней сети; соответствует name в ViNS выбранной ресурсной группы и аккаунта).
выбрать "Имя ExtNet" (название внешней сети; соответствует name в External Networks; указывается при необходимости).

Сетевой интерфейс в шаблоне ВМ "eth0" установлен по умолчанию и не изменяется.

Рисунок 50 ‒ Конфигурация провайдера

Могут быть одновременно заполнены оба поля ("Имя VINS" и "Имя ExtNet").

Ниже в форме расположен блок добавления виртуальных машин с заголовком "Шаблоны виртуальных машин", в котором необходимо добавить шаблоны, созданные в платформе виртуализации. Для одной версии Kubernetes доступно добавление только одного шаблона ВМ.

Подробнее о добавлении шаблона ВМ в экземпляр провайдера и выборе версии Kubernetes см. в п. Загрузка шаблона ВМ в Комплекс.

После создания экземпляра провайдера изменение данных доступно только после успешного прохождения проверки подключения.

Чтобы обновить версию Kubernetes на узлах кластера, нужно выполнить шаги Инструкции "Как обновить версию kubernetes".

oVirt

Чтобы использовать провайдер oVirt, необходимо иметь созданную учетную запись и сервисную роль в платформе виртуализации для oVirt с версией oVirt Engine API не ниже 4.4.

Для сервисной роли необходимо предоставить разрешения на следующие функции:

логин;
управление сетевыми устройствами;
провижининг шаблонов;
все действия по перезагрузке, созданию, провижинингу и миграции виртуальных машин;
все действия по созданию дисков.

В интерфейсе Комплекса нужно перейти в раздел "Управление провайдерами" на страницу "Конфигурация провайдеров", нажать Добавить экземпляр провайдера, в выпадающем списке выбрать "+ oVirt".

Чтобы настроить экземпляр провайдера oVirt, необходимо (рисунок 51):

Рисунок 51 ‒ Добавление экземпляра провайдера oVirt

задать название для экземпляра создаваемого провайдера;
в поле "Адрес сервера" ввести полный адрес Engine провайдера, добавив в конце "/api";
если используется корпоративный сертификат, рекомендуется выполнить проверку сертификата безопасности;
ввести данные учетной записи провайдера, выполнить проверку подключения:

если проверка успешно пройдена, перейти на следующий шаг;
если проверка не пройдена, проверить данные учетной записи и повторить попытку;

выбрать "Datacenter" из выпадающего списка;
выбрать кластеры из выпадающего списка;
выбрать "Профиль VNIC" из выпадающего списка;
выбрать (привязать) пул IP-адресов из выпадающего списка. Привязка пула IP-адресов к экземпляру провайдера позволит при конфигурировании кластера назначить адрес API-серверу кластера и VIP-адрес Ingress из списка свободных IP-адресов этого пула. См. добавление пула IP-адресов в платформу в п. Пул IP-адреcов.

Если данные учетной записи среды виртуализации введены верно, на странице появится возможность выбора шаблона виртуальной машины (рисунок 52). Для добавления шаблона виртуальной машины в провайдер у вас должен быть создан такой шаблон в вашей платформе виртуализации. Инструкция по созданию шаблона см. в п. Создание шаблонов виртуальных машин.

Рисунок 52 ‒ Выбор шаблона виртуальной машины

Чтобы обновить версию Kubernetes на узлах кластера, нужно выполнить шаги Инструкции "Как обновить версию kubernetes".

Примечание ‒ В случае поднятия на RHV шаблона ВМ с ОС Astra Linux 1.8 с ядром 6.6 обнаружено, что загрузка ВМ может останавливаться в случайном месте. Это происходит из-за проблем с драйвером qxl. Для решения проблемы необходимо в шаблоне ВМ изменить тип видеокарты (консоли) на VGA (именно после создания шаблона, из ВМ в шаблон эта настройка не переходит) (рисунок 53).

Рисунок 53 ‒ Изменение типа видеокарты

Shturvalv2

Shturval V2 ‒ внутренний провайдер Комплекса, который:

поддерживает добавление виртуальных и физических машин в качестве хостов для дальнейшего использования в кластерах;
позволяет создавать автомасштабируемые гибридные кластеры.

Следует обратить внимание, что провайдер Shturval V2 не требует создания разных шаблонов для разных версий Kubernetes.

Провайдер поддерживает использование виртуальных машин и физических серверов, для чего у провайдера должен быть:

доступ к хосту по SSH;
возможность выполнения sudo без пароля;
на хостах должны быть установлены пакеты iptables и gnupg.

Спецификация провайдера

Для создания экземпляра провайдера нужно перейти на страницу "Конфигурация провайдеров" раздела "Провайдеры", нажать Добавить экземпляр провайдера и выбрать "+ Shturval V2". В открывшемся окне необходимо заполнить имя экземпляра провайдера (рисунок 54).

Рисунок 54 ‒ Добавление провайдера Shturval V2

Затем требуется выбрать пул IP-адресов из выпадающего списка. Привязка пула IP-адресов к экземпляру провайдера позволит при конфигурировании кластера назначить адрес API-серверу кластера и VIP-адрес Ingress из списка свободных IP-адресов этого пула. См. добавление пула IP-адресов в Комплекс в п. Пул IP-адреcов.

Далее нужно заполнить общие учетные данные для подключения к хостам (машинам) по SSH:

Имя пользователя;
Приватный ключ пользователя ‒ загрузить файл с данными ключа или указать ключ текстом.

Общие учетные данные позволяют использовать единые учетные данные для множества добавляемых хостов. В случае если среди добавляемых хостов будут хосты с отличными от общих учетными данными, в интерфейсе добавления/редактирования хоста есть возможность задать частные учетные данные.

Далее можно приступать к добавлению хостов. В левой нижней части экрана будут отображены хосты, в правой ‒ данные добавляемого или просматриваемого хоста. Есть возможность добавления нескольких хостов. Валидация данных будет происходить после инициализации сохранения провайдера.

Хосты провайдера

Добавление

Для добавления хоста (хостов) в блоке "Хосты" нажать + (рисунок 55).

Рисунок 55 ‒ Добавление хоста

В правой части экрана нужно:

ввести IP-адрес или FQDN хоста (хостов);
выбрать роль для указанных хостов. Роль будет добавлена в качестве лейбла хостов, например роль "other" является лейблом role:"other". Можно выбрать рекомендуемую роль хостов ("controlplane", "workers", "infra", "ingress", "other") или задать новую. Ввести в поле необходимое название роли, чтобы присвоить ее хосту. Следует обратить внимание, что создание и назначение роли хосту с помощью лейбла в графическом интерфейсе недоступны;
есть возможность задать лейблы для выбора хостов при создании кластера. Лейблы, указывающие на сетевой интерфейс, название хоста, операционной системы и ее версии, имя экземпляра провайдера, параметры CPU, Memory и Disk будут созданы автоматически;
есть возможность отдельно настроить учетные данные для подключения к хосту по SSH. Указать "Нет" в "Использовать общие учетные данные", задать имя пользователя и указать приватный ключ, загрузив файл ключа или указав в текстовом формате (рисунок 56).

Рисунок 56 ‒ Настройка учетных данных для подключения к хосту по SSH

При создании кластера или при масштабировании группы узлов наличие ролей хостов позволяет выбрать роли хостов или указать роли в селекторе. Следует обратить внимание, что, если есть группы узлов, для которых не задана роль хоста или селектор лейблов хостов, то в такие группы будут присоединяться любые доступные хосты.

Добавленные хосты будут отображены в списке хостов в левой нижней части экрана. По каждому хосту можно просмотреть IP-адрес, имя хоста, роль и статус. Можно изменить роль хоста, если он еще не присоединен к кластеру.

Просмотр

В зависимости от результата обработки хоста провайдером хост может иметь статусы:

Занят ‒ хост привязан в кластере и недоступен для привязки/изменения.
Свободен ‒ готов быть присоединен к кластеру.
Ошибка:
- машина имеет невалидную конфигурацию и не может быть присоединена.
- провайдер не может с указанным пользователем и приватным ключом подключиться к указанному хосту. При этом хост может быть привязан к кластеру. Следует проверить валидность указанных данных пользователя;
- указанный в конфигурации провайдера пользователь не имеет достаточных прав для выполнения команд по SSH.
Не создан ‒ провайдер не получил ответ от машины. Может быть получен, если нет доступа к сети, в которой находится IP-адрес хоста, или адрес невалиден.
Не определен ‒ реконсиляция хоста не завершена. После окончания реконсиляции статус хоста примет одно из вышеперечисленных значений.

Подробнее о состоянии хоста можно увидеть в информации о хосте. Для этого нужно нажать на строку с хостом. Если хост не занят, можно удалить хост или редактировать параметры:

роль;
учетные данные подключения;
лейблы хоста.

Если хост имеет состояние MachineAttached (привязан к кластеру), можно изменить только учетные данные для подключения к хосту, а остальные параметры недоступны для редактирования.

После создания провайдером хоста можно будет просмотреть данные:

IP-адрес хоста;
Состояние;
Сведения об операционной системе (тип и образ ОС);
Версия ядра;
Архитектура;
Сетевой интерфейс;
Root volume size;
Имя хоста;
Перечень портов;
Сведения о доступных вычислительных ресурсах.

Эти данные получаются провайдером непосредственно с хоста и не могут быть изменены в интерфейсе. Они будут присвоены хосту в виде лейблов для возможности выбора в селекторе при добавлении хостов в кластер.

Следует обратить внимание, что, если необходимо изменить имя пользователя в учетных данных, также потребуется указать данные приватного ключа пользователя. Иначе изменения не будут применены.

Удаление

Можно удалить один хост или несколько хостов одновременно.

Для одинарного удаления воспользоваться одним из вариантов:

удаление из списка ‒ навести курсор на строку с хостом и в левой части строки проставить флажок "Выбрать для удаления", нажать на пиктограмму в блоке "Хосты";
удаление при просмотре/редактировании хоста ‒ выбрать хост и в блоке "Параметры хоста" нажать Удалить.

Чтобы выполнить множественное удаление, нужно в левой части строк хостов проставить флажки "Выбрать для удаления" и после выбора подлежащих к удалению хостов, нажать на в блоке "Хосты" (рисунок 57).

Рисунок 57 ‒ Удаление хостов

Следует обратить внимание, что нельзя удалять хосты, привязанные к кластеру.

vSphere

Чтобы использовать провайдер vSphere, необходимо иметь созданную учетную запись и сервисную роль в платформе виртуализации с версией VMware vSphere 6.7 update 3 или 7.0 и выше. Необходимо создать ресурсный пул и подготовить данные учетной записи.

Следует обратить внимание, что сервисную учетную запись необходимо вводить в формате username@domain.

Для добавления шаблона виртуальной машины в провайдер должен быть создан такой шаблон в вашей платформе виртуализации. Инструкцию по созданию шаблона см. в п. Загрузка образа (шаблона) ВМ в платформу виртуализации.

В таблице 10 приведена схема назначения прав. В таблицах 11 и 12 описаны разрешения для сервисных ролей №1 и №2 соответственно.

Подготовка шаблона ВМ

Для подготовки шаблона ВМ нужно:

Включить параметр "disk.EnableUUID", используя клиент vSphere:
1. в клиенте vSphere нажать на VM, выбрать пункт "Edit Settings";
2. перейти на вкладку "VM Options" и развернуть меню "Advanced";
3. нажать "Edit Configuration" рядом с пунктом "Configuration Parameters";
4. настроить параметр "disk.EnableUUID";
5. если параметр существует, убедиться, что его значение установлено в значение True; если параметра нет, добавить его и установить значение True:

Name  Value
disk.EnableUUID  True

Обновить версию аппаратного обеспечения VM до версии 15 или выше:
1. в клиенте vSphere перейти к VM;
2. Выбрать "Actions → Compatibility → Upgrade VM Compatibility";
3. нажать Yes, чтобы подтвердить обновление;
4. выбрать совместимость и нажать OK.
Добавить "VMware Paravirtual SCSI storage controller" в VM.
1. в клиенте vSphere нажать на VM и выбрать пункт "Edit Settings";
2. на вкладке "Virtual Hardware" нажать Add New Device;
3. выбрать "SCSI Controller" из выпадающего меню;
4. развернуть "New SCSI controller" и в меню "Change Type" выбрать "VMware Paravirtual";
5. Нажать OK.

Настройка провайдера из интерфейса Комплекса

В разделе "Управление провайдерами" нужно перейти на страницу "Конфигурация провайдеров", нажать Добавить экземпляр провайдера и выбрать "+ vSphere" (рисунок 58).

Рисунок 58 ‒ Добавление экземпляра провайдера vSphere

Чтобы настроить экземпляр провайдера vSphere, необходимо:

задать название для экземпляра создаваемого провайдера;
в поле "Адрес vCenter" ввести IP-адрес или полное доменное имя Engine провайдера;
в поле "Имя пользователя" прописать имя учетной записи к Engine провайдера и домен, в котором находится данная учетная запись;
в поле "Пароль" ввести пароль учетной записи к Engine провайдера, затем выполнить проверку подключения;
выбрать "Datacenter" из выпадающего списка;
выбрать "Resource Pool" из выпадающего списка;
выбрать "Network" из выпадающего списка. При добавлении "Network" следует обратить внимание, что в этой сети должен работать DHCP-сервер для присвоения создаваемым виртуальным машинам IP-адресов;
выбрать "Datastore" из выпадающего списка; если у выбранного "Datastore" более одного "Storage Policy", то необходимо определить "Storage Policy";
ввести путь для хранения виртуальной машины на "Datastore";
выбрать пул IP-адресов из выпадающего списка. Привязка пула IP-адресов к экземпляру провайдера позволит при конфигурировании кластера назначить адрес API-серверу кластера и VIP-адрес Ingress из списка свободных IP-адресов этого пула. См. добавление пула IP-адресов в Комплекс в п. Пул IP-адреcов.

Если данные учетной записи среды виртуализации введены верно, на странице появится возможность добавления шаблона ВМ (рисунок 59). Можно добавить шаблоны, созданные в платформе виртуализации.

Рисунок 59 ‒ Шаблон ВМ

Подробнее о добавлении шаблона ВМ в экземпляр провайдера и выборе версии Kubernetes в. п. Загрузка шаблона ВМ в Комплекс.

Чтобы обновить версию Kubernetes на узлах кластера, требуется выполнить шаги Инструкции "Как обновить версию kubernetes".

OpenStack

Для использования провайдера необходимо наличие платформы виртуализации на основе OpenStack в ИТ-инфраструктуре или в формате публичного облака (VK Cloud, Selectel).

Требования к сервисной учетной записи

Для подключения провайдера необходимо иметь системную УЗ в платформе виртуализации с правами не ниже "Администратор Kubernetes"/"Администратор проекта".

Если используется платформа виртуализации VKCloud, при подключении провайдера нужно применить логин и пароль УЗ.

Сервисную учетную запись в Selectel можно создать в личном кабинете в разделе "Аккаунт → Управление доступом" на вкладке "Сервисные пользователи".

Следует обратить внимание, что не рекомендуется использование паролей с повторяющимися спецсимволами для сервисной УЗ, например "&&", т.к. это может привести к невозможности подключения провайдера виртуализации.

Требования к шаблонам ВМ

Для добавления шаблона виртуальной машины в провайдер должен быть создан такой шаблон в вашей платформе виртуализации. Инструкцию по созданию шаблона см. в п. Создание шаблонов виртуальных машин.

Конфигурация провайдера

Для конфигурации провайдера на стороне Комплекса на странице "Провайдеры" нажать Добавить провайдер, в выпадающем списке выбрать "+ Добавить провайдер Openstack".

В блоке "Конфигурация подключения" задать (рисунок 60):

Рисунок 60 ‒ Добавление экземпляра провайдера Openstack

Адрес сервера аутентификации;
Идентификатор проекта (project_id);
Идентификатор домена проекта (project_domain_id);
Имя региона (соответствует RegionName);
Интерфейс (соответствует Interface, например public);
Версия API;
Сертификат (cacert, необязательное);
Проверять ли сертификат безопасности (значение по умолчанию ‒ Нет);
Тип подключения учетной записи (Логин/Токен);

Если выбран логин, то для ввода доступны поля:

Логин (username, обязательное);
Пароль (password, обязательное);
Имя домена пользователей (user_domain_name).

Если выбран токен, то для ввода доступно только поле "Токен".

Далее расположена кнопка проверки подключения. После создания шаблона провайдера изменение данных доступно только после успешного прохождения проверки подключения.

После успешного прохождения проверки подключения необходимо внести данные (рисунок 61):

Рисунок 61 ‒ Конфигурация провайдера

Имя провайдера;
CloudName (имя облака, например, vk или selectel);
Сетевой интерфейс ВМ (например, eth0);
sshKeyName (доступен выбор из списка ключей);
Подсеть узлов (подсеть узлов не должна быть создана ранее и не должна пересекаться с подсетью подов и подсетью сервисов);
Идентификатор внешней сети (externalNetworkID);
Типы виртуальных машин (flavours);
Типы дисков (volume types);
при необходимости выбрать "Зоны доступности" (availability zones);
Требуется ли управление Security Groups (значение по умолчанию ‒ Да).

Когда провайдер создан, отображаются только выбранные типы ВМ, дисков и выбранные зоны доступности.

Далее расположен блок добавления виртуальных машин с заголовком "Шаблоны виртуальных машин". Необходимо добавить шаблоны, созданные в платформе виртуализации. Для одной версии Kubernetes доступно добавление только одного шаблона ВМ.

Чтобы обновить версию Kubernetes на узлах кластера, нужно выполнить шаги Инструкции "Как обновить версию kubernetes".

Yandex Cloud

Настройка в платформе виртуализации Yandex Cloud

Чтобы использовать провайдер Yandex Cloud, необходимо иметь созданный сервисный аккаунт (учетная запись) в платформе виртуализации Yandex Cloud. Для создания сервисного аккаунта и назначения ему роли требуется следовать инструкции. Для добавления шаблона виртуальной машины в провайдер должен быть создан такой шаблон в вашей платформе виртуализации. Для инструкции по созданию шаблона требуется перейти в п. Создание шаблонов виртуальных машин.

Для сервисного аккаунта необходимо предоставить разрешения на функции:

Аутентификация при обращении к ресурсам Yandex Cloud;
Получение всех типов платформ и назначения платформы виртуальной машине;
Получение данных облака или папки в зависимости от роли сервисного аккаунта;
Все действия по перезагрузке, созданию, провижинингу и миграции виртуальных машин;
Все действия с дисками.
Все действия с сетями, с сетевым балансировщиком.

Для подключения к платформе виртуализации Yandex Cloud следует использовать "Авторизованный ключ" сервисного аккаунта в JSON-формате. Чтобы получить "Авторизованный ключ", требуется следовать инструкции.

Пример полученного авторизованного ключа:

{
"id": "wefwvewedw",
"service_account_id": "adkfdfivufndv",
"created_at": "2024-12-13T13:28:15.261795772Z",
"key_algorithm": "RSA_2048",
"public_key": "-----BEGIN PUBLIC KEY-----\nMIIBAB\n-----END PUBLIC KEY-----\n",
"private_key": "PLEASE DO NOT REMOVE THIS LINE! Yandex.Cloud SA Key ID \nMIIBAB\n-----BEGIN PRIVATE KEY-----\nMIIE=\n-----END PRIVATE KEY-----\n"
}

Требования к шаблонам ВМ

Для добавления шаблона виртуальной машины в провайдер должен быть создан соответствующий шаблон в вашей платформе виртуализации. Инструкцию по созданию шаблона см. в п. Создание шаблонов виртуальных машин.

Настройка провайдера из интерфейса Комплекса

Для создания экземпляра провайдера Yandex Cloud нужно:

перейти в раздел "Провайдеры" на странице "Управление провайдерами", нажать Добавить провайдер, выбрать "Yandex Cloud";
на странице создания экземпляра провайдера в блоке "Конфигурация подключения" задать (рисунок 62):

Рисунок 62 ‒ Добавление экземпляра провайдера Yandex Cloud

авторизованный ключ сервисного аккаунта в поле "API-ключ сервисной учетной записи";
при необходимости, если сервисная учетная запись не имеет доступа к получению списка всех каталогов облака, директивно указать идентификатор папки в поле "ID папки".

выполнить проверку подключения, нажав Проверить подключение;

Если в результате проверки подключение не было выполнено или нет доступных папок для выбора, следует проверить данные ключа и доступ сервисной учетной записи к получению списка каталогов.

после успешного подключения доступна настройка конфигурации провайдера. В блоке "Конфигурация провайдера" (рисунок 63):

Рисунок 63 ‒ Конфигурация провайдера

задать название для экземпляра провайдера в поле "Имя провайдера";
выбрать в поле "Папка" необходимый каталог в облаке (папка), в котором созданы и сгруппированы ресурсы Yandex Cloud. После выбора каталога отобразятся данные облака и организации, станет доступен выбор сети. Если сервисная учетная запись имеет доступ только к одной папке, которая была указана при подключении, идентификатор этой папки будет отображен в поле "Папка" без возможности изменения;
выбрать подсеть (диапазон IP-адресов в облачной сети). При выборе следует обратить внимание на зону доступности подсети;
задать "Типы платформы", которые будут доступны для выбора при создании кластера с провайдером Yandex Cloud;
задать "Типы дисков", доступные для выбора при создании кластера с провайдером Yandex Cloud;
выбрать "Внешний" или "Внутренний" сетевой балансировщик (по умолчанию "Внешний");
выбрать "Тип балансировщика" ‒ Yandex Network Load Balancer (NLB) или Yandex Application Load Balancer (ALB) (по умолчанию ALB).

в блоке "Шаблоны виртуальных машин" добавить шаблоны, созданные в платформе виртуализации. Для одной версии Kubernetes доступно добавление только одного шаблона ВМ (рисунок 64).

Рисунок 64 ‒ Добавление шаблона ВМ

Чтобы обновить версию Kubernetes на узлах кластера, нужно выполнить шаги Инструкции "Как обновить версию kubernetes".

Создание шаблонов виртуальных машин

Что такое шаблон ВМ

Создание кластеров с провайдерами vSphere, oVirt, OpenStack, Basis Dynamix, Yandex Cloud происходит с использованием образов виртуальных машин. В РОСА Кубис они называются шаблонами провайдеров. Шаблон содержит в себе основную информацию, на основании которой провайдеры Комплекса будут разворачивать ВМ в платформе виртуализации, а именно:

операционная система и ее версия. Список поддерживаемых операционных систем в Комплексе см. Требования к ОС;
ограничение по размеру диска (т.к. созданные ВМ не могут быть меньшего объема диска, чем указано в исходной ВМ).

Шаблон не хранит информацию о ресурсах (CPU, RAM) исходной ВМ.

При необходимости можно создать несколько шаблонов ВМ на разных ОС. Шаблоны ВМ являются основой для InfraMachineTemplates, из которых создаются узлы в группах. На основе одного шаблона ВМ можно конфигурировать различные InfraMachineTemplates.

Шаблоны ВМ, добавленные в экземпляр провайдера, доступны на вкладке "InfraMachineTemplates" на странице просмотра конфигурации группы узлов кластера (п. Управление узлами).

Как создать шаблон ВМ

Создание шаблона происходит в несколько этапов:

создание ВМ в платформе виртуализации;
создание шаблона ВМ с помощью утилиты stc;
отключение ВМ в платформе виртуализации;
загрузка образа ВМ в платформу виртуализации.

При создании ВМ из шаблона Комплекс будет самостоятельно готовить ВМ: устанавливать Kubernetes выбранной версии и необходимые конфигурации.

Следует обратить внимание:

При подготовке шаблона ВМ необходимо учитывать требования к синхронизации времени.
На виртуальной машине, с которой формируется шаблон:
должно выполняться разрешение имени хоста зеркала по действующему FQDN;
отключен "selinux" (permissive или disabled);
недоступные репозитории должны быть отключены или удалены (например, родные репозитории дистрибутива);
в системе должны быть установлены пакеты iptables и gnupg.

Как выделить диск для ВМ

В Комплексе рекомендуется использовать LVM-диски и реализовать хранение в корневом разделе. При создании ВМ с увеличенным диском увеличивается корневой раздел. Минимальный объем ‒ 60 ГБ. При необходимости можно вынести /var/log, выделив на него 20 ГБ, при этом:

При использовании LVM особенностей нет.
При использовании другого типа диска требуется вынести этот раздел перед корневым.

Важно ‒ Если используются не LVM-диски и за корневым разделом есть swap, то увеличение диска не будет работать.

На верхнем уровне использование разделов помимо корневого в минимальной конфигурации приведено в таблице 12.

Процесс создания шаблона ВМ

Процесс создания шаблона ВМ включает следующие действия:

создать виртуальную машину для формирования шаблона.

Важно ‒ Выполнение stc необходимо выполнять на рабочей машине (а не на хосте кластера) с ОС Linux. В случае использования зеркала имя зеркала (registry) необходимо указывать так же, как указывали при развертывании Комплекса.

выполнить команду для скачивания бинарного файла:

wget URL -O stc

где вместо URL нужно подставить соответствующую необходимой версии ссылку:

проставить атрибут исполняемого для загруженного файла командой:

chmod +x ./stc

выполнить команду для создания шаблона stc template, в которой проставить свои значения параметров (таблица 13).

Примеры создания шаблона:

Пример команды создания шаблона с использованием публичного репозитория Комплекса:

./stc-2.10.0 template --license="ввести-ВАШУ-ЛИЦЕНЗИЮ"

Пример команды создания шаблона с использованием зеркала:

./stc-2.10.0 template --license="ввести-ВАШУ-ЛИЦЕНЗИЮ" --registry="ввести-АДРЕС-ВАШеГО-РеДЖеСТРИ"

где в параметре "--registry" указать registry, который был использован при установки Комплекса.

Пример команды создания шаблона с сохранением установленного cloud-init:

./stc-2.10.0 template --license="ввести-ВАШУ-ЛИЦЕНЗИЮ" --keep-cloud-init

Далее на платформе виртуализации необходимо завершить работу ВМ. После того как статус ВМ перейдет в состояние "выключена", можно сформировать из нее шаблон.

Загрузка образа (шаблона) ВМ в платформу виртуализации

В появившемся окне "Новый шаблон" нужно заполнить следующие поля:

Название ‒ ввести уникальное имя для нового шаблона;
Описание ‒ ввести краткое описание шаблона, чтобы упростить его идентификацию;
Кластер ‒ выбрать кластер, в котором будет доступен данный шаблон.

Далее необходимо дождаться, пока созданный шаблон станет доступным в среде виртуализации. С этого момента шаблон будет доступен для добавления в конфигурации провайдеров.

Загрузка шаблона ВМ в Комплекс

Созданные шаблоны ВМ необходимо загрузить в экземпляр провайдера соответствующего типа. К одному экземпляру провайдера можно добавить несколько шаблонов ВМ. Для каждого шаблона ВМ можно указать только одну версию Kubernetes, на которой планируется развертывания кластеров. В списке версий Kubernetes доступны версии, совместимые с установленной версией Комплекса.

Прежде чем выбрать версию Kubernetes, следует ознакомиться с соответствием версий Kubernetes и версий Комплекса.

Следует обратить внимание, что указанная версия Kubernetes в шаблоне ВМ определяет доступные для выбора версии Комплекса при создании клиентских кластеров.

Выбор шаблонов ВМ при создании провайдера инфраструктуры в Комплексе показан на рисунке 65.

Рисунок 65 ‒ Выбор шаблона ВМ

Пример выбора версии Kubernetes при добавлении шаблона виртуальной машины в экземпляр провайдера при доступности v1.28.3, v1.29.1, v1.29.6, v1.30.5, v1.31.3 показан на рисунке 66.

Рисунок 66 ‒ Выбор версии Kubernetes для добавляемого шаблона ВМ

Пул IP-адреcов

Пул IP-адресов является диапазоном IP-адресов. Пул IP-адресов упрощает процесс назначения адреса API-сервера кластера и VIP-адреса для Ingress при развертывании кластера с провайдерами vSphere, oVirt, Shturval V2. Пул IP-адресов позволяет автоматизировать проверку доступности IP-адресов, поэтому список IP-адресов для назначения API-серверу кластера и Ingress содержит только свободные IP-адреса (рисунок 67).

Рисунок 67 ‒ Пул IP-адресов

Примечание ‒ Механизм резервирования отсутствует. Пул показывает статус и предоставляет перечень IP-адресов, свободных на момент запроса. Возможны ситуации, когда IP-адрес был свободен на моменте конфигурации кластера, но к моменту инициализации создания кластера IP-адрес был уже занят. В таком случае кластер не будет успешно развернут. Рекомендуется выделять различные подсети для каждого кластера управления, а также создавать пулы IP-адресов с непересекающимися подсетями под разные команды.

Создание пула IP-адресов

Для конфигурации пула IP-адресов в интерфейсе Комплекса кластера управления нужно перейти на страницу "Пулы IP-адресов" раздела "Провайдеры" и нажать "Добавить пул".

На странице конфигурации пула IP-адресов:

ввести имя пула (обязательно);
указать диапазон адресов; добавить необходимое количество диапазонов IP-адресов, выделенных из вашей сети;
включить в диапазон пула дополнительные IP-адреса, если необходимо;
указать IP-адреса, которые не должны быть доступны в пуле;
при необходимости добавить лейблы и аннотации;
после завершения настроек сохранить конфигурацию пула IP-адресов, нажав Сохранить.

После добавления пула IP-адресов в Комплекс можно посмотреть информацию пула, внести изменения в конфигурацию или удалить пул IP-адресов.

Управление пулом IP-адресов

Чтобы в дальнейшем стало возможным выбрать и назначить IP-адреса для API-сервера кластера и для Ingress при конфигурировании кластера, необходимо созданный пул IP-адресов привязать к экземпляру провайдера.

Можно использовать один пул IP-адресов для привязки к нескольким провайдерам. Настройку добавления пула IP-адресов к шаблону провайдера см. на страницах провайдеров:

Назначение IP-адреса API-серверу и VIP-адреса Ingress описано на страницах создания кластера с провайдерами:

oVirt (п. С провайдером oVirt);
vSphere (п. С провайдером vSphere);
Shturval V2 (п. С провайдером Shturval V2).

Редактирование пула IP-адресов

Для редактирования пула IP-адресов необходимо перейти на страницу ранее добавленного пула. На странице пула IP-адресов доступен просмотр и редактирование конфигурации пула, а также информация о статусе назначения (свободен, занят) каждого IP-адреса пула в таблице.

Чтобы настроить необходимое количество IP-адресов пула, можно:

добавить новый диапазон адресов;
изменить текущий диапазон;
добавить дополнительные IP-адреса к пулу.

При необходимости можно исключить IP-адреса вне зависимости от статуса назначения пула. После завершения настроек нужно сохранить изменения для пула IP-адресов, нажав кнопку Сохранить.

Кроме того, можно удалить пул IP-адресов. Удаление или новая конфигурация пула IP-адресов не повлияет на ранее назначенные IP-адреса этого пула. Удаление IP-адресов из пула, которые ранее были назначены API-серверу и Ingress, не приводит к изменениям в кластерах, где было выполнено назначение.