Добавление кластера

Основная информация

Работа с кластерами оркестрации контейнеров включает в себя создание, изменение и удаление клиентских кластеров.

В разделе "Кластер" на вкладке "Клиентские кластеры" нужно нажать кнопку +Добавление кластера для создания нового кластера (рисунок 75).

Рисунок 75 ‒ Вкладка "Клиентские кластеры"

Процесс создания кластера разбит на этапы (шаги), соответствующие экранам:

Выбор провайдера;
Основные данные;
Конфигурация Master-узлов;
Конфигурация Worker-узлов;
Выбор сервисов;
Проверка данных.

Для перехода на следующий шаг или возврата на предыдущий используются кнопки Продолжить или Назад. Для перехода на следующий шаг необходимо заполнить обязательные поля. При переходе между шагами вперед и назад введенные данные сохраняются.

Выбор провайдера

На шаге "Выбор провайдера" (рисунок 76) нужно задать название кластера, выбрать провайдера, для чего нажать на кнопку с названием провайдера. Провайдеры доступны, если в "Платформа → Провайдеры" созданы соответствующие шаблоны.

Рисунок 76 ‒ Выбор провайдера

Возможно создание кластеров с провайдерами:

oVirt;
vSphere;
OpenStack;
Basis Dynamix;
Shturval v2;
Yandex Cloud.

Выделение подсетей

В Комплексе при создании клиентского кластера по умолчанию выделяются:

подсеть подов ‒ 172.16.0.0/16;
подсеть сервисов ‒ 10.96.0.0/12.

Диапазон подсетей может быть изменен в соответствии с вашими потребностями. Подсети подов и сервисов располагаются в общем overlay network кластера. Подсеть подов и сервисов разворачивается только внутри кластера и не пересекается с другими кластерами и вашей корпоративной сетью. Фактически, даже если подсеть подов/сервисов совпадает с вашей корпоративной, то доступа у подов к сервисам вне кластера не будет.

По умолчанию в кластерах разрешен весь входящий и исходящий трафик. Для управления сетевыми политиками в Комплексе используется Cilium (CNI) (п. Сетевые политики Cilium).

На каждом узле кластера из общей подсети подов выделяется отдельная подсеть. Если в кластере разрешен исходящий трафик, по умолчанию весь исходящий трафик будет выходить от IP узла. Можно настроить выделенный IP-адрес или сетевой интерфейс для отдельных неймспейсов, настроив параметры Egress на странице неймспейса (п. О неймспейсе).

Входящий трафик в кластер по умолчанию приходит на IP-адрес Ingress-кластера. Для выделения IP-адреса для неймспейса требуется настроить параметры Ingress на странице неймспейса (рисунок 77).

Рисунок 77 ‒ Используемые подсети

Системные требования для клиентского кластера

Клиентский кластер должен состоять как минимум из одного Master- и двух Worker-узлов. Для обеспечения отказоустойчивости кластер должен состоять как минимум из трех Master- и двух Worker-узлов. Для клиентского кластера предъявляются требования к количеству и вычислительным ресурсам серверов, указанные в таблицах ниже.

Минимальные требования приведены в таблице 14.

Для клиентских кластеров введено понятие инфраструктурного узла ‒ Infra Worker ‒ это такой Worker узел, на котором будут приоритетно развернуты системные сервисы кластера. Чтобы системные сервисы разместились только на Infra-узлах, рекомендуется три Infra-узла.

Следует обратите внимание:

если создается кластер с выделением группы Infra-узлов, требования к Worker-узлам, на которых будут развернуты кастомные нагрузки, будут складываться из нескольких значений: требования, указанные в таблице для Worker, и требования к ресурсам от тех кастомных сервисов, которые планируются к развертыванию на этих узлах.
если создается кластер без выделения группы Infra-узлов, требования к Worker-узлам, на которых будут развернуты системные и кастомные нагрузки будут складываться из нескольких значений: требования, указанные в таблице для Infra Worker, и требования к ресурсам от тех кастомных сервисов, которые планируются к развертыванию на этих узлах.

Рекомендуемые требования приведены в таблице 15.

С провайдером oVirt

Основные данные

На экране "Основные данные" доступны поля для определения основных настроек кластера (рисунок 78). Заполнение данных доступно в базовом режиме и режиме расширенных настроек.

Рисунок 78 ‒ Основные данные

По умолчанию включен базовый режим. Для включения режима расширенных настроек нужно перевести переключатель "Показать расширенные настройки" в активное состояние. При переходе из режима расширенных настроек в базовый режим данные, внесенные в поля, которые будут скрыты, утрачиваются.

Основные данные для провайдера oVirt в базовом режиме:

Шаблон провайдера. Выпадающий список. Если доступен только один шаблон, он будет выбран автоматически. Если к шаблону провайдера был привязан пул IP-адресов, то для этого шаблона будет отображена подсказка с количеством свободных IP-адресов в пуле. Можно выбрать свободные IP-адреса пула для адреса API-сервера кластера и VIP-адреса для Ingress.
Адрес API-сервера кластера. В качестве адреса API управления кластером ввести вручную IP-адрес или FQDN API, или выбрать IP-адрес из выпадающего списка.
VIP-адрес для Ingress. Ввести свободный IPv4-адрес вручную из внутренней подсети узлов кластера или выбрать IP-адрес из выпадающего списка. Этот IP-адрес будет добавлен в сетевой интерфейс одного из Worker-узлов. По этому адресу будет доступен системный Ingress-контроллер.
Включить интеграцию CSI. Если в шаблоне провайдера нет запрета, то кнопка доступна и по умолчанию стоит значение Нет. Если в шаблоне провайдера есть запрет, то кнопка недоступна.

Для адреса API-сервера и VIP-адреса для Ingress список IP-адресов содержит только свободные IP-адреса пула выбранного шаблона провайдера. Если в пуле шаблона провайдера только один свободный IP-адрес, можно указать его либо в качестве адреса API-сервера, либо в качестве VIP-адреса Ingress-контроллера. Если выбранный шаблон провайдера не имеет привязанного пула или привязанный пул IP-адресов не содержит свободных IP-адресов, следует ввести вручную IP-адреса.

Следует обратить внимание, что механизм резервирования для IP-адресов отсутствует. Пул IP-адресов провайдера предоставляет перечень IP-адресов, свободных на момент запроса. Возможны ситуации, когда IP-адрес был свободен на моменте конфигурации кластера, но к моменту инициализации создания кластера IP-адрес был уже занят. В таком случае кластер не будет успешно развернут. Рекомендуется выделять различные подсети для каждого кластера управления, а также создавать пулы IP-адресов с непересекающимися подсетями под разные команды.

Расширенные параметры информационной безопасности не устанавливаются. Внешний балансировщик не используется. Параметры не отображаются в интерфейсе в базовом режиме. Для изменения значений параметров нужно включить расширенные настройки.

Основные данные для провайдера oVirt в режиме расширенных настроек:

Адрес API-сервера кластера. В качестве адреса API управления кластером ввести IP-адрес или FQDN API.
VIP-адрес для Ingress. Ввести свободный IPv4-адрес из внутренней подсети узлов кластера. Этот IP-адрес будет добавлен в сетевой интерфейс одного из Worker-узлов. По этому адресу будет доступен системный Ingress-контроллер.
Шаблон провайдера. Выпадающий список. Если доступен только один шаблон, он будет выбран автоматически.
Версия платформы. После выбора шаблона провайдера есть возможность выбрать версию Комплекса. В выпадающем списке доступны версии Комплекса, которые совместимы с версией Kubernetes, указанной в шаблонах ВМ этого экземпляра провайдера, а также с текущей версией Комплекса.
Включить интеграцию CSI. Если в шаблоне провайдера нет запрета, то кнопка доступна и по умолчанию установлена на Нет. Если в шаблоне провайдера есть запрет, то кнопка недоступна.
Использовать внешний балансировщик. Если выбран внешний балансировщик, будет использован haproxy, иначе балансировка внутри кластера не используется, а весь управляющий трафик будет приходить на VIP.
Установить расширенные параметры информационной безопасности. Устанавливает Secret Encryption для ETCD и преднастроенную политику аудита (Audit Policy).
Подсеть подов. Подсеть, из которой будут назначаться IPv4-адреса для Pods. Подсеть не должна пересекаться с сетью узлов и сервисов. Рекомендуемый диапазон ‒ 172.16.0.1-172.16.255.254.
Подсеть сервисов. Подсеть, из которой будут назначаться IPv4-адреса для сервисов с type: ClusterIP. Подсеть не маршрутизируется с сетью узлов и Pod и не должна с ней пересекаться. Рекомендуемый диапазон ‒ 10.96.0.0/12 (по-другому kubeadm не распознает).

Если требуется использовать внешний балансировщик, поле "VIP-адрес для Ingress" заменится на "DNS-запись Ingress". Нужно ввести в него Wildcard FQDN.

Для адреса API-сервера и VIP-адреса для Ingress список IP-адресов содержит только свободные IP-адреса пула выбранного шаблона провайдера. Если в пуле шаблона провайдера только один свободный IP-адрес, можно указать его либо в качестве адреса API-сервера, либо в качестве VIP-адреса Ingress-контроллера. Если выбранный шаблон провайдера не имеет привязанного пула или привязанный пул IP-адресов не содержит свободных IP-адресов, нужно ввести вручную IP-адреса.

Конфигурация узлов

Чтобы определить системные требования для Master-, Worker-узлов, следует ознакомиться с минимальными и рекомендуемыми требованиями (п. Основная информация).

Для конфигурации Master-узлов нужно задать следующие параметры (рисунок 79):

Рисунок 79 ‒ Конфигурация Master-узлов

Количество Master-узлов (должно быть нечетное значение. Рекомендуется не больше 5);
Cores (значение по умолчанию ‒ 4, рекомендуемое ‒ 12);
Sockets (значение по умолчанию ‒ 1);
Threads (значение по умолчанию ‒ 1);
Объем оперативной памяти (МБ) (значение по умолчанию ‒ 12 000, рекомендуемое ‒ 36 000);
Объем диска (ГБ) (значение по умолчанию ‒ 60, рекомендуемое ‒ 120);

Для конфигурации Worker-узлов нужно задать параметры на соответствующем шаге (рисунок 80).

Рисунок 81 ‒ Конфигурация Worker-узлов

По умолчанию создается две группы Worker-узлов с тремя узлами в каждой группе:

default;
infra.

Эти группы защищены от удаления при создании кластера. Если во время создания кластера Worker-узлы в этих группах не требуются, следует проставить значение 0 в поле "Количество worker-узлов": будут созданы MachineDeployments, а в будущем при необходимости можно легко добавить узлы в группы. Помимо группы по умолчанию и инфраструктурной группы есть возможность добавить дополнительные группы Worker-узлов.

Группа инфраструктурных узлов будет предпочтительно использована для развертывания инфраструктурных сервисов кластера. В случае отсутствия свободных узлов в группе сервисы будут разворачиваться на Worker-узлах других групп. Группа по умолчанию Worker-узлов, как и любые дополнительные группы, может быть использована для разворачивания пользовательских нагрузок.

Также есть возможность скопировать настройки группы по умолчанию в другие группы Worker-узлов. Для этого нажать на иконку копирования в правой части строки группы узлов.

Редактировать параметры группы можно, нажав на название группы в таблице. При редактировании группы Worker-узлов можно:

дублировать конфигурацию созданной группы Worker-узлов, для чего нажать Дублировать конфигурацию из группы и выбрать из списка имя группы, параметры которой необходимо скопировать (рисунок 82).
создать дубликат группы с настроенными параметрами, для чего нажать на элемент копирования в левом верхнем углу модального окна, чтобы добавить группу с теми же параметрами. В дубликате необходимо заполнить имя новой группы.

Рисунок 82 ‒ Создание дубликата конфигурации

Для конфигурации группы доступны параметры (рисунок 83):

Рисунок 83 ‒ Конфигурация группы

Масштабирование узлов ‒ Ручное/Автоматическое;
При выбранном ручном масштабировании узлов, определить количество Worker-узлов;
При выбранном автоматическом масштабировании узлов определить диапазон для автоматического масштабирования Worker-узлов. Минимально количество узлов может быть 2. В графическом интерфейсе ограничена возможность задать менее 2-х реплик;
Cores (значение по умолчанию ‒ 4, рекомендуемое ‒ 12);
Sockets (значение по умолчанию ‒ 1);
Threads (значение по умолчанию ‒ 1);
Объем оперативной памяти (МБ) (значение по умолчанию ‒ 12 000, рекомендуемое ‒ 36 000);
Объем диска (ГБ) (значение по умолчанию ‒ 60, рекомендуемое ‒ 240);
Роли (указать роли для группы через запятую. Заданные роли будут указаны в ключах лейблов узлов группы после префикса node-role.kubernetes.io/);

Выбор сервисов

Этот шаг является общим для всех провайдеров (рисунок 84).

Рисунок 84 ‒ Выбор сервисов

На экране доступны три кнопки, соответствующие опциям выбора сервисов для установки в кластер:

Минимальный набор сервисов;
Рекомендуемый набор сервисов (выбрано по умолчанию);
Выбрать сервисы для установки.

В таблице 16 представлен состав сервисов, входящих в каждый набор. При изменении значений, соответствующих выбранному преднастроенному набору, будет применена опция "Выбрать сервисы для установки". Следует обратить внимание, что некоторые сервисы должны быть установлены в паре с CRD.

Выбранные для установки сервисы устанавливаются с версией latest, режимом автоматического обновления и названием экземпляра сервиса идентичным названию сервиса.

Проверка данных

Экран представляет собой страницу, содержащую всю информацию, заполненную на предыдущих шагах. Информация отображается в режиме чтения. При необходимости изменения выбранных параметров можно вернуться на нужный шаг, нажав на название шага в левой части экрана или на кнопку Назад.

Для создания кластера нужно нажать на кнопку Создать кластер.