Настройка уведомлений

Настройка способа, времени и места отправки уведомлений является важной частью системы оповещений.

По умолчанию "Alerting (Оповещения)" предоставляет стандартные уведомления с соответствующей информацией об оповещениях, поэтому не нужно изначально настраивать сообщения. В правиле оповещения нужно настроить способ отправки оповещений (рисунок 91):

непосредственно в контактную точку;
в контактную точку с помощью политики уведомлений (более гибкой).

Рисунок 91 — Схема оповещений

Настройка уведомлений необходима для эффективной системы оповещений, которая может масштабироваться для нескольких команд и сервисов.

Архитектура Alertmanager

Функция оповещения Подсистемы основана на модели оповещения Prometheus, архитектура которой отделяет оценку правил от обработки уведомлений (рисунок 92):

правило оповещения, используемое Подсистемой или источником данных, оценивает правила оповещения и запускает оповещения;
менеджер оповещений, известный как Alertmanager, получает оповещения и управляет ими.

Рисунок 92 — Архитектура Alertmanager

В Подсистеме можно использовать различные типы правил оповещений и настроить несколько менеджеров оповещений.

По умолчанию Подсистема использует встроенный менеджер оповещений (рисунок 93).

Рисунок 93 — Выбор менеджера оповещений

При наличии нескольких менеджеров оповещений следует обратить внимание, что каждый менеджер оповещений управляет собственными независимыми ресурсами уведомлений, такими как контактные точки, шаблоны, политики, режимы бездействия, время отключения и активные уведомления.

Эти ресурсы уведомлений не могут быть общими для разных Alertmanager.

С помощью раскрывающегося списка "Choice Alertmanager (Выбрать менеджер оповещений)" нужно выбрать менеджер оповещений, который требуется настроить.

Настройка контактных точек

Контактные точки используются, чтобы указать, куда отправлять уведомления о событиях. Контактные точки содержат настройки для отправки уведомлений о событиях, включая такие адреса, как электронная почта, Slack, OnCall, вебхуки и их сообщения.

Контактная точка может иметь одно или несколько направлений, известных как интеграции контактных точек. Уведомления отправляются на каждую интеграцию в выбранной контактной точке.

На вкладке "Contact points (Контактные точки)" можно:

добавлять, редактировать и просматривать контактные точки и интеграции;
выполнять поиск по названию и типу контактных точек и интеграций;
просматривать, для скольких политик уведомлений используется каждая контактная точка, и переходить непосредственно к связанным с ней политикам уведомлений;
просматривать состояния доставки уведомлений;
экспортировать отдельные контактные точки или все контактные точки в формате JSON, YAML или Terraform;
удалять контактные точки. Следует обратить внимание, что нельзя удалить контактные точки, которые используются в политике уведомлений. Чтобы продолжить, следует либо удалить политику уведомлений, либо обновить ее, чтобы использовать другую контактную точку.

Примечание – Контактные точки назначаются конкретному менеджеру оповещений и не могут использоваться политиками оповещений в других менеджерах оповещений.

Поддерживаемые интеграции контактных точек

Для каждой интеграции контактных точек предусмотрены свои параметры конфигурации и процесс настройки. В следующем списке представлены интеграции контактных точек, поддерживаемые Подсистемой:

Alertmanager;
AWS SNS;
Cisco Webex Teams;
DingDing;
Discord;
Email;
Google Chat;
Grafana Oncall;
Kafka REST Proxy;
Line;
Microsoft Teams;
MQTT;
Opsgenie;
Pagerduty;
Pushover;
Sensu Go;
Slack;
Telegram;
Threema Gateway;
VictorOps;
Webhook;
WeCom.

Некоторые из перечисленных выше интеграций не поддерживаются Prometheus Alertmanager.

Добавление контактной точки

Чтобы добавить контактную точку нужно выполнить следующие действия.

в меню слева выбрать "Alerting (Оповещения) Contact points (Контактные точки)";
в раскрывающемся списке "Choice Alertmanager (Выбрать менеджер оповещений)" выбрать менеджер оповещений (по умолчанию выбран "Grafana Alertmanager");
на вкладке "Contact Points (Контактные точки)" нажать +Add contact point (Добавить контактную точку);
ввести описательное название контактной точки;
в секции "Integration (Интеграция)" выбрать тип интеграции и заполнить обязательные поля в зависимости от выбранного типа, например, если выбрана электронная почта, ввести адреса электронной почты;
некоторые интеграции с контактными точками, такие как электронная почта, имеют дополнительные настройки; в секции "Optional settings (Дополнительные настройки)" указать дополнительные параметры для выбранной интеграции с контактной точкой;
в настройках уведомлений можно дополнительно выбрать "Disable resolved message (Отключить сообщение о завершении)", если не требуется получать уведомления о завершении оповещения;
сохранить внесенные изменения, нажав кнопку Save contact points (Сохранить контактные точки).

Добавление другой интеграции контактных точек

Контактная точка может иметь несколько интеграций или контактов для отправки уведомлений.

Чтобы добавить другую интеграцию к контактной точке, требуется выполнить следующие действия:

добавить или редактировать существующую контактную точку;
нажать +Add contact point integration (Добавить интеграцию контактной точки) и повторить те же действия, что и при добавлении контактных точек:

в секции "Integration (Интеграция)" выбрать тип и заполнить обязательные поля;
в "Optional settings (Дополнительные настройки)" указать дополнительные настройки для выбранной интеграции контактных точек;

сохранить внесенные изменения, нажав кнопку Save contact points (Сохранить контактные точки).

Настройка сообщений уведомлений

В контактной точке также можно настроить сообщения уведомлений. Например, при настройке интеграции с контактной точкой по электронной почте следует нажать "Message (Сообщение)" или "Subject (Тема)", чтобы изменить их.

По умолчанию в сообщениях уведомлений содержатся общие сведения об оповещениях, которых обычно достаточно в большинстве случаев.

При необходимости можно изменить содержание и формат уведомлений. Возможно создать собственный шаблон уведомления, который затем можно применить к одной или нескольким контактным точкам.

На вкладке "Notification templates (Шаблоны уведомлений)" можно просматривать, редактировать, копировать или удалять шаблоны уведомлений.

Тестирование контактной точки

Тестирование контактной точки доступно только для Alertmanager. Чтобы протестировать контактную точку, нужно выполнить следующие действия:

в меню слева выбрать "Alerting (Оповещения) Contact points (Контактные точки)", чтобы просмотреть список существующих контактных точек;
на вкладке "Contact points (Контактные точки)" найти контактную точку, которую требуется протестировать, затем нажать Edit (Change (Изменить)); при необходимости также можно создать новую контактную точку;
нажать Test (Тест), чтобы открыть диалоговое окно тестирования контактной точки;
выбрать, требуется ли отправить предустановленное ("Predefined") тестовое уведомление или добавить собственные ("Custom") аннотации и метки в уведомление;
нажать Send test notification (Отправить тестовое уведомление), чтобы запустить оповещение.

Включение уведомления для контактной точки

После создания контактной точки можно включить получение уведомлений с помощью одного из следующих способов:

Assign it to alert rules (Назначить для правил оповещений) — выбрать контактную точку в параметрах оповещений для правил оповещений, управляемых Подсистемой, чтобы напрямую связать ее с конкретными оповещениями;
Assign it to notification policies (Назначить для политик уведомлений) — добавить контактную точку в одну или несколько политик уведомлений, которые управляют оповещениями, которые требуется получать.

Настройка политик уведомлений

Политики уведомлений определяют, как оповещения направляются контактным точкам.

Политики имеют древовидную структуру. Каждая политика может иметь одну или несколько дочерних политик и набор сопоставлений меток.

Каждое оповещение (или экземпляр оповещения) оценивается политикой по умолчанию, а затем каждой дочерней политикой. Оповещения направляются в соответствующую политику уведомлений путем сопоставления меток оповещений с метками политики (рисунок 94).

Рисунок 94 — Схема работы политик уведомлений

Политика уведомлений, которой назначен экземпляр оповещения, отвечает за:

группировку похожих оповещений для минимизации количества уведомлений;
управление отправкой уведомлений с помощью параметров синхронизации;
определение контактных точек, которые получают оповещение.

Примечание – Политика уведомлений по умолчанию и дочерние политики назначаются конкретному менеджеру оповещений и не могут использовать точки взаимодействия или время отключения от других менеджеров оповещений.

Изменение политики уведомлений по умолчанию

Для изменения политики уведомлений по умолчанию нужно выполнить следующие действия:

в меню слева выбрать "Alerting (Оповещения) "Notification policies (Политика уведомлений)";
в раскрывающемся списке "Choose Alertmanager (Выбрать менеджер оповещений)" выбрать внешний менеджер оповещений (по умолчанию выбран Alertmanager Подсистемы);
в секции "Политика по умолчанию" нажать и выбрать "Edit (Изменить)";
в появившемся диалоговом окне в списке "Default contact point (Контактная точка по умолчанию)" выбрать контактную точку, куда будут отправляться уведомления, если правила оповещений не соответствуют какой-либо конкретной политике;
в "Group by (Группировать по)" выбрать метки, чтобы сгруппировать оповещения; если несколько оповещений соответствуют этой политике, они группируются по выбранным меткам, и уведомления отправляются каждой группе;
в секции "Timing options (Параметры синхронизации)" настроить параметры синхронизации, чтобы указать время отправки уведомлений:

Group wait (Групповое ожидание) – время ожидания перед отправкой первого уведомления для новой группы оповещений; по умолчанию — 30 секунд;
Group interval (Интервал группы) – время ожидания перед отправкой уведомления об изменениях в группу оповещений; по умолчанию — 5 минут;
Repeat interval (Интервал повтора) – время ожидания перед отправкой уведомления, если группа не изменилась с момента последнего уведомления; по умолчанию — 4 часа;

нажать Update default policy (Обновить политику по умолчанию), чтобы сохранить внесенные изменения.

Добавление дочерней политики

Можно создать дочернюю политику в рамках политики по умолчанию или в рамках существующей дочерней политики:

в меню слева выбрать "Alerting (Оповещения) "Notification policies (Политика уведомлений)";
в раскрывающемся списке "Choose Alertmanager (Выбрать диспетчер оповещений)" выбрать диспетчер оповещений (по умолчанию выбран Alertmanager Подсистемы);
нажать +New nested policy (Новая дочерняя политика) в политике по умолчанию или в существующей дочерней политике;
в секции "Matching labels (Совпадающие метки)" дочерней политики добавить одно или несколько правил для совпадающих меток, чтобы сузить область применения родительской политики;
в раскрывающемся списке "Contact point (Контактная точка)" выбрать контактную точку для отправки уведомлений; если оставить поле пустым, контактная точка родительской политики наследуется;
при необходимости включить "Continue matching subsequent sibling nodes (Продолжение сопоставления последующих родственных узлов)", чтобы продолжить сопоставление родственных политик даже после того, как оповещение будет соответствовать текущей политике; если эта опция включена, несколько политик могут обрабатывать одно и то же оповещение;
при необходимости включить "Override grouping (Переопределение группировки)", чтобы установить другую группировку, чем в родительской политике; если эта опция отключена, группировка родительской политики наследуется;
при необходимости включить "Override general timings (Переопределение общих параметров синхронизации)", чтобы задать другие параметры синхронизации, чем в родительской политике; если эта опция отключена, параметры синхронизации родительской политики наследуются;
нажать Update policy (Обновить политику), чтобы сохранить внесенные изменения.

Добавление политики родственных связей

Для добавления политики родственных связей:

в меню слева выбрать "Alerting (Оповещения) "Notification policies (Политика уведомлений)";
найти дочернюю политику, для которой требуется создать родственную связь;
нажать "+New nested policy (Добавить новую политику)";

Важно определить, какая политика получает оповещение первой, и установить правильный порядок политик для дочерних и родительских.

Политики оцениваются сверху вниз. Если найдена соответствующая политика, Подсистема продолжает оценивать дочерние политики в том порядке, в котором они отображаются.

следовать инструкциям, начиная с шага 4, при добавлении дочерней политики.

Поиск политик

Подсистема позволяет выполнять поиск в дереве политик по следующим параметрам:

Label matchers (Сопоставление меток);
Contact points (Контактные точки).

Чтобы выполнить поиск по контактной точке, нужно выбрать контактную точку в раскрывающемся списке "Search by contact point (Поиск по контактной точке)". Политики, использующие эту контактную точку, будут выделены в пользовательском интерфейсе.

Чтобы выполнить поиск по совпадающим меткам, просто ввести допустимое совпадение в поле ввода "Search by matchers (Поиск по совпадающим меткам)". Несколько совпадений можно объединить с помощью запятой ",".

Важно отметить, что все совпадающие политики являются точными совпадениями. Подсистема поддерживает регулярные выражения для создания сопоставления меток и не поддерживает регулярные выражения или частичное совпадение при поиске политик.

Таймеры отключения звука

Таймеры отключения не наследуются от родительской политики уведомлений и должны быть настроены на каждом уровне.

Настройка таймеров отключения звука

Таймер отключения — это повторяющийся интервал, который останавливает уведомления для одной или нескольких политик уведомлений в течение заданного периода. Он подавляет уведомления, но не прерывает оценку оповещений.

Можно использовать временные отключения, чтобы временно приостановить уведомления на определенный период, например, на время регулярного технического обслуживания или на выходные.

Примечание – Таймеры отключения назначаются конкретному менеджеру оповещений и подавляют уведомления только для оповещений, управляемых этим менеджером.

Сравнение таймеров отключения звука против тишины

Временное отключение звука и тишина — это разные способы подавления уведомлений. Они не препятствуют оценке правил оповещений и не останавливают появление оповещений в пользовательском интерфейсе, а только препятствуют созданию уведомлений.

В таблице 63 показаны ключевые различия между таймерами отключения звука и молчания.

Добавление таймеров отключения звука

Для добавления таймера отключения звука нужно выполнить следующие действия:

в меню слева выбрать "Alerting (Оповещения) "Notification policies (Политика уведомлений)";
перейти на вкладку "Mute Timings (Таймеры отключения звука)";
в раскрывающемся списке "Choose Alertmanager (Менеджер оповещений)" выбрать внешний менеджер оповещений (по умолчанию выбран Alertmanager Подсистемы);
нажать +Add mute timing (Добавить таймер отключения звука);
заполнить форму, чтобы создать временной интервал для таймера отключения звука;
сохранить таймер отключения звука, нажав Save mute timing (Сохранить таймер).

Добавление таймера отключения звука в политику уведомлений

Для добавления таймера отключения звука в политику уведомлений нужно выполнить следующие действия:

в меню слева выбрать "Alerting (Оповещения) "Notification policies (Политика уведомлений)";
найти политику уведомлений, к которой требуется добавить отключение звука, нажать и выбрать "Edit (Изменить)";
в раскрывающемся списке "Mute Timings (Таймер отключения звука)" выбрать таймер отключения звука, который требуется добавить в политику;
сохранить внесенные изменения.

Временные интервалы

Временной интервал — это определенная продолжительность, в течение которой оповещения не отображаются. Продолжительность обычно состоит из определенного временного диапазона и дней недели, месяца или года.

Таймер отключения звука может содержать несколько временных интервалов.

Поддерживаемые параметры временного интервала следующие:

Диапазон времени – время, включающее начало и исключающее конец (в формате UTC, если не выбрано местоположение, в противном случае — по местному времени);
Местоположение – в зависимости от выбранного местоположения диапазон времени отображается по местному времени;
Дни недели – день или диапазон дней недели, например monday:thursday;
Дни месяца – даты с 1 по 31 число месяца. Отрицательные значения также могут использоваться для обозначения дней, которые начинаются в конце месяца, например -1 для последнего дня месяца;
Месяцы – месяцы года в числовом или полном календарном формате, например "1, may:august";
Годы – год или годы для интервала, например 2021:2024.

Все поля являются списками; для соответствия полю должен быть задан хотя бы один элемент списка. Поля также поддерживают диапазоны с использованием ":" (например, monday:thursday).

Если поле оставлено пустым, любой момент времени соответствует этому полю. Чтобы момент времени соответствовал полному временному интервалу, все поля должны совпадать.

Если требуется указать точную продолжительность, необходимо указать все параметры.

Настройка режима тишины

Отключения звука останавливают создание уведомлений на заданный промежуток времени, но не прерывают оценку оповещений. Их используют, чтобы временно отключить уведомления об оповещениях, например, во время реагирования на инциденты или технического обслуживания.

Добавление режима тишины

Чтобы добавить режим тишины, нужно выполнить следующие действия:

в меню слева выбрать "Alerting (Оповещения) Silences (Тишина)";
в раскрывающемся списке "Choose Alertmanager (Менеджер оповещений)" выбрать внешний менеджер оповещений для создания и управления режимами тишины для внешнего источника данных (по умолчанию – для Alertmanager Подсистемы);
нажать Create silence (Создать режим тишины);
в секции "Silence start and end (Начало и окончание тишины)" выбрать дату начала и окончания, чтобы указать, когда должна наступить и закончиться тишина;
при необходимости в поле "Duration (Продолжительность)" указать, на какое время устанавливается тишина – это автоматически обновит время окончания в поле "Silence start and end (Начало и конец тишины)";
в полях "Label (Метка)" и "Value (Значение)" ввести одну или несколько меток сопоставления, чтобы определить, к каким оповещениям применяется отключение; все соответствующие оповещения (только в состоянии срабатывания) отображаются в секции "Affected alert instances (Затронутые оповещения)";
в "Comment (Комментарии)" добавить подробности о тишине;
нажать Save silence (Сохранить режим тишины).

Редактирование режима тишины

Чтобы отредактировать режим тишины, нужно выполнить следующие действия:

в меню слева выбрать "Alerting (Оповещения) Silences (Тишина)", чтобы просмотреть список существующих;
найти режим тишины, который требуется отредактировать, затем нажать значок ;
внести требуемые изменения, затем нажать Save silence (Сохранить режим тишины), чтобы сохранить внесенные изменения.

Отключение режима тишины

Чтобы удалить режим тишины, нужно выполнить следующие действия:

в меню слева выбрать "Alerting (Оповещения) Silences (Тишина)", чтобы просмотреть список существующих режимов;
выбрать режим тишины, который требуется прервать, затем нажать кнопку Unsilence (Отключить режим тишины).

Примечание – Нельзя удалить тишину вручную. Завершившиеся сеансы тишины сохраняются и отображаются в течение пяти дней.

Режимы тишины, зависящее от правил

Режимы тишины для правил — это режимы тишины, которые применяются только к конкретному правилу оповещений. Они создаются, когда отключается правило оповещений напрямую с помощью действия "Silence notifications (Отключить уведомления)" в пользовательском интерфейсе.

В отличие от общего отключения, доступ к отключению для конкретного правила привязан непосредственно к правилу оповещения, на которое он влияет. Их можно создать вручную, включив в них специальный шаблон __alert_rule_uid__=<alert rule UID>.

URL-ссылка на форму режима тишины

Уведомления по умолчанию часто содержат ссылку на оповещения о тишине.

В пользовательских шаблонах уведомлений можно использовать .Alert.SilenceURL для перенаправления пользователей в пользовательский интерфейс, где они могут отключить данное оповещение.

Если .Alert.SilenceURL не подходит для конкретного случая, также можно создать собственную ссылку для отключения звука для своих шаблонов.

Шаблоны уведомлений

Чтобы изменить заголовок, сообщение и формат уведомлений можно использовать шаблоны уведомлений.

Подсистема предоставляет "Default template (Шаблон по умолчанию)" для заголовков уведомлений (default.title) и один шаблон по умолчанию для сообщений уведомлений (default.message). Оба шаблона отображают общие сведения об оповещениях.

Также можно создать шаблон уведомления, чтобы настроить содержание и формат пользовательских уведомлений, например:

персонализировать тему электронного письма или заголовок сообщения;
изменить текст в уведомлениях, например, выбрав или удалив определенные метки, аннотации и ссылки;
отформатировать текст жирным шрифтом и курсивом, а также добавить или удалить разрывы строк.

Однако существуют ограничения, по которым нельзя:

Изменение внешнего вида – добавлять HTML или CSS в уведомления по электронной почте для визуальных изменений; изменять дизайн уведомлений в сервисах обмена сообщениями, таких как Slack или Microsoft Teams;
Управление мультимедиа и данными – настраивать структуру или формат данных, передаваемых в шаблоны; изменять HTTP-заголовки в вебхуках, выходящие за рамки тех, что определены в конфигурации, или настраивать количество, размер или расположение изображений.

Примечание – Не следует добавлять дополнительную информацию о случаях оповещения в шаблоны уведомлений, так как эта информация будет видна только в сообщении уведомления.

Вместо этого следует использовать аннотации или метки для добавления информации непосредственно в оповещение, чтобы она также отображалась в состоянии оповещения и в истории оповещений в Подсистеме. Затем можно ввести новую аннотацию или метку оповещения в шаблонах уведомлений.

Шаблоны уведомлений не привязаны к конкретным контактным точкам, таким как электронная почта или Slack, и одним и тем же шаблоном можно пользоваться на несколько контактных точек.

Шаблон уведомления назначается контактной точке для определения сообщения уведомления, отправляемого в рамках интеграции с контактной точкой.

По умолчанию Подсистема предоставляет шаблоны по умолчанию, такие как "" и "", для форматирования сообщений уведомлений.