Настройка правил оповещения

Правила оповещения являются центральным компонентом системы оповещения.

Правило оповещения состоит из одного или нескольких запросов и выражений, которые выбирают данные, которые требуется измерить. Правило оповещения содержит условие для запуска оповещения, период оценки, который определяет, как часто оценивается правило, и дополнительные параметры для управления событиями оповещения и их уведомлениями.

Подсистема поддерживает два типа правил оповещения:

Правила оповещения, управляемые Подсистемой – могут запрашивать несколько источников данных;
Правила оповещений, управляемые источником данных – могут запрашивать только источники данных на основе Prometheus и поддерживать горизонтальное масштабирование.

Рекомендуется по возможности использовать правила оповещений, управляемые Подсистемой, и выбирать правила оповещений, управляемые источником данных, когда требуется горизонтальное масштабирование.

Настройка правил оповещения, управляемых Подсистемой

Правила, управляемые Подсистемой, могут запрашивать данные из нескольких источников в одном правиле оповещения. Это самый гибкий тип правил оповещения. Также можно добавлять выражения для преобразования данных, устанавливать условия оповещения и изображения в уведомлениях об оповещениях.

Предварительно необходимо убедиться, что источники данных, которые планируется запрашивать в правиле оповещения, совместимы с правилами оповещения, управляемыми Подсистемой, и правильно настроены.

Только пользователи с правами "Edit (Редактирование)" для папки, в которой хранятся правила, могут редактировать или удалять правила оповещений, управляемых Подсистемой.

Следует обратить внимание, что если удалить ресурс оповещения, созданный в пользовательском интерфейсе, больше его восстановить будет нельзя.

Для резервного копирования и управления правилами оповещений можно создавать ресурсы оповещений с помощью таких опций, как файлы конфигурации, Terraform или Alerting API.

Для создания правил оповещений в Подсистеме можно использовать стандартные или расширенные параметры. Стандартные параметры упрощают создание правил за счет более понятного заголовка и одного запроса и условия. Для более сложных правил нужно использовать расширенные параметры, чтобы добавить несколько запросов и выражений.

Возможно переключаться между двумя вариантами. После создания правила оповещения Подсистема по умолчанию использует предыдущий выбор для следующего правила оповещения.

При переключении с расширенного режима на режим по умолчанию могут возникнуть проблемы с преобразованием запросов и выражений. В этом случае появится предупреждающее сообщение с вопросом, требуется ли продолжить сброс настроек до значений по умолчанию.

Установка имени правила оповещения

Для установки имени правила оповещения нужно выполнить следующие действия:

выбрать "Alerting (Оповещения) Alert rules (Правила оповещений)";
нажать +New alert rule (Новое правило оповещения);
ввести имя, чтобы идентифицировать правило оповещения.

Это имя отображается в списке правил оповещений, а также является меткой alertname для каждого экземпляра оповещения, созданного на основе этого правила.

Определение запроса и условия

Для правила необходимо определить запрос для получения данных, которые требуется измерить, и условие, которое должно быть выполнено, прежде чем сработает правило оповещения.

Возможно переключаться между настройками "Default (По умолчанию)" и "Advanced (Расширенные)".

Настройка параметров по умолчанию:

добавить запрос;
добавить условие оповещения; ввод "When" включает функцию свертки, а последний ввод – пороговое значение.
переключиться на "Preview (Предварительный просмотр)", чтобы проверить.

Настройка расширенных параметров:

выбрать источник данных;
в раскрывающемся списке "Options (Параметры)" указать временной диапазон;
добавить запрос; чтобы добавить несколько запросов, нажать Add query (Добавить запрос);
добавить одно или несколько выражений.

для каждого выражения выбрать "Classic condition (Классическое условие)", чтобы создать одно правило оповещения, или выбрать Math, Reduce и Resample, чтобы создать отдельное оповещение для каждой серии; при использовании Prometheus можно использовать мгновенный вектор и встроенные функции, поэтому не нужно добавлять дополнительные выражения;
нажать Preview (Предварительный просмотр), чтобы убедиться, что выражение выполнено успешно.

чтобы добавить порог восстановления, включить переключатель "Custom recovery threshold (Пользовательский порог восстановления)" и указать значение, при котором правило оповещения должно перестать срабатывать;
нажать Set as alert condition (Установить условие оповещения) в запросе или выражении, которое требуется установить в качестве условия оповещения.

Установка папки и меток

Возможно организовать свое правило оповещения с помощью папки и набора меток.

В разделе "Labels (Метки)" можно дополнительно выбрать, нужно ли добавлять метки для организации правил оповещений и их уведомлений:

выбрать папку или нажать +Label (Новая метка);
ввести "ключ/значения";
добавить другие метки, если требуется.

Пользовательские метки добавляют, выбрав существующие пары "ключ-значение" в раскрывающемся списке или создав новые метки, введя новый ключ или значение.

Настройка поведения при оценке оповещений

Оценка правил оповещений используется, чтобы определить, как часто следует оценивать правило оповещения и как быстро оно должно менять свое состояние.

Для этого нужно убедиться, что правило оповещения относится к нужной группе оценки, и установить время ожидания, которое лучше всего подходит для случая:

выбрать группу оценки или нажать +New evaluation group (Новая группа оценки); если создается новая группа оценки, указать интервал для этой группы; все правила в одной группе оцениваются одновременно в течение одного и того же временного интервала;
ввести период ожидания – это период, в течение которого правило оповещения может нарушать условие до момента срабатывания; как только условие выполняется, оповещение переходит в состояние "Pending (Ожидание)"; если условие остается активным в течение указанного времени, оповещение переходит в состояние "Firing (Срабатывание)", в противном случае оно возвращается в состояние "Normal (Нормальное)";
при необходимости включить приостановку уведомлений с оповещениями; возможно приостановить оценку правил оповещений, чтобы не получать лишние оповещения во время настройки оповещений; приостановка останавливает оценку правил оповещений и не создает новых оповещений – это отличается от отключения оповещений по времени, которое останавливает отправку уведомлений, но позволяет оценивать правила оповещений и создавать новые оповещения;
в секции "Configure no data and error handling (Настройка обработки отсутствия данных и ошибок)" можно определить поведение оповещений и их состояние для двух сценариев:

когда оценка возвращает "No data (Нет данных)" или все значения равны null;
когда оценка возвращает "Error (Ошибка)" или тайм-аут.

Настройка отсутствия данных и обработки ошибок приведена в таблице 62.

Настройка уведомлений

Для настройки уведомлений нужно выбрать контактную точку непосредственно в форме правила оповещения или использовать маршрутизацию уведомлений, а также настроить время отключения звука и группы.

Чтобы настроить уведомления нужно сконфигурировать получателя уведомления при срабатывании правила оповещения, выбрав один из двух вариантов:

"Select contact point (Выбрать контактную точку)" – выбрать существующую контактную точку; все уведомления по этому правилу оповещения автоматически отправляются на этот контактный адрес, и политики уведомлений не используются; при необходимости также можно выбрать время отключения звука, а также группы и время для определения периодов, когда уведомления не будут отправляться;
"Use notification policy (Использовать политику уведомлений)" – выбрать дерево политик уведомлений для обработки оповещений; все уведомления для этого правила оповещений управляются деревом политик оповещений, которое направляет оповещения на основе их меток; если оповещение не соответствует конкретной политике, применяется политика оповещений по умолчанию, которая обеспечивает обработку всех оповещений; можно нажать See details (Просмотреть сведения), чтобы просмотреть сведения о маршрутизации оповещений и предварительный просмотр электронной почты.

Настройка уведомляющих сообщений

Чтобы добавлять в сообщения об оповещениях информацию, которая поможет отреагировать на оповещение, используют аннотации.

Аннотации по умолчанию включаются в сообщения уведомлений и могут использовать текст или шаблоны для отображения динамических данных из запросов.

Подсистема предоставляет несколько необязательных аннотаций:

Add a summary (Добавить сводку) – краткое изложение того, что произошло и почему;
Add a description (Добавить описание) – описание того, что делает правило оповещения;
Add a Runbook URL (Добавить URL-адрес инструкций) – веб-страница, на которой хранятся инструкции для оповещения;
Add a custom annotation (Добавить пользовательскую аннотацию) – любая дополнительная информация, которая могла бы помочь устранить проблему с оповещением.
Link dashboard and panel (Связать панель и панель мониторинга) – привязать правило оповещения к панели, чтобы упростить проверку оповещений.

После настройки аннотаций следует нажать Save rule and exit (Сохранить правило и выйти).

Настройка правил оповещения, управляемых источником данных

Правила оповещений, управляемые источником данных, могут запрашивать только источники данных на основе Prometheus, такие как Prometheus, Mimir или Loki. Это один из двух типов правил оповещений, поддерживаемых в Подсистеме.

Правила оповещений, управляемые источником данных, хранятся в источнике данных. В распределенной архитектуре они могут масштабироваться по горизонтали для обеспечения высокой доступности.

Рекомендуется по возможности использовать правила оповещений, управляемые Подсистемой, а при необходимости масштабирования оповещений – правила оповещений, управляемые источником данных.

Предварительно следует убедиться, что есть разрешение на запись в источник данных Prometheus, Mimir или Loki. В противном случае нельзя будет создавать или обновлять правила оповещений, управляемые источником данных.

Правила оповещений для экземпляров Prometheus, Mimir или Loki могут быть изменены или удалены пользователями с ролями "Editor (Редактор)" или "Admin (Администратор)".

Если не требуется управлять правилами оповещений для конкретного источника данных, можно перейти в его настройки и снять флажок "Manage alerts via Alerting UI (Управление оповещениями через Alerting UI)".

Следует обратить внимание, что если удалить ресурс оповещения, созданный в пользовательском интерфейсе, больше его нельзя будет восстановить.

Установить имени правила оповещения

Для установки имени правила оповещения нужно выполнить следующие действия:

выбрать "Alerting (Оповещения) Alert rules (Правила оповещений)";
нажать кнопку New alert rule (Новое правило оповещения);
ввести имя, чтобы идентифицировать правило оповещения.

Определение запроса и условия

Необходимо определить запрос для получения данных, которые требуется измерить, и условие, которое должно быть выполнено, прежде чем сработает правило оповещения:

выбрать источник данных на базе Prometheus из раскрывающегося списка; также можно нажать "Open advanced data source picker (Открыть расширенный выбор источника данных)", чтобы найти больше вариантов;
ввести запрос PromQL или LogQL, включая условие оповещения;
в параметре "Rule type (Тип правила)" выбрать "Data source-managed (Управляемый источником данных)";
нажать Preview alerts (Просмотреть оповещения).

Установка поведения оценки оповещения

Чтобы определить, как часто следует оценивать правило оповещения и как быстро оно должно менять свое состояние, используют оценку правил оповещений:

выбрать пространство имен или нажать +New namespace (Новое пространство имен);
выбрать группу оценки или нажать +New evaluation group (Новая группа оценки); если создается новая группа оценки, указать интервал для этой группы; все правила в одной группе оцениваются последовательно в течение одного и того же временного интервала; возможно изменить их порядок на странице "Alert rules (Правила оповещений)";
ввести период ожидания – это период, в течение которого правило оповещения может нарушать условие до момента срабатывания; как только условие выполняется, оповещение переходит в состояние "Pending (Ожидание)"; если условие остается активным в течение указанного времени, оповещение переходит в состояние "Firing (Срабатывание)", в противном случае оно возвращается в состояние "Normal (Нормальное)".

Настройка меток и уведомлений

Чтобы указать, какая политика уведомлений должна применяться к оповещениям, требуется добавить метки к своим правилам оповещений.

Все правила и экземпляры оповещений, независимо от их меток, соответствуют политике уведомлений по умолчанию. Если нет вложенных политик или вложенные политики не соответствуют меткам в правиле оповещения или в экземпляре оповещения, то политика уведомлений по умолчанию является подходящей политикой.

Метки добавляют, если требуется изменить способ маршрутизации уведомлений.

Пользовательские метки можно добавить, выбрав существующие пары "ключ-значение" в раскрывающемся списке, или добавить новые метки, введя новый ключ или значение.

Настройка уведомляющих сообщений

Подсистема предоставляет несколько необязательных аннотаций.

Add a summary (Добавить сводку) – краткое изложение того, что произошло и почему;
Add a description (Добавить описание) – описание того, что делает правило оповещения;
Add a Runbook URL (Добавить URL-адрес инструкций) – веб-страница, на которой хранятся инструкции для оповещения;
Add a custom annotation (Добавить пользовательскую аннотацию) – любая дополнительная информация, которая могла бы помочь устранить проблему с оповещением;
Link dashboard and panel (Связать панель и панель мониторинга) – привязать правило оповещения к панели, чтобы упростить проверку оповещений.

После настройки аннотаций следует нажать Save rule and exit (Сохранить правило и выйти).

Создание и привязка правил оповещения к панелям

Подсистема позволяет связать правило оповещения с панелью мониторинга. Это может помочь:

проинформировать аварийных инженеров о том, где проводить расследование и какие данные изучать;
визуализировать состояние оповещения непосредственно с панелей мониторинга.

Правило оповещения связывается с панелью путем установки аннотаций dashboardUId и panelId. Обе аннотации должны быть установлены одновременно.

Привязка правил оповещений к панелям

При настройке правила оповещения можно задать аннотации на панели мониторинга и панели, выполнив следующие действия:

настроить правило оповещения;
в секции "Configure notification message (Настройка уведомлений)" нажать Link dashboard and pane (Связать панель мониторинга и панель);
выбрать существующую панель мониторинга, затем выбрать панель на выбранной панели мониторинга;
завершить настройку правила оповещения и нажать Save rule and exit (Сохранить правило и выйти), чтобы активировать правило оповещения.

Затем можно просмотреть состояние оповещения на панели (рисунок 87).

Рисунок 87 — Панель, отображающая состояние оповещения и изменения состояния.

Создание правил оповещения на панели

Чтобы упростить создание оповещений, можно создать правило оповещения прямо на панели:

перейти к панели мониторинга в разделе "Dashboards (Панели мониторинга)";
нажать в правом верхнем углу панели;
в раскрывающемся меню выбрать "More… (Подробнее...) New alert rule (Новое правило оповещения)";
в открывшемся окне "New alert rule (Новое правило оповещения)" перейти к секции "Add annotations (Добавить аннотации)" предварительно заполнить поля:

установить аннотации dashboardUId и panelId к соответствующей панели мониторинга и панелям;
задать запрос правила оповещения с помощью запроса панели;

завершить настройку правила оповещения и нажать Save rule and exit (Сохранить правило и выйти), чтобы активировать правило оповещения.

Затем можно просмотреть состояние оповещения на панели.

Примечание – Изменения в запросах панели и правил оповещений не синхронизируются. Если изменить запрос, нужно будет обновить его как в панели, так и в правиле оповещения.

Доступ к связанным правилам оповещения с панелей

Эта возможность доступна только на панелях временных рядов. Чтобы получить доступ к правилам оповещений, связанным с панелью временных рядов, нужно выполнить следующие действия:

нажать в правом верхнем углу панели;
нажать Edit (Изменить);
перейти на вкладку "Alert (Оповещения)", чтобы просмотреть существующие правила оповещений или создать новое.

Настройка правил записи

Правила записи позволяют периодически предварительно вычислять часто используемые или ресурсоемкие запросы, сохраняя результаты в виде новой метрики временных рядов.

Например, можно создать правило записи, генерирующее новую метрику error_9001_count, которая подсчитывает количество случаев возникновения конкретной ошибки в журнале в течение одной минуты. Затем можно запрашивать метрику error_9001_count в панелях мониторинга и правилах оповещений.

Правила записи могут быть полезны в различных сценариях, таких как:

Быстрые запросы – (необходимы) выполнение сложных агрегированных запросов или запросов к большим наборам данных с использованием предварительно вычисленных результатов выполняется быстрее, чем запросы в реальном времени.
Снижение нагрузки на систему – предварительное вычисление конкретных запросов может снизить перегрузку системы, вызванную одновременным выполнением множества запросов.
Упрощение сложных агрегированных метрик – создание новой метрики на основе сложных агрегированных метрик, чтобы упростить настройку оповещений и панелей мониторинга.
Повторное использование запросов в оповещениях – повышение эффективности, повторно используя один и тот же запрос в похожих правилах оповещений и панелях мониторинга.

Группа оценки правила записи определяет, как часто метрика рассчитывается заранее.

Подобно правилам оповещения, Подсистема поддерживает два типа правил записи:

Правила записи, управляемые Подсистемой, которые могут запрашивать любой источник данных Подсистемы, поддерживающий оповещения;
Правила записи, управляемые источником данных, которые могут запрашивать источники данных на основе Prometheus, такие как Mimir или Loki.

Создание правил записи, управляемых Подсистемой

Затем правила оповещений и панели мониторинга могут запрашивать новую метрику, полученную в результате применения правила записи. Это быстрее, чем запрос данных в реальном времени, и может помочь снизить нагрузку на систему.

В Подсистеме нет встроенной базы данных временных рядов для хранения результатов правил записи. Для хранения временных рядов, созданных с помощью правил записи, необходимо использовать собственную базу данных, совместимую с Prometheus.

Правила записи, управляемые Подсистемой, имеют ту же семантику, что и в Prometheus, но позволяют запрашивать источники данных, поддерживающие оповещения. Кроме того, можно использовать правила записи для импорта и сопоставления данных из других источников с Prometheus.

Чтобы создать новое правило записи, управляемое Подсистемой:

перейти в главном меню "Alerting (Оповещения) Alert rules (Правила оповещений)";
нажать +New recording rule (Новое правило записи);
ввести имена, чтобы идентифицировать правило записи и метрику; имя метрики должно быть именем метрики Prometheus и не содержать пробелов.

Определение правила записи задается запросом для получения данных, которые требуется измерить, и настройкой вывода данных:

выбрать источник данных;
в раскрывающемся списке "Options (Параметры)" указать временной диапазон;

Примечание – Оповещения Подсистемы поддерживают только фиксированные относительные временные диапазоны, например, now-24hr: now и не поддерживают абсолютные диапазоны времени: 2021-12-02 00:00:00 to 2021-12-05 23:59:592 или полуотносительные диапазоны времени: now/d to: now.

добавить запрос; чтобы добавить несколько запросов, нажать "Add query (Добавить запрос)";
добавить одно или несколько выражений:

для каждого выражения выбрать "Classic condition (Классические условия)", чтобы создать одно правило записи, или выбрать Math, Reduce и Resample; при использовании Prometheus можно использовать мгновенный вектор и встроенные функции, поэтому не нужно добавлять дополнительные выражения;
нажать Preview (Предварительный просмотр), чтобы убедиться, что выражение выполнено успешно;

нажать "Set as recording rule output (Установить в качестве вывода правила записи)" для запроса или выражения, которое требуется установить в качестве вывода правила.

Оценка правила записи используется, чтобы определить, как часто следует оценивать правило записи.

Для этого нужно убедиться, что правило записи относится к нужной группе оценки с интервалом, который лучше всего подходит для данного случая:

выбрать папку или нажать +New folder (Новая папка);
выбрать группу оценки или нажать +New evaluation group (Новая группа оценки);
если создается новая группа оценки, указать интервал для этой группы; все правила в одной группе оцениваются одновременно в течение одного и того же временного интервала; каждое правило записи в группе использует одно и то же время оценки, то есть все запросы из одной группы всегда синхронизированы друг с другом;
перед созданием правила записи или после него можно при необходимости установить "Pause evaluation (Приостановить оценку)".

min_interval устанавливает минимальный интервал между вычислениями правил. Значение по умолчанию – 10s, что соответствует интервалу планировщика. Правила корректируются, если они меньше этого значения или не кратны интервалу планировщика (10s). Более высокие значения могут помочь в управлении ресурсами, так как со временем планируется меньше вычислений.

Этот параметр имеет приоритет над частотой каждого отдельного правила. Если частота правила ниже этого значения, то применяется это значение.

Этот параметр применяется как к оповещениям, управляемым Подсистемой, так и к правилам записи.

При необходимости можно добавить пользовательские метки к полученной метрике, выбрав существующие пары "ключ-значение" в раскрывающемся списке или введя новый ключ или значение.

Для запроса новой метрики в панелях мониторинга или правилах оповещений следует нажать Save rule (Сохранить правило) или Save rule and exit (Сохранить правило и выйти), чтобы сохранить правило.

После сохранения новая метрика записи становится доступной для использования в панелях мониторинга и правилах оповещений.

Создание правил записи, управляемых источником данных

Правила записи, управляемые источником данных, могут запрашивать источники данных на основе Prometheus, такие как Mimir или Loki.

Следует обратить внимание, что в группах, управляемых источниками данных, правила оповещений и правила записи в рамках одной и той же группы оценки оцениваются последовательно. Это полезно для того, чтобы правило записи оценивалось до того, как какое-либо другое правило оповещения запросит предварительно вычисленную метрику.

Предварительно следует убедиться, что есть разрешение на запись в источник данных Prometheus или Loki. В противном случае нельзя будет создавать или обновлять правила оповещений Mimir.

Также необходимо для источников данных Mimir и Loki включить Ruler API, настроив соответствующие сервисы.

Loki – тип хранения правил local по умолчанию для источника данных Loki поддерживает только просмотр правил. Чтобы редактировать правила, нужно настроить один из других типов хранения правил;
Mimir – используется префикс /prometheus. Источник данных Prometheus поддерживает как Mimir, так и Prometheus, и Подсистема ожидает, что Query API и Ruler API находятся по одному и тому же URL-адресу. Нельзя указать отдельный URL-адрес для Ruler API.

Чтобы создать новое правило записи, управляемое источником данных, нужно выполнить следующие действия:

нажать "Alerting (Оповещения) Alert Rules (Правила оповещений)";
нажать +New recording rule (Новое правило записи).

Имя правила записи должно быть именем метрики Prometheus и не содержать пробелов.

Для определения правила записи требуется выбрать источник данных и ввести запрос. Запросы, используемые в правилах записи, управляемых источником данных, всегда выполняются мгновенно.

Далее необходимо добавить пространство имен и группу:

в раскрывающемся списке "Namespace (Пространство имен)" выбрать существующее пространство имен правил или добавить новое; пространства имен могут содержать одну или несколько групп правил и иметь только организационную цель;
в раскрывающемся списке "Group (Группа)" выбрать существующую группу в выбранном пространстве имен или добавить новую.

Правила в рамках группы запускаются последовательно с регулярным интервалом и одинаковым временем выполнения.

Новые правила добавляются в конец группы, и можно изменить их порядок на странице "Alert rules (Правила оповещений)".

Шаблонные аннотации и метки

В Подсистеме можно использовать шаблоны для настройки оповещений и уведомлений, включая динамические данные из запросов правил оповещений.

В "Alerting (Оповещения)" можно создавать шаблоны оповещающих сообщений двумя способами:

Шаблонные аннотаций и меток – чтобы включить в оповещение дополнительную информацию из данных запроса, добавив значимые сведения на основе результатов запроса;
Шаблоны уведомлений – чтобы контролировать их содержимое и внешний вид.

На рисунке 88 можно видеть различия между обоими типами шаблонов.

Рисунок 88 — Использование шаблонов

Оба типа шаблонов написаны с использованием системы шаблонов Go. Однако важно понимать, что переменные и функции, используемые в шаблонах уведомлений, отличаются от тех, что используются в шаблонах аннотаций и меток:

Шаблоны аннотаций и меток добавляют дополнительную информацию к отдельным оповещениям; шаблоны переменных, такие как $labels и $values, представляют данные запроса оповещения для отдельного оповещения;
Шаблоны уведомлений форматируют содержимое уведомлений для группы оповещений; переменные, такие как Alerts, включают в уведомление все срабатывающие и разрешенные оповещения.

Шаблоны аннотаций

Аннотации добавляют дополнительную информацию к оповещениям и часто используются для идентификации оповещений и указания респондентам, как решить проблему.

Аннотации – это пары "ключ-значение", определенные в правиле оповещения. Они могут содержать обычный текст или код шаблона, который выполняется при срабатывании оповещения.

Подсистема включает несколько дополнительных аннотаций, таких как description, summary, runbook_url, dashboardUId и panelId, которые можно редактировать в правиле оповещения. Также можно создавать собственные аннотации. Например, можно создать новую аннотацию с именем location для указания местоположения приложения, которое вызвала оповещение.

Однако если требуется отображать динамические значения запросов в аннотациях, нужно использовать код шаблона. К распространенным случаям использования относятся:

отображение значения запроса, которое вызвало оповещение;
выделение информации о метке, которая идентифицирует оповещение, например, об окружении, экземпляре или регионе;
предоставление конкретных инструкций на основе значений запроса;
настройка ссылок на инструкции в зависимости от меток запросов;
включение контактной информации на основе меток запросов.

Для создания шаблона аннотации выполняют следующие действия:

перейти в раздел "Alerting (Оповещения) Alert rules (Правила оповещений)" и создать или отредактировать правило оповещения;
прокрутить вниз до раздела "Add annotations (Добавление аннотаций)";
скопировать в шаблон в соответствующее поле аннотации (summary, description, runbook_url, custom).

При создании или редактировании правила оповещения можно создавать шаблоны аннотаций (рисунок 89).

Рисунок 89 — Шаблон аннотации

Для тестирования и предварительного просмотра шаблонов аннотаций используются два распространенных метода:

запустить оповещение и просмотреть состояние экземпляра оповещения в пользовательском интерфейсе Подсистемы, где отображаются все аннотации экземпляра оповещения;
использовать шаблон уведомления, в котором отображаются все аннотации, затем просмотреть шаблон уведомления с помощью экземпляра оповещения.

Шаблоны меток

Набор меток для экземпляра оповещения используется для уникальной идентификации этого оповещения среди всех остальных экземпляров оповещений.

Метки определяют, как оповещения направляются и обрабатываются для уведомлений, поэтому их оформление играет ключевую роль в эффективности системы оповещений.

Метки могут быть возвращены из запроса правила оповещения, например, метка pod в запросе Kubernetes Prometheus. Также можно определить дополнительные метки в правиле оповещения, чтобы предоставить дополнительную информацию для обработки оповещений.

Как и аннотации, метки представляют собой пары "ключ-значение", которые могут содержать обычный текст или код шаблона, выполняемый при срабатывании оповещения.

Шаблоны меток используют, когда меток, возвращаемых запросами, недостаточно. Например:

Новая метка, основанная на значении запроса, может по-разному группировать подмножество оповещений, изменяя способ отправки уведомлений.
Новая метка, основанная на значении запроса, может использоваться в политике уведомлений для изменения контактной точки, которой отправляется уведомление.

Не следует отображать значения запросов в метках, так как это может привести к появлению множества уникальных оповещений – по одному для каждого отдельного значения метки. Вместо этого рекомендуется использовать аннотации для значений запросов.

Для создания шаблона метки выполняют следующие действия:

перейти в раздел "Alerting (Оповещения) Alert rules (Правила оповещений)" и создать или отредактировать правило оповещения;
прокрутить вниз до раздела "Labels and notifications (Метки и уведомления)";
нажать +Add labels (Добавить метки);
выбрать "key (ключ)", который идентифицирует метку;
выбрать пользовательский шаблон в поле "value (значение)".

Чтобы предварительно просмотреть значения меток, нужно выбрать "Use notification policy (Использовать политику уведомлений)", а затем нажать на Preview routing (Просмотр маршрута) (рисунок 90).

Рисунок 90 — Предварительный просмотр