Мониторинг оповещений

Оповещения и уведомления об оповещениях должны предоставлять ключевую информацию, которая поможет специалистам по реагированию на инциденты и участникам инцидента понять, что произошло в их ИТ-инфраструктуре и как реагировать.

Раздел "Alerting (Оповещения)" позволяет отслеживать оповещения и управлять их настройкой. Возможно просматривать оповещения, отслеживать историю состояний оповещений и контролировать статус уведомлений. Это поможет начать расследование проблем с оповещениями в Подсистеме и повысить надежность системы оповещений.

В предыдущих разделах объясняется, как настроить правила оповещений и настроить уведомления для создания оповещений и отправки уведомлений.

В этом разделе рассказывается о том, как найти и понять состояние правил оповещений, экземпляров оповещений и их уведомлений.

Просмотр правил оповещения

На странице просмотра списка правил оповещений перечислены все существующие правила записи и оповещения, в том числе созданные в Подсистеме и доступные в настроенных источниках данных.

Для просмотра правил оповещения нужно перейти в раздел " Alerting (Оповещения) Alert rules (Правила оповещений)" (рисунок 95).

Рисунок 95 — Правила оповещений

По умолчанию правила оповещений группируются по типу: управляемые Подсистемой или управляемые источником данных.

В этом представлении можно находить и редактировать правила, созданные в Подсистеме. Однако правила, созданные в источниках данных, совместимых с Prometheus, отображаются, но не могут быть отредактированы.

Это представление включает фильтры, упрощающие управление большими объемами оповещений.

Возможно выполнять фильтрацию по источникам данных, панелям мониторинга и свойствам правил оповещений, таким как состояние, тип, работоспособность и контактные точки. Поле "Search (Поиск)" позволяет выполнять фильтрацию по дополнительным параметрам, таким как папки, группы оценки, метки и многое другое.

Также можно изменить способ отображения списка правил с помощью параметра "View as (Просмотр в виде)":

Grouped (Сгруппировано) – (по умолчанию) отображает правила Подсистемы, сгруппированные по папкам и группам оценки, а также правила источников данных по пространствам имен и группам оценки;
List (Список) – отображает правила Подсистемы, сгруппированные только по папкам;
State (Статус) – отображает правила, сгруппированные по статусам, предоставляя обзор по каждому состоянию.

На рисунке 96 показан выбор группы для развертывания и просмотра списка правил оповещения внутри этой группы.

Рисунок 96 — Просмотр группы

Просмотр статуса оповещения

Правило оповещения и соответствующие ему экземпляры оповещений могут переходить из одного состояния в другое во время оценки правила оповещения (рисунок 97).

Рисунок 97 — Изменение статусов оповещений

Есть три ключевых компонента, которые помогают понять поведение оповещений:

Состояние экземпляра оповещения – относится к состоянию отдельных экземпляров оповещений;
Состояние правила оповещения – определяется "наихудшим состоянием" среди всех случаев оповещения;
Работоспособность правила оповещения – указывает на статус в случае событий Error или NoData.

Просмотр состояний правила оповещения и экземпляра

Чтобы просмотреть состояние и работоспособность правил оповещений, а также статус оповещений, нужно выполнить следующие действия:

перейти в раздел "Alerting (Оповещения) Alert rules (Правила оповещений)", чтобы просмотреть список существующих правил оповещения (рисунок 98).

Для каждого правила оповещения отображается его состояние, работоспособность, сводка, время следующей проверки и доступные действия, такие как "Pause evaluation (Приостановить проверку)", "Silence notifications (Отключить уведомления)", "Export (Экспорт)", "Delete (Удалить)" и другие.

нажать на правило оповещения, чтобы просмотреть дополнительные сведения и результирующие экземпляры оповещений.

Рисунок 98 — Сведения об оповещении

Чтобы просмотреть дополнительные сведения о правиле оповещения, нужно выполнить следующие действия:

перейти в раздел "Alerting (Оповещения) Alert rules (Правила оповещений)";
нажать на правило оповещения, чтобы развернуть его;
в секции "Actions (Действия)" нажать значок просмотра -

Пространство имен и группа отображаются в навигации по разделам. Они интерактивны и могут использоваться для фильтрации правил по пространству имен или группе.

Остальное подробное содержимое оповещения разделено на вкладки:

Query and conditions (Запрос и условия) – просмотр сведений о запросе, используемом для правила оповещения, включая выражения и промежуточные значения для каждого этапа конвейера выражений; для запросов диапазонов и источников данных, возвращающих фреймы данных, похожие на временные ряды, отображается график;
Instances (Экземпляры) – изучение каждого экземпляра оповещения, его статуса, меток и других метаданных для многомерных правил оповещения; можно использовать "Search by label (Поиск по метке)", чтобы ввести критерии поиска с помощью селекторов меток, например "environment=production,region=~US|EU,severity!=warning";
History (История) – изучение истории оповещений по правилу; также можно отфильтровать оповещения по состоянию;
Details (Подробные сведения) – отладка или аудит с использованием метаданных правила оповещения и просмотр аннотаций правила оповещения.

Просмотр состояния оповещения на панелях

Когда правило оповещения связано с панелью временных рядов, на панели временных рядов отображается состояние оповещения и события оповещения.

Значок рядом с названием панели показывает текущее состояние оповещения:

оповещение находится в Alerting-состоянии -
оповещение находится в Normal-состоянии -

Цветные аннотации указывают на изменения в состоянии оповещения, такие как ожидание, предупреждение и разрешение (рисунок 99).

Рисунок 99 — Статусы на панели

Кроме того, Подсистема предоставляет панель со списком оповещений, которую можно добавить на панель мониторинга для отображения списка оповещений и их состояний (рисунок 100).

Рисунок 100 — Панель со списком оповещений

Возможно настроить панель списка оповещений с помощью различных параметров визуализации и фильтров, чтобы управлять отображением оповещений.

Просмотр истории состояния оповещений

Просмотр истории всех оповещений, сгенерированных правилами оповещений, управляемыми Подсистемой, с одной централизованной страницы поможет выявлять закономерности в оповещениях с течением времени, отслеживать тенденции, делать прогнозы и даже устранять неполадки в оповещениях, которые могут срабатывать слишком часто.

Событие оповещения отображается каждый раз, когда экземпляр оповещения меняет свое состояние в течение определенного периода времени. Все события оповещения отображаются независимо от того, установлены ли настройки отключения звука или беззвучного режима, поэтому полная история данных будет видна, даже если не будут получены уведомления.

Просмотр со страницы истории

Чтобы получить доступ к просмотру истории, выполняют следующие действия:

выбрать в меню слева "Alerting (Оповещения) History (История)" (рисунок 101);

Рисунок 101 — Страница истории

На графике событий показана активность оповещений за определенный период времени. Каждое событие оповещения представляет собой оповещение, состояние которого изменилось в определенный момент времени. История данных отображается за определенный период времени.

отфильтровать по меткам, введя метку или нажав на метку экземпляра в списке событий;
отфильтровать по текущему и предыдущему состоянию, выбрав состояние из выпадающего списка или нажав на состояния в списке событий; увеличить масштаб, переместив курсор по графику, или использовать панель выбора времени;

Примечание – Если превысить лимит в 5000 оповещений, на графике могут отсутствовать некоторые данные. Чтобы увидеть полные результаты, рекомендуется сократить временной интервал.

под диаграммой находится список событий; каждое событие представляет собой изменение состояния экземпляра оповещения; развернуть строку, чтобы увидеть количество переходов для экземпляра оповещения, график состояний и значение перехода;
нажать на название правила оповещения, чтобы перейти на вкладку "History (История)" в разделе "Alert Rule (Правила оповещения)" (рисунок 102).

Рисунок 102 — Вкладка истории

Просмотр в режиме истории состояний

Раздел "История состояний" используют, чтобы понять, как со временем меняются отдельные экземпляры оповещений.

Возможно просмотреть информацию о том, когда произошло изменение состояния, каким было предыдущее состояние, каким является текущее состояние, какие еще оповещения изменили свое состояние в то же время, а также какое значение запроса вызвало изменение.

Чтобы получить доступ к просмотру истории состояний, нужно выполнить следующие действия:

перейти в раздел "Alerting (Оповещения) Alert rules (Правила оповещений)";
выбрать правило оповещения;
выбрать "Show state history (Показать историю состояний) (рисунок 103);

Рисунок 103 — История состояния

В верхней части экрана отображается временная шкала изменений за последний час, чтобы можно было отслеживать, как меняются оповещения с течением времени.

В нижней части отображаются экземпляры оповещений, их предыдущее и текущее состояние, значение каждой части выражения и уникальный набор меток.

В верхней части экрана отображаются общие метки, чтобы было проще различать разные оповещения.

в режиме просмотра временной шкалы навести курсор на нужный момент, чтобы автоматически отобразить все изменения, произошедшие в этот момент;

Эти изменения отображаются в режиме реального времени в представлении с метками времени в нижней части страницы. Представление с метками времени – это список всех оповещений, состояние которых изменилось в этот момент времени. По умолчанию в визуализации отображается только 12 оповещений.

Значение, показанное для каждого экземпляра, относится к каждой части выражения, которое было вычислено.

нажимать на метки, чтобы отфильтровать и сузить список результатов.

Просмотр активных уведомлений

На странице "Active notifications (Активные уведомления)" перечислены группы оповещений (или экземпляры оповещений), которые активно выдают уведомления.

По умолчанию "Alerting (Оповещения)" объединяет похожие оповещения в одно уведомление.

В этом представлении можно:

найти группы оповещений и состояние их уведомлений;
отфильтровать экземпляры оповещений, соответствующие определенным критериям.

Раздел "Active notifications (Активные уведомления)" полезен для отладки и проверки того, как уведомления группируются в соответствии с настройками политики уведомлений.

Просмотр групп оповещений и состояния уведомлений

Чтобы просмотреть группы оповещений, выполняют следующие действия:

выбрать "Alerting (Оповещения) Active notifications (Активные уведомления)", чтобы просмотреть список групп, отправляющих уведомления (рисунок 104);

Рисунок 104 — Активные уведомления

По умолчанию группы оповещений группируются в соответствии с группировкой политик уведомлений.

Для каждой группы отображается набор меток, контактная точка и количество оповещений (или уведомлений).

нажать на группу, чтобы получить доступ к ее оповещениям; можно найти оповещения по их меткам и просмотреть их состояние.

Состояние уведомления об оповещении может быть одним из следующих:

Unprocessed (Необработанное) – оповещение получено, но его уведомление еще не обработано;
Suppressed (Отключенное) – оповещение отключено;
Active (Активное) – оповещение обработано, при этом продолжает срабатывать и обрабатываться.

Возможно выполнять фильтрацию по метке, состоянию или Alertmanager:

By label (По метке) – в строке поиска ввести существующую метку, чтобы просмотреть оповещения, соответствующие этой метке;
By state (По состоянию) – в разделе "State (Состояние)" выбрать "Active (Активное)", "Suppressed (Отключенное)" или "Unprocessed (Необработанное)", чтобы просмотреть оповещения, соответствующие выбранному состоянию; все остальные оповещения скрыты;
By Alertmanager (По Alertmanager) – в раскрывающемся списке "Choose Alertmanager" выбрать внешний Alertmanager, чтобы просматривать только группы оповещений для этого конкретного Alertmanager; по умолчанию выбран Alertmanager Подсистемы.

В раскрывающемся списке "Custom group by (Пользовательская группировка по)" выбрать комбинацию меток, чтобы просмотреть группировку, отличную от группировки по умолчанию. Это поможет проверить настройки группировки в политиках уведомлений.

Если оповещение не содержит меток, указанных в группировке политики по умолчанию или в пользовательской группировке, то оповещение добавляется в общую группу с заголовком "No grouping (Без группировки)".

Просмотр ошибок уведомлений

Примечание – Ошибки уведомлений доступны только при использовании предварительно настроенных менеджеров оповещений Подсистемы.

Ошибки при отправке уведомлений содержат информацию о том, почему они не были отправлены или не были получены.

Чтобы просмотреть ошибки уведомлений, нужно перейти в раздел "Alerting (Оповещения) Contact points (Контактные точки)".

Каждая контактная точка выводит сообщение о состоянии доставки их последних уведомлений.

Если контактная точка не работает, появляется красное сообщение, указывающее на ошибки при доставке уведомлений. Можно навести курсор на сообщение об ошибке, чтобы увидеть подробности.