В кластере управления

Локальный алертинг

В Комплексе для кластера управления по умолчанию реализован централизованный алертинг с размещением метрик и правил оповещения в кластере управления. При использовании централизованного алертинга доступна настройка правил оповещения из интерфейса кластера. При необходимости можно настроить локальный алертинг. При этом графический интерфейс настройки правил оповещения, маршрутов и блокировок будет недоступен.

Конфигурирование локального алертинга возможно с помощью кастомного ресурса VMRule и применения изменений к спецификации (SSC) Компонента управления модуля мониторинга (VM Agent) (shturval-metrics-collector):

  1. Подготовить ShturvalServicePatch для применения к спецификации (SSC) Компонента управления модуля мониторинга (shturval-metrics-collector), где включить локальную базу данных хранения метрик vmsingle и необходимые компоненты, как приведено в примере ShturvalServicePatch.
apiVersion: ops.shturval.tech/v1beta2
kind: ShturvalServicePatch
metadata:
  name: metrics-collector-vmsingle
spec:
  shturvalServiceConfigName: shturval-metrics-collector
  customvalues:
    defaultRules:
      create: true
    vmalert:
      enabled: true
    vmsingle:
      enabled: true
  1. В кластер управления загрузить с помощью импорта манифестов подготовленный ShturvalServicePatch.
  2. Загрузить кастомный ресурс VMRule в кластер управления с помощью импорта манифеста.

Пример VMRule (описание параметров ‒ в таблице 17):

apiVersion: operator.victoriametrics.com/v1beta1
kind: VMRule
metadata:
  labels:
    cluster: clustername
    monitoringid: "0"
    role: user
  name: <ваше значение параметра>
  namespace: victoria-metrics
spec:
  groups:
    - name: <ваше значение параметра>
      rules:
        - alert: <ваше значение параметра>
          annotations:
            message: <ваше значение параметра>
          expr: <ваше значение параметра>
          for: <ваше значение параметра>
          labels:
            <ваше значение>
  1. Настроить конфигурацию алертинга, например маршрут и получателя.

Далее можно проверить работу локального алертинга.

Настройка маршрута и получателя для алертинга

Настройка правил оповещения, маршрутов и получателей в графическом интерфейсе кластера управления при локальном алертинге недоступна. Конфигурирование алертинга необходимо выполнять в customvalues модуля мониторинга (shturval-metrics-collector) кластера управления.

После добавления правила в кластер управления (для локального алертинга или централизованного) можно настроить конфигурацию алертинга:

  1. Подготовить ShturvalServicePatch для применения к спецификации (SSC) Компонента управления модуля мониторинга (shturval-metrics-collector), где задать требуемую конфигурацию в alertmanager.

Пример конфигурации в ShturvalServicePatch, где получатель ‒ webhook (описание параметров ‒ в таблице 18):

apiVersion: ops.shturval.tech/v1beta2
kind: ShturvalServicePatch
metadata:
  name: <имя ресурса>
spec:
  shturvalServiceConfigName: shturval-metrics-collector
  customvalues:
    alertmanager:
      enabled: true
      config:
        receivers:
          - name: blackhole # Получатель по умолчанию. Должен быть обязательно указан
          - name: <ваше значение параметра> 
            webhook_configs:
              - max_alerts: <ваше значение параметра> 
                send_resolved: false
                url: <ваше значение параметра>
        route:
          routes:
            - matchers:
              - <ваше значение параметра>
              receiver: <ваше значение параметра>
  1. В кластер управления загрузить с помощью импорта манифестов подготовленный ShturvalServicePatch.

Для применения изменений может потребоваться время.