Алертинг по логам кластера

В Комплексе для кластеров (клиентских, управления) реализовано хранение логов в VLogs. Логи кластера доступны на вкладке "Логи" дашборда кластера.

При необходимости можно настроить оповещение (алертинг) по логам кластера (клиентского, управления). Для этого нужно в кластере управления с помощью импорта манифестов для кластера, где требуется алертинг по логам, загрузить кастомные ресурсы VMRule и VMAlert, используя свои значения параметров.

Пример VMRule (описание параметров ‒ в таблице 13):

apiVersion: operator.victoriametrics.com/v1beta1
kind: VMRule
metadata:
labels:
cluster: <ваше значение параметра>
role: user
vmalert-type: vlogs
name: <ваше значение параметра>
namespace: <ваше значение параметра>
spec:
groups:
- headers:
- <ваше значение параметра>
interval: 5m
name: <ваше значение параметра>
type: vlogs
rules:
- alert: <ваше значение параметра>
annotations:
description: 'SSC {{ index $labels "objectRef.name" }} was updated by {{ index $labels "user.username" }} in the last {{$for}}'
expr: objectRef.resource:"shturvalserviceconfigs" verb:~"patch|update" | stats by(objectRef.name, objectRef.resource, user.username) count() as updateSSC | filter updateSSC:>1
labels:
source: vlogs

Согласно установленному правилу в expr оповещения будут приходить при изменении в сервисах кластера.

Таблица 13 ‒ Описание параметров VMRule

Пример VMAlert (описание параметров ‒ в таблице 13):

apiVersion: operator.victoriametrics.com/v1beta1
kind: VMAlert
metadata:
annotations:
labels:
cluster: <ваше значение параметра>
name: vlogs
namespace: <ваше значение параметра>
spec:
datasource:
url: <ваше значение параметра>
evaluationInterval: 30s
externalLabels:
cluster: <ваше значение параметра>
extraArgs:
rule.defaultRuleType: vlogs
image: {}
notifiers:
- url: http://vmalertmanager-shturval-metrics-collector.victoria-metrics:9093
remoteRead:
url: <ваше значение параметра>
remoteWrite:
url: <ваше значение параметра>
resources:
limits:
cpu: <ваше значение параметра>
memory: <ваше значение параметра>
requests:
cpu: <ваше значение параметра>
memory: <ваше значение параметра>
ruleSelector:
matchLabels:
vmalert-type: vlogs
cluster: <ваше значение параметра>clustername
ruleNamespaceSelector: {}
selectAllByDefault: false

Таблица 14 ‒ Описание параметров VMAlert

Далее необходимо нажать Проверить и Сохранить.

Проверить алертинг по логам можно с помощью уведомления на devmail. Инструкция по настройке devmail находится в разделе "Email" на странице "Обработка правил оповещения" Руководства.