Журналы

"Explore (Исследование)" – это мощный инструмент для ведения журналов и анализа журналов. Он позволяет изучать журналы из различных источников данных, в том числе:

Loki;
Elasticsearch;
Cloudwatch;
InfluxDB;
Azure Monitor;
ClickHouse.

С помощью "Explore (Исследование)" можно эффективно отслеживать, устранять неполадки и реагировать на инциденты, анализируя журналы и выявляя первопричины. Это также помогает сопоставлять журналы с другими сигналами телеметрии, такими как метрики, трассировки или профили, просматривая их одновременно.

Результаты запросов к журналам отображаются в виде отдельных строк журнала и графика, показывающего объем журналов за выбранный период времени.

Объем журналов

При работе с источниками данных, поддерживающими полный объем журналов, в разделе "Explore (Исследование)" автоматически отображается график, показывающий распределение журналов по всем отправленным запросам. В настоящее время эта функция поддерживается источниками данных Elasticsearch и Loki.

Если источник данных не поддерживает загрузку полного набора журналов, модель журналов вычисляет временной ряд, подсчитывая строки журналов и группируя их по интервалам на основе автоматически рассчитанного временного интервала. Временная метка первой строки журнала используется для привязки начала набора журналов к результатам. Конец временного ряда привязан к диапазону "To (До)" в средстве выбора времени. Таким образом, можно эффективно анализировать и визуализировать данные журналов, даже если источник данных не поддерживает полный набор журналов.

Журналы

Навигация по журналам

С помощью навигации по журналам, расположенной справа от строк журнала, можно легко запросить дополнительные журналы, нажав "Older logs (Старые журналы)" в нижней части навигации. Это особенно полезно, когда достигнут предел количества строк и требуется увидеть больше журналов. Каждый запрос, выполненный с помощью навигации, отображается в навигации как отдельная страница. На каждой странице отображаются временные метки from и to входящих строк журнала. Возможно просмотреть предыдущие результаты, нажав на каждую страницу. Рекомендуется исследовать кеши последних пяти запросов, выполненных в разделе "Журналы", чтобы не выполнять одни и те же запросы повторно при переходе по страницам, экономя время и ресурсы (рисунок 61).

Рисунок 61 — Журналы

Параметры визуализации

В Подсистеме имеется возможность настроить отображение журналов и выбрать, какие столбцы отображать. В таблице 59 приведен список доступных опций.

Строки журнала загрузки

Эта функция позволяет сохранять данные журнала для дальнейшего анализа или делиться ими с другими пользователями в удобном и доступном формате.

В "Explore (Исследование)" есть три варианта экспорта:

TXT – экспортирует данные в том виде, в котором они отображаются на экране, то есть с учетом форматирования, например line_format;
JSON – экспортирует необработанные данные независимо от форматирования, например line_format;
CSV – экспортирует необработанные данные независимо от форматирования, например line_format.

Необходимо нажать Download (Загрузить) и выбрать TXT, JSON или CSV, чтобы загрузить результаты журнала.

Метаинформация о результатах журналирования

Следующая метаинформация отображается над извлеченными строками журнала:

Number of received logs (Количество полученных журналов) – указывает общее количество журналов, полученных за текущий запрос или диапазон времени;
Error (Ошибка) – отображает все ошибки в результатах журнала;
Common labels (Общие метки) – отображает общие метки;
Total bytes processed (Общее количество обработанных байт) – представляет собой совокупный размер обработанных данных журнала в байтах.

Примечание – Доступность определенных метаданных может различаться в зависимости от источника данных, поэтому можно видеть только сведения, относящиеся к этим конкретным источникам данных.

Экранирование новых строк

"Explore (Исследование)" автоматически распознает некоторые неправильно экранированные последовательности в строках журнала, такие как символы новой строки (\n, \r) или табуляции (\t). При обнаружении таких последовательностей появляется опция "Escape newlines (Экранирование символов новой строки)".

Для автоматического исправления неправильно экранированных последовательностей, обнаруженных "Explore (Исследование)", нужно:

нажать "Escape newlines (Экранирование символов новой строки)", чтобы заменить последовательности;
просмотреть возвращенные строки журнала.

"Explore (Исследование)" заменяет эти последовательности, изменив параметр "Escape newlines (Экранирование символов новой строки)" на "Remove escaping (Удаление экранирования)". Рекомендуется проверить изменения, так как синтаксический анализ может быть неточным в зависимости от ввода. Чтобы отменить замены, следует нажать Remove escaping (Удаление экранирования).

Уровень журнала

Для журналов, в которых указана метка level, значение этой метки используется для определения уровня журнала и соответствующего изменения цвета каждой строки журнала. Если в журнале не указана метка уровня, Подсистема пытается определить, соответствует ли его содержимое какому-либо из поддерживаемых выражений. Уровень журнала всегда определяется по первому совпадению. Если Подсистема не может определить поле уровня журнала, оно отображается как неизвестный уровень журнала.

Примечание – При использовании источника данных Loki, если level является частью строки журнала, можно использовать такие анализаторы, как json, logfmt или regex для извлечения информации об уровне в метку уровня. Эта метка используется для определения значения уровня, что позволяет отображать различные уровни журнала в виде отдельных столбцов на гистограмме.

Поддерживаемые уровни журнала и отображение сокращений и выражений уровня журнала приведены в таблице 60.

Выделение искомых слов

Если запрос содержит конкретные слова или выражения для поиска по ключевым словам, функция "Explore (Исследование)" выделяет их в строках журнала для повышения наглядности. Эта функция выделения упрощает идентификацию и позволяет сосредоточиться на релевантном содержимом в журналах.

Примечание – Возможность выделять ключевые слова зависит от источника данных. В некоторых источниках данных выделение ключевых слов может быть недоступно.

Просмотр сведений о журнале

В разделе "Explore (Исследование)" каждая строка журнала имеет расширяемый раздел под названием "Log details (Сведения о журнале)", который открывается при нажатии на строку журнала. В этом разделе представлена дополнительная информация и параметры исследования в виде "Fields (Полей)" и "Links (Ссылки)", прикрепленных к строкам журнала, что обеспечивает более эффективное взаимодействие и анализ.

В представлении "Log details (Сведения о журнале)" можно отфильтровать отображаемые поля двумя способами: с помощью положительного фильтра, который фокусируется на конкретном поле, и с помощью отрицательного фильтра, который исключает определенные поля. Эти фильтры изменяют соответствующий запрос, на основе которого была сформирована строка журнала, соответствующим образом добавляя выражения равенства и неравенства.

Если источник данных поддерживает эту функцию, как в случае с Loki и Elasticsearch, сведения о журнале проверят, включено ли поле в текущий запрос, и укажут активное состояние для положительных фильтров. Это позволит при необходимости отключить его в запросе или преобразовать выражение фильтра из положительного в отрицательное.

Чтобы выбрать подмножество полей для отображения в списке журналов вместо полной строки журнала нужно нажать на значок (глаз).

В каждом поле есть значок статистики, который отображает специальную статистику по всем отображаемым журналам.

Подсистема предоставляет ссылки на данные или корреляции, позволяющие преобразовать любую часть сообщения журнала в внутреннюю или внешнюю ссылку. Эти ссылки позволяют переходить к связанным данным или внешним ресурсам, обеспечивая удобный способ поиска дополнительной информации (рисунок 62).

Рисунок 62 — Ссылки на данные

Контекст журнала

Контекст журнала – это функция, которая отображает дополнительные строки контекста вокруг записи журнала, соответствующей определенному поисковому запросу. Это помогает понять контекст записи журнала и аналогично параметру "-C" в команде grep.

Следует включить "Wrap lines (перенос строк)", если приходится иметь дело с длинными строками текста, которые затрудняют чтение и анализ контекста вокруг записей в журнале. При включении этой функции Подсистема автоматически переносит длинные строки текста в пределах видимой ширины окна просмотра, что упрощает чтение и понимание записей в журнале.

Чтобы выполнить контекстный запрос для записи журнала в разделенном виде в режиме "Explore (Исследование)" нужно нажать Open in split view (Открыть в разделенном виде). При нажатии на эту кнопку открывается новая панель "Explore (Исследование)" с контекстным запросом, отображаемым рядом с записью журнала, что упрощает анализ и понимание контекста.

Чтобы открыть контекстный запрос журнала в новом браузере и просмотреть контекстную модель необходимо нажать и удерживать клавишу Ctrl/Cmd. Все ранее выбранные фильтры в результате будут применены.

Чтобы скопировать содержимое выбранной строки журнала в буфер обмена нажимают Copy log line (Копировать строку журнала).

С помощью связывания строк журнала в Подсистеме можно быстро переходить к конкретным записям журнала для подробного и точного анализа. Для этого нажимают Copy shortlink (Копировать краткую ссылку), чтобы создать и скопировать короткий URL-адрес, который обеспечивает прямой доступ к конкретной записи журнала в абсолютном временном диапазоне. При открытии ссылки Подсистема автоматически переходит к соответствующей строке журнала и выделяет ее синим цветом, что позволяет легко найти и сосредоточиться на нужной информации.

Примечание – Функция сокращения URL-адресов в настоящее время поддерживается только в Loki и других источниках данных, которые предоставляют поле id.

Просмотр в реальном времени

Функция "Live tail (Просмотр в реальном времени)" используется для просмотра журналов в реальном времени из источников данных. Для этого выполняют следующие действия:

нажать кнопку Live (Реальное время) в панели инструментов, чтобы перейти к просмотру в режиме реального времени;
в режиме "Live tail view (Просмотр в реальном времени)" новые записи отображаются в нижней части экрана на контрастном фоне, что позволяет легко отслеживать изменения;
нажать Pause (Пауза), чтобы приостановить отслеживание в реальном времени и просмотреть предыдущие журналы без перерывов или просто пролистать журналы;
нажать Clear logs (Очистить журналы), чтобы удалить все отображаемые журналы; это действие сбрасывает настройки журнала и позволяет начать анализ журнала с "чистого листа";
нажать Resume (Возобновить), чтобы возобновить отслеживание в реальном времени и продолжить просмотр журналов в реальном времени;
нажать Stop (Стоп), чтобы выйти из режима просмотра в реальном времени и вернуться к стандартному режиму просмотра.

Функция "Live tail (Просмотр в реальном времени)" позволяет отслеживать последние записи журналов в режиме реального времени, что упрощает отслеживание событий по мере их возникновения и позволяет оперативно выявлять проблемы.

Если выбранный источник данных поддерживает выборки журналов и запросы как к журналам, так и к метрикам, автоматически появятся выборки строк журналов, которые влияют на визуализируемые метрики для запросов к метрикам. Следует обратить внимание, что в настоящее время эта функция поддерживается только источником данных Loki.

При переходе от источника данных о метриках, реализующего DataSourceWithQueryExportSupport (например, Prometheus), к источнику данных о журналах, поддерживающему DataSourceWithQueryImportSupport (например, Loki), "Explore (Исследование)" сохраняет метки из запроса, которые существуют в журналах, и использует их для запроса потоков журналов.