Управление панелями мониторинга

Управление панелями мониторинга — это центральный узел для управления и настройки данных Подсистемы непосредственно в "Панелях мониторинга".

Панели

В управлении информационными панелями можно получить доступ к следующим панелям:

Шаблоны индексов – Для доступа к данным Подсистемы необходимо создать шаблон индекса, чтобы можно было выбрать данные, которые требуется использовать, и определить свойства полей. Инструмент "Шаблон индекса" позволяет создавать шаблоны индексов в пользовательском интерфейсе. Шаблоны индексов указывают на один или несколько индексов, потоков данных или псевдонимов индексов.
Источники данных – Инструмент "Источники данных" используется для настройки и управления источниками данных, которые Подсистема использует для сбора и анализа данных. С помощью этого инструмента можно указать конфигурацию источника в своей копии файла конфигурации "Панелей мониторинга".
Сохраненные объекты – Инструмент "Сохраненные объекты" помогает упорядочивать сохраненные объекты и управлять ими. Сохраненные объекты — это файлы, в которых хранятся данные, такие как информационные панели, визуализации и карты, для последующего использования.
Расширенные настройки – Инструмент "Расширенные настройки" позволяет гибко персонализировать работу "Панелей мониторинга". Инструмент разделен на разделы настроек, такие как "Общие", "Внешний вид", "Уведомления", "Обнаружение", "Поиск", "Хронология" и "Визуализация", и можно использовать его для настройки и оптимизации многих параметров панелей мониторинга.

Шаблоны индексов необходимы для доступа к данным Подсистемы. Шаблон индекса ссылается на один или несколько индексов, потоков данных или псевдонимов индексов. Например, шаблон индекса может указывать на данные журнала за вчерашний день или на все индексы, содержащие эти данные.

Если данные хранятся в нескольких индексах, создание шаблона индекса позволяет визуализациям получать данные из всех индексов, соответствующих шаблону индекса. Нужно создавать шаблоны индексов, чтобы определить, как извлекаются данные и форматируются поля, чтобы можно было выполнять запросы, поиск и отображать данные.

Следует учесть следующие рекомендации при создании шаблонов индексов:

Делать шаблоны индексов более конкретными. Вместо того чтобы создавать шаблон индекса, который соответствует всем индексам, лучше создать шаблон индекса, который соответствует всем индексам, начинающимся с определенного префикса, например "my-index-". Чем более конкретными будут шаблоны индексов, тем лучше они будут подходить для запросов и анализа данных.
Использовать подстановочные знаки с осторожностью. Подстановочные знаки могут быть полезны для сопоставления нескольких индексов, но они также могут усложнить управление шаблонами индексов. Лучше использовать подстановочные знаки как можно более конкретно.
Проверять шаблоны индексов. Обязательно проверять шаблоны индексов, чтобы убедиться, что они соответствуют правильным индексам.

Создание шаблона индекса

Чтобы создать шаблон индекса для собственных данных, нужно выполнить следующие действия.

Шаг 1: Определить шаблон индекса

перейти в "Панели мониторинга" и выбрать "Управление Управление панелями мониторинга Шаблоны индексации";
выбрать "Создать шаблон индекса";
в окне "Создание шаблона индекса" определить шаблон индекса, введя имя шаблона индекса в поле "Имя шаблона индекса". При вводе текста панели мониторинга автоматически добавляют подстановочный знак "*". Подстановочный знак полезен для сопоставления шаблона индекса с несколькими источниками или индексами. При вводе текста появляется раскрывающийся список со всеми индексами, соответствующими шаблону индекса;
выбрать "Следующий шаг".

Шаг 2: Настроить параметры

выбрать @timestamp в раскрывающемся меню, чтобы указать поле времени, которое Подсистема будет использовать при фильтрации документов по времени. Выбор этого временного фильтра определяет, к какому полю применяется временной фильтр. Это может быть отметка времени запроса или любое другое поле с отметкой времени. Если не требуется использовать временной фильтр, следует выбрать "Я не хочу использовать временной фильтр" в раскрывающемся меню, при этом Подсистема вернет все данные в индексах, которые соответствуют шаблону (рисунок 48);
выбрать "Создать шаблон индекса".

Рисунок 48 — Создание шаблона индекса

После создания шаблона индекса можно просмотреть сопоставление соответствующих индексов. В таблице можно увидеть список полей, а также их тип данных и свойства.

Расширенные настройки

Чтобы изменить параметры, управляющие поведением панелей мониторинга, используют страницу "Расширенные настройки". Эти параметры можно использовать для настройки внешнего вида приложения, изменения поведения некоторых функций и многого другого. Вид интерфейса показан на рисунке 49.

Рисунок 49 — Расширенные настройки

Чтобы получить доступ к странице "Расширенные настройки", необходимо перейти в раздел "Управление панелями мониторинга" и выбрать "Расширенные настройки". Страница разделена на следующие секции: "Общие", "Внешний вид", "Обнаружение", "Уведомления", "Поиск", "Временная шкала" и "Визуализация". Каждый раздел содержит набор соответствующих настроек. Можно изменить эти настройки, отредактировав их поля.

Примечание – Для некоторых настроек требуется изменить файл opensearch_dashboards.yml и перезапустить "Панели мониторинга".

В таблицах 3, 4, 5, 6, 7, 8-9 описаны основные расширенные настройки.

Сохраненные объекты

Можно использовать списки управления доступом (ACL) для управления разрешениями для сохраненных объектов (AuthZ), предоставляя возможности авторизации без необходимости интеграции с серверной частью.

Списки управления доступом применяются на двух уровнях:

ACL рабочей области – объекты рабочей области наследуют разрешения от родительской рабочей области.
ACL для объектов – каждый отдельный объект может иметь собственную политику ACL. Все операции с этими объектами должны проходить проверку политики ACL.

Функция ACL должна быть включена, прежде чем будет возможно задать какие-либо параметры управления доступом. Чтобы включить ее, нужно выполнить следующие действия:

открыть файл opensearch_dashboards.yml;
включить разрешения с помощью строки:

savedObjects.permission.enabled: true

Разрешения ACL определяются с помощью следующей схемы:

{
"permissions": {
"<permission_type_1>": {
"users": ["<principal_1>", "<principal_2>"],
"groups": ["<principal_3>", "<principal_4>"]
}
}
}

Символ подстановки "*" предоставляет разрешения всем авторизованным пользователям. В следующем примере ACL предоставляет группе finance_manager разрешения на управление рабочим пространством, а группе finance_analyst — разрешения на создание панели мониторинга:

{
"permissions": {
"write": {
"groups": ["finance_manager"]
},
"library_write": {
"groups": ["finance_analyst"]
}
}
}

Чтобы разрешить одному пользователю, например user-1, изменять объект, а другим предоставить доступ только для чтения, можно настроить политику ACL следующим образом:

{
"permissions": {
"read": {
"users": ["*"]
},
"write": {
"users": ["user-1"]
},
}
}

Для работы с сохраненными объектами необходимо выполнить следующие действия:

перейти в "Панели мониторинга" и выбрать "Управление Управление панелями мониторинга Сохраненные объекты";
из появившегося списка сохраненных объектов выбрать требуемый;
выполнять такие же действия с выбранным объектом, как с другими панелями мониторинга.

Источники данных

Источники данных Подсистемы — это приложения, к которым Подсистема может подключаться и получать из них данные. После подключения источников данных и получения данных их можно индексировать, искать и анализировать с помощью REST API или пользовательского интерфейса "Панелей мониторинга".

В этой документации основное внимание уделяется использованию интерфейса "Панелей мониторинга" для подключения источников данных и управления ими.

Для работы с источниками данных в "Панелях мониторинга" Подсистемы должны быть назначены правильные разрешения на доступ к источникам данных на уровне кластера.

Настройка и использование нескольких источников данных

В Подсистеме возможны получение, обработка и анализ данных из нескольких источников в "Панелях мониторинга". Настройка источников данных осуществляется в разделе "Управление Управление панелями мониторинга Источники данных". Этот интерфейс показан на рисунке 50.

Рисунок 50 — Настройка источников данных

Для настройки и использования несколько источников данных в "Панелях мониторинга" необходимо выполнить следующие шаги:

Шаг 1: Изменить настройки файла YAML

Чтобы использовать несколько источников данных, необходимо включить параметр data_source.enabled. По умолчанию он отключен. Чтобы включить несколько источников данных требуется:

открыть локальную копию файла конфигурации "Панелей мониторинга" opensearch_dashboards.yml;
установить "data_source.enabled: true" и сохранить файл YAML;
перезапустить контейнер "Панелей мониторинга";
убедиться, что параметры конфигурации были настроены правильно, подключившись к "Панелям мониторинга" и просмотрев меню навигации "Управление панелями мониторинга". На боковой панели отображаются "Источники данных".
Шаг 2: Создать новое подключение к источнику данных

Соединение с источником данных определяет параметры, необходимые для подключения к источнику данных. Эти параметры образуют строку подключения к источнику данных.

Чтобы создать новое подключение к источнику данных, нужно:

в главном меню "Панелей мониторинга" выбрать "Управление Управление панелями мониторинга Источники данных";
нажать кнопку Создать соединение с прямым запросом;
выбрать тип источника данных: Amazon S3 или Prometheus;
для выбранного типа источника данных добавить соответствующую информацию в каждое поле секций:

Amazon S3:
- "Сведения об источнике данных" – ввести "Имя источника данных" и "Описание" (вводить необязательно);
- Подробности аутентификации каталога данных AWS Glue – "Метод аутентификации" (информация о типе аутентификации, необходимую для подключения механизма выполнения к директории данных AWS Glue и "AWS Glue Data Catalog аутентификация ARN" (роль IAM ARN);
- "Подробности индекса хранилища каталога данных AWS Glue" – "AURI хранилища индекса каталога данных WS Glue" (информация о хосте кластера Подсистемы для директории данных AWS Glue) и "Аутентификация хранилища индекса каталога данных AWS Glue" (настройки аутентификации для доступа к хранилищу индексов). После выбора метода аутентификации появятся соответствующие поля для этого метода. Затем можно ввести необходимые данные. Доступны следующие методы аутентификации:
  - Нет аутентификации – для подключения к источнику данных аутентификация не используется;
  - Базовая идентификация – для подключения к источнику данных используются базовое имя пользователя и пароль;
- "Запрос разрешений" – какие роли Подсистемы имеют разрешение на запрос и индексацию данных из этого источника данных ("Ограничено" или "Только администратор").
Prometheus:
- "Сведения об источнике данных" – ввести "Имя источника данных" и "Описание" (вводить необязательно);
- "Расположение данных Prometheus" – endpoint Prometheus URI;
- "Данные аутентификации" – после выбора метода аутентификации появятся соответствующие поля для этого метода. Затем можно ввести необходимые данные. Доступны следующие методы аутентификации:
  - Нет аутентификации – для подключения к источнику данных аутентификация не используется;
  - Базовая идентификация – для подключения к источнику данных используются базовое имя пользователя и пароль;
- "Запрос разрешений" – какие роли Подсистемы имеют разрешение на запрос и индексацию данных из этого источника данных ("Ограничено" или "Только администратор").

нажать кнопку Подключиться к Amazon S3 или Подключиться к Prometheus в зависимости от выбранного типа источника данных на шаге 3;
выбрать "Создать источник данных", чтобы сохранить настройки. Соединение будет создано, и новый источник данных появится в списке на главной странице "Источники данных". Первый созданный источник данных будет отмечен как источник по умолчанию.
отредактировать или обновить подключение к источнику данных:

на главной странице "Источники данных" выбрать соединение, которое требуется изменить: откроется окно "Сведения о соединении";
чтобы сделать выбранный источник данных источником по умолчанию, выбрать опцию "Установить по умолчанию";
чтобы внести изменения в "Сведения о подключении", отредактировать одно или оба поля "Название" и "Описание" и нажать Сохранить изменения в правом нижнем углу экрана. Здесь также можно отменить изменения. Чтобы изменить "Метод аутентификации", выбрать другой метод аутентификации, ввести свои учетные данные (если применимо), а затем нажать Сохранить изменения в правом нижнем углу экрана. Изменения будут сохранены. Если выбран метод аутентификации "Имя пользователя и пароль", можно обновить пароль, выбрав "Обновить сохраненный пароль" рядом с полем "Пароль". Во всплывающем окне ввести новый пароль в первое поле, а затем ввести его еще раз во второе поле для подтверждения. Выбрать "Обновить сохраненный пароль" во всплывающем окне. Новый пароль будет сохранен. Выбрать "Проверить подключение", чтобы убедиться, что подключение выполнено успешно;

чтобы удалить подключение к источнику данных, установить флажок слева от заголовка, а затем выбрать "Удалить 1 подключение". Можно установить несколько флажков для нескольких подключений. Кроме того, можно нажать значок .

Интерфейс подключения к источнику данных показан на рисунке 51.

Рисунок 51 — Подключение к источнику данных

Выбор нескольких источников данных с помощью консоли "Инструменты разработки"

Кроме того, можно выбрать несколько источников данных с помощью консоли "Инструменты разработки". Эта опция позволяет работать с более широким спектром данных и лучше понимать свой код и приложения.

Чтобы выбрать источник данных с помощью консоли "Инструменты разработки", нужно выполнить следующие действия:

найти свою копию opensearch_dashboards.yml и открыть ее в любом редакторе;
установить значение data_source.enabled в true;
перейти в "Панели мониторинга" и выбрать "Управление Инструменты разработки" в меню;
ввести следующий запрос в панель редактора консоли, а затем нажать кнопку выполнения:
в раскрывающемся меню "Источник данных" выбрать источник данных, а затем выполнить запрос к источнику;
повторить предыдущие действия для каждого источника данных, который требуется выбрать.

GET /_cat/indices

Загрузка сохраненных объектов на панель мониторинга из подключенных источников данных

Чтобы загрузить сохраненные объекты из подключенных источников данных на панель мониторинга с несколькими источниками данных, следует экспортировать их в виде файла NDJSON со страницы "Управление сохраненными объектами" источника данных, затем загрузить файл на страницу "Управление сохраненными объектами" панели мониторинга. Этот способ упрощает переключение сохраненных объектов между панелями мониторинга.

Импорт сохраненных объектов из подключенного источника данных

Чтобы импортировать сохраненные объекты из подключенного источника данных, необходимо выполнить следующие действия:

найти нужный opensearch_dashboards.yml файл и открыть его в любом текстовом редакторе;
установить значение data_source.enabled в true;
подключиться к "Панелям мониторинга" и перейти в раздел "Управление панелями мониторинга Сохраненные объекты";
выбрать "Импорт Выбрать файл" и загрузить файл, полученный из подключенного источника данных;
выбрать подходящий "Источник данных" в раскрывающемся меню, настроить "Управление конфликтами", а затем нажать кнопку Импорт.

Отображение или скрытие локального кластера

Флаг функции в файле opensearch_dashboards.yml позволяет скрыть параметр локального кластера в плагине data_source. Этот параметр скрывает локальный кластер в раскрывающемся меню источника данных и на странице создания индекса, что идеально подходит для сред с локальным кластером Подсистемы или без него. Следующий пример настройки скрывает локальный кластер:

hide local cluster in the data source dropdown and index pattern creation page.
data_source.hideLocalCluster: true

Изменение подключения к источнику данных

Чтобы изменить подключение к источнику данных, нужно выполнить следующие действия:

выбрать нужное подключение из списка на главной странице "Источники данных"; откроется окно "Сведения о подключении";
в окне "Сведения о подключении" отредактировать поля "Название" и "Описание" и нажать кнопку Сохранить изменения, чтобы применить изменения;
чтобы обновить "Метод аутентификации", выбрать метод из выпадающего списка и ввести необходимые учетные данные, затем нажать Сохранить изменения, чтобы применить изменения.

Удаление подключения к источнику данных

Чтобы удалить подключение к источнику данных, нужно нажать значок (корзина).

Создание шаблона индекса

После создания подключения к источнику данных следующим шагом будет создание шаблона индекса для этого источника данных.

Инструменты разработки

"Инструменты разработки" — это среда разработки, которая позволяет настраивать среду "Панелей мониторинга" Подсистемы, выполнять запросы, изучать данные и устранять неполадки. С помощью консоли инструментов разработчика можно:

Настроить среду "Панелей мониторинга". Например, можно использовать консоль для настройки параметров аутентификации для текущего экземпляра "Панелей мониторинга".
Выполнять запросы для анализа своих данных. Например, можно использовать консоль для настройки запросов на релевантность.
Устранять проблемы с запросами. Например, если запрос не возвращает ожидаемых результатов, можно использовать консоль для выявления проблемы.
Изучать API в Подсистеме. Например, можно использовать справочную документацию по API, ссылку на которую можно найти в консоли, чтобы посмотреть синтаксис различных вызовов API (нажать значок в виде вопросительного знака ).
Создавать собственные визуализации. Например, можно использовать консоль для создания визуализаций Vega.
Настраивать внешний вид и поведение информационных панелей. Например, можно использовать консоль для настройки цветов визуализации информационной панели или добавления новых фильтров.

Чтобы получить доступ к консоли, требуется перейти в главное меню "Панелей мониторинга" и выбрать "Управление Инструменты разработчика". Пример показан на рисунке 52.

Рисунок 52 — Консоль разработки

Консоль "Инструменты разработки" можно использовать для отправки запросов в Подсистеме.

Подсистема предоставляет язык запросов DSL под названием Query DSL –это гибкий язык с интерфейсом JSON.

Чтобы писать запросы, используют панель редактора в левой части консоли. Чтобы отправить запрос, нужно выбрать его, поместив курсор в текст запроса, а затем нажав значок воспроизведения в правом верхнем углу запроса или нажав Ctrl/Cmd+Enter. Ответ от Подсистемы отображается в панели ответов в правой части консоли. Чтобы одновременно выполнить несколько команд, следует выбрать все команды в панели редактора, а затем нажать значок воспроизведения или нажать Ctrl/Cmd+Enter.

Пример панелей запроса и ответа показан на рисунке 53.

Рисунок 53 — Пример консоли

При написании запросов с помощью консоли можно выполнять часто используемые действия, которые помогут писать запросы более эффективно и точно. В таблице 10 описаны эти функции и способы их использования.

Консоль использует упрощенный синтаксис для форматирования REST-запросов вместо команды curl. Если вставить команду curl непосредственно в консоль, она автоматически преобразуется в формат, используемый консолью. Чтобы импортировать запрос в формате cURL, нужно выбрать запрос, затем значок (гаечный ключ) и "Копировать как cURL".

Например, следующая команда curl выполняет такой поисковый запрос:

curl -XGET http://localhost:9200/shakespeare/_search?pretty -H 'Content-Type: application/json' -d'
{
"query": {
"match": {
"text_entry": "To be, or not to be"
}
}
}'

Тот же запрос имеет упрощенный синтаксис в консольном формате, как показано в следующем примере:

GET shakespeare/_search
{
"query": {
"match": {
"text_entry": "To be, or not to be"
}
}
}