🗊Презентация 03 edited

Введение в стек ELK

На этой лекции будут рассмотрены Стек технологий ELK: Logstash, ElasticSearch, Kibana, beats; Применение всех этих технологий;

Стек технологий ElasticSearch ELK состоит из трех основных комнонентов с открытым исходным кодом, выпущенным комнанией “Elastic” (бывшая Elasticsearch) E => Elasticsearch (Масштабируемое хранилище данных с широкими возможностями поиска) L => Logstash (Инструмент для сбора, обогащения, фильтрации и маршрутизации данных, например журналов приложений) K => Kibana (Инструмент для исследования и визуализации данных)

Как из технологий ELK собирается инфраструктура? LogStash может передавать данные в ElasticSearch; Можно добавить для резервирования Kafka/RabbitMQ; Можно передавать данные из LogStash в другой экземпляр LogStash; Beats могут передавать данные в ElasticSearch; Kafka; Logstash.

Beats

Beats Filebeat (следит за файловой системой); Winlogbeat (следит за событиями журнала Windows); Metricbeat (загрузка процессора, памяти, дисковые IO); Heartbeat (время работы и доступность системы). Packetbeat (сетевые пакеты); Community Beats.

Beats: расширяемость Написаны на языке Go; Имеется библиотека ElasticSearch; Документация от сообщества; Могут передавать данные в: Logstash; ElasticSearch; Kafka; …

Logstash Программное обеспечение с открытым исходным кодом для сбора, преобразования, фильтрации и пересылки данных (например, данных журнала) из входных источников в выходные источники (например, Elasticsearch); Реализован в JRuby и работает на JVM (виртуальная машина Java); Простая архитектура на основе сообщений; Расширяемый с помощью плагинов (например, входных, выходных, и фильтров).

Настройка Logstash 9

Logstash bin/logstash -f logstash.conf

Logstash

Logstash bin/logstash -f logstash.conf

Logstash file -> для обработки файлов tcp, udp, unix -> чтение напрямую из сетевых сокетов http -> для обработки запросов HTTP POST http_poller -> для опроса HTTP-сервисов как источников ввода imap -> доступ и обработка почты imap Различные входные плагины для доступа к MOM (очередям сообщений) Rabbitmq, Stomp, … Различные плагины для доступа к системам баз данных JDBC ,Elasticsearch, … Плагины для чтения данных из сервисов системного журнала и из командной строки syslog, eventlog, pipe, exec И так далее.

Logstash Приложение Logstash forwarder позволяет пересылать ввод с одного хоста (источника данных) на другой хост для обработки; Плагин ввода данных Lumberjack можно настроить для приема сообщений, получаемых из Logstash forwarder. Данные можно зашифровать с использованием сертификатов.

Logstash stdout, pipe, exec -> Выводят данные в консоль file -> Сохраняет данные в файл email -> Отправляет данные по электронной почте tcp, udp, websocket -> Отправляет данные через сетевые соединения http -> Передает данные через HTTP-запрос Множество плагинов для передачи данных в базы данных и облачные хранилища elasticsearch, solr_http, mongodb, google_bigquery, google_cloud_storage, opentsdb Множество плагинов для передачи данных в очереди сообщений MOM Rabbitmq, stomp, … Множество плагинов для передачи данных в приложения расчета метрик graphite, graphtastic, ganglic, metriccatcher

Logstash Плагины вывода Elasticsearch могут отдавать данные на несколько узлов Они распределяют выходные объекты по разным узлам, обеспечивая балансировку нагрузки Экземпляр Logstash также может быть частью кластера Elasticsearch и записывать данные через протокол кластера..

Logstash grok -> разбор и структурирование произвольного текста: лучший универсальный вариант для разбора текста в объекты с заданной структурой Фильтры для разбора различных популярных форматов данных csv, json, kv (key-valued paired messages), xml, … multiline -> объединить несколько строк входных данных в одно событие Logstash split -> разбить многострочное сообщение на несколько событий Logstash aggregate -> аггрегировать несколько отдельных строк в одно событие mutate -> изменить поле (переименовать, удалить, заменить, изменить значение) dns -> выполнить DNS-запрос для разрешения IP-адреса geoip -> найти географическое положение IP-адреса И многое, многое другое.

Logstash Входные данные: 192.168.1.22 GET /index.html 15224 0.052 grok filter filter { grok { match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" } } Результат: client: 192.168.1.22 method: GET request: /index.html bytes: 15224 duration: 0.052

Logstash

Logstash 20

Logstash Filebeat: на всех машинах, с которых вводятся данные. Данные передаются в Logstash Shipper, с ожиданием подтверждения.

Logstash Logstash shipper: получает данные, собирает многострочные сообщения в единое целое, отдает результат и статистики в очередь.

Logstash Logstash Indexer забирает данные из очереди, разбирает их с использованием регулярных выражений, и отдает результаты в ElasticSearch, а статистику – в очередь.

Logstash Logstash Monitor читает журналы Logstash и данные статистики из очереди, и передает из в Elasticsearch.

ElasticSearch Серверная среда для хранения больших данных в виде структурированного индекса и запросов к ним Написан на Java На основе Apache Lucene Использует Lucene для создания и управления индексами Документно-ориентированные (структурированные) индексные записи, которые могут (но не должны) быть связаны со схемой Объединяет полнотекстовые параметры поиска для текстовых полей с более точными параметрами поиска для других типов полей, таких как поля даты и времени, поля геолокации и т. д. Возможности поиска и анализа почти в реальном времени Предоставляет Restful API в виде JSON через HTTP

ElasticSearch Elasticsearch может работать как одно интегрированное приложение на нескольких узлах кластера Индексы хранятся в экземплярах Lucene, называемых «shard», которые могут быть распределены по нескольким узлам Есть два типа shard Первичные shard Копии Копии обеспечивают Отказоустойчивость и, следовательно, защиту данных Ускорение выполнения запросов

ElasticSearch Документе в формате JSON поступают на сервер, например, с помощью REST API Схема не требуется, ElasticSearch сам определяет тип атрибутов Но возможно явно указать схему, то есть типы для атрибутов string, byte, short, integer, long, float, double, boolean, date, и т. д. Анализ текстовых атрибутов для полнотекстового поиска Извлечение слов, приведение слов к их базовой форме (stemming) Стоп слова Поддержка нескольких языков Можно автоматически генерировать идентификаторы для наборов данных, или указывать их явно при индексации

ElasticSearch Полнотекстовый поиск (Full text search) – поиск ключевых слов по содержимому документов Документ – не- или частично структурированный объект, содержащий текстовые и другие атрибуты Почему не реляционная БД? select * from articles where LOWER(content) like ‘%tersoff%’

ElasticSearch MS SQL Full Text Search Oracle Text MySQL, PostgreSql Full Text Search Часто реализуется внешними сервисами и специализированными хранимыми процедурами на языках С++, Java, C# Проблемы: Медленно работает Слабая функциональность Плохая расширяемость Не приоритетная задача для реляционной СУБД

ElasticSearch Перед индексацией документа происходит его предобработка: Разбиение на термы (токены) Применение набора фильтров термов Сохранение термов в инвертированный индекс вместе с позициями в исходных документах Аналогичная трансформация происходит с поисковыми запросами: Разбиение на термы (токены) Применение набора фильтров термов Поиск документов в инвертированном индексе по термам Сортировка документов по релевантности

ElasticSearch

ElasticSearch Проиндексируем три простых документа: Подложки на основе из Be и нитрида алюминия Кристалл с примесью бериллия Beryllium oxide

ElasticSearch

ElasticSearch Запрос PUT вставляет полезную нагрузку JSON в индекс с именем «megacorp» в качестве объекта типа «employee» Схема для типа может быть явно определена (во время создания индекса или автоматически) Текстовое поле (например, «about») будет проанализировано, если для этого поля настроены анализаторы В URL запроса указан идентификатор «1» для записи объекта в индекс

ElasticSearch Вызов «GET» API REST с «/megacorp/employee/1» извлечет запись с идентификатором 1 как объект JSON

ElasticSearch GET /megacorp/employee/_search GET запрос с «_search» в конце URL выполняет запрос поиска Результаты поиска возвращаются в ответе JSON в виде массива «hits» Другие метаданные содержат количество результатов поиска («total») и max_score

ElasticSearch GET /megacorp/employee/_search?q=last_name:Smith

ElasticSearch Query DSL - это язык запросов на основе JSON Передается в теле поискового запроса Запросы match имеют ту же семантику, что и простые запросы

ElasticSearch Состоит из query и filter Часть query ищет все записи с фамилией «Smith» (2) Затем фильтр будет выбирать только те записи, которые соответствуют фильтру диапазона (1) “age”: {“gt”: 30}

ElasticSearch Комбинированный поиск по разным атрибутам и разным индексам Множество возможностей для полнотекстового поиска по значениям атрибутов Точное совпадение, неточное, близость (фразы), частичное совпадение Поддержка основных логических операторов (И / или,…) Запросы с диапазонами значений(включая диапазоны дат) ... Контроль актуальности и ранжирование результатов поиска, сортировка результатов Повышение релевантности при индексации Повышать или игнорировать релевантность при запросах Различные другие возможности сортировки результатов поиска

ElasticSearch Запросы с использованием геоданных Поисковые подсказки Агрегация поисковых данных в реальном времени Статистические расчеты (суммы, среднее значение, максимум, минимум,…) Группировка Используя термины Статистические расчеты Классификация (Группировка по диапазонам) Правила фильтрации По географическому расстоянию ...

ElasticSearch Управление данными и анализ данных журналов Мониторинг систем и / или приложений и уведомление операторов о критических событиях Сбор и анализировать данныхдля бизнес-аналитики Сбор и анализ данных управления энергопотреблением в энергораспределительной сети, и данные о событиях из сетей обработки научных данных Экологические данные Использование стека ELK для поискового доступа к большим данным в сетевых информационных системах

ElasticSearch 43

ElasticSearch Множество разных типов журналов Журналы приложений Журналы операционной системы Журналы сетевого трафика от роутеров и пр. Разные цели анализа Обнаружение ошибок во время выполнения или во время тестирования приложений Выявление и анализ угроз безопасности Сводные статистические данные / метрики

ElasticSearch Нет централизации Данные журнала могут быть везде на разных серверах и в разных местах на одном сервере Проблемы доступности Журналы может быть трудно найти Доступ к серверу / устройству часто затруднен для аналитика Необходим высокий опыт для доступа к журналам на разных платформах Журналы могут быть большими и, следовательно, их трудно копировать Доступ по SSH и grep в журналах не масштабируются Нет согласованности Структура записей журнала отличается для каждого приложения, системы или устройства Специальные знания необходимы для интерпретации различных типов журналов Различия в форматах усложняют поиск Много разных типов форматов времени

ElasticSearch Logstash позволяет собирать все записи журнала в центральном хранилище (например, Elasticsearch) Конечным пользователям не нужно знать, где находятся файлы журналов. Большие файлы журнала будут передаваться непрерывно небольшими порциями Записи файла журнала могут быть преобразованы в согласованные объекты событий Простой доступ для конечных пользователей через интерфейсы на основе браузера (например, Kibana) Elasticsearch / Kibana предоставляют расширенные функциональные возможности для анализа и визуализации данных журнала

ElasticSearch Стек ELK также предоставляет хорошие решения для мониторинга данных и оповещения пользователей. Logstash может проверять условия на записи файла журнала и даже агрегированные метрики И отправлять уведомления о событиях в определенные выходные плагины, если критерии мониторинга выполнены Например. переслать событие уведомления в плагин вывода электронной почты для уведомления пользователя (например, системного администратора) о состоянии системы Переслать события уведомления в специальное приложение мониторинга Elasticsearch в сочетании с Watcher (еще один продукт Elastic) Может обрабатывать произвольные запросы Elasticsearch для создания предупреждений и уведомлений Эти запросы могут выполняться через определенные промежутки времени Когда выполняется отслеживаемое условие, можно предпринять действия (отправить электронное письмо или переслать событие в другую систему)

Заключение Стек ELK прост в использовании и имеет множество применений Управление данными и анализ журналов Мониторинг систем и / или приложений и уведомление операторов о критических событиях Сбор и анализ больших данных других типов Предоставление доступа к большим данным в крупномасштабных веб-приложениях Тем самым решается много проблем с такими вариантами использования по сравнению с «самодельными» решениями. Благодаря своей ориентированности на сервисы, ELK легко встраивать в существующие большие приложения микросервисной архитектуры.

Спасибо за внимание! mgubin@tpu.ru