03 edited - презентация, доклад, проект скачать

Нажмите для полного просмотра!

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему 03 edited. Доклад-сообщение содержит 49 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Введение в стек ELK

Слайд 2

Описание слайда:

На этой лекции будут рассмотрены Стек технологий ELK: Logstash, ElasticSearch, Kibana, beats; Применение всех этих технологий;

Слайд 3

Описание слайда:

Стек технологий ElasticSearch ELK состоит из трех основных комнонентов с открытым исходным кодом, выпущенным комнанией “Elastic” (бывшая Elasticsearch) E => Elasticsearch (Масштабируемое хранилище данных с широкими возможностями поиска) L => Logstash (Инструмент для сбора, обогащения, фильтрации и маршрутизации данных, например журналов приложений) K => Kibana (Инструмент для исследования и визуализации данных)

Слайд 4

Описание слайда:

Как из технологий ELK собирается инфраструктура? LogStash может передавать данные в ElasticSearch; Можно добавить для резервирования Kafka/RabbitMQ; Можно передавать данные из LogStash в другой экземпляр LogStash; Beats могут передавать данные в ElasticSearch; Kafka; Logstash.

Слайд 5

Описание слайда:

Beats

Слайд 6

Описание слайда:

Beats Filebeat (следит за файловой системой); Winlogbeat (следит за событиями журнала Windows); Metricbeat (загрузка процессора, памяти, дисковые IO); Heartbeat (время работы и доступность системы). Packetbeat (сетевые пакеты); Community Beats.

Слайд 7

Описание слайда:

Beats: расширяемость Написаны на языке Go; Имеется библиотека ElasticSearch; Документация от сообщества; Могут передавать данные в: Logstash; ElasticSearch; Kafka; …

Слайд 8

Описание слайда:

Logstash Программное обеспечение с открытым исходным кодом для сбора, преобразования, фильтрации и пересылки данных (например, данных журнала) из входных источников в выходные источники (например, Elasticsearch); Реализован в JRuby и работает на JVM (виртуальная машина Java); Простая архитектура на основе сообщений; Расширяемый с помощью плагинов (например, входных, выходных, и фильтров).

Слайд 9

Описание слайда:

Настройка Logstash 9

Слайд 10

Описание слайда:

Logstash bin/logstash -f logstash.conf

Слайд 11

Описание слайда:

Logstash

Слайд 12

Описание слайда:

Logstash bin/logstash -f logstash.conf

Слайд 13

Описание слайда:

Logstash file -> для обработки файлов tcp, udp, unix -> чтение напрямую из сетевых сокетов http -> для обработки запросов HTTP POST http_poller -> для опроса HTTP-сервисов как источников ввода imap -> доступ и обработка почты imap Различные входные плагины для доступа к MOM (очередям сообщений) Rabbitmq, Stomp, … Различные плагины для доступа к системам баз данных JDBC ,Elasticsearch, … Плагины для чтения данных из сервисов системного журнала и из командной строки syslog, eventlog, pipe, exec И так далее.

Слайд 14

Описание слайда:

Logstash Приложение Logstash forwarder позволяет пересылать ввод с одного хоста (источника данных) на другой хост для обработки; Плагин ввода данных Lumberjack можно настроить для приема сообщений, получаемых из Logstash forwarder. Данные можно зашифровать с использованием сертификатов.

Слайд 15

Описание слайда:

Logstash stdout, pipe, exec -> Выводят данные в консоль file -> Сохраняет данные в файл email -> Отправляет данные по электронной почте tcp, udp, websocket -> Отправляет данные через сетевые соединения http -> Передает данные через HTTP-запрос Множество плагинов для передачи данных в базы данных и облачные хранилища elasticsearch, solr_http, mongodb, google_bigquery, google_cloud_storage, opentsdb Множество плагинов для передачи данных в очереди сообщений MOM Rabbitmq, stomp, … Множество плагинов для передачи данных в приложения расчета метрик graphite, graphtastic, ganglic, metriccatcher

Слайд 16

Описание слайда:

Logstash Плагины вывода Elasticsearch могут отдавать данные на несколько узлов Они распределяют выходные объекты по разным узлам, обеспечивая балансировку нагрузки Экземпляр Logstash также может быть частью кластера Elasticsearch и записывать данные через протокол кластера..

Слайд 17

Описание слайда:

Logstash grok -> разбор и структурирование произвольного текста: лучший универсальный вариант для разбора текста в объекты с заданной структурой Фильтры для разбора различных популярных форматов данных csv, json, kv (key-valued paired messages), xml, … multiline -> объединить несколько строк входных данных в одно событие Logstash split -> разбить многострочное сообщение на несколько событий Logstash aggregate -> аггрегировать несколько отдельных строк в одно событие mutate -> изменить поле (переименовать, удалить, заменить, изменить значение) dns -> выполнить DNS-запрос для разрешения IP-адреса geoip -> найти географическое положение IP-адреса И многое, многое другое.

Слайд 18

Описание слайда:

Logstash Входные данные: 192.168.1.22 GET /index.html 15224 0.052 grok filter filter { grok { match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" } } Результат: client: 192.168.1.22 method: GET request: /index.html bytes: 15224 duration: 0.052

Слайд 19

Описание слайда:

Logstash

Слайд 20

Описание слайда:

Logstash 20

Слайд 21

Описание слайда:

Logstash Filebeat: на всех машинах, с которых вводятся данные. Данные передаются в Logstash Shipper, с ожиданием подтверждения.

Слайд 22

Описание слайда:

Logstash Logstash shipper: получает данные, собирает многострочные сообщения в единое целое, отдает результат и статистики в очередь.

Слайд 23

Описание слайда:

Logstash Logstash Indexer забирает данные из очереди, разбирает их с использованием регулярных выражений, и отдает результаты в ElasticSearch, а статистику – в очередь.

Слайд 24

Описание слайда:

Logstash Logstash Monitor читает журналы Logstash и данные статистики из очереди, и передает из в Elasticsearch.

Слайд 25

Описание слайда:

ElasticSearch Серверная среда для хранения больших данных в виде структурированного индекса и запросов к ним Написан на Java На основе Apache Lucene Использует Lucene для создания и управления индексами Документно-ориентированные (структурированные) индексные записи, которые могут (но не должны) быть связаны со схемой Объединяет полнотекстовые параметры поиска для текстовых полей с более точными параметрами поиска для других типов полей, таких как поля даты и времени, поля геолокации и т. д. Возможности поиска и анализа почти в реальном времени Предоставляет Restful API в виде JSON через HTTP

Слайд 26

Описание слайда:

ElasticSearch Elasticsearch может работать как одно интегрированное приложение на нескольких узлах кластера Индексы хранятся в экземплярах Lucene, называемых «shard», которые могут быть распределены по нескольким узлам Есть два типа shard Первичные shard Копии Копии обеспечивают Отказоустойчивость и, следовательно, защиту данных Ускорение выполнения запросов

Слайд 27

Описание слайда:

ElasticSearch Документе в формате JSON поступают на сервер, например, с помощью REST API Схема не требуется, ElasticSearch сам определяет тип атрибутов Но возможно явно указать схему, то есть типы для атрибутов string, byte, short, integer, long, float, double, boolean, date, и т. д. Анализ текстовых атрибутов для полнотекстового поиска Извлечение слов, приведение слов к их базовой форме (stemming) Стоп слова Поддержка нескольких языков Можно автоматически генерировать идентификаторы для наборов данных, или указывать их явно при индексации

Слайд 28

Описание слайда:

ElasticSearch Полнотекстовый поиск (Full text search) – поиск ключевых слов по содержимому документов Документ – не- или частично структурированный объект, содержащий текстовые и другие атрибуты Почему не реляционная БД? select * from articles where LOWER(content) like ‘%tersoff%’

Слайд 29

Описание слайда:

ElasticSearch MS SQL Full Text Search Oracle Text MySQL, PostgreSql Full Text Search Часто реализуется внешними сервисами и специализированными хранимыми процедурами на языках С++, Java, C# Проблемы: Медленно работает Слабая функциональность Плохая расширяемость Не приоритетная задача для реляционной СУБД

Слайд 30

Описание слайда:

ElasticSearch Перед индексацией документа происходит его предобработка: Разбиение на термы (токены) Применение набора фильтров термов Сохранение термов в инвертированный индекс вместе с позициями в исходных документах Аналогичная трансформация происходит с поисковыми запросами: Разбиение на термы (токены) Применение набора фильтров термов Поиск документов в инвертированном индексе по термам Сортировка документов по релевантности

Слайд 31

Описание слайда:

ElasticSearch

Слайд 32

Описание слайда:

ElasticSearch Проиндексируем три простых документа: Подложки на основе из Be и нитрида алюминия Кристалл с примесью бериллия Beryllium oxide

Слайд 33

Описание слайда:

ElasticSearch

Слайд 34

Описание слайда:

ElasticSearch Запрос PUT вставляет полезную нагрузку JSON в индекс с именем «megacorp» в качестве объекта типа «employee» Схема для типа может быть явно определена (во время создания индекса или автоматически) Текстовое поле (например, «about») будет проанализировано, если для этого поля настроены анализаторы В URL запроса указан идентификатор «1» для записи объекта в индекс

Слайд 35

Описание слайда:

ElasticSearch Вызов «GET» API REST с «/megacorp/employee/1» извлечет запись с идентификатором 1 как объект JSON

Слайд 36

Описание слайда:

ElasticSearch GET /megacorp/employee/_search GET запрос с «_search» в конце URL выполняет запрос поиска Результаты поиска возвращаются в ответе JSON в виде массива «hits» Другие метаданные содержат количество результатов поиска («total») и max_score

Слайд 37

Описание слайда:

ElasticSearch GET /megacorp/employee/_search?q=last_name:Smith

Слайд 38

Описание слайда:

ElasticSearch Query DSL - это язык запросов на основе JSON Передается в теле поискового запроса Запросы match имеют ту же семантику, что и простые запросы

Слайд 39

Описание слайда:

ElasticSearch Состоит из query и filter Часть query ищет все записи с фамилией «Smith» (2) Затем фильтр будет выбирать только те записи, которые соответствуют фильтру диапазона (1) “age”: {“gt”: 30}

Слайд 40

Описание слайда:

ElasticSearch Комбинированный поиск по разным атрибутам и разным индексам Множество возможностей для полнотекстового поиска по значениям атрибутов Точное совпадение, неточное, близость (фразы), частичное совпадение Поддержка основных логических операторов (И / или,…) Запросы с диапазонами значений(включая диапазоны дат) ... Контроль актуальности и ранжирование результатов поиска, сортировка результатов Повышение релевантности при индексации Повышать или игнорировать релевантность при запросах Различные другие возможности сортировки результатов поиска

Слайд 41

Описание слайда:

ElasticSearch Запросы с использованием геоданных Поисковые подсказки Агрегация поисковых данных в реальном времени Статистические расчеты (суммы, среднее значение, максимум, минимум,…) Группировка Используя термины Статистические расчеты Классификация (Группировка по диапазонам) Правила фильтрации По географическому расстоянию ...

Слайд 42

Описание слайда:

ElasticSearch Управление данными и анализ данных журналов Мониторинг систем и / или приложений и уведомление операторов о критических событиях Сбор и анализировать данныхдля бизнес-аналитики Сбор и анализ данных управления энергопотреблением в энергораспределительной сети, и данные о событиях из сетей обработки научных данных Экологические данные Использование стека ELK для поискового доступа к большим данным в сетевых информационных системах

Слайд 43

Описание слайда:

ElasticSearch 43

Слайд 44

Описание слайда:

ElasticSearch Множество разных типов журналов Журналы приложений Журналы операционной системы Журналы сетевого трафика от роутеров и пр. Разные цели анализа Обнаружение ошибок во время выполнения или во время тестирования приложений Выявление и анализ угроз безопасности Сводные статистические данные / метрики

Слайд 45

Описание слайда:

ElasticSearch Нет централизации Данные журнала могут быть везде на разных серверах и в разных местах на одном сервере Проблемы доступности Журналы может быть трудно найти Доступ к серверу / устройству часто затруднен для аналитика Необходим высокий опыт для доступа к журналам на разных платформах Журналы могут быть большими и, следовательно, их трудно копировать Доступ по SSH и grep в журналах не масштабируются Нет согласованности Структура записей журнала отличается для каждого приложения, системы или устройства Специальные знания необходимы для интерпретации различных типов журналов Различия в форматах усложняют поиск Много разных типов форматов времени

Слайд 46

Описание слайда:

ElasticSearch Logstash позволяет собирать все записи журнала в центральном хранилище (например, Elasticsearch) Конечным пользователям не нужно знать, где находятся файлы журналов. Большие файлы журнала будут передаваться непрерывно небольшими порциями Записи файла журнала могут быть преобразованы в согласованные объекты событий Простой доступ для конечных пользователей через интерфейсы на основе браузера (например, Kibana) Elasticsearch / Kibana предоставляют расширенные функциональные возможности для анализа и визуализации данных журнала

Слайд 47

Описание слайда:

ElasticSearch Стек ELK также предоставляет хорошие решения для мониторинга данных и оповещения пользователей. Logstash может проверять условия на записи файла журнала и даже агрегированные метрики И отправлять уведомления о событиях в определенные выходные плагины, если критерии мониторинга выполнены Например. переслать событие уведомления в плагин вывода электронной почты для уведомления пользователя (например, системного администратора) о состоянии системы Переслать события уведомления в специальное приложение мониторинга Elasticsearch в сочетании с Watcher (еще один продукт Elastic) Может обрабатывать произвольные запросы Elasticsearch для создания предупреждений и уведомлений Эти запросы могут выполняться через определенные промежутки времени Когда выполняется отслеживаемое условие, можно предпринять действия (отправить электронное письмо или переслать событие в другую систему)

Слайд 48

Описание слайда:

Заключение Стек ELK прост в использовании и имеет множество применений Управление данными и анализ журналов Мониторинг систем и / или приложений и уведомление операторов о критических событиях Сбор и анализ больших данных других типов Предоставление доступа к большим данным в крупномасштабных веб-приложениях Тем самым решается много проблем с такими вариантами использования по сравнению с «самодельными» решениями. Благодаря своей ориентированности на сервисы, ELK легко встраивать в существующие большие приложения микросервисной архитектуры.