01 edited (1) - презентация, доклад, проект скачать

Нажмите для полного просмотра!

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему 01 edited (1). Доклад-сообщение содержит 33 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Особенности Big Data

Слайд 2

Описание слайда:

Два типа больших данных 2

Слайд 3

Описание слайда:

«Научные» Big Data Обычно выход датчиков какого-то рода; Может быть ограничение на количество данных, получаемых в единицу времени, но обычно это довольно большое значение; Обогащение данных может привести к тому, что они вырастут до произвольного размера, одновременно увеличивая их полезность.

Слайд 4

Описание слайда:

«Научные» Big Data 4

Слайд 5

Описание слайда:

«Научные» Big Data Насколько растёт точность наших моделей с каждой следующей записью? Сколько стоит получить следующую запись? Являются ли некоторые данные более ценными, чем другие? Можем ли мы пожертвовать некоторыми записями, при этом получая пользу? Когда мы начнем терять полезность из-за накладных расходов? Выйдем ли мы в плюс, если продолжим наращивать объёмы данных?

Слайд 6

Описание слайда:

«Научные» Big Data Цена данных обычно низкая; Стабильное хранение данных обычно не требуется; Сами данные не ценны и не полезны, ценны и полезны результаты их исследования; Согласованность данных важна, но не критична; Потеря даже 100% данных во многих случаях является лишь незначительной проблемой.*

Слайд 7

Описание слайда:

«Бизнес» Big Data Бизнес-данные, выросшие настолько, что с ними уже нельзя работать традиционными подходами. Такие данные обычно важные, дорогие, требуют длительного хранения, и потеря даже малой их части может быть катастрофической. Здесь компромиссы гораздо менее выражены, потому что такие данные очень плохо переносят деградацию объёма.

Слайд 8

Описание слайда:

Теорема CAP 8

Слайд 9

Описание слайда:

Теорема CAP Каждое чтение возвращает самые свежие записанные данные либо ошибку.

Слайд 10

Описание слайда:

Теорема CAP Каждый запрос вернет ответ без гарантий, что в ответе содержатся самые свежие данные.

Слайд 11

Описание слайда:

Теорема CAP Система продолжает работать, несмотря на произвольный уровень потери связности её узлов.

Слайд 12

Описание слайда:

Теорема CAP, 3 варианта Система вернет ошибку или таймаут, если не может гарантировать актуальность данных из-за проблем с сетью.

Слайд 13

Описание слайда:

Volume, Variety, Veracity, Velocity 13

Слайд 14

Описание слайда:

Volume 14

Слайд 15

Описание слайда:

Volume 15

Слайд 16

Описание слайда:

Volume CERN — Rucio Более350 PB данных, миллиарды файлов, в более чем 120 ЦОД по всему миру. Три копии файла на разных континентах и одна на плёнке? Ok. Стирать непопулярные файлы автоматически? Ok.

Слайд 17

Описание слайда:

Volume CERN Долговременное хранение на плёнке, библиотечные стримерные роботы.

Слайд 18

Описание слайда:

Volume Wayback Machine >15 петабайт данных, объём растёт на 20 Тб в неделю.

Слайд 19

Описание слайда:

Volume Управление объёмом данных; Вложения в хранилища; Разработка специализированного ПО и АО; Использование специализированного ПО от других разработчиков.

Слайд 20

Описание слайда:

Velocity 20

Слайд 21

Описание слайда:

Velocity Возможное решение проблемы:

Слайд 22

Описание слайда:

Velocity Причина рождения «больших данных»:

Слайд 23

Описание слайда:

Velocity ATLAS выдаёт ~100 TB/с со своих датчиков. Лишь ~1 GB/с сохраняется для дальнейшей обработки. Trigger: The data reduction is carried out in two stages: first, custom electronics performs an initial level of data rejection for each bunch crossing based on partial and localized information. Only data corresponding to collisions passing this stage of selection will be actually read-out from the on-detector electronics. Then, a large computer farm (~17 k cores) analyses these data in real-time and decides which ones are worth being stored for Physics analysis.

Слайд 24

Описание слайда:

Velocity CERN Trigger hardware

Слайд 25

Описание слайда:

Velocity NYSE: 2Gbps link to allow for latency reduction, to allow for even faster high-speed trading. Передача данных по лазеру

Слайд 26

Описание слайда:

Velocity Пути решения проблемы: Kafka, Flume и Logstash дают возможность потокового сбора данных и совместимы с множеством разных источников и приёмников данных.

Слайд 27

Описание слайда:

Variety 27

Слайд 28

Описание слайда:

Variety 28

Слайд 29

Описание слайда:

Variety Обработка естественного языка; Текст-в-речь; Классификация изображений; Machine Learning-классификация всего; Семантические технологии, Web 2.0; NoSQL. Универсального решения не существует, каждая предметная область требует своего подхода.

Слайд 30

Описание слайда:

Veracity 30

Слайд 31

Описание слайда:

Veracity Следствие из теории вероятностей Когда объём выборки стремится к бесконечности, вероятность ошибки в данных возрастает до определённости. P(A and B) = P(A) * P(B)