🗊Презентация 01 edited (1)

Категория: Образование
Нажмите для полного просмотра!
01 edited (1), слайд №101 edited (1), слайд №201 edited (1), слайд №301 edited (1), слайд №401 edited (1), слайд №501 edited (1), слайд №601 edited (1), слайд №701 edited (1), слайд №801 edited (1), слайд №901 edited (1), слайд №1001 edited (1), слайд №1101 edited (1), слайд №1201 edited (1), слайд №1301 edited (1), слайд №1401 edited (1), слайд №1501 edited (1), слайд №1601 edited (1), слайд №1701 edited (1), слайд №1801 edited (1), слайд №1901 edited (1), слайд №2001 edited (1), слайд №2101 edited (1), слайд №2201 edited (1), слайд №2301 edited (1), слайд №2401 edited (1), слайд №2501 edited (1), слайд №2601 edited (1), слайд №2701 edited (1), слайд №2801 edited (1), слайд №2901 edited (1), слайд №3001 edited (1), слайд №3101 edited (1), слайд №3201 edited (1), слайд №33
Скачать

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему 01 edited (1). Доклад-сообщение содержит 33 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1


Особенности Big Data
Описание слайда:
Особенности Big Data

Слайд 2


Два типа больших данных 2
Описание слайда:
Два типа больших данных 2

Слайд 3


«Научные» Big Data Обычно выход датчиков какого-то рода; Может быть ограничение на количество данных, получаемых в единицу времени, но обычно это довольно большое значение; Обогащение данных может привести к тому, что они вырастут до произвольного размера, одновременно увеличивая их полезность.
Описание слайда:
«Научные» Big Data Обычно выход датчиков какого-то рода; Может быть ограничение на количество данных, получаемых в единицу времени, но обычно это довольно большое значение; Обогащение данных может привести к тому, что они вырастут до произвольного размера, одновременно увеличивая их полезность.

Слайд 4


«Научные» Big Data 4
Описание слайда:
«Научные» Big Data 4

Слайд 5


«Научные» Big Data Насколько растёт точность наших моделей с каждой следующей записью? Сколько стоит получить следующую запись? Являются ли некоторые данные более ценными, чем другие? Можем ли мы пожертвовать некоторыми записями, при этом получая пользу? Когда мы начнем терять полезность из-за накладных расходов? Выйдем ли мы в плюс, если продолжим наращивать объёмы данных?
Описание слайда:
«Научные» Big Data Насколько растёт точность наших моделей с каждой следующей записью? Сколько стоит получить следующую запись? Являются ли некоторые данные более ценными, чем другие? Можем ли мы пожертвовать некоторыми записями, при этом получая пользу? Когда мы начнем терять полезность из-за накладных расходов? Выйдем ли мы в плюс, если продолжим наращивать объёмы данных?

Слайд 6


«Научные» Big Data Цена данных обычно низкая; Стабильное хранение данных обычно не требуется; Сами данные не ценны и не полезны, ценны и полезны результаты их исследования; Согласованность данных важна, но не критична; Потеря даже 100% данных во многих случаях является лишь незначительной проблемой.*
Описание слайда:
«Научные» Big Data Цена данных обычно низкая; Стабильное хранение данных обычно не требуется; Сами данные не ценны и не полезны, ценны и полезны результаты их исследования; Согласованность данных важна, но не критична; Потеря даже 100% данных во многих случаях является лишь незначительной проблемой.*

Слайд 7


«Бизнес» Big Data Бизнес-данные, выросшие настолько, что с ними уже нельзя работать традиционными подходами. Такие данные обычно важные, дорогие, требуют длительного хранения, и потеря даже малой их части может быть катастрофической. Здесь компромиссы гораздо менее выражены, потому что такие данные очень плохо переносят деградацию объёма.
Описание слайда:
«Бизнес» Big Data Бизнес-данные, выросшие настолько, что с ними уже нельзя работать традиционными подходами. Такие данные обычно важные, дорогие, требуют длительного хранения, и потеря даже малой их части может быть катастрофической. Здесь компромиссы гораздо менее выражены, потому что такие данные очень плохо переносят деградацию объёма.

Слайд 8


Теорема CAP 8
Описание слайда:
Теорема CAP 8

Слайд 9


Теорема CAP Каждое чтение возвращает самые свежие записанные данные либо ошибку.
Описание слайда:
Теорема CAP Каждое чтение возвращает самые свежие записанные данные либо ошибку.

Слайд 10


Теорема CAP Каждый запрос вернет ответ без гарантий, что в ответе содержатся самые свежие данные.
Описание слайда:
Теорема CAP Каждый запрос вернет ответ без гарантий, что в ответе содержатся самые свежие данные.

Слайд 11


Теорема CAP Система продолжает работать, несмотря на произвольный уровень потери связности её узлов.
Описание слайда:
Теорема CAP Система продолжает работать, несмотря на произвольный уровень потери связности её узлов.

Слайд 12


Теорема CAP, 3 варианта Система вернет ошибку или таймаут, если не может гарантировать актуальность данных из-за проблем с сетью.
Описание слайда:
Теорема CAP, 3 варианта Система вернет ошибку или таймаут, если не может гарантировать актуальность данных из-за проблем с сетью.

Слайд 13


Volume, Variety, Veracity, Velocity 13
Описание слайда:
Volume, Variety, Veracity, Velocity 13

Слайд 14


Volume 14
Описание слайда:
Volume 14

Слайд 15


Volume 15
Описание слайда:
Volume 15

Слайд 16


Volume CERN — Rucio Более350 PB данных, миллиарды файлов, в более чем 120 ЦОД по всему миру. Три копии файла на разных континентах и одна на плёнке? Ok. Стирать непопулярные файлы автоматически? Ok.
Описание слайда:
Volume CERN — Rucio Более350 PB данных, миллиарды файлов, в более чем 120 ЦОД по всему миру. Три копии файла на разных континентах и одна на плёнке? Ok. Стирать непопулярные файлы автоматически? Ok.

Слайд 17


Volume CERN Долговременное хранение на плёнке, библиотечные стримерные роботы.
Описание слайда:
Volume CERN Долговременное хранение на плёнке, библиотечные стримерные роботы.

Слайд 18


Volume Wayback Machine http://archive.org >15 петабайт данных, объём растёт на 20 Тб в неделю.
Описание слайда:
Volume Wayback Machine http://archive.org >15 петабайт данных, объём растёт на 20 Тб в неделю.

Слайд 19


Volume Управление объёмом данных; Вложения в хранилища; Разработка специализированного ПО и АО; Использование специализированного ПО от других разработчиков.
Описание слайда:
Volume Управление объёмом данных; Вложения в хранилища; Разработка специализированного ПО и АО; Использование специализированного ПО от других разработчиков.

Слайд 20


Velocity 20
Описание слайда:
Velocity 20

Слайд 21


Velocity Возможное решение проблемы:
Описание слайда:
Velocity Возможное решение проблемы:

Слайд 22


Velocity Причина рождения «больших данных»:
Описание слайда:
Velocity Причина рождения «больших данных»:

Слайд 23


Velocity ATLAS выдаёт ~100 TB/с со своих датчиков. Лишь ~1 GB/с сохраняется для дальнейшей обработки. Trigger: The data reduction is carried out in two stages: first, custom electronics performs an initial level of data rejection for each bunch crossing based on partial and localized information. Only data corresponding to collisions passing this stage of selection will be actually read-out from the on-detector electronics. Then, a large computer farm (~17 k cores) analyses these data in real-time and decides which ones are worth being stored for Physics analysis.
Описание слайда:
Velocity ATLAS выдаёт ~100 TB/с со своих датчиков. Лишь ~1 GB/с сохраняется для дальнейшей обработки. Trigger: The data reduction is carried out in two stages: first, custom electronics performs an initial level of data rejection for each bunch crossing based on partial and localized information. Only data corresponding to collisions passing this stage of selection will be actually read-out from the on-detector electronics. Then, a large computer farm (~17 k cores) analyses these data in real-time and decides which ones are worth being stored for Physics analysis.

Слайд 24


Velocity CERN Trigger hardware
Описание слайда:
Velocity CERN Trigger hardware

Слайд 25


Velocity NYSE: 2Gbps link to allow for latency reduction, to allow for even faster high-speed trading. Передача данных по лазеру
Описание слайда:
Velocity NYSE: 2Gbps link to allow for latency reduction, to allow for even faster high-speed trading. Передача данных по лазеру

Слайд 26


Velocity Пути решения проблемы: Kafka, Flume и Logstash дают возможность потокового сбора данных и совместимы с множеством разных источников и приёмников данных.
Описание слайда:
Velocity Пути решения проблемы: Kafka, Flume и Logstash дают возможность потокового сбора данных и совместимы с множеством разных источников и приёмников данных.

Слайд 27


Variety 27
Описание слайда:
Variety 27

Слайд 28


Variety 28
Описание слайда:
Variety 28

Слайд 29


Variety Обработка естественного языка; Текст-в-речь; Классификация изображений; Machine Learning-классификация всего; Семантические технологии, Web 2.0; NoSQL. Универсального решения не существует, каждая предметная область требует своего подхода.
Описание слайда:
Variety Обработка естественного языка; Текст-в-речь; Классификация изображений; Machine Learning-классификация всего; Семантические технологии, Web 2.0; NoSQL. Универсального решения не существует, каждая предметная область требует своего подхода.

Слайд 30


Veracity 30
Описание слайда:
Veracity 30

Слайд 31


Veracity Следствие из теории вероятностей Когда объём выборки стремится к бесконечности, вероятность ошибки в данных возрастает до определённости. P(A and B) = P(A) * P(B)
Описание слайда:
Veracity Следствие из теории вероятностей Когда объём выборки стремится к бесконечности, вероятность ошибки в данных возрастает до определённости. P(A and B) = P(A) * P(B)

Слайд 32


Veracity: AAA Anyone can say anything about anything at any moment. Разрешение неопределённости: Проверка, либо Реификация. .
Описание слайда:
Veracity: AAA Anyone can say anything about anything at any moment. Разрешение неопределённости: Проверка, либо Реификация. .

Слайд 33


Спасибо за внимание! mgubin@tpu.ru
Описание слайда:
Спасибо за внимание! mgubin@tpu.ru

Скачать

Теги 01 edited (1)
Похожие презентации
Mypresentation.ru
Загрузить презентацию