Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6)

Нажмите для полного просмотра!

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №2

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №3

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №4

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №5

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №6

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №7

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №8

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №9

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №10

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №11

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №12

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №13

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №14

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №15

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №16

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №17

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №18

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №19

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №20

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №21

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №22

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №23

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №24

Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6), слайд №25

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6). Доклад-сообщение содержит 25 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Хранилища данных. Лекция 6. Интеграция информационных ресурсов в хранилищах данных Антон Викторович Кудинов, доцент кафедры ВТ

Слайд 2

Описание слайда:

Содержание Проблема интеграции данных Что такое SQL Server 2005 Integration Services Планирование ETL проекта для хранилища данных

Слайд 3

Описание слайда:

Проблема интеграции данных ETL процессы (Extraction, Transformation, Load) 60-80% времени Извлечение и очистка данных Трансформации данных Загрузка данных в хранилище

Слайд 4

Описание слайда:

Три метода интеграции данных Консолидация Федерализация Распространение

Слайд 5

Описание слайда:

Консолидация данных Данные собираются из нескольких первичных систем и интегрируются в одно постоянное место хранения. Такое место хранения может быть использовано для подготовки отчетности и проведения анализа, как в случае хранилища данных, или как источник данных для других приложений.

Слайд 6

Описание слайда:

Федерализация данных Обеспечивает единую виртуальную картину нескольких первичных источников данных. Для получения сведений о некотором процессе, обрабатываемом в нескольких оперативных приложениях, процессор федерализации данных извлекает данные из соответствующих первичных складов данных, интегрирует их таким образом, чтобы они отвечали виртуальной картине и требованиям запроса, и отправляет результаты бизнес-приложению, от которого пришел запрос.

Слайд 7

Описание слайда:

Распространение данных Подразумевает их копирование из одного места в другое. Этот подход обычно используется для операций реального времени и базируется на механизмах "проталкивания", т. е. является событийно управляемым.

Слайд 8

Описание слайда:

Интеграция на основе метамодели

Слайд 9

Описание слайда:

Задачи при интеграции данных Технологические Организационные Экономические

Слайд 10

Описание слайда:

Технологические задачи Гетерогенные источники данных с различными форматами Структурированные, полуструктурированные и неструктурированные данные Данные поступают в разное время Очень большие объемы данных Качество данных (пропуски, нет смысла, ошибки) Придание смысла данным при слиянии их из разных форматов при неполноте данных в отдельных источниках Преобразование данных в унифицированный формат, пригодный для бизнес-анализа

Слайд 11

Описание слайда:

Технологические требования Загрузка данных в наибыстрейшее время (нет возможности «ночного» периода, 7 х 24 часа On-Line) Потребность загрузки данных в несколько приемников практически одновременно Постоянная доступность данных с минимальными задержками в актуальности данных Разнообразие источников данных (OLTP, OLAP, веб-сервисы, неструктурированные данные, унаследованные системы) Разнообразие приемников данных (порталы, персонализированные отчеты, PDA, мобильные телефоны ) Масштабируемость и производительность

Слайд 12

Описание слайда:

Организационные задачи Получение серьезной поддержки руководства компании команде по проекту интеграции данных, настоять на координации и компромиссах по выбору форматов данных и бизнес-процессов получения данных в подразделениях компании Определиться с единообразными технологиями для разного круга задач, так как многие подразделения используют совершенно разные системы и способы. Люди консервативны в своих привычках, не любят переучиваться. До 60% времени при получении и интеграции данных – ручной процесс

Слайд 13

Описание слайда:

Экономические задачи Интеграция данных – дорогостоящий процесс. Факторы, увеличивающие стоимость проекта: Административные преграды, недостаток координации, недостаточная поддержка руководства Недостаточная функциональность имеющихся средств для ETL процессов, необходимость разработки нового ETL кода

Слайд 14

Описание слайда:

SQL Server 2008 Integration Services

Слайд 15

Описание слайда:

До Integration Services

Слайд 16

Описание слайда:

Integration Services 2008

Слайд 17

Описание слайда:

Архитектура SQL Server 2008 Integration Services

Слайд 18

Описание слайда:

Типовые сценарии в Integration Services Слияние данных из гетерогенных хранилищ данных Очистка, преобразование и стандартизация данных Заполнение хранилищ данных и витрин данных Встраивание бизнес-аналитики в процесс преобразования данных Автоматизация административных функций и загрузки данных

Слайд 19

Описание слайда:

Пример: Очистка данных

Слайд 20

Описание слайда:

Планирование ETL проекта для хранилища данных

Слайд 21

Описание слайда:

Заполнение хранилища данных в SSIS Источники и приемники данных Оценка и проверка исходных данных Промежуточное хранение данных (Staging storage) Загрузка в хранилище и киоски данных

Слайд 22

Описание слайда:

Источники и приемники данных Выбрать источники данных (все форматы) Выбрать приемники данных (DW, Data Mart), определить структуру записываемых данных Определить время извлечения и записи данных (extraction and load windows), длительность извлечения и загрузки данных Документировать диаграмму потока данных: описать список источников, методов доступа, учетные записи, протоколы, характеристики сети

Слайд 23

Описание слайда:

Промежуточное хранение данных (Staging storage) В сложных ETL процессах может потребоваться промежуточное хранение данных после чтения перед загрузкой в хранилище: Реляционная БД Файлы «как есть» - raw (binary) files После извлечения данных: Необходимость быстро освободить источник данных Выполнение ETL с заданной контрольной точки без повторного рестарта Перед загрузкой данных: Асинхронное поступление данных, ожидание всех данных Фиксируется моментальный снимок данных на заданную дату, возможность получения отчетности по этому снимку данных Возможность рестарта с контрольной точки без необходимости выполнять пакет с самого начала Возможность провести трансформацию некоторых данных на SQL Server перед окончательной загрузкой в хранилище Возможность проверить и удалить невалидные данные или дубликаты после окончания трансформаций перед загрузкой

Слайд 24

Описание слайда:

Загрузка в хранилище и киоски данных Загрузка измерений и мер Создание первичных и вторичных ключей Создание индексов Удаление временных таблиц Обработка измерений и секций кубов