Методы обогащения данных - презентация, доклад, проект скачать

Нажмите для полного просмотра!

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему Методы обогащения данных. Доклад-сообщение содержит 18 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Методы стандартизации, очистки и обогащения данных

Слайд 2

Описание слайда:

Проблема

Слайд 3

Описание слайда:

Решение

Слайд 4

Описание слайда:

Стандартизация: понятие Стандартизация – это унификация представления и приведение к единому формату данных. Задачи: Нормализация баз данных с целью удаления избыточности: разбиение на несколько таблиц, выделение первичных ключей… Разбор строк на атомарные объекты: разделение поля «ФИО» на значения «Фамилия», «Имя», «Отчество», разбор адреса по КЛАДР… Унификация представления: преобразование номеров телефонов к стандартному виду +7 (ХХХ) ХХХХХХХ…

Слайд 5

Описание слайда:

Стандартизация: парсинг Парсинг – грамматический или лексический анализ текста. Осуществляет деление поля на атомарные значения.

Слайд 6

Описание слайда:

Стандартизация: словари Использование машинных словарей (справочников имен, телефонных кодов, КЛАДР, БИК…) позволяет стандартизировать представление данных.

Слайд 7

Описание слайда:

Стандартизация: регулярные выражения Регулярные выражения позволяют производить манипуляции с данными, используя шаблоны: находить в строке подстроки, удовлетворяющие заданному шаблону: поиск жителей, прописанных в Москве… извлекать из строки фрагменты, с заданным стандартом написания: выделение почтового индекса или года рождения… изменять в строке подстроки, соответствующие шаблону: удаление нечисловых символов из паспортных данных или телефона… проверять, соответствует ли строка заданному шаблону: проверка корректности e-mail…

Слайд 8

Описание слайда:

Очистка данных: понятие Очистка данных – процесс выявления и исправления ошибок, позволяющий обеспечить качественный анализ. Задачи: Оценка достоверности информации Выявление ошибочных и подозрительных данных: аномалий, дубликатов, противоречий… Исправление выявленных ошибок

Слайд 9

Описание слайда:

Очистка: частотный анализ Метод основывается на анализе частоты появления определенного значения или комбинаций таких значений во всей совокупности данных.

Слайд 10

Описание слайда:

Очистка: контрольные числа В основе алгоритма контрольных чисел лежит расчет определенных функций, которые применяются для проверки правильности номеров банковских карт, ИНН, СНИЛС, ОКПО, ОКАТО, ОГРН…

Слайд 11

Описание слайда:

Очистка: схожесть строк Анализ строк выявляет «похожесть» записей с помощью алгоритмов сравнения значений: метода Левенштейна, Soundex, нахождения максимальной общей подпоследовательности…

Слайд 12

Описание слайда:

Очистка: дедубликация Дедубликация основывается на поиске совпадающих и похожих объектов по определенным стратегиям с целью устранения повторов.

Слайд 13

Описание слайда:

Очистка: другие методы Для очистки данных используются и другие методы: Формализованные правила: накладывание заранее определенных правил очистки на контролируемые поля Способы замены: индексирование слов по их звучанию, кодирование… Проверка по статистическим значениям: по доверительному интервалу, средним значениям… Кластерный анализ: проверка написания значения с учетом попадания его в кластер…

Слайд 14

Описание слайда:

Обогащение – процесс насыщения данных новой информацией, которая позволяет сделать их более ценными, значимыми и информативными с точки зрения решения той или иной аналитической задачи. Обогащение – процесс насыщения данных новой информацией, которая позволяет сделать их более ценными, значимыми и информативными с точки зрения решения той или иной аналитической задачи. Задачи: Интеграция данных из множества источников Выявление связей между объектами Заполнение пропусков

Слайд 15

Описание слайда:

Обогащение: анализ связей Анализ связей исследует взаимосвязанные объекты и определяет закономерности между ними.

Слайд 16

Описание слайда:

Обогащение: поиск близких объектов Поиск близких объектов основывается на «схожести» значений признаков объектов.

Слайд 17

Описание слайда:

Обогащение: другие методы Обогащение данных предполагает применение и комбинирование множества методов: Реорганизация самих данных: введение кодировок, признаков состояний объектов, подразделение их на категории… Нечеткий поиск: восстановление пропусков с помощью нечетких запросов… Анализ источников данных: рейтингование источников данных по достоверности…