🗊Презентация Базы данных, банки данных, история развития СУБД (лекция 1)

БАЗЫ ДАННЫХ, БАНКИ ДАННЫХ, ИСТОРИЯ РАЗВИТИЯ СУБД

ВВЕДЕНИЕ Социальные сети, мобильные устройства, показатели разного рода оборудования, всевозможная бизнес-информация, научные исследования — источники формирования «больших данных» современных информационных систем. Компания Google обрабатывала в день до 24 ПБ информации (1 петабайт – это примерно 20 млн кабинетов, заполненных документами).

ВВЕДЕНИЕ За минуту Google обрабатывает около 2 миллионов поисковых запросов и отдает пользователям 72 часа видео через YouTube. Twitter за это время сохраняет 278 тысяч твитов, Facebook размещает 2,5 миллиона постов, а Instagram принимает 3600 фото ежесекундно. Visa заявляет, что может проанализировать двухлетнюю историю операций клиентов, или 73 млрд транзакций, что эквивалентно 36 терабайтам данных, за 13 минут, используя облачные вычисления.

ВВЕДЕНИЕ Все предприятия осуществляют свою деятельность и/или управляют процессами производства с помощью информационных технологий, информационных систем.

Под автоматизированной системой обработки информации (АС) мы будем понимать совокупность: Под автоматизированной системой обработки информации (АС) мы будем понимать совокупность: 1. средств вычислительной техники; 2. программного обеспечения; 3. каналов связи; 4. информации на различных носителях; 5. персонала и пользователей системы.

Основные понятия и определения Основной формой организации информационных массивов в ИС являются базы данных. База данных – это совместно используемый и определенным образом организованный набор логически связанных данных и их описание, предназначенный для удовлетворения информационных потребностей пользователей. ИНФОРМАЦИОННАЯ СИСТЕМА - совокупность содержащейся в базах данных информации и обеспечивающих ее обработку информационных технологий и технических средств (Об информации, информационных технологиях и о защите информации N 149-ФЗ). ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ - процессы, методы поиска, сбора, хранения, обработки, предоставления, распространения информации и способы осуществления таких процессов и методов.

Примеры современных ИС ИС «Бюро кредитных историй клиентов банка». Банковские системы, системы торговых расчетов в супермаркетах, системы резервирования авиационных или железнодорожных билетов, мест в гостиницах и т.д. ИС «Штрафы ГИБДД».

Проверка штрафов ГИБДД на GIBDD.RU

ПРИОРИТЕТ НА БЛИЖАЙШИЕ ГОДЫ В РАЗВИТИИ ИС Поддержка обработки и хранения больших массивов данных. Развитие видеоаналитики : распознавание лиц и различных внештатных ситуаций, оповещение. Эксперты прогнозируют развитие технологий в области взаимодействия человека и искусственного интеллекта. В частности, развитие систем автоматического принятия решений в бизнес процессах, систем анализа текстовой информации, голоса, изображений и видео. Появление новых инструментов для анализа данных датчиков и различных устройств. Создание автоматических систем (в том числе автоматической отчетности), в которых в реальном режиме времени обрабатывается информация, вовремя обновляться и надежно защищаться.

ТЕНДЕНЦИИ РАЗВИТИЯ ИТ Большие затраты на техническое обслуживание систем хранения и обработки данных заставляют компании искать более дешевые решения. Например, переход на облачные технологии хранения и анализа данных. Компаниям для принятия эффективных решений нужно анализировать данные в реальном времени. Это приведет к развитию технологий потоковой обработки данных и быстрого доступа к данным, хранящимся в оперативной памяти, технологии распараллеливания при обработке данных. Развиваются новые методы ввода данных в систему – голосовой ввод, датчиковая аппаратура и т.д. (применение в сфере развлечений и мониторинга здоровья.).

ТЕНДЕНЦИИ РАЗВИТИЯ ИТ Сегодня ежедневно генерируется так много данных, что по ним можно достаточно точно составить портрет каждого человека, выявить его предпочтения и узнать личную информацию. С развитием интернета вещей и появлением новых гаджетов объем данных будет только увеличиваться, а вместе с этим будет увеличиваться доля личной информации (конфиденциальной), хранимой в дата-центрах. Учет изменений в законодательстве, связанных с хранением и обработкой данных (персональные данные граждан РФ необходимо хранить на территории РФ), что приводит к необходимости кластеризации и разбиения данных на части.

ОСОБЕННОСТИ СОВРЕМЕННЫХ АИС Терабайтные объёмы данных. Разнородность и сильная связанность между собой данных. Требования к производительности и защите данных. Проблемы дублирования и согласованного изменения данных. Распределенная обработка данных. Учет проблемы импортозамещения.

ВВЕДЕНИЕ В БД

ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ ЭКСПЕРТНОЙ СИСТЕМЫ База данных - предназначена для хранения исходных и промежуточных данных решаемой в текущий момент задачи. База знаний - предназначена для хранения долгосрочных данных, описывающих рассматриваемую предметную область (а не текущих данных), и правил, описывающих целесообразные преобразования данных этой области. Механизм логического вывода - генерирует рекомендации по решению искомой задачи. Интерпретатор решений (объяснение).

Типовая структура экспертных систем

СТРУКТУРА БАЗЫ ЗНАНИЙ Болезнь_1, p, j, py, pn, 999, Болезнь_2, p, j, py, pn, 999, P – вероятность болезни у любого наугад взятого человека. j- номер симптома (свидетельства, переменной, вопроса). py -вероятность симптома при данной болезни pn – вероятность симптома при отсутствии данной болезни. 999 – код остановки, чтобы программа могла понять, что цикл опроса по данной болезни окончен. Грипп, 0.01 , Симптом 1, 0.9, 0,01, Симптом 2, 0, 0.01,… Наличие Симптома 1 подтверждает Грипп, Наличие Симптома 2 исключает Грипп,

ЯЗЫК SQL Structured Query Language (SQL)— это непроцедурный язык, используемый для формулировки запросов к данным в большинстве современных СУБД и являющийся индустриальным стандартом (ANSI, ISO). Непроцедурность языка означает, что на нем можно указать, что нужно сделать с базой данных, но нельзя описать алгоритм этого процесса. Существует много диалектов. Основу языка SQL составляют операторы.

РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ И СУБД Развитие вычислительной техники происходило в двух основных направлениях. Первое направление - применение ВТ для выполнения численных расчетов, которые слишком долго или вообще невозможно производить вручную. Это привело к появлению высокоуровневых языков программирования. Разработанные подходы к программированию стали применяться не только для математических расчётов, но и для обработки менее формализованных данных: текстовых, графических, затем мультимедийных.

РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ Второе направление - это использование средств ВТ в автоматических или автоматизированных информационных системах. Более важным, чем обработка данных, становится второе направление развития ВТ – оптимизация, защита хранения данных. Эти задачи решают СУБД.

СУБД Система управления базами данных (СУБД) — совокупность программных, технических и языковых средств общего или специального назначения, позволяющая создавать базы данных и манипулировать сведениями из них, обеспечивать их безопасность. Тренды в развитии современных СУБД: самодиагностика и автоматическое исправление, отказоустойчивость и возможность масштабирования.

СУБД СУБД обеспечивает физическую и логическую независимость прикладной программы от данных. В современной СУБД можно выделить внутреннюю часть - ядро СУБД (часто его называют Data Base Engine), компилятор языка БД (обычно SQL), подсистему поддержки времени выполнения, набор утилит. Ядро СУБД обладает собственным интерфейсом, не доступным пользователям напрямую и используемым в программах, производимых компилятором SQL (или в подсистеме поддержки выполнения таких программ) и утилитах БД. Ядро СУБД отвечает за управление данными во внешней памяти, управление буферами оперативной памяти, управление транзакциями и журнализацию.

КРИТЕРИИ, ПО КОТОРЫМ ВЫБИРАЮТ СУБД производительность, безопасность, масштабируемость, обновляемость, уровень техподдержки, работа с очень большими данными, и цена владения.

ПОПУЛЯРНОСТЬ СУБД

ПОПУЛЯРНОСТЬ СУБД

ПОПУЛЯРНОСТЬ СУБД

СТАТИСТИКА По данным сайта DB-Engines, приводящего рейтинги различных СУБД, нынешнее соотношение популярности коммерческих и открытых СУБД составляет примерно 50 на 50. Более 80% рынка СУБД в течение долгих лет контролируется тремя гигантами – IBM, Oracle и Microsoft. В последнее время в России появляются такие предложения, например, корейская TIBERO, очень похожая на Oracle. СУБД Линтер является единственной существующей в настоящее время коммерческой российской СУБД. Она разработана и развивается компанией Релэкс, г. Воронеж. СУБД MySQL бесплатная, стандарт де-факто у российских хост-провайдеров. В открытой СУБД Postgres разрабатывается сейчас ( у Oracle еще не появилось ) возможность обработки неструктурированных данных.

СРАВНЕНИЕ СУБД – мнение экспертов Для роста производительности СУБД в Oracle используются технологии поколоночного хранения, процедуры векторных процессоров, преимущества большой памяти (обработка данных in-memory), что дает еще порядок роста производительности. Тестируются уже сейчас процессоры, у которых в силикон зашиты команды СУБД. Разработчик ПО Open Source PostgreSQL увеличение производительности рассматривают только за сет резервов кода - это позавчерашний день разработки СУБД, - заявил представитель Oracle.

СРАВНЕНИЕ СУБД Аргументом в пользу PostgreSQL является наличие российских разработчиков, которые входят в международную команду разработчиков, в которой занимают серьезное положение. Web: http://www.postgresql.org В свое время эта СУБД была включена в состав операционной системы Astra Linux, разрабатываемой «НПО РусБИТех» и имеющей сертификаты ФСТЭК России, Минобороны России и ФСБ России. PostgreSQL уже давно используется в силовых структурах и входит в отечественные дистрибутивы Linux, версия 9.0 сертифицирована министерством обороны под именем СУБД Заря. Крупные интернет-проекты также используют PostgreSQL, например, Rambler, Yandex. Mail.ru, avito.ru и другие.

POSTGRESQL

ИСТОРИЯ РАЗВИТИЯ СУБД 1968 году была введена в эксплуатацию первая промышленная СУБД система IMS фирмы IBM. Развитие теории БД связано с американским математиком Э. Ф. Коддом. Э. Ф. Кодд - создатель реляционной модели данных. В 1981 году получил за создание реляционной модели и реляционной алгебры престижную премию Тьюринга Американской ассоциации по вычислительной технике.

ИСТОРИЯ РАЗВИТИЯ СУБД Этапы в развитии направления по обработке данных: Базы данных на больших ЭВМ: все СУБД базируются на мощных мультипрограммных операционных системах; в основном поддерживается работа с централизованной БД в режиме распределенного доступа; функции управления распределением ресурсов в основном осуществляются ОС;

ИСТОРИЯ РАЗВИТИЯ СУБД поддерживаются языки низкого уровня манипулирования данными; значительная роль отводится администрированию данных; проводятся работы по обоснованию и формализации реляционной модели данных, оптимизации запросов и управлению распределенным доступом к централизованной БД, введено понятие транзакции. Транзакция – законченная единица работы, которая выполняется вся в случае успеха либо не выполняется совсем в случае сбоя, аварии. Появляются первые языки высокого уровня для работы с реляционной моделью данных. Однако отсутствуют стандарты для этих первых языков.

ИСТОРИЯ РАЗВИТИЯ СУБД Эпоха персональных компьютеров: компьютеры стали доступнее, СУБД рассчитаны в основном на монопольный доступ, скромные требования к аппаратному обеспечению настольных СУБД; вырождение функций администрирования БД и отсутствие инструментальных средств администрирования БД; отсутствие средств поддержки ссылочной и структурной целостности БД; создано много систем-однодневок, не отвечающим законам развития и взаимосвязи реальных объектов. «простота» и доступность персональных компьютеров и их программного обеспечения породила множество дилетантов. СУБД предлагали развитый и удобный инструментарий для разработки готовых приложений без программирования. Инструментальная среда состояла из готовых элементов приложения в виде шаблонов экранных форм, отчетов.

ИСТОРИЯ РАЗВИТИЯ СУБД

ИСТОРИЯ РАЗВИТИЯ СУБД Распределенные базы данных: поддержка многопользовательской работы с БД и децентрализованного хранения данных потребовали развития средств администрирования БД; СУБД имеют средства подключения клиентских приложений, разработанных с использованием настольных СУБД, и средства экспорта данных из форматов настольных СУБД второго этапа развития; разработка ряда стандартов в рамках языков описания и манипулирования данными и технологий по обмену данными между различными СУБД (протокол ODBC Open DataBase Connectivity фирмы Microsoft (открытая система связи с базами данных)).

ДАЛЬНЕЙШИЕ ПЕРСПЕКТИВЫ РАЗВИТИЯ Появился интернет. Отпадает необходимость использования специализированного клиентского программного обеспечения. Для работы с удаленной базой данных используется стандартный браузер Интернета, например Microsoft Internet Explorer .

ТОПОЛОГИЯ АРХИТЕКТУРЫ ТЕЛЕОБРАБОТКИ

АРХИТЕКТУРА ФАЙЛОВОГО СЕРВЕРА

АРХИТЕКТУРА ФАЙЛОВОГО СЕРВЕРА Недостатки: Большой объем сетевого трафика. Производительность такой системы падает, если требуется интенсивный одновременный доступ к одним и тем же данным. На каждой рабочей станции должна находиться полная копия СУБД. Управление параллельностью, восстановлением и целостностью усложняется, поскольку доступ к одним и тем же файлам могут осуществлять сразу несколько экземпляров СУБД.

АРХИТЕКТУРА “КЛИЕНТ/СЕРВЕР”

СХЕМА ПОСТРОЕНИЯ СИСТЕМ С АРХИТЕКТУРОЙ “КЛИЕНТ/СЕРВЕР” Клиент: - Принимает и проверяет синтаксис введенного пользователем запроса; - Клиент хранит в компьютере свои приложения, с помощью которых осуществляется запрос данных на сервере. - Генерирует запрос к базе данных и передает его серверу; - Отображает полученные данные пользователю. Сервер: - Принимает и обрабатывает запросы к базе данных со стороны клиентов; - Проверяет полномочия пользователей; - Гарантирует соблюдение ограничений целостности; - Выполняет запросы/обновления и возвращает результаты клиенту; - Поддерживает системный каталог; - Обеспечивает параллельный доступ к базе данных; - Обеспечивает управление восстановлением.

СХЕМА ПОСТРОЕНИЯ СИСТЕМ С АРХИТЕКТУРОЙ “КЛИЕНТ/СЕРВЕР” Основные достоинства централизованной архитектуры - простота администрирования и защиты информации. Все терминалы были однотипными - следовательно, устройства на рабочих местах пользователей вели себя предсказуемо и в любой момент могли бы быть заменены, затраты на обслуживание терминалов и линий связи также легко прогнозировались.

СХЕМА ПОСТРОЕНИЯ СИСТЕМ С ТРЕХУРОВНЕВОЙ АРХИТЕКТУРОЙ

СХЕМА ПОСТРОЕНИЯ СИСТЕМ С АРХИТЕКТУРОЙ “КЛИЕНТ/СЕРВЕР” Тонкий клиент - система, имеющая минимум программных и аппаратных средств, но обладающих широкими возможностями работы с приложениями. Основная идея “тонких” клиентов – вынести на сервер все, вплоть до виртуальных драйверов устройств, включая драйвер монитора.

ИСТОРИЯ РАЗВИТИЯ СУБД Файловые системы были первой попыткой компьютеризировать ручные картотеки. Ручные картотеки позволяют успешно справляться с поставленными задачами, если количество хранимых информационных объектов невелико. Они также вполне подходят для работы с большим количеством объектов, которые нужно только хранить и извлекать. Не подходят для тех случаев, когда нужно установить перекрестные связи или выполнить консолидированную обработку сведений. Ускорить поиск нужных сведений в такой системе позволят алгоритмы индексирования.

ИСТОРИЯ РАЗВИТИЯ СУБД Файловые системы - набор прикладных программ, которые выполняют для пользователей некоторые операции, например создание отчетов. Каждая программа хранит свои собственные данные и управляет ими. Ограничения файловых систем являются следствием двух факторов: 1. Определение данных содержится внутри приложений, а не хранится отдельно и независимо от них. 2. Помимо приложений не предусмотрено никаких других инструментов доступа к данным и их обработки.

ОГРАНИЧЕНИЯ, ПРИСУЩИЕ ФАЙЛОВЫМ СИСТЕМАМ: Разделение и изоляция данных. Дублирование данных. Зависимость от данных. Несовместимость файлов. Фиксированные запросы/быстрое увеличение количества приложений.

ПРЕИМУЩЕСТВА СУБД Контроль за избыточностью данных. Непротиворечивость данных. Больше полезной информации при том же объеме хранимых данных. Совместное использование данных. Поддержка целостности данных. Повышенная безопасность. Применение стандартов. Повышение эффективности с ростом масштабов системы.

ПРЕИМУЩЕСТВА СУБД Возможность нахождения компромисса при противоречивых требованиях. Повышение доступности данных и их готовности к работе. Улучшение показателей производительности. Упрощение сопровождения системы за счет независимости отданных. Улучшенное управление параллельной работой. Развитые службы резервного копирования и восстановления.

НЕДОСТАТКИ СУБД Сложность. Размер. Стоимость СУБД. Дополнительные затраты на аппаратное обеспечение. Затраты на преобразование. Производительность. Более серьезные последствия при выходе системы из строя.

ОСНОВНЫЕ КОМПОНЕНТЫ СИСТЕМЫ ЗАЩИТЫ БАЗ ДАННЫХ 1) физическая защита ПК и носителей информации; 2)опознавание (аутентификация) пользователей и используемых компонентов обработки информации; 3) разграничение доступа к элементам защищаемой информации; 4)криптографическое закрытие защищаемой информации, хранимой на носителях (архивация данных); 5)криптографическое закрытие защищаемой информации в процессе непосредственной ее обработки; 6) регистрация всех обращений к защищаемой информации. 7) резервное копирование БД; 8) управление транзакциями, повышение производительности БД (индексы, кластеризация).

СПАСИБО ЗА ВНИМАНИЕ!