🗊Презентация Общие понятия и классификация баз данных

Информатика Биологический институт Национальный исследовательский Томский государственный университет

Дмитрий Владимирович Курбатский ст. преподаватель каф. ихтиологии и гидробиологии, научный сотрудник ЛБМ БИ ТГУ Зоологический музей (к. 123) Кафедра зоологии позвоночных (к. 126) Группа ВКонтатике - Курсы "Информатика" и "Информационные технологии: http://vk.com/i_it_bi_tsu Персональный раздел: http://zoo.tsu.ru/kdv

Сайт http://sql.ru – про базы данных и работу с ними. Сайт http://sql.ru – про базы данных и работу с ними.

Блок 1 Общие понятия и классификация БД

База данных (БД) организованная в соответствии с определёнными правилами и поддерживаемая в памяти компьютера совокупность данных, характеризующая актуальное состояние некоторой предметной области и используемая для удовлетворения информационных потребностей пользователей. совокупность данных, хранимых в соответствии со схемой данных, манипулирование которыми выполняют в соответствии с правилами средств моделирования данных. некоторый набор перманентных (постоянно хранимых) данных, используемых прикладными программными системами какого-либо предприятия. совместно используемый набор логически связанных данных (и описание этих данных), предназначенный для удовлетворения информационных потребностей организации. и даже представленная в объективной форме совокупность самостоятельных материалов (статей, расчётов, нормативных актов, судебных решений и иных подобных материалов), систематизированных таким образом, чтобы эти материалы могли быть найдены и обработаны с помощью электронной вычислительной машины (ЭВМ) (Гражданский кодекс РФ, ст. 1260).

Вариант необходимых свойств БД хранится и обрабатывается в вычислительной системе. Данные в БД логически структурированы (систематизированы). БД включает схему, или метаданные, описывающие логическую структуру БД в формальном виде (в соответствии с некоторой метамоделью).

СУБД Систе́ма управле́ния ба́зами да́нных database management system (DBMS) – совокупность программных и лингвистических средств общего или специального назначения, обеспечивающих управление созданием и использованием баз данных.

Модель данных аспект структуры аспект манипуляции аспект целостности аспект защиты аспект практической реализации и применения

Классификация БД …по модели данных Иерархическая Сетевая Реляционная Объектная и объектно-ориентированная Объектно-реляционная Функциональная Документо-ориентированная NoSQL OBDA и др.

Иерархическая БД Information Management System (IMS) Time-Shared Date Management System (TDMS) Mark IV Multi - Access Retrieval System System 2000 InterSystems Caché Google App Engine Datastore API в операционных системах: Серверы каталогов LDAP и Active Directory иерархические файловые системы Реестр Windows.

Иерархическая БД

Сетевая модель данных СООБЗ Cerebrum ИСУБД CronosPRO dbVista Caché GT.M

Объектная и объектно-реляционные БД Jasmine Versant POET 1С

Документо-ориентированные СУБД MongoDB

БД, основанные на онтологиях OBDA

…по среде постоянного хранения Во вторичной памяти, или традиционная (conventional database) средой постоянного хранения является периферийная энергонезависимая память как правило жёсткий диск в оперативной памяти лишь кеш и данные для текущей обработки В оперативной памяти (in-memory database, memory-resident database, main memory database) все данные на стадии исполнения находятся в оперативной памяти. В третичной памяти (tertiary database) средой постоянного хранения является отсоединяемое от сервера устройство массового хранения как правило на основе магнитных лент (в прошлом) или оптических дисков во вторичной памяти сервера хранится лишь каталог данных третичной памяти, файловый кеш и данные для текущей обработки; загрузка же самих данных требует специальной процедуры

…по степени распределённости Централизованная или сосредоточенная (centralized database) БД, полностью поддерживаемая на одном компьютере. Распределённая (distributed database) БД, составные части которой размещаются в различных узлах компьютерной сети в соответствии с каким-либо критерием. Бывает: Неоднородная (heterogeneous distributed database): фрагменты распределённой БД в разных узлах сети поддерживаются средствами более одной СУБД Однородная (homogeneous distributed database): фрагменты распределённой БД в разных узлах сети поддерживаются средствами одной и той же СУБД. Фрагментированная, или секционированная (partitioned database): методом распределения данных является фрагментирование (партиционирование, секционирование), вертикальное или горизонтальное. Тиражированная (replicated database): методом распределения данных является тиражирование (репликация).

Неоднородная БД

Секционирование БД

Секционирование БД

Тиражирование

…по динамике данных Пространственная spatial database БД, в которой поддерживаются пространственные свойства сущностей предметной области. в ГИС Временна́я, или темпоральная temporal database БД, в которой поддерживается какой-либо аспект времени, не считая времени, определяемого пользователем. журналы и логи программ и ОС блоги и форумы Пространственно-временная spatial-temporal database БД, в которой одновременно поддерживается одно или более измерений в аспектах как пространства, так и времени. приёмники GPS Циклическая round-robin database БД, объём хранимых данных которой не меняется со временем, поскольку в процессе сохранения данных одни и те же записи используются циклически. в видеорегистрации

…по размеру Размер: маленькие 10+…100+ значений побольше 1-2 таблицы 100…100000 строк ещё больше сотни тыс. - миллионы строк десятки - сотни таблиц большие размеры в терабайтах сверхбольшие размеры более петабайта

…по содержимому Географическая Историческая Научная Мультимедийная и др. в частности, каталоги музеев и коллекций Зоомузей ТГУ ИСиЭЖ СО РАН персональные БД

БД в биологии Global Biodiversity Information Facility www.gbif.org www.biodat.eu Biomass Database Обзор БД генома человека Погода России и мира, с возможностью скачивания rp5.ru Геоинформационные векторные космоснимки климат

GenBank www.ncbi.nlm.nih.gov/Genbank/

Всемирная систематика www.catalogueoflife.org >1.6 млн видов бактерии, грибы, животные, растения ~84 %

symbiota.org

Экологическая и ресурсная информационная база юго-востока Западной Сибири enrit.ipc.tsc.ru Включает БД: «Химия нефти и газа» «Источники выбросов» «Состояние водных бассейнов» «Мониторинг лесных ресурсов» «Экология почвы» «Экологическая инспекция» «Экологическая экспертиза» «Кадастр экологических данных по лесным землям города Томска» «Ландшафтно – экологическая карта Томской области» Другие базы данных

WorldClim - Global Climate Data worldclim.org Разрешение 30”..10’ Периоды: 1950-2000; средний голоцен, последний ледниковый максимум; будущее (до 2100 г.) Min, max, avg T; осадки; а также Bioclim: BIO1 = Annual Mean Temperature BIO2 = Mean Diurnal Range (Mean of monthly (max temp - min temp)) BIO3 = Isothermality (BIO2/BIO7) (* 100) BIO4 = Temperature Seasonality (standard deviation *100) BIO5 = Max Temperature of Warmest Month BIO6 = Min Temperature of Coldest Month BIO7 = Temperature Annual Range (BIO5-BIO6) BIO8 = Mean Temperature of Wettest Quarter BIO9 = Mean Temperature of Driest Quarter BIO10 = Mean Temperature of Warmest Quarter BIO11 = Mean Temperature of Coldest Quarter BIO12 = Annual Precipitation BIO13 = Precipitation of Wettest Month BIO14 = Precipitation of Driest Month BIO15 = Precipitation Seasonality (Coefficient of Variation) BIO16 = Precipitation of Wettest Quarter BIO17 = Precipitation of Driest Quarter BIO18 = Precipitation of Warmest Quarter BIO19 = Precipitation of Coldest Quarter

Worldclim GeoTIFF Grid

Единый государственный реестр почвенных ресурсов России egrpr.esoil.ru 1 : 2 500 000 векторные данные (!)

Единый государственный реестр почвенных ресурсов России Поле Описание данных POLIGON_ID Уникальный номер полигона почвенной карты SOIL0_ID Индекс основной почвы (почвенный комплекс, непочвенное образование) SOIL0_TXT Наименование выдела легенды основной почвы (почвенный комплекс, непочвенное образование) AREA0 Доля основной почвы в полигоне карты, % SOIL0_TRL Наименование выдела легенды основной почвы - транслит SOIL0_EN Наименование выдела легенды основной почвы - перевод на английский WRB_ID Индекс основной почвы по WRB WRB_TXT Наименование основной почвы по WRB FAO_ID Индекс основной почвы по FAO FAO_TXT Наименование основной почвы по FAO SYMBOL Символьный индекс почвы ZONE Групповая принадлежность выдела легенды SOIL1_ID Индекс 1 сопутствующей почвы (почвенный комплекс, непочвенное образование) SOIL1_TXT Наименование выдела легенды 1 сопутствующей почвы (почвенный комплекс, непочвенное образование) AREA1 Доля 1 сопутствующей почвы в полигоне карты, % SOIL2_ID Индекс 2 сопутствующей почвы (почвенный комплекс, непочвенное образование) SOIL2_TXT Наименование выдела легенды 1 сопутствующей почвы (почвенный комплекс, непочвенное образование) AREA2 Доля 3 сопутствующей почвы в полигоне карты, % SOIL3_ID Индекс 3 сопутствующей почвы (почвенный комплекс, непочвенное образование) SOIL3_TXT Наименование выдела легенды 1 сопутствующей почвы (почвенный комплекс, непочвенное образование) AREA3 Доля 3 сопутствующей почвы в полигоне карты, % PARENT1_ID Индекс 1 почвообразующей породаы PARENT1_TXT Наименование 1 почвообразующей породы PARENT2_ID Индекс 2 почвообразующей породаы PARENT2_TXT Наименование 2 почвообразующей породы AREA_M2 Площадь, м.кв.

СУБД Систе́ма управле́ния ба́зами да́нных database management system (DBMS) – совокупность программных и лингвистических средств общего или специального назначения, обеспечивающих управление созданием и использованием баз данных.

Функции СУБД управление данными во внешней памяти (на дисках); управление данными в оперативной памяти с использованием дискового кэша; журнализация изменений, резервное копирование и восстановление базы данных после сбоев; поддержка языков БД (язык определения данных, язык манипулирования данными).

Компоненты СУБД ядро отвечает за управление данными во внешней и оперативной памяти, за журнализацию процессор языка базы данных обеспечивает оптимизацию запросов на извлечение и изменение данных и создание, как правило, машинно-независимого исполняемого внутреннего кода подсистема поддержки времени исполнения (runtime) интерпретирует программы манипуляции данными, создающие пользовательский интерфейс с СУБД сервисные программы (внешние утилиты) обеспечивают ряд дополнительных возможностей по обслуживанию информационной системы

Классификации СУБД По модели данных Иерархические Сетевые Реляционные Объектно-реляционные Смешанные По степени распределённости Локальные СУБД Распределённые СУБД По способу доступа к БД Файл-серверные Клиент-серверные Встраиваемые

Связанные понятия Информационная система База знаний Хранилище данных Язык Пролог

Блок 2 Реляционные БД Компоненты БД, СУБД Некоторые СУБД

Вспоминая функцию =ВПР()…

Вспоминая функцию =ВПР()…

Реляционные БД

Ещё пример

Аспекты реляционных БД структура данных (объекты данных) целостность данных обработка данных (операторы)

Свойства реляционных БД В таблице нет двух одинаковых строк. Таблица имеет столбцы, соответствующие атрибутам отношения. Каждый атрибут в отношении имеет уникальное имя. Порядок строк в таблице произвольный.

12 правил Кодда правило 0: Основное правило (Foundation Rule): Реляционная СУБД должна быть способна полностью управлять базой данных, используя связи между данными: Чтобы быть реляционной системой управления базами данных (СУБД), система должна использовать исключительно свои реляционные возможности для управления базой данных. правило 1: Явное представление данных (The Information Rule): Информация должна быть представлена в виде данных, хранящихся в ячейках. Данные, хранящиеся в ячейках, должны быть атомарны. Порядок строк в реляционной таблице не должен влиять на смысл данных. правило 2: Гарантированный доступ к данным (Guaranteed Access Rule): Доступ к данным должен быть свободен от двусмысленности. К каждому элементу данных должен быть гарантирован доступ с помощью комбинации имени таблицы, первичного ключа строки и имени столбца. правило 3: Полная обработка неизвестных значений (Systematic Treatment of Null Values): Неизвестные значения NULL, отличные от любого известного значения, должны поддерживаться для всех типов данных при выполнении любых операций. Например, для числовых данных неизвестные значения не должны рассматриваться как нули, а для символьных данных — как пустые строки.

12 правил Кодда правило 4: Доступ к словарю данных в терминах реляционной модели (Active On-Line Catalog Based on the Relational Model): Словарь данных должен сохраняться в форме реляционных таблиц, и СУБД должна поддерживать доступ к нему при помощи стандартных языковых средств, тех же самых, которые используются для работы с реляционными таблицами, содержащими пользовательские данные. правило 5: Полнота подмножества языка (Comprehensive Data Sublanguage Rule): Система управления реляционными базами данных должна поддерживать хотя бы один реляционный язык, который (а) имеет линейный синтаксис, (б) может использоваться как интерактивно, так и в прикладных программах, (в) поддерживает операции определения данных, определения представлений, манипулирования данными (интерактивные и программные), ограничители целостности, управления доступом и операции управления транзакциями (begin, commit и rollback). правило 6: Возможность модификации представлений (View Updating Rule): Каждое представление должно поддерживать все операции манипулирования данными, которые поддерживают реляционные таблицы: операции выборки, вставки, модификации и удаления данных. правило 7: Наличие высокоуровневых операций управления данными (High-Level Insert, Update, and Delete): Операции вставки, модификации и удаления данных должны поддерживаться не только по отношению к одной строке реляционной таблицы, но по отношению к любому множеству строк.

12 правил Кодда правило 8: Физическая независимость данных (Physical Data Independence): Приложения не должны зависеть от используемых способов хранения данных на носителях, от аппаратного обеспечения компьютеров, на которых находится реляционная база данных. правило 9: Логическая независимость данных (Logical Data Independence): Представление данных в приложении не должно зависеть от структуры реляционных таблиц. Если в процессе нормализации одна реляционная таблица разделяется на две, представление должно обеспечить объединение этих данных, чтобы изменение структуры реляционных таблиц не сказывалось на работе приложений. правило 10: Независимость контроля целостности (Integrity Independence): Вся информация, необходимая для поддержания целостности, должна находиться в словаре данных. Язык для работы с данными должен выполнять проверку входных данных и автоматически поддерживать целостность данных. правило 11: Дистрибутивная независимость (Distribution Independence): База данных может быть распределённой, может находиться на нескольких компьютерах, и это не должно оказывать влияние на приложения. Перенос базы данных на другой компьютер не должен оказывать влияния на приложения. правило 12: Согласование языковых уровней (The Nonsubversion Rule): Если используется низкоуровневый язык доступа к данным, он не должен игнорировать правила безопасности и правила целостности, которые поддерживаются языком более высокого уровня.

Пример таблицы данных

Связанные термины и понятия Отношение Заголовок Атрибут Кортеж Домен Атом Декомпозиция Нормализация Ключ Индекс Реляционная алгебра

Термины

Нормализация

Нормализация Первая нормальная форма (1NF) Вторая нормальная форма (2NF) Третья нормальная форма (3NF) Нормальная форма Бойса — Кодда (BCNF) Четвёртая нормальная форма (4NF) Пятая нормальная форма (5NF) Доменно-ключевая нормальная форма (DKNF) Шестая нормальная форма (6NF)

Первая нормальная форма

Первая нормальная форма

Первые 3 формы нормализации в примерах Первые 3 формы нормализации в примерах

Отношения relations один к одному one-to-one один ко многим one-to-many многие ко многим many-to-many

Один к одному

Один ко многим

Многие ко многим

Многие ко многим

Ключи По типу первичный вторичные внешний По строению простой составной По происхождению естественный суррогатный

Суррогатный ключ

Индексирование

Уникальный индекс

Блок 3 Компоненты СУБД БД и программирование Язык SQL

Компоненты СУБД Отношение (таблица) Представление Снимок Хранимая процедура Триггер Курсор Индекс Запрос

Дополнительные механизмы СУБД Транзакция Журнализация Секционирование Репликация

Транзакция

Журналирование

Некоторые СУБД Старые Clipper FoxPro IBM DB2 dBase Paradox От Micro$oft Visual FoxPro Microsoft Access MS SQL Server Встраиваемые BerkeleyDB Firebird Embedded OpenEdge Microsoft SQL Server Compact SQLite

Типы данных БД (на примере PostgreSQL) Численные типы Целые С фиксированной точкой С плавающей точкой Денежный тип (отличается специальным форматом вывода, а в остальном аналогичен числам с фиксированной точкой с двумя знаками после запятой) Символьные типы произвольной длины Двоичные типы (включая BLOB) Булев тип Типы «дата/время»

Ещё о данных Тип Variant Пустые и нулевые значения: NULL 0 пустая строка “” Операторы =, ==, === Like BETWEEN

Язык запросов – искусственный язык, на котором делаются запросы к базам данных и другим информационным системам, особенно к информационно-поисковым системам. Примеры: SQL Language Integrated Query — расширение для некоторых языков программирования в .NET Framework XQuery XPath поисковые запросы

Связанные понятия Регулярные выражения Релевантность

SQL Structured Query Language язык структурированных запросов

3 варианта динамики данных 3 варианта динамики данных создание удаление модификация а также отбор и выдача результатов и обмен между

Примеры запросов SQL SELECT [Имя] FROM [Студенты] WHERE [НомерГр] IN (1, 3, 5, 10); SELECT * FROM [Студенты] WHERE [Имя] LIKE 'Натал_я'; INSERT INTO [Результаты] ([ФИО], [Оценка] ) SELECT [ФИО], [В_Оценка] FROM [Зачёты]; и др.

Состав SQL операторы инструкции вычисляемые функции таблицы поля связи и объединения

Возможности SQL Изменение структуры данных таблицы поля связи, индексы и пр. Изменение данных создание (добавление) модификация удаление Поиск и выборка данных расчёты транспонирование Управление пользователями и доступом к БД Управление работой СУБД транзакции

Операторы SQL операторы определения данных (Data Definition Language, DDL) CREATE создает объект БД ALTER изменяет объект DROP удаляет объект операторы манипуляции данными (Data Manipulation Language, DML) SELECT считывает данные, удовлетворяющие заданным условиям INSERT добавляет новые данные UPDATE изменяет существующие данные DELETE удаляет данные операторы определения доступа к данным (Data Control Language, DCL) GRANT предоставляет пользователю (группе) разрешения на определенные операции с объектом REVOKE отзывает ранее выданные разрешения DENY задает запрет, имеющий приоритет над разрешением операторы управления транзакциями (Transaction Control Language, TCL) COMMIT применяет транзакцию. ROLLBACK откатывает все изменения, сделанные в контексте текущей транзакции. SAVEPOINT делит транзакцию на более мелкие участки.

Структура запроса SQL на выборку данных

Объединения таблиц JOIN INNER OUTER (Left, RIght) FULL UNION

Преимущества и недостатки SQL Преимущества Независимость от конкретной СУБД Наличие стандартов Декларативность Недостатки Несоответствие реляционной модели данных Повторяющиеся строки Неопределённые значения (nulls) Явное указание порядка колонок слева направо Колонки без имени и дублирующиеся имена колонок Отсутствие поддержки свойства «=» Использование указателей Высокая избыточность Сложность Отступления от стандартов Сложность работы с иерархическими структурами

SQL-иньекции Выборка данных из таблицы по условию: SELECT * FROM [Товары] WHERE [Товары]![Название] = "$nazvanie"; Иньекция SQL: $nazvanie="лыжи" $nazvanie=" \"; DELETE * FROM [Пароли] WHERE \"\" = \"" Результат – очистка паролей: SELECT * FROM [Товары] WHERE [Товары]![Название] = ""; DELETE * FROM [Пароли] WHERE "" = "";

Взаимодействие БД и ОС ODBC Open Database Connectivity DAO Data Access Objects ADO ActiveX Data Objects ADOdb BDE Borland Database Engine

API API интерфейс программирования приложений или интерфейс прикладного программирования application programming interface набор готовых классов, процедур, функций, структур и констант, предоставляемых приложением (библиотекой, сервисом) для использования во внешних программных продуктах

Объекты ADO Connection (представляет подключение к удалённому источнику данных) Recordset (представляет набор строк, полученный от источника данных) Command (используется для выполнения команд и SQL-запросов с параметрами) Record (может представлять одну запись объекта Recordset или же иерархическую структуру, состоящую из текстовых данных) Stream (используется для чтения и записи потоковых данных, например, документов XML или двоичных объектов) Errors (представляет ошибки) Fields (представляет столбцы таблицы базы данных) Parameters (представляет набор параметров SQL-инструкции) Properties (представляет набор свойств объекта)

Всё.