🗊Презентация Принципы построения распределенных баз данных

Принципы построения распределенных баз данных 1.Методы поддержки распределенных данных 2.Основные понятия распределенных баз данных 3.Распределенные транзакции. Протокол двухфазной фиксации.

Общие принципы

Общие принципы В основе распределенных баз данных лежат две основные идеи: много организационно и физически распределенных пользователей, одновременно работающих с общей базой данной (пользователи с разными учетными записями, с разными полномочиями и задачами); логически и физически распределенные данные, составляющие и образующие единое взаимосогласованное целое - общую базу данных.

Основные принципы создания и функционирования распределенных баз данных Впервые задача об исследовании принципов построения и функционирования распределенных баз данных была поставлена К.Дейтом в рамках системы System R. Большую роль в исследовании принципов создания и функционирования распределенных баз данных внесли также и разработчики системы Ingres. Крис Дейт сформулировал основные принципы создания и функционирования распределенных баз данных.

Критерии распределенности (по К. Дейту)

Критерии распределенности (по К. Дейту) В идеальной системе все узлы равноправны и независимы, а расположенные на них базы являются равноправными поставщиками данных в общее пространство данных. База данных на каждом из узлов самодостаточна - она включает полный собственный словарь данных и полностью защищена от несанкционированного доступа.

Критерии распределенности (по К. Дейту) Непрерывное функционирование. Удаление или добавление узла не должно требовать остановки системы в целом. Это качество можно трактовать как возможность непрерывного доступа к данным (известное "24 часа в сутки, семь дней в неделю") в рамках DDB вне зависимости от их расположения и вне зависимости от операций, выполняемых на локальных узлах. Это качество можно выразить лозунгом "данные доступны всегда, а операции над ними выполняются непрерывно".

Критерии распределенности (по К. Дейту) Независимость от местоположения. Пользователь должен получать доступ к любым данным в системе, независимо от того, являются эти данные локальными или удалёнными. Это свойство означает полную прозрачность расположения данных. Пользователь, обращающийся к DDB, ничего не должен знать о реальном, физическом размещении данных в узлах информационной системы. Все операции над данными выполняются без учета их местонахождения. Транспортировка запросов к базам данных осуществляется встроенными системными средствами.

Критерии распределенности (по К. Дейту) Независимость от фрагментации. Доступ к данным не должен зависеть от наличия или отсутствия фрагментации и от типа фрагментации. Независимость от репликации. Доступ к данным не должен зависеть от наличия или отсутствия реплик данных. Прозрачность тиражирования. Тиражирование данных - это асинхронный процесс переноса изменений объектов исходной базы данных в базы, расположенные на других узлах распределенной системы. Данное свойство означает, что тиражирование возможно, прозрачно и достигается внутрисистемными средствами.

Критерии распределенности (по К. Дейту)

Свойства транзакций Свойство атомарности - транзакция должна быть выполнена в целом или не выполнена вовсе. Свойство согласованности - гарантирует, что по мере выполнения транзакции данные переходят из одного согласованного состояния в другое - транзакция не разрушает взаимной согласованности данных. Свойство изолированности означает, что конкурирующие за доступ к базе данных транзакции физически обрабатываются последовательно, изолированно друг от друга, но для пользователей это выглядит так, как будто они выполняются параллельно. Свойство долговечности : если транзакция завершена успешно, то те изменения в данных, которые были ею произведены, не могут быть потеряны ни при каких обстоятельствах.

Обработка распределенных транзакций Это качество DDB можно трактовать как возможность выполнения операций обновления распределенной базы данных ( INSERT, UPDATE, DELETE ), не разрушающее целостность и согласованность данных. Эта цель достигается применением двухфазового или двухфазного протокола фиксации транзакций (two-phase commit protocol), ставшего фактическим стандартом обработки распределенных транзакций. Его применение гарантирует согласованное изменение данных на нескольких узлах в рамках распределенной (или, как ее еще называют, глобальной) транзакции.

Критерии распределенности (по К. Дейту) Независимость от типа оборудования. СУРБД должна функционировать на оборудовании с различными вычислительными платформами. Независимость от операционной системы. СУРБД должна функционировать под управлением различных ОС. Независимость от сетевой архитектуры. СУРБД должна быть способной функционировать в сетях с различной архитектурой, типами носителей и поддерживать любые сетевые протоколы. Независимость от типа СУБД. СУРБД должна быть способной функционировать поверх различных локальных СУБД, возможно, с различными моделями данных (требование гетерогенности). Дейт, К., Дж. Введение в системы баз данных. Издательский дом “Вильямс”, 2008. –630с.

Методы поддержки распределенных данных

Фрагментация

Фрагментация

Фрагментация Горизонтальная фрагментация означает хранение строк одной таблицы на различных узлах (фактически, хранение строк одной логической таблицы в нескольких идентичных физических таблицах на различных узлах). Вертикальная фрагментация означает распределение столбцов логической таблицы по нескольким узлам.

Репликация данных

Служба тиражирования

Распределенные запросы

Распределенные запросы. Пример

Распределенные запросы. Пример

Распределенные ограничения целостности

Распределенные транзакции

Протокол двухфазной фиксации

Действия координатора транзакции

Действия координатора транзакции II. Фаза 2 (принятие решения). При поступлении сообщения ABORT: занести в системный журнал запись abort и обеспечить ее перенос из буфера в ОП на ВЗУ; отправить всем участникам сообщение GLOBAL_ABORT и ждать ответов участников (тайм-аут). Если участник не отвечает в течение установленного тайм-аута, координатор считает, что данный участник откатит свою часть транзакции и запускает протокол ликвидации.

Действия координатора транзакции Если все участники прислали COMMIT, поместить в системный журнал запись commit и обеспечить ее перенос из буфера в ОП на ВЗУ. Отправить всем участникам сообщение GLOBAL_COMMIT и ждать ответов всех участников. После поступления подтверждений о фиксации от всех участников: поместить в системный журнал запись end_transaction и обеспечить ее перенос из буфера в ОП на ВЗУ. Если некоторые узлы не прислали подтверждения фиксации, координатор заново направляет им сообщения о принятом решении и поступает по этой схеме до получения всех требуемых подтверждений.

Действия участника транзакции

Действия участника транзакции Если участник отправил координатору сообщение READY_COMMIT, то он ожидает ответа координатора в пределах установленного тайм-аута. При получении GLOBAL_ABORT участник помещает запись abort в файл журнала транзакций, откатывает свою часть транзакции и отправляет координатору подтверждение отката.

Действия участника транзакции При получении GLOBAL_COMMIT участник помещает запись commit в файл журнала транзакций, фиксирует свою часть транзакции и отправляет координатору подтверждение фиксации. Если в течение установленного тайм-аута участник не получает сообщения от координатора, он откатывает свою часть транзакции.

Протоколы ликвидации

Протоколы ликвидации Простейший протокол ликвидации для участника заключается в блокировании процесса до тех пор, пока сеанс связи с координатором не будет восстановлен. Но в целях повышения производительности (и автономности) узлов могут быть предприняты и другие действия: Тайм-аут в состоянии INITIAL: участник не может сообщить о своем решении координатору и не может зафиксировать транзакцию. Но может откатить свою часть транзакции. Если он позднее получит команду PREPARE, он может проигнорировать ее или отправить координатору сообщение ABORT.

Протоколы ликвидации Тайм-аут в состоянии PREPARED: участник уже известил координатора о решении COMMIT, то он не может его изменить. Участник оказывается заблокированным.

Протоколы восстановления

Протоколы восстановления При отказе координатора: В состоянии INITIAL: процедура 2ФФ еще не запускалась, поэтому после перезагрузки следует ее запустить. В состоянии WAITING: координатор уже направил команду PREPARE, но еще не получил всех ответов и не получил ни одного сообщения ABORT. В этом случае он перезапускает процедуру 2ФФ. В состоянии DECIDED: координатор уже направил участникам глобальное решение. Если после перезапуска он получит все подтверждения, то транзакция считается успешно зафиксированной. В противном случае он должен прибегнуть к протоколу ликвидации.

Протоколы восстановления

Протоколы восстановления Рассмотрим три возможных момента возникновения отказа: В состоянии INITIAL: участник еще не успел сообщить о своем решении координатору, поэтому он может выполнить откат, т.к. координатор не мог принять решение о глобальной фиксации транзакции без голоса этого участника. В состоянии PREPARED: участник уже направил сведения о своем решении координатору, поэтому он должен запустить свой протокол ликвидации. В состоянии ABORTED/COMMITED: участник уже завершил обработку своей части транзакции, поэтому никаких дополнительных действий не требуется.

Реализация протокола 2ФФ

Поддержка распределенности в Oracle

Связь в распределенной БД Oracle

Связи в распределенной БД Oracle

Работа в распределенной БД

Моментальные снимки в Oracle

Моментальные снимки в Oracle

Моментальные снимки в Oracle

Моментальные снимки в Oracle

Моментальные снимки в Oracle

Регенерация моментальных снимков Oracle

Регенерация моментальных снимков Oracle

Усовершенствованное тиражирование Oracle

Требования к распределенной базе данных РБД должна обладать (требования): локальными и глобальными (распределенными) средствами доступа к данным(СУБД); единообразной логикой прикладных программ во всех клиентских приложениях узлов сети; малым временем реакции на запросы пользователей; надежностью, исключающей разрушения целостности системы в случае выхода из строя ее отдельных компонент(узлов); открытостью, позволяющей наращивать объем локальных БД и добавлять новые клиентские приложения;

Требования к распределенной базе данных развитой системой управления резервным копированием и восстановления данных в случае сбоев; защищенностью, следящей за соблюдением привилегий доступа к данным; высокой эффективностью, за счет выбора оптимальных алгоритмов использования сетевых ресурсов; развитым репликационным механизмом, позволяющим размещать обновленные копии данных в сети оптимальным образом.

Принципы построения РБД Минимизация интенсивности обмена данными (сетевого трафика); Оптимальное размещение серверных и клиентских приложений в сети; Декомпозиция данных на часто и редко используемые сегменты (для правильной настройки репликации - размещение наиболее часто используемых данных на АРМ конечных пользователей); Периодическое сохранение копий данных и выполнение действий по поддержке целостности распределенной информационной системы.

Критерии построения РБД Всесторонний анализ информационных потребностей предметной области с выявлением объемов хранимых данных, их сложности, достоверности, взаимосвязанности. Моделирование предполагаемого сетевого трафика при работе РБД с различными моделями репликации данных. Кластеризация элементов данных и программ их обработки. Цель- добиться максимальной автономности и слабосвязанности кластеров. Привязка кластеров данных к вероятным пользователям или АРМ. Поддержка эталонной копии данных и ограничение репликационного механизма. Разработка и реализация правил приведения локальных и центральной БД в непротиворечивое состояние.

Компьютерные сети Основное средством передачи данных в ИС - компьютерные сети, подразделяемые на: низкоскоростные; среднескоростные; высокоскоростные. В сети с используется передача данных по: коммутируемым каналам связи; специально выделенным каналам связи. Компьютерная сеть - совокупность взаимосвязанных через каналы передачи данных компьютеров, обеспечивающих пользователей средствами обмена информацией и коллективного использования аппаратных, программных и информационных ресурсов сети.

Локальные сети По степени территориальной удаленности компьютерные сети классифицируются на: локальные; распределенные; глобальные. Локальные сети ЭВМ связывают пользователей одной организации, расположенных в одном или нескольких близлежащих зданиях и удаленных друг от друга на расстояние не больше 10 км. Локальные сети обслуживают до 80%-90% потребности в передаче информации и только 10-20% требуют своего обслуживания региональной или глобальной сетью. Локальные сети могут иметь любую структуру, но чаще всего компьютеры в локальной сети связаны единым высокоскоростным каналом передачи данных, который является собственностью организации.

Региональные и глобальные сети Региональные сети объединяют пользователей города, области, небольших стран и в качестве связи используют телефонные линии. Расстояние между узлами сети составляет 10-100 км. Глобальные сети объединяют пользователей, расположенных по всему миру, используют спутниковые каналы связи, позволяющие соединить узлы сети, находящиеся на расстоянии 10-15 тыс. км друг от друга.

По способу установления соединений между пользователями (абонентами) сети делятся на: По способу установления соединений между пользователями (абонентами) сети делятся на: - сети с коммутацией каналов, характеризующиеся установлением прямой связи с абонентом на некоторое время в пределах общей очереди; - сети с коммутацией сообщений, которые характеризуются наличием узлов коммутации сообщений. Для таких узлов обеспечиваются технические средства получения и хранения сообщений. Задача ЭВМ, используемых для этих целей, - получить сообщение, запомнить его и в случае освобождения канала связи с абонентом по определенному адресу передать это сообщение;

- сети с коммутацией пакетов, позволяющие длинное сообщение на передающем пункте разбить на пакеты сообщений с заголовком, адресом и контрольным числом, а на принимающем пункте – сборку сообщения по идентификатору. - сети с коммутацией пакетов, позволяющие длинное сообщение на передающем пункте разбить на пакеты сообщений с заголовком, адресом и контрольным числом, а на принимающем пункте – сборку сообщения по идентификатору.

Основные понятия распределенных баз данных Сервером - называется процесс, обслуживающий информационные потребности клиента. Сервер, обеспечивающий поиск и обновление в базе данных называется сервером базы данных. Сервер баз данных - СУБД, основанная на архитектуре «клиент-сервер». Сервер, обеспечивающий некоторую обработку данных, называется сервером приложений.

Клиент в клиент-серверных ИС Приложение, посылающее запрос на обслуживание сервером, является клиентом. Задача клиента в клиент-серверных ИС: 1). инициирование связи с сервером; 2). определение вида запроса на обслуживание; 3). получение результата обслуживания; 4). подтверждение окончания обслуживания.

Основные понятия распределенных баз данных Если клиент и сервер располагаются на разных узлах локальной или глобальной вычислительной сети, то клиент-серверная архитектура является распределенной. SQL-сервер – собирательный термин, относящийся ко всем серверам баз данных, основанных на SQL.

Наиболее популярные SQL-серверы

Свойства серверных СУБД реализация для различных платформ (UNIX, Windows, Linux); наличие административных утилит; резервное копирование и восстановление данных; обслуживание репликаций; параллельная обработка данных в многопроцессорных системах; поддержка OLAP и создания хранилища данных (OLAP-On-line Analytic Processing – оперативная аналитическая обработка данных);

распределенные запросы и транзакции; распределенные запросы и транзакции; использование средств проектирования БД (универсальных или ориентированных на конкретную СУБД); поддержка доступа к данным через Интернет.

Литература к лекции (Интернет-ресурсы в свободном доступе) Кузнецов С.Д. Основы современных баз данных. // Центр Информационных Технологий, http://www.citforum.ru/database/osbd/contents.shtml Пушников А.Ю. Введение в системы управления базами данных. // Центр Информационных Технологий, http://www.citforum.ru/database/dblearn/index.shtml Transact-SQL Reference. // Microsoft SQL Server 2000 Books Online. Microsoft Corp, 2000.