Распределенные файловые системы - презентация, доклад, проект скачать

Нажмите для полного просмотра!

Распределенные файловые системы, слайд №1

Распределенные файловые системы, слайд №2

Распределенные файловые системы, слайд №3

Распределенные файловые системы, слайд №4

Распределенные файловые системы, слайд №5

Распределенные файловые системы, слайд №6

Распределенные файловые системы, слайд №7

Распределенные файловые системы, слайд №8

Распределенные файловые системы, слайд №9

Распределенные файловые системы, слайд №10

Распределенные файловые системы, слайд №11

Распределенные файловые системы, слайд №12

Распределенные файловые системы, слайд №13

Распределенные файловые системы, слайд №14

Распределенные файловые системы, слайд №15

Распределенные файловые системы, слайд №16

Распределенные файловые системы, слайд №17

Распределенные файловые системы, слайд №18

Распределенные файловые системы, слайд №19

Распределенные файловые системы, слайд №20

Распределенные файловые системы, слайд №21

Распределенные файловые системы, слайд №22

Распределенные файловые системы, слайд №23

Распределенные файловые системы, слайд №24

Распределенные файловые системы, слайд №25

Распределенные файловые системы, слайд №26

Распределенные файловые системы, слайд №27

Распределенные файловые системы, слайд №28

Распределенные файловые системы, слайд №29

Распределенные файловые системы, слайд №30

Распределенные файловые системы, слайд №31

Распределенные файловые системы, слайд №32

Распределенные файловые системы, слайд №33

Распределенные файловые системы, слайд №34

Распределенные файловые системы, слайд №35

Распределенные файловые системы, слайд №36

Распределенные файловые системы, слайд №37

Распределенные файловые системы, слайд №38

Распределенные файловые системы, слайд №39

Распределенные файловые системы, слайд №40

Распределенные файловые системы, слайд №41

Распределенные файловые системы, слайд №42

Распределенные файловые системы, слайд №43

Распределенные файловые системы, слайд №44

Распределенные файловые системы, слайд №45

Распределенные файловые системы, слайд №46

Распределенные файловые системы, слайд №47

Распределенные файловые системы, слайд №48

Распределенные файловые системы, слайд №49

Распределенные файловые системы, слайд №50

Распределенные файловые системы, слайд №51

Распределенные файловые системы, слайд №52

Распределенные файловые системы, слайд №53

Распределенные файловые системы, слайд №54

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему Распределенные файловые системы. Доклад-сообщение содержит 54 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

Распределенные файловые системы Судаков А.А. “Параллельные и распределенные вычисления” Лекция 12

Слайд 2

Описание слайда:

План Кластеры хранения данных Типы файловых систем NFS SMB autofs AFS GFS Lustre

Слайд 3

Описание слайда:

Литература Распределенные файловые системы User Space FS OpenAFS

Слайд 4

Описание слайда:

Кластеры хранения данных В любом вычислительном кластере необходимо обращение к общим данным Storage cluster Storage area network Кластер или локальная сеть видится как одно больше хранилище данных

Слайд 5

Описание слайда:

Преимущества Доступ к общим данным большого количества пользователей Масштабируемость возможность увеличение объемов данных Централизованное управление данными Уменьшение затрат на инфраструктуру Возможность параллельного доступа к данным на разных устройствах Удобство

Слайд 6

Описание слайда:

Сложности Разрешение конфликтов при обращении к общим данным Сложность локального кэширования данных в памяти, репликации Обеспечение надежности Единая точка сбоя Устранение узких мест

Слайд 7

Описание слайда:

файловые системы Для хранения данных на удаленных носителях используются специальные файловые системы Файловая система Иерархическая структура организации данных на физическом носителе Дерево База данных (пары имя:значение) Данные – файлы Метаданные – информация о данных Местоположение Права доступа

Слайд 8

Описание слайда:

Классификация распределенных файловых систем Сетевая файловая система доступ к физическому носителю по сети Распределенная файловая система различные части одной файловой системы могут физически находиться на разных носителях Симметричная Все компоненты равноправные Ассиметричная Разные машины кластера выполняют разные функции Одни – сервера данных Другие – сервера метаданных Журналируемая Операции работы с файловой системой журналлируются для обеспечения восстановления при сбоях Кластерная (глобальная) Вся файловая система – один ресурс Параллельная С поддержкой параллельных приложений

Слайд 9

Описание слайда:

Пути обеспечения надежности RAID – локально на серверах Multipass – несколько независимых путей передачи к каждому носителю Репликация – создание копий данных на других независимых носителях Distributed RAID – RAID по сети

Слайд 10

Описание слайда:

NFS Network File System Доступ к дисковым ресурсам других машин по сети Клиент-серверная идеология Сервер Предоставляет доступ к своим ресурсам Клиент Получает доступ к ресурсам серверов

Слайд 11

Описание слайда:

Структурная схема Клиент выполняется ядром Сервер Ядром В пространстве пользователя Виртуальная файловая система Специальный уровень абстракции файловых систем

Слайд 12

Описание слайда:

Виртуальная файловая система Каждая файловая система должна выполнять некоторый набор операций Read Write Mkdir Rmdir … Каждая файловая система имеет свою организацию структур на диске С точки зрения пользовательских программ С файлом на дискете можно работать так же как с файлом на жестком диске или файлом на удаленной машине VFS определяет набор операций, которые должны быть реализованы для файловой системы, чтобы программы могли с ней работать

Слайд 13

Описание слайда:

Структура VFS

Слайд 14

Описание слайда:

Протокол NFS Клиент – «умный» При обращении пользователя к функциям файловой системы вызывается соответствующий метод VFS VFS вызывает на сервере соответствующие процедуры RPC Почти всю логику работы выполняет клиент Сервер – «тупой» Быстро выполняет все запросы клиентов по доступу к своим ресурсам В новых версиях позволяет также управлять клиентами

Слайд 15

Описание слайда:

Сервера NFS SUN RPC Сервера Nfsd – файловые операции Mountd – обработка операций монтирования Lockd – блокировки файлов Statd – отработка перегрузок Rquotad – квоты файловой системы Statd – сигнализация о перегрузках машин Клиенты Вызывают необходимые Rpc

Слайд 16

Описание слайда:

Номера программ, версий

Слайд 17

Описание слайда:

NFS демон (Nfsd) Работает с одним клиентом Выполняет удаленные запросы к файловой системе чтение Запись Создание каталогов … При большом количестве клиентов необходимо запускать больше серверов

Слайд 18

Описание слайда:

Экспортирование и монтирование Чтобы к файловой системе (каталогу) можно было обращаться ее необходимо экспортировать с сервера Разрешить доступ Чтобы клиент мог воспользоваться экспортированной файловой системой ее необходимо смонтировать mountd – сервер монтирования принимает запрос на монтирование регистрирует клиента возвращает клиенту дескриптор (file handle)

Слайд 19

Описание слайда:

Пример экспортирования Экспорт / @polygon(no_root_squash,rw) /usr/ @polygon(no_root_squash,rw) /usr/local @polygon(no_root_squash,rw) /var @polygon(no_root_squash,rw) /home @polygon(no_root_squash,rw)

Слайд 20

Описание слайда:

Блокировки Доступ к частям файла можно блокировать Пока один удерживает блокировку, другой не может ее захватить Lockd Получение и освобождение блокировок Statd Сигнал о перегрузке машины, которая захватила блокировку Блокировка освобождается

Слайд 21

Описание слайда:

Кэширование Кэширование Хранение копии последних изменений для быстрого обращения Уменьшение количества обращений к диску Уменьшение сетевого трафика Увеличение производительности Кэширование на сервере Всегда повышается производительность Конфликтов не возникает Кэширование на клиентах Повышает производительность Проблема поддержания когерентности Кэширование только атрибутов Использование блокировок Специальные протоколы

Слайд 22

Описание слайда:

Версии NFS Версия 2 Протокол UDP Синхронные операции Версия 3 Протокол UDP, TCP Синхронные и асинхронные операции Повышенная безопасность Версия 4 Более эффективное кэширование Работа через Интернет Повышенная безопасность

Слайд 23

Описание слайда:

Особенности NFS Хорошо вписывается в схему файловых систем UNIX Простой Недостатки Плохая защищенность (у старых версий) Исторически рассчитан только на локальные сети (плохо работает в Интернет) За счет модели умный-клиент тупой-сервер плохо отрабатываются блокировки, и распределенность

Слайд 24

Описание слайда:

SMB/CIFS SMB – server message block Протокол для доступа к файловым системам под windows CIFS – Common Internet filesystem

Слайд 25

Описание слайда:

Структура сообщений SMB Все обмены выполняются сообщениями одинаковой структуры Каждое сообщение содержит команду и данные

Слайд 26

Описание слайда:

Протокол – ориентированный на сеансы Установление сеанса Начало передачи файла Передать 4 КБайта Завершить передачу файла

Слайд 27

Описание слайда:

Особенности SMB/CIFS Ориентирован на службы и сеансы Клиент и сервер являются равноправными в плане выполнения логики Реализуются сложные схемы блокировок, прав доступа, распределенности Недостатки Есть разные реализации (IBM, Microsoft) Как правило закрытый протокол

Слайд 28

Описание слайда:

Автомонтирование При обращении к некоторому каталогу автомонтирования система автоматически монтирует соответствующий каталог с сервер Создается иллюзия того, что все сервера принадлежат одной файловой системе

Слайд 29

Описание слайда:

Демон amd Работает как nfs сервер С него монтируется файловая система cluster:(pid906) on /net type nfs При обращениии к файловой системе анализируется имя в корневом каталоге – ключ Ключ может интерпретироваться как укажет администратор Имя машины Имя пользователя После интерпретации монтируется соответствующая файловая система с соответствующей машины

Слайд 30

Описание слайда:

Карта монтирования Содержит указание как интерпретировать ключ Для любого ключа ключ интерпретировать как имя машины rhost:=${key} Монтировать все экспортируемые каталоги с машины Монтировать на файловую систему fs:=${autodir}/${rhost}/root

Слайд 31

Описание слайда:

Пример ls /net/node16 drwxr-xr-x 2 root root 2048 Чер 28 04:02 bin drwxr-xr-x 3 root root 2048 Чер 27 12:26 boot drwxr-xr-x 9 root root 12288 Бер 30 15:47 dev drwxr-xr-x 75 root root 5120 Лип 14 16:27 etc drwxr-xr-x 28 root root 4096 Чер 29 17:58 home drwxr-xr-x 2 root root 1024 Сер 12 2004 initrd drwxr-xr-x 8 root root 3072 Кві 24 04:07 lib drwxr-xr-x 5 root root 3072 Чер 28 04:02 lib64 drwx------ 2 root root 12288 Бер 30 15:36 lost+found drwxr-xr-x 2 root root 1024 Чер 21 18:14 media drwxr-xr-x 2 root root 1024 Бер 23 22:50 misc drwxr-xr-x 3 root root 1024 Бер 30 16:10 mnt drwxr-xr-x 2 root root 1024 Бер 30 16:10 net drwxr-xr-x 2 root root 1024 Чер 29 17:59 opt

Слайд 32

Описание слайда:

Возможности автомонтирования Широкий класс файловых систем Сетевые файловые системы Smb, CIFS Program – запуск внешней программы для монтирования Локальные файловые системы (диск, CD)

Слайд 33

Описание слайда:

Другие сетевые файловые системы User Space File System Передача запросов из ядра в пространство пользователя Отработка запросов более интеллектуальной пользовательской программой Sshfs Ftpfs httpfs

Слайд 34

Описание слайда:

Andrew File System (AFS) Carnegie-Mellon University Распределенная файловая система Основные свойства Общее пространство имен Прозрачность расположения Контроль доступа Кэширование Репликация

Слайд 35

Описание слайда:

Распределенность Клиент – машина на которой используется AFS Вся распределенная файловая видится как один каталог (например /aft) Клиент может пользоваться файлом, не зная на каком носителе этот файл находится Сервер – машина, которая предоставляет часть своих ресурсов для общей файловой системы Файлы физически хранятся на серверах Каждый сервер видится как часть логического ресурса файловой системы Файловая система прозрачно для пользователя транслирует имена файлов в полный путь файла на сервере

Слайд 36

Описание слайда:

Основные логические компоненты Корневой каталог (top) Каталог на который монтируется вся файловая система Ячейка (cell) Подкаталоги корневого каталога Набор серверов под общим администрированием Имя ячейки должно быть уникальным Том (volume) Подкаталоги третьего и возможно более низких уровней в иерархии Весь том должен находится на одном физическом носителе (разделе) Каждый том содержит обычную иерархию файловой системы Том – единица администрирования, репликации Том – аналог обычной файловой системы, которую можно монтировать Раздел (partition) Часть физического устройства на котором хранятся данные На одном разделе может хранится один или несколько томов

Слайд 37

Описание слайда:

Пример /afs точка монтирования /afs/jinr.ru ячейка jinr.ru/user/s том jinr.ru/user/s/saa/ файлы одного тома

Слайд 38

Описание слайда:

Свойства Независимость расположения Имя тома в пределах ячейки - уникально При перемещении тома с одного сервера на другой он видится под тем же именем Репликация Можно создавать несколько копий тома для параллельного доступа и резерва Кэширование Клиент может создавать локальные копии данных для повышения быстродействия Локальные копии при изменении обновляются на серверах

Слайд 39

Описание слайда:

Особенности архитектуры Сервера Файловые сервера Аналог NFS сервера Сервера баз данных Информация о физическом положении репликации томов Сервер обновления исполняемых файлов Контроль, чтобы все сервера были одной версии Сервер контроля системы Поддержка общих файлов конфигурации серверов и синхронизация времени Клиенты Менеджер кэширования Контроль локального кэширования файлов и обновлений копий

Слайд 40

Описание слайда:

Структурная схема

Слайд 41

Описание слайда:

Особенности кэширования Клиент создает локальную копию файла с файлового сервера Сервер передает клиенту структуру данных callback При изменениях файла клиент отправляет изменения на сервер Сервер изменяет callback При следующем обращении клиенты получат новый callback Если данные клиентов устарели они перечитывают копию файла

Слайд 42

Описание слайда:

Обеспечение безопасности и устойчивости Возможность установки прав доступа на тому Возможность авторизации с помощью распределенных систем (LDAP, kerberos) Возможность репликации Возможность обнаружения и устранения ошибок

Слайд 43

Описание слайда:

Сравнение c другими fs Преимущества Возможность иметь очень большое количество клиентов и серверов Система обеспечения безопасности Улучшение производительности за счет локального кэширования Недостатки Том не может быть больше размера физического устройства Консистентность кэша не строгая Отличия в поведении от большинства файловых систем Сложность установки и администрирования

Слайд 44

Описание слайда:

Global File System (GFS) Полная прозрачность расположения Строгая консистентность Поддержка журналирования Поддержка высокой надежности Multipass Redundant Возможность изменения размера

Слайд 45

Описание слайда:

Клиенты и сервера Все клиенты – симметричны Каждый клиент содержит полную информацию необходимую для работы Блокировки обслуживаются клиентами Сервера Сервера предоставляют только доступ к физическим носмтелям (как блочное устройство) Не выполняют никакой логики по работе файловой системы

Слайд 46

Описание слайда:

Структурная схема

Слайд 47

Описание слайда:

Основные компоненты Ресурсы Файл Каталог Блок данных Блокировка Блокировки Блокировка чтения Блокировка записи Службы Те, кто предоставляет или обращается к ресурсам Служба блокировок Служба отключения узлов (fencing) Служба файловой системы Служба информации о кластере

Слайд 48

Описание слайда:

Служба файловой системы Задачи (GFS) На каком носителе располагаются данные Организация доступа к данным Доступ к данным Захват блокировки на определенный ресурс (файл, каталог) Доставка последней версии данных Работа с данными Возвращение последней версии данных Освобождение блокировки

Слайд 49

Описание слайда:

Служба блокировки Поддержка распределенных блокировок Восстановление блокировок в результате сбоев Распределенные блокировки захватываются клиентами для ресурсов, которые принадлежат ьклиентам

Слайд 50

Описание слайда:

Служба информации Присоединение к кластеру Heartbeat Сообщения Детектирование сбоев Голосование

Слайд 51

Описание слайда:

Служба отключения узлов Гарантия, что клиенты не будут принимать участие в операциях ввода-вывода Способы Выключение питания Ограничение коммуникаций по сети

Слайд 52

Описание слайда:

Другие распределенные файловые системы MFS Распределенная, симметричная Отсутствие кэширования Миграция процессов к данным Lustre Ассиметричная Кластерная Параллельная PVFS Параллельная