🗊Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль «Грамант»

Категория: Технологии
Нажмите для полного просмотра!
Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №1Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №2Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №3Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №4Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №5Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №6Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №7Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №8Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №9Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №10Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №11Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №12Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №13Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №14Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №15Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №16Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №17Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №18Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №19Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №20Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №21Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №22Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №23Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №24Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №25Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №26Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №27Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №28Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №29Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №30Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №31

Содержание

Вы можете ознакомиться и скачать Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль «Грамант». Презентация содержит 31 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации


Слайд 1





Масштабируемая система голосования на базе PostgreSQL PgQ
Сергей Нековаль
«Грамант»
Описание слайда:
Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль «Грамант»

Слайд 2





План доклада
Обзор PgQ
Как мы используем PgQ
Pros & Cons
Описание слайда:
План доклада Обзор PgQ Как мы используем PgQ Pros & Cons

Слайд 3





Вступление
Описание слайда:
Вступление

Слайд 4





Что нужно?
Описание слайда:
Что нужно?

Слайд 5





События
Описание слайда:
События

Слайд 6





Где тут голосование?
Описание слайда:
Где тут голосование?

Слайд 7


Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №7
Описание слайда:

Слайд 8





В наличии на 2008 год:
Суммирование голосов с помощью файлов
Рейтинги обсчитываются раз в день
БД перегружена, статистика запаздывает
Описание слайда:
В наличии на 2008 год: Суммирование голосов с помощью файлов Рейтинги обсчитываются раз в день БД перегружена, статистика запаздывает

Слайд 9





«Китайский» вариант
Описание слайда:
«Китайский» вариант

Слайд 10





Что делать?
Описание слайда:
Что делать?

Слайд 11


Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №11
Описание слайда:

Слайд 12





Skytools
Разработка компании Skype
Open Source
Репликация: Londiste
Очереди: PGQ
Описание слайда:
Skytools Разработка компании Skype Open Source Репликация: Londiste Очереди: PGQ

Слайд 13





PgQ to the rescue
Предоставляет API для работы с очередью
Хранит данные в “event tables”
Можно передавать любые данные в событии
Ориентирован на обработку множества событий (batch)
Описание слайда:
PgQ to the rescue Предоставляет API для работы с очередью Хранит данные в “event tables” Можно передавать любые данные в событии Ориентирован на обработку множества событий (batch)

Слайд 14





Компоненты PgQ
Описание слайда:
Компоненты PgQ

Слайд 15





Ticker
Ротация таблиц
Формирование batches
Контроль доставки batches
Обработка retry-событий
Описание слайда:
Ticker Ротация таблиц Формирование batches Контроль доставки batches Обработка retry-событий

Слайд 16





Consumer
API для SQL, Python, PHP, Java
Обрабатывает не события, а пачки
Описание слайда:
Consumer API для SQL, Python, PHP, Java Обрабатывает не события, а пачки

Слайд 17





В чем польза PgQ
Транзакционность (ничего не пропадает)
Асинхронность (регулируется нагрузка)
Consumer логически отделен от БД
Простота мониторинга (все в БД)
Описание слайда:
В чем польза PgQ Транзакционность (ничего не пропадает) Асинхронность (регулируется нагрузка) Consumer логически отделен от БД Простота мониторинга (все в БД)

Слайд 18





Голосование с помощью PGQ
Описание слайда:
Голосование с помощью PGQ

Слайд 19





Новый вариант
Описание слайда:
Новый вариант

Слайд 20





Сохраняем структуру БД
Сохраняем структуру БД
Front-End (PHP) становится producer-ом
На каждый чих в очередь заносится событие
Memcache: статистика + рейтинги
Описание слайда:
Сохраняем структуру БД Сохраняем структуру БД Front-End (PHP) становится producer-ом На каждый чих в очередь заносится событие Memcache: статистика + рейтинги

Слайд 21


Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №21
Описание слайда:

Слайд 22





Тюнинг очередей
ticker_max_lag (время)
ticket_max_count (число)
Описание слайда:
Тюнинг очередей ticker_max_lag (время) ticket_max_count (число)

Слайд 23





Система как трубопровод
Описание слайда:
Система как трубопровод

Слайд 24


Масштабируемая система голосования на базе PostgreSQL PgQ  Сергей Нековаль  «Грамант», слайд №24
Описание слайда:

Слайд 25





Disk I/O
Описание слайда:
Disk I/O

Слайд 26





Производительность
Vacuum
fsync = off
Asynchronous commit
Описание слайда:
Производительность Vacuum fsync = off Asynchronous commit

Слайд 27





Асинхронность
Где подвох?
Результат часто нужен немедленно
Описание слайда:
Асинхронность Где подвох? Результат часто нужен немедленно

Слайд 28





Куда расти?
Отделение исторических таблиц
Несколько БД с очередями
Skytools 3 cooperative consumers
Предварительное суммирование
Описание слайда:
Куда расти? Отделение исторических таблиц Несколько БД с очередями Skytools 3 cooperative consumers Предварительное суммирование

Слайд 29





Pitfalls
Нельзя узнать длину очереди!
Нельзя очистить очередь!
Текстовый формат событий
Документация аскетична
Описание слайда:
Pitfalls Нельзя узнать длину очереди! Нельзя очистить очередь! Текстовый формат событий Документация аскетична

Слайд 30





Вопросы?
snekoval@gramant.ru
Описание слайда:
Вопросы? snekoval@gramant.ru

Слайд 31





Бонусный слайд
Consumer: lag, last_seen
Описание слайда:
Бонусный слайд Consumer: lag, last_seen



Похожие презентации
Mypresentation.ru
Загрузить презентацию