03 happydev-lite-2015 autumn. Анатолий Никулин. Построение...
Post on 17-Feb-2017
109 Views
Preview:
TRANSCRIPT
Построение высоконагруженных систем на языке компромиссов
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Анатолий НикулинФА АСОИиУ
● Как избежать бардака?
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Где много пользователей - там еще больше данных
Какие данные есть● Персональные данные: ФИО, интересы,
семейное положение, место работы
● Пользовательский контент: фотографии, видео, музыка
● Пользовательская активность: лайки, каменты, запросы в друзья
● Граф друзей● Техническая информация:IP адреса,
фактическое местоположение, поисковые запросы, просмотры профилей, время посещения
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
● Быстро читать
● Быстро писать
● Изощренно искать
● Много данных хранить
● И чтобы надежно
А что нам надо от хорошей СУБД?
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Так не бывает!
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
От того так много разных СУБД
А какие требования к данным?
1. Как быстро писать - читать?
2. Что с ними делать потом?
3. На сколько они должны быть доступны
4. На сколько они должны быть
согласованны
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Всё как всегда
VS
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Read mostly
● Персональные данные: ФИО, интересы, семейное положение, место работы
● Пользовательский контент: фотографии, видео, музыка
- Меняются очень редко. - Допустима eventual consistency- Должны быть высокодоступны на чтение- Должны находиться поближе к потребителю
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Что-нибудь из системс географическим распределением
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Граф друзей
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Водопад событий: Write mostly
● Техническая информация: IP адреса, фактическое местоположение, поисковые запросы, просмотры профилей, время посещения
Терабайты информации:● слабая структурированность● отсутствие высокой доступности● отсутствие произвольного доступа
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Распределенные файловые системы - это не СУБД, но...
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
● храним сжатые log файлы
Аналитические СУБД
● Рекомендации контента● Статистические данные● Массивные параллельные вычисления● Всё что связанно с вычислениями на
больших объёмах структурированных данных
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Финансовые операции
Традиционно RDBMSИбо: ● строгая консистентность● транзакции● да и просто проверенно временем
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
Вопросы?
IT-конференция для студентов и школьников
13 СЕНТЯБРЯ 2015 ОмГТУ
top related