Download - Большие Данные
Леонид Жуков Факультет Бизнес Информатики
[email protected] Высшая школа экономики, Москва, 2013
www.hse.ru
XII Международный Инвестиционный Форум Сочи-2013
Высшая школа экономики, Москва, 2013
Революция Больших Данных
фото
фото
фото Май 2011
2
Высшая школа экономики, Москва, 2013
Революция Больших Данных
фото
фото
фото
3
Высшая школа экономики, Москва, 2013
Большие Данные
фото
Явление характеризуемое быстрым увеличением объема
накапливаемых данных, скорости их поступления и разнообразии источников
• «Три V» характеристика: • Объем (Volume) • Скорость ( Velocity) • Разнообразие (Veriety)
4
Высшая школа экономики, Москва, 2013
Источники данных
фото
фото
фото
5
Высшая школа экономики, Москва, 2013
Скорость поступления данных
фото
фото
6
2012: • Twitter: 175 млн tweet сообщений в день • Facebook: 300 млн загруженных фото в день • Google: 1.2 триллиона запросов за год • AT&T передает 30 PB в день • Walmart > 1 млн продаж в час • Кредитные карты > 10,000 транзакций в секунду • Boing 787 передает 0.5 TB телеметрических данных
за полет, 100 тыс. рейсов в день
Библиотека Конгресса США содержит 33 млн книг, всего 150 млн печатных изданий: 235 TB
Высшая школа экономики, Москва, 2013
Объемы данных
фото
фото
фото
В 2011г «Цифровая Вселенная»
1.8 ZETTABYTES 1,800,000,000,000,000,000,000
Zetta Exa Peta Tera Giga Mega Kilo Byte
К 2015 объем данных вырастет до 8 ZB, к 2020 в 44 раза до 35 ZB 7
9 млн Библиотек Конгресса США 60 млрд iPhone 32 GB
Высшая школа экономики, Москва, 2013
Технологии Больших Данных
фото
фото
фото
• Основы технологии разработаны в Google
2003, MapReduce • Открытое ПО, Hadoop (Yahoo) • Система массивно параллельной
обработки данных на кластерах дешевых компьютеров
• Значительное удешевление хранения • Экосистема Биг Дата стартапов:
Cloudera, MapR, HortonWorks • Крупные вендоры EMC, IBM, HP, Oracle • Большой вклад в открытые проекты:
Facebook, Twitter, Amazon, LinkedIn
8
Высшая школа экономики, Москва, 2013
Большие Данные
фото
фото
фото
Уникальность подхода Больших Данных заключается в агрегировании огромной информации из разных источников в одном месте
• Обобщенные вид на данные позволяет находить скрытые связи и закономерности
• Данные обладают огромной предсказательной силой
• Доступны вычислительные мощности достаточные для очень детальных расчетов
9
Высшая школа экономики, Москва, 2013
Галерея проектов
фото
фото
Примеры компаний и проектов с Большими Данными • Сбор и обработка массивов данных • Стартапы, небольшие проекты • Частное и государственное финансирование • Социальная направленность (social course)
10
Высшая школа экономики, Москва, 2013
Большие Данные в городе: умный и удобный город
фото
фото
фото
Сан-Франциско: датчики парковки, датчики скорости транспортных потоков, GPS в общественном транспорте
Использование: • нахождение свободных парковок • точное время прибытия общественного транспорта
11
Высшая школа экономики, Москва, 2013
Большие Данные в городе: безопасный город
фото
фото
фото
Лос-Анджелес: предсказания преступлений
LAPD (predictive policing, 2011-2013): • Определение мест и времени с повышенной
вероятностью совершения преступлений • Исторические данные о преступности в городе
(80 месяцев), демографические и др. данные, социологические модели
• Преступления против собственности снизились за год на 12%
• UCLA, UC Santa Cruz
12
Высшая школа экономики, Москва, 2013
Большие Данные в экономике
фото
фото
фото
13
• MIT научный проект, Billion Prices Project • Ежедневно собирают с е-магазинов цены на
товары: • > 900 магазинов, 70 стран, 5 млн товаров
• Автоматически вычисляют: • Индекс потребительских цен • Уровень инфляции
• Бюро Статистики труда: 90 городов, 80,000 товаров, сотни сотрудников, $250 млн в год, задержка 2-4 недели
The key advantage of our series is the ability to anticipate major shifts in underlying inflation trends
7 Source: BPP – PriceStats – BLS (CPI-U, US city-average, all items, NSA)
Example: State Street PriceStats US Aggregate Inflation Series
online
09/15/2008 Lehman’s Bankruptcy
January 2011
May 2011
12/20/2008
Jan 2012
Высшая школа экономики, Москва, 2013
Большие Данные для здоровья
фото
фото
фото
14
Платформa мониторинга астмы и других респираторных заболеваний • Помогать пациентам и врачам лучше справляется
с заболеванием • Ингаляторы с встроенными сенсорами,
мобильные приложения • Дневник пациента, доступен врачу онлайн • Неотложная помощь • Глобальная аналитика по заболеванию
Системы self-мониторинга (quantify-self ): • Fitbit, Jawbone: физические нагрузка • Wahoo: сердечный ритм • Zeo: ночной сон (EEG) • AliveCor: одноканальная кардиограмма (ECG)
Высшая школа экономики, Москва, 2013
Большие Данные в образовании
фото
фото
фото
Платформа онлайн обучения • MOOC (Massive Online Open Course) • “Ivy League” для масс • Лучшие курсы лучших университетов • Повсеместная доступность • Универсальность программы обучения • Бесплатное обучение • Coursera, edX, Udemy
Coursera: • Первые 2 курса из Стэнфорда в 2012 • 80 университетов, 400 курсов • 200,000 студентов на курсе • 4.5млн обучаемых
15
Высшая школа экономики, Москва, 2013
Государство и Большие Данные
фото
Государство является крупнейшим производителем, потребителем и хранителем данных Переход к технологиям Больших Данных может:
• Увеличить эффективность управления • Обеспечить прозрачность принятия решений • Укрепить безопасность государства и граждан • Улучшить медицину и медицинское обслуживание • Поднять общий уровень образования • Персонализировать взаимодействие граждан с
органами государственной власти и местного самоуправления
• Улучшить жизнь граждан
16
101000, Россия, Москва, Мясницкая ул., д. 20 Тел.: (495) 621-7983, факс: (495) 628-7931
www.hse.ru