Предиктивная аналитика и big data: методы, инструменты,...
TRANSCRIPT
![Page 1: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/1.jpg)
Предиктивная аналитика и Big Data:
методы, инструменты, решенияМарина Онищенко, Исполнительный директор StatSoft RussiaМилков Максим, Технический директор StatSoft Russia
1
![Page 2: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/2.jpg)
О Dell Statistica
26/10/20152
Многолетний опыт в аналитике с 1984
Более 16,000 аналитических процедур и методов
Более 1 млнпользователей Dell Statistica
Мониторинг процессов и контроль качества в масштабах предприятия
Расширяемая и настраиваемая под задачи пользователей
Обширная сфера применения
![Page 3: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/3.jpg)
Области применения
26/10/20153
• Анализ выживаемости
• Оценка эффективности лекарственных препаратов
• Планирование медицинских исследований
• Анализ результатов клинических исследований
• Оценка рисков заболеваний
и многое другое…
• Прогнозирование нагрузок сети
• Классификация пользователей
• Оценка мощности необходимого оборудования
• Распределение трафика
• Анализ контента интернет-ресурсов
• Планирование промо-акций
и многое другое…
• Контроль качества
• Мониторинг процессов
• Анализ надежности
• Планирование промышленных экспериментов
• Анализ причин потери качества
• Обеспечение стабильности процессов
и многое другое…
• Оценка рисков
• Кредитный скоринг
• Прогнозирование оттока клиентов
• Выявление мошенничества
• Прогноз остатков на счетах
• Мониторинг финансовых показателей
и многое другое…
• Сегментация рынка
• Прогнозирование спроса, продаж
• Выбор оптимального поставщика
• Сравнительный анализ и прогноз цен на товары
• Оценка эффективности рекламы
и многое другое…
Бизнес/
Маркетинг
Медицина/
ФармакологияПроизводство
Телеком/
Интернет
Банковское
дело/Финансы
![Page 4: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/4.jpg)
Аналитические инструменты серии Statistica
26/10/20154
Универсальны
Просты в использовании
Расширяемые, гибкие, настраиваемые
Легко интегрируемые
3M
Инструменты Statistica Enterprise создают наглядную систему управления производственным процессом, облегчают непрерывный процесс улучшения качества, уменьшают время, затрачиваемое на доступ к данным.
ВСМПО
• Statistica является мощной аналитической системой для профессионального анализа, что позволяет решать широкий круг задач любой сложностиe.
• Statistica обеспечивает надежную реализацию статистических методов анализа. Большой выбор графических инструментов.
• Программа полностью переведена на русский язык, включая интерфейс, документацию и справочное руководство.
Центральный банк РФ
Statistica является действительно гибким, мощным, легким в использовании инструментом, позволяющим решать широкий спектр исследовательских задач.
Pepsi
Сбор данных и автоматизация предоставляют широкие возможности для правильного анализа результатов и улучшения производственного процесса.
Казцинк
Основное свойство продуктов линейки Statistica: мощность, простота в использовании, наглядность и эффективность и при этом невысокая стоимость.
![Page 5: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/5.jpg)
Уникальные возможности визуализации
26/10/20155
![Page 6: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/6.jpg)
Специальные программы для вузов
Statistica Ultimate Academic Bundle:
• Statistica Advanced
• Statistica Automated Neural Networks
• Statistica Data Miner, Text Miner
• Statistica Data Visualization
• Statistica Extract, Transform, and Load (ETL)
• Statistica Process Optimization
• Statistica Quality Control (QC)
• Statistica Reporting Tables
• Statistica Sequence, Association and Link Analysis …
26/10/20156
![Page 7: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/7.jpg)
Деятельность StatSoft Russia
26/10/20157
![Page 8: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/8.jpg)
Консалтинг
Отраслевые решения:
• Sales-Forecast
Система автоматизации прогнозирования продаж
большого ассортимента товаров
• Energy-Forecast
Система автоматизации прогнозирования потребления
электроэнергии промышленными предприятиями, отдельными
объектами, регионами
• Map Analytical Tool
система визуализации результатов статистической обработки
на географических картах
• и другие решения
26/10/20158
![Page 9: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/9.jpg)
Web ресурсы
.
26/10/20159
www.statsoft.com
www.statsoft.ru
www.statistica.ru
![Page 10: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/10.jpg)
Клиенты
26/10/201510
![Page 11: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/11.jpg)
26/10/201511
27 октября 2015 г.Открытый семинар StatSoft
![Page 12: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/12.jpg)
Программа
• STATISTICA Big Data Analytics:
новые возможности
• Big Data в электронной коммерции:
взгляд практика
• Data Mining/Text Mining:
предиктивная аналитика
• Big Data в real-time рекламе:
задачи, методы, подходы, решения
• StatSoft Solutions:
автоматизация прогнозирования для retail, энергетики и др.
Обязательна предварительная регистрация на сайте www.statsoft.ru.
26/10/201512
![Page 13: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/13.jpg)
26/10/201513
Dell Statistica Big Data Analytics Solution
![Page 14: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/14.jpg)
Данные
• Управление ресурсами
• Поставщики
• Проектирование
• Контроль качества
• Мониторинг
• Испытания
• Маркетинг/Сбытовики
• Логистика
• База клиентов
• Служба поддержки
• Заявки
• Гарантийные ремонты
• IT-инфраструктура
• Парк оборудования
• Служба безопасности
• Бухгалтерия
• …
Данные в том или ином виде собирают
все
![Page 15: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/15.jpg)
Источников все больше
Развитие технологий по сбору и хранению данных предоставляет
качественно новые возможности
• Сбор информации по отрасли
• Конкуренты
• Отслеживание реакции потребителей (массовый рынок)
• Социальные сети
![Page 16: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/16.jpg)
26/10/201516
Бизнес аналитика – этоПредиктивная аналитика
![Page 17: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/17.jpg)
Business intelligence
• Business intelligence (узк.) - это методы и инструменты для
построения информативных отчётов о текущей ситуации.
– Цель BI — предоставить нужную информацию тому человеку,
которому она необходима в нужное время.
![Page 18: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/18.jpg)
Следующий этап BI
• Business Analytics (Бизнес-аналитика) – это инструменты,
используемые для преобразования, хранения, анализа, моделирования,
доставки и трассировки информации в ходе работы над задачами,
связанными с принятием решений на основе фактических данных.
– Получение знаний о бизнесе, добытых путем углубленного
анализа детальных данных и консолидированной
информации
![Page 19: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/19.jpg)
BI или BA
BI BA
текущий уровень продаж прогноз продаж на неделю/месяц/год
количество клиентов по каналам профили клиентов по поведению/отклику
количество должников/ушедших клиентов предсказание кредитоспособности/ оттока/
мошенничества
число бракованных изделий предотвращение разладки процесса
затраты на маркетинговые акции прогнозирование эффекта маркетинговых
кампаний
количество товаров в заказе анализ корзины, подсказки для кросс-продаж
Описательная аналитика Предсказательная аналитика
![Page 20: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/20.jpg)
Описательная аналитика
Отвечает на вопросы:– Что случилось?
– Почему случилось?
Инструменты:– Отчѐтность
– OLAP
– KPI
– Dashboards
– Прикладная
статистика
![Page 21: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/21.jpg)
Предсказательная аналитика
Отвечает на вопросы:– Что случится?
– Когда случится?
Инструменты:– Прикладная
статистика
– Data mining
– Машинное обучение
– Моделирование
![Page 22: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/22.jpg)
Возможности визуализации
2М/3МНесколько сотен
типов графиков
![Page 23: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/23.jpg)
Все что нужно для анализа
!Огромное количество
процедур и методов
![Page 24: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/24.jpg)
Statistica Big Data Analytics
• SBDA - это Suite, т.е. набор/комплект инструментов
– Набор технологий серии Hadoop из коробки
• Быстро устанавливается и почти не требует конфигурирования
– Набор коннекторов для сбора данных из внешних источников
– Поиск по хранимому контенту
– Встроенные средства аналитики
• Визуализация
• Машинное обучение
– Тесная взаимосвязь со Statistica
24
![Page 25: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/25.jpg)
Что умеет SBDA?
• Crawling – «робот» для сбора данных из различных источников– Локальные документы
• Файловая система
• HDFS
• RDBMS
– Сайты
• Extracting – «парсинг» (обнаружение)– Люди
– Места
– Организации
– Даты
– Ссылки на другие документы
– Биологические термины
– …
![Page 26: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/26.jpg)
Что еще умеет SBDA?
• Преобразования – фильтрация
• простая (линейная)
• случайная
• стратифицированная
• regexp
– группировка
– обработка текста, NLP• частотный анализ
• выделение сущностей
– конвертация
– …
• Анализ – визуализация
– построение сети социальных отношений
– анализ эмоциональной окраски высказываний
– глубокая аналитика на основе Mahout• Без навыков программирования
![Page 27: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/27.jpg)
Визуализация
• Стандартные графики
– Столбчатая диаграмма
– Диаграммы рассеяния
– Круговая диаграмма
– Линейный график
– …
• Геокарты
• Хордовый график
• Древовидная карта
![Page 28: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/28.jpg)
Пример поискового запроса: нефть
![Page 29: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/29.jpg)
Графический интерфейс
• Большинство операций, как и в обычной Statistica делается с помощью
мышки
• Аналогично Statistica Data Miner создаются проекты обработки данных –
Analytics Workflows
– Узлы (Processing Elements)
– Связи
![Page 30: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/30.jpg)
Мониторинг и администрирование
![Page 31: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/31.jpg)
Итак
Dell обладает всесторонним, модульным портфолио, отинфраструктуры до управления информацией и
предиктивной аналитики.
Statistica позволяет Dell конкурировать в технологииБольших Данных и предлагает решения, позволяющие стать предприятию «data driven».
Statistica полная, легкая, масштабируемая и доступная платформа для предиктивной аналитики, приносящая выгоды в любой отрасли.
![Page 32: Предиктивная аналитика и Big Data: методы, инструменты, решения](https://reader031.vdocuments.mx/reader031/viewer/2022020108/58713b4a1a28abf0568b6da3/html5/thumbnails/32.jpg)
Спасибо!
32