bi роскошь для богатых или насущная необходимость
TRANSCRIPT
All you need is conf.uml2.ru6
BI - роскошь для богатых или насущная необходимость
Семен Тарара
ЛАФ 6, 2015 г.
Все пропало, шеф
Все процессы, проходящие в компании, порождают огромные объемы данных. Для выполнения оптимизации, этих процессов, необходимо провести анализ накопленных данных.
2
ЛАФ 6, 2015 г.
Что такое BI решение?
BI (Business Intelligence) - это методы и инструменты для перевода необработанной информации в осмысленную, удобную форму. Т.е. BI решения позволяют преобразовать данные компании (история продаж, история взаимоотношений с контрагентами и т.п.) в знания, которыми можно оперировать при принятии решений.
BI
3
ЛАФ 6, 2015 г.
На что похоже BI?Data ETL DWH Reporting
Forecasting
Classification
Association rules
OLAP
4
ЛАФ 6, 2015 г.
Откуда берутся данные?
Источники данных для проведения анализа могут быть различными:
• СУБД (ERP система предприятия, CRM и т.п.);
• Внешние структурированные данные (справочники адресов – КЛАДР/ФИАС, телефонный план нумерации и т.п.);
• Внешние неструктурированные данные (стандарты в текстовом виде, письма клиентов, новостные ленты).
5
ЛАФ 6, 2015 г.
Зачем нужен ETL?
ETL – Extracting Transformation Loading (извлечение трансформация загрузка) – общее название инструментов и технологий очистки и предобработки данных.
6
ЛАФ 6, 2015 г.
Как хранить данные для анализа?
DWH – Data Warehouse (хранилище данных) – предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчетов и анализа.
7
ЛАФ 6, 2015 г.
Коротко об OLAP
OLAP (online analytical processing) – многомерный анализ данных.
Продажа
Цена единицыКоличество
Товар
Товарная группа
Клиент
Дата
Месяц
Магазин
Регион
Продажа
Цена единицыКоличество
Товар
Товарная группа
Клиент
Дата
Месяц
Магазин
Регион
8
ЛАФ 6, 2015 г.
Как из данных получают знания?Помимо стандартной отчетности, которую можно строить на основе полученных витрин и хранилищ есть множество подходов и алгоритмов анализа данных, которые разными авторами относятся к Business Intelligence:
• Data Mining;
• Text Mining;
• Машинное обучение.
9
ЛАФ 6, 2015 г.
Как добывают знания?
Data Mining (добыча данных) – совокупность множества различных методов интеллектуального анализа данных. Некоторые из них:• Прогнозирование;• Классификация;• Деревья решений;• Регрессионный анализ;• Анализ временных рядов;• Анализ ассоциативных правил.
10
ЛАФ 6, 2015 г.
Как узнать, что будет завтра?Результатом решения задачи прогнозирования является «предсказанный» с какой-либо точностью результат выполнения заранее известного процесса. Существует три основных метода прогнозирования:
• Статистический;
• Моделирование;
• Экспертный.
11
ЛАФ 6, 2015 г.
Как узнать кто есть кто?
Задача классификации является одной из базовых. Решение задачи классификации часто предшествует другим методам BI, так как выделив схожие объекты сущности, мы можем увеличить точность предположений, делаемых на основе информации о них.
Y
Х
Class 1Class 2
12
ЛАФ 6, 2015 г.
Что решают «деревья решений»?
Дерево решений – средство поддержки принятия решений.
Широкое распространение деревья решений получили в банковской сфере, как простой и эффективный инструмент принятия решения о выдаче кредита.
Клиент 1
Критерий 1 Критерий 2 Решение
Клиент 2
1 3 Да
Нет23Критерий 1 < 2
Критерий 2 > 2
Критерий 2 <= 1Клиент 3 Нет11
Решение
Да
Нет
13
ЛАФ 6, 2015 г.
Предвосхищая ожидания
Анализ ассоциативных правил позволяет решать задачу поиска закономерностей между событиями.
Классическая задача, решаемая с помощью этого метода (созданного изначально специально для неё), – задача анализа корзины покупателя. В результате проведения анализа мы получаем ответ на вопрос, что и с какой вероятностью покупают с товаром X.
14
ЛАФ 6, 2015 г.
Анализ текстов
Text Mining –интеллектуальный анализ текстовой информации. Это анализ текстовой информации для её классификации, выявления данных для проведения других видов анализа, выявления эмоциональной окраски текста, очистки данных и многого другого.
15
ЛАФ 6, 2015 г.
Заключение
В чистом виде вышеперечисленные алгоритмы применяют редко, наиболее интересные и неожиданные результаты приносят всевозможные сочетания методик и подходов.
Например, сегментация по характеристикам жизненного цикла в группах товаров и дальнейшее прогнозирование спроса с использованием экспертных оценок или сегментация по покупательской активности клиентов с дальнейшим использованием анализа ассоциативных правил.
16
ЛАФ 6, 2015 г.
Вопросы?
ЛАФ 6, 2015 г.
Список литературы:
1. Паклин Н. Б., Орешков В. И. Бизнес-аналитика: от данных к знаниям.
2. M.S. Chen, J. Han, P.S. Yu Data mining: an overview from a database perspective.
3. Chaudhuri, Surajit; Dayal, Umeshwar; Narasayya, Vivek (August 2011). An Overview Of Business Intelligence Technology.
4. Habrahabr.ru Hub: Data mining.5. Google it
