Мастер-класс Применение технологии data mining для решения...
DESCRIPTION
Константин Пацера, kmbs (Киево-Могилянская Бизнес-школа)TRANSCRIPT
ПРИМЕНЕНИЕ ТЕХНОЛОГИИDATA MINING
ДЛЯ РЕШЕНИЯ ЗАДАЧКЛИЕНТСКОЙ АНАЛИТИКИ
Пацера Константин[email protected]
+38 067 220 77 16
ВОЗНИКНОВЕНИЕ DATA MININGТенденции в бизнесе, которые привели к возникновению Data miningÒ Возникновение задачи кредитных рисков
Ò Сдвиг ориентации бизнеса от транзакционного маркетинга к маркетингувзаимоотношений (возникновение CRM)
Ò Постепенное понимание, что клиенты являются активом бизнеса
Ò Признание выгод от использования информации для предсказания событий, а не толькоследования за ними
Ò Более широкое использование технологий для управления информацией имаксимизации её ценности
Ò Признание необходимости компромисса между обслуживанием клиентов и получения отних прибыли
Ò Развитие индивидуальных маркетинговых подходов
2
ТЕХНОЛОГИЯ DATA MININGData mining – это процесс выявления в сырых данных ранее неизвестных,
нетривиальных, практически полезных и доступных к интерпретации знаний,необходимых для принятия решений в различных сферах человеческойдеятельности.
Прикладнаястатистика
Теория базданных
Машинноеобучение
Data mining
Неочевидных – это обозначает, чтонайденные закономерности ненаходятся стандартными методамиобработки информации илиэкспериментальным путём.
Объективных – это обозначает, чтонайденные закономерности будутполностью отвечать действительности, вотличие от экспертной точки зрения,которая всегда субъективна.
Практически полезных – этообозначает, что результаты имеютпрактическое применение.
3
ЭТАПЫ РАЗВИТИЯ АНАЛИТИКИ ПРОГРАММЛОЯЛЬНОСТИ
Этап №1. Создание методологииÉ Понятие нового клиентаÉ Понятие активного клиентаÉ Понятие ушедшего клиентаÉ Понятие вернувшегося клиентаÉ …
Этап №2. Создание отчётности
Этап №3. Сегментация и создание клиентской стратегии
Этап №4. Прогностическая аналитикаÉ Задача удержания; задача возвращения; задача привлеченияÉ Задача cross- и up-selling’аÉ Задача выявления мошенничестваÉ Задача выбора каналов контакта с клиентами и времени контактаÉ …
Оценка эффективности маркетинговых кампаний
4
СЕГМЕНТАЦИЯ КЛИЕНТОВСегментация клиентов – процесс разделения клиентской базы насегменты (кластеры), которые не похожи между собой, но клиенты всегментах (кластерах) – однородные.
Типы сегментирования:Ò С точки зрения цели сегментирования:
É …É …É …
Ò С точки зрения процесса сегментирования: (данных длясегментирования!)É Географические характеристикиÉ Социально-демографические характеристикиÉ Поведенческие характеристикиÉ Характеристики стиля жизни
5
ХАРАКТЕРИСТИКИ СЕГМЕНТИРОВАНИЯГеографические характеристики:Ò регионы/областиÒ город/селоÒ размер населённого пунктаÒ “равнины”/“горы”Ò …
Социально-демографическиехарактеристики:Ò полÒ возрастÒ образованиеÒ семейное положениеÒ количество детейÒ доходÒ наличие жилья/автоÒ …
6
Поведенческие характеристики:Ò Использование продуктаÒ Частота использованияÒ Динамические KPIsÒ Участие в акцияхÒ …
Характеристики стиля жизни:Ò Жизненные цели/позицииÒ Ценностный рядÒ Предпочтения в работе/отдыхеÒ Получаемая ценность от
использования продуктаÒ …
Географические, социально-демографические и поведенческие характеристики -базах данных есть!
Характеристики стиля жизни – необходимо дополнительно собирать!
Как правилоесть!J
Если и есть, токачество… А нужно ли ?..
ЦЕННОСТЬ СЕГМЕНТАЦИИДва глобальных результата сегментации:1. Понимание клиентов2. Отслеживание изменений в клиентских сегментах
Сегментация НЕ РЕШАЕТ:Ò проблему Оттока клиентов, но позволит понять причины!
Ò Задачу cross-selling’а и up-selling’а для каждого клиента
Ò Проблему выявления мошенников, но позволит выделить характеристики, которые могутбыть отличными предикторами для нахождения их в клиентских базах
Ò …
Ò И конечно же, не увеличивает долю рынка, не уничтожает конкурента, не увеличиваетдоход компании в N раз (и не решает прочие проблемы информационного спама!)
Ò А также проблемы личной жизни руководстваJ
7
Сегментация клиентов должна быть в каждой компании, если речь идёт о CRM.Сегментация – основа клиентской стратегии.
ПРОГНОЗИРОВАНИЕ ПОВЕДЕНИЯ КЛИЕНТОВ
Задача удержания клиентов (Churn prediction) состоит в определенииклиентов склонных к оттоку.
Задача cross-selling’а состоит в определение клиентов склонных купить продукт,который не покупается в данный момент.
Задача up-selling’а состоит в определении клиентов склонных покупать продукт вбольшем объёме либо чаще, чем в данный момент.
Задача выявление мошенничества (fraud detection) состоит в определенииклиентов, которые занимаются мошенничеством.
8
ПРОЦЕСС ПОСТРОЕНИЯ ПРОГНОСТИЧЕСКИХ МОДЕЛЕЙ
9
База данных
Логистическая регрессияДеревья решенийНейронные сетиДискриминантный анализ…1
000010001001010
Y
12…………………………………n
X1, X2, …, Xkid
= , , …
Выборка “0”
Выборка “1”
000
111
X1, X2, …, Xk Y
Выборка “0”
Выборка “1”
000
111
X1, X2, …, Xk Y
TrTrTTrTTr
Tr
Балансировкаданных
Построениеобучающей (Tr) и
тестовой (T) выборки
КАКИЕ БИЗНЕС-ЗАДАЧИ РЕШАЕТ DATA MINING?
Ò Сегментация клиентов
Ò Удержание клиентов; Возвращение клиентов; Привлечение клиентов
Ò Развитие клиентов и продуктов: cross- and up-selling
Ò Увеличение отдачи от инвестиций и сокращение затрат на продвижение товаров и услуг
Ò Идентификация клиентов, которые приносят прибыль
Ò Оценка кредитных рисков (составление скоринговых карт и разработка скоринговыхмоделей)
Ò Выявление случаев мошенничества, утрат и злоупотреблений
Ò Анализ деятельности интернет-сайта
Ò Оптимальный выбор каналов контакта с клиентом
Ò …
10
СФЕРЫ ПРИМЕНЕНИЯ DATA MININGÒ Для решения бизнес-задач:
Основные направления: телекоммуникационные компании, банки и финансовыеучреждения, страховые компании, продуктовые и непродуктовые сети, компании спрограммами лояльности и/или CRM, производство, электронная коммерция,маркетинг, фондовые рынок и т.д.
Ò Для решения государственных задач:Основные направления: поиск улиц, поиск людей, которые уклоняются от налогов,
проверка таможенных грузов и т.д.
Ò Для решения научных задач:Основные направления: медицина, биология, молекулярная генетика и генная
инженерия, биоинформатика, астрономия и т.д.
Ò Для решения Web-задач:Основные направления: поисковые системы.
11
ЧТО ПРЕДСТАВЛЯЕТ СОБОЙ ПРОЦЕСС DATA MINING?
Data mining базируется на методологии CRISP-DM – (стандартныхмежотраслевой процесс data mining / Cross-Industry StandardProcess for Data mining).
Фазы CRISP-DM:1. Понимание бизнеса: обеспечение чёткого понимания
бизнес-проблем.2. Понимание данных: определение доступных
для исследования данных.3. Подготовка данных: подготовка данных
в необходимом формате для полученияответов на бизнес-вопросы.
4. Моделирование: разработка моделей, которыеотвечают поставленным задачам.
5. Оценивание: тестирование результатовна соответствие целям проекта.
6. Внедрение: предоставление результатов проектатем, кто на их основе будет принимать решения.
7. Мониторинг качества.
12
АНАЛИТИЧЕСКИЕ МЕТОДЫ DATA MININGÒ Кластерный анализ
Ò Факторный анализ
Ò Регрессия (линейная, логистическая, порядковая)
Ò Деревья решений
Ò Нейронные сети
Ò Дискриминантный анализ
Ò Правила ассоциаций
Ò Правила индукций
Ò Выявление последовательностей (последовательные ассоциации)
Ò Поиск аномалий 13
ПРОГРАММНЫЕ ОБЕСПЕЧЕНИЯ, КОТОРЫЕПОДДЕРЖИВАЮТ ТЕХНОЛОГИЮ DATA MININGÒ IBM SPSS Modeler – для работы с
базами данных, для задач бизнес-анализа, бизнес-прогнозирования изадач Data mining.
Ò SAS Enterprise Miner – дляработы с базами данных, для задачбизнес-анализа, бизнес-прогнозирования и задач Data mining.
Ò Teraminer - для работы с базамиданных и задач Data mining.
Ò KXEN – для задач Data mining.
14
СЛОЖНОСТИ ВНЕДРЕНИЯ DATA MINING
Ò Человеческий фактор:É Квалификация пользователя и бизнес-клиентовÉ Понимание бизнеса и понимание данных пользователемÉ Сложность интерпретации результатов
Ò Технологический фактор:É Возможен большой процент неправильных, недостоверных или бессмысленных
результатов
Ò Технический фактор:É Сложность подготовки данныхÉ Наличие достаточного количества репрезентативных данных
Ò Ценовой фактор:É Высокая стоимость построения хранилища данных и программного обеспечения
15