SAS Visual Data Mining and Machine Learning

27 июня 2019 | Алматы

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

От VA до VDMML

Visual Analytics

Visual Statistics Visual Data Mining and Machine

Learning

Базовые процедуры

Процедуры VS

ПроцедурыVDMML

Visual Analytics

SAS, Python, Java,Lua, R, REST APIs

+ Model Studio+ Data Prep GUI

VA VS VDMML

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

• Доступ к разным источникам данных

• Создание новых признаков

• Объединение нескольких источников данных

• Подготовка данных бизнес-пользователями

• Управление качеством данных и профилирование

• Совместная работа

Подготовка данныхSAS Data Studio

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

• Матрица корреляций

• Облако слов

• Гистограммы

• Гео-карты

• Box-plot

• Тепло-карта

Визуальный анализ данныхSAS Visual Analytics

+ более 40 видов визуализаций

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

• Кластеризация k-средних

• Линейная регрессия

• Логистическая регрессия

• Непараметрическая логистическая регрессия

• Обобщенная линейная модель

• Обобщенная аддитивная модель

• Деревья решений

Описательная аналитикаSAS Visual Statistics

+ более 15 алгоритмов в программном интерфейсе

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

• Случайный лес

• Нейронные сети

• Градиентный бустинг

• Машина опорных векторов

• Факторизационные машины

• Байесовские сети

Машинное обучение для бизнес-аналитикаSAS Visual Data Mining and Machine Learning

+ более 25 алгоритмов в программном интерфейсе

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

• Диаграммы процесса анализа данных

• Графический интерфейс + Встраивание SAS кода

• Асинхронное выполнение узлов

• Диаграммы из Visual Analytics

• Набор готовых шаблонов диаграмм

• Создание пользовательских шаблонов

• Графики для интерпретации моделей

Конвейеры анализа данныхSAS Model Studio

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

• Табличное сравнение моделей

• Интерактивная оценка качества моделей

• Графики с показателями качества для разных выборок

• Публикация скорингового кода в CAS, в базу данных*

* Для публикации в СУБД необходима лицензия In-Database Technologies

Сравнение и внедрение моделейSAS Model Studio

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

Автонастройка гиперпараметровалгоритмов машинного обучения

Разнообразные методы автонастройки гиперпараметров

Создание более точных моделей быстрее по

сравнению с ручным перебором

Борьба с переобучением модели за

счет ограничения сложности модели

Повышение предсказуемости модели

на независимом наборе данных

Байесовская оптимизация (суррогатная модель гауссовского процесса, кригинг)

Генетический алгоритм Случайный перебор методом простой случайной выборки

Случайный перебор методом латинского гиперкубаПолный перебор

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

Интерпретация моделейИндивидуальные условные ожидания (ICE)

• 𝑥𝑖1, … , 𝑥𝑖𝑝, 𝑦𝑖 𝑖=1

𝑛

• Модель ො𝑦 𝑥 = 𝐹 𝑥1, … , 𝑥𝑝

• 𝐼𝐶𝐸𝑗∣𝑖 𝑥 = 𝐹 𝑥𝑖1, … , 𝑥𝑖,𝑗−1, 𝑥, 𝑥𝑖,𝑗+1, … , 𝑥𝑖𝑝

• 𝑃𝐷𝑗 𝑥 =1

𝑛σ𝑖=1𝑛 𝐼𝐶𝐸𝑗∣𝑖 𝑥

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

Интерпретация моделейГрафики частичной зависимости (PD plots)

JOBMgr Office Other ProfEXE Sales Self

0.0

0.1

0.2

0.3

0.4• 𝒙𝒊𝟏, … , 𝒙𝒊𝒑, 𝒚𝒊 𝒊=𝟏

𝒏

• Модель ෝ𝒚 𝒙 = 𝑭 𝒙𝟏, … , 𝒙𝒑

• 𝑷𝑫𝒋 𝒙 =𝟏

𝒏σ𝒊=𝟏𝒏 𝑭 𝒙𝒊𝟏, … , 𝒙𝒊,𝒋−𝟏, 𝒙, 𝒙𝒊,𝒋+𝟏, … , 𝒙𝒊𝒑

0.1

0.2

0.3

0.4

Average Prediction for Target Variable

0 25 50 75 100 125 150

DEBT/INC

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

Интерпретация моделейЛокальные интерпретируемые объяснения модели (LIME)

Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.

Моделирование оценки кредитоспособности клиентовс использованием VDMML

Исходные данныеЦелевая переменная

Предикторы

Демонстрация

27 июня 2019 | Алматы