Василий Суханов — sap — icbda 2015

Ассоциативные правила и анализ больших массивов данных

на платформе SAP HANA

Vasily Sukhanov/ Software engineer

September, 2015 Public

© 2015 SAP SE or an SAP affiliate company. All rights reserved. 2Public

Agenda

Архитектура SAP HANA

Основные компоненты, терминология и базовые понятия

Разработка кода на платформе SAP HANA

Обзор SDK Application Function Library (AFL)

Возможности AFL SDK

Обзор функциональности в составе AFL SDK

Команда COiL в SAP Labs

Цели и задачи


Основные компоненты, терминология и базовые понятия



• Управление данными в памяти – движок in-memory

• Реляционное представление данных в памяти, поддержка языка SQL (спецификации ANSI SQL 92,99,2003,2008)

• Работа с различными уровнями абстракции при обработке данных – движок Graph Engine, Full-Text search, библиотеки базовых

алгоритмов для задач Data Mining, Predictive Analytics и реальных задач – Decision Making, Advertisement targeting, задачи Computer

Vision и т.д.

• Интеграция с различными источниками данных – Smart Data Integration

• Обработка информации в потоковом режиме – Smart Data Streaming

• Интеграция с Hadoop SPARK на основе нового продукта SAP HANA VORA

• Встроенный сервер приложений XS Engine, есть поддержка интеграции с Node.js(в данный момент основной язык XS Engine -

JavaScript ServerSide, планируется поддержка Java, Go, C++ контейнеров в следующей версии XS2)


Обзор SDK Application Function Library (AFL)


Use Case: Поиск ассоциативных связей

Алгоритм Apriori -> SAP HANA Predictive Analytics

Реализован метод поиска в ширину,

Ограничения на длину последовательности,

Время работы алгоритма неприемлемо

Требуется обеспечить время поиска связей ~3 секунд

Для массива с общим количеством покупателей – 30 000 000

Среднее количество транзакций одного покупателя – 10

Основные параметры: SUPPORT, CONFIDENCE



Алгоритм поиска ассоциативных связей – SPAM

Использует поиск в глубину

Предварительно отсортированный массив транзакций

Использует представление последовательности в виде Bitmap

Определяет операции «И» и «ИЛИ» для Bitmap структур

+ эвристику для минимизации вариантов в дереве решений

для достижения высокой скорости вычислений


Обзор функциональности в составе AFL SDK



Разработчику

Возможность встраивать в ядро СУБД кастомный код

Доступ к аллокаторам памяти в СУБД

Доступ к multithreading фреймворку

Прямой доступ к данным в памяти SAP HANA

Возможность использования встроенных методов

защиты от сбоев во время выполнения кода

Возможность встраивания уже разработанных

алгоритмов в состав AFL библиотеки

Пользователю

Доступ к AFL библиотеке как к обычной SQL функции

Моделирование трансформаций данных в RealTime –

использование цепочек Data Flow и использования

алгоритмов AFL и библиотек Predictive Analytics

Работы с разнородными источниками данных

(потоковые данные, реляционные структуры,

представления в виде графа) и возможность запуска

алгоритма реализованного в виде AFL на этих данных

в рамках SQL процедуры

Команда COiL в SAP Labs

Цели и задачи


Команда CoiL в SAP Labs Moscow

• Работа с партнёрами SAP в России и вывод решений StartUp на рынок

• Интеграция решений партнёров в продукты SAP

• Продвижение на рынок продуктов SAP + партнёрских решений

• Реализация совместных проектов с клиентами SAP и партнёрами

• Успешный опыт реализации проектов в России

Василий Суханов — sap — icbda 2015

Data & Analytics