sap hana: Новая эпоха в data · pdf filesap hana: Новая эпоха в data...
TRANSCRIPT
SAP HANA: Новая эпоха в Data Management
и технологиях разработки.
Сергей Кузин, Старший архитектор бизнес-решений
Апрель, 2015Public
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 2Public
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 3Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop
Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 4Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop
Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 5Public
Что является источником нашей
информации?
Биржевые показатели
Транзакции
Социальные сети
Действия пользователей
Сенсоры
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 6Public
Считывание, фильтрация, анализ и реакция
на миллионы событий в секунду в реальном
времени
Сохранение значимой информации в SAP HANA
и прямая запись потоковой информации в Hadoop
Анализ потоков информации – прямая интеграция
с операционными инфопанелями
Построение моделей обработки потоков
используя декларативный язык (CCL) и графические
модели обработки
Администрирование с помощью SAP HANA
Studio и SAP HANA Cockpit
SAP HANA – Stream EngineВстроенная поддержка обработки потоков данных
Incoming
streams
Strea
m
(push)
SAP HANA
Streamin
g
Service
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 7Public
Основная концепция Stream Engine
Входные потоки данных (окна событий)Данные рассматриваются как поток событий
Выходящий поток
(окно событий)Выполнение «continuous
query» к одному или
нескольким входящим
потокам для получения
результирующего потока
Аналогия к базам данных• Потоки – это таблицы
• События – записи в таблицах
• Поля в событиях – колонки
таблицы
Окна событий имеют свои
параметры• Параметры хранения определяют как
много и как долго события хранятся в
окне событий
• Тип событий автоматически учитывается
при обработке события – автоматически
определяется
добавить/обновить/удалить
информацию в окне
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 8Public
SAP HANA Studio – средство для
создания проектов Stream Engine
Создание и
отладка
проекта
Streaming plug-
in добавляет
новые
перспективы в
HANA Studio
Визуальный и
текстовый
формат
разработки
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 9Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop
Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 10Public
Использование встроенных в SAP HANA механизмов для
загрузки данных из внешних систем. Возможность
использования в собственных приложениях функционала
SAP HANA Smart Data Integration (ETL and Data Quality)
Встроенный функционал Real-time replication,
пакетной загрузки, преобразования и очистки данных
Встроенная среда разработки
– SAP HANA Studio
– SAP HANA WebIDE
Поддержка on-premise и cloud источников
Открытый SDK и преднастроенные адаптеры
SAP HANA – Smart Data IntegrationНовое интегрированное решение для загрузки и очистки данных
Загрузка и обработка данных
SAP HANA EIM
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 11Public
SAP HANA EIMВстроенные возможности интеграции нового
уровня
Упрощение ландшафта, Ускорение, Открытый SDK
Загрузка и обработка данных
SAP HANA EIM
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 12Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop
Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 13Public
Использование дискового пространства и
усовершенствованной технологии поколоночного хранения
Поддержка петабайтных решений – отсутствие ограничений
оперативной памяти
Встроенная технология SAP HANA platform – отсутствие
дупликации данных
– «Push down» обработка запросов
– Поддержка SQL и Calculation View
Оптимизация ТСО и нахождение баланса
производительности/стоимости
– Хранение текущей, часто используемой информации в памяти и
исторических данных на диске
Поддержка SAP решениями. В настоящий момент SAP BW 7.4.
SAP HANA - Dynamic TieringРеализация подхода температуры данных – warm data
Hot Warm
SAP HANA
Хранение больших
объемов данных
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 14Public
Прямой доступ к файловой системе HDFS из
SAP HANA
Использование пользовательских функций
для вызова map-reduce jobs
– SAP HANA Studio как единая среда разработки
для вызова Map Reduce jobs
– Поддержка кэширования выполняемых
функций
Поддержка всех текущих версий
распространения Hadoop (Hortonworks,
Cloudera etc.)
SAP HANA – Hadoop Integration Углубленная интеграция
SAP HANA
vUDF
Operator
RFC Hadoop
Hadoop
Map Reduce
HDFS
YARN
HIVE
Virtual
Tables
SDA
(ODBC)
Spark
SQL
ODBC/
JDBC
SDI
Adapter
Framework
Хранение больших
объемов данных
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 15Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop
Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 16Public
SAP HANA – разработка
собственных приложений$£¥ ©™
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 17Public
HANA Web IDE – новая среда
разработки в SP9$£¥ ©™
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 18Public
Новый графический интерфейс для создания
новых расчетных функций и процедур в HANA
Studio
Исполнение функций в SQLScript
Интеграция с:
– Predictive Analysis Library (PAL)
– Business Function Library (BFL)
– Собственными AFL функциями
– R
Поддержка транспортов между системами
(хранится в HANA repository)
$£¥ ©™
SAP HANA – разработка приложенийНовая среда для написания собственных функций
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 19Public
Более 60 AFL прогнозных алгоритмов реализованных в
SAP HANA
Новые алгоритмы, включая:
– Classification Analysis – Neural network
– Clustering - K-medians
– Feature selection & dimensionality – Principal component
analysis
– Time Series Analysis – ARIMA-X, 2nd order exp smoothing,
forecasting with simple linear regression, seasonal linear
regression, Croston’s method, time series comparison,
forecast accuracy, Brown’s simple exp smoothing
– Top-K Association rule mining – KORD
– …
$£¥ ©™
SAP HANA – разработка приложенийРасширение библиотеки прогнозных функций
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 20Public
$£¥ ©™
Deve
lop
er
too
l e
nh
an
ce
me
nts
• Web-based Development Workbench (Web IDE)
• SQLScript Debugging
• SQLScript Editor
• Calculation View editor
• XSOData editor
• Manual test explorer for XSOData artifacts (app explorer)
• Web Templates and code completion
• Application Preview
• Form based role editor for hdb objects
• Check File Access
• XSUnit integration
• CDS/HDBDD Editor with local semantic code completion
• SAP HANA Answers plug-in
• SAP HANA Studio
• Project set up – artifact generation
• Navigation to XS administration tool
• Run as configuration and execution
• Inactive testing
• XSJS/SQLScript Integrated Debugging
• One click debugging
• Direct editing from Repository Browser
• Refactoring services
• Enhanced artifact templates
• Improved Code Completion (SQLScript, HDBDD, and XSODATA)
• Web Bridge (Run WebIDEeditors within the Studio)
Mo
de
lin
g e
nh
an
ce
me
nts
• Web IDE
• Calculation View editor,
• Analytic Privilege editor
• SAP HANA Studio
• Editor usability
• Value help entity reference
• Calculation Views (Rank node, Table function as data sources)
• Script-based CV enhancements (Table function support, Output column structure import)
• History Views support (time travel support)
• Spatial support: spatial joins, spatial expressions in filters
• Harmonize Development- and Modeler- Studio perspectives
• Harmonize object naming
• Debugging Views with drill-down analysis, join cardinality
• Logging and tracing for modeler plugins (preferences)
• Replace node / replace node with a data source
• Propagate semantics from data sources / extract semantics
XS
Pro
gra
mm
ing
mo
de
l e
nh
an
ce
me
nts
• SMTP support in XS
• XML Parser
• ZIP
• $UTIL (CODEC/CRYPTO)
• Extended CORS support
• X-Frame
• New SQL DB interface
• User Self Service applications
• XSDS
• XSProcedures
• XSUnit
• REST API – Repo API
• Better Technical User support –default connection for user
• Better integration of Web Dispatcher
SQ
LS
cri
pt
en
ha
nc
em
en
ts
• Tooling
• SQLScript Debugging in the Web-based Dev Workbench
• SQLScript Editor in the Web-based Dev Workbench
• SQLScript semantic code completion in the HANA Studio
• Enhanced SQL performance analysis in SAP HANA studio
• Language
• Table type definitions for input parameters
• Table type definitions for intermediate variables
• Autonomous transactions
SAP HANA – разработка приложенийПлатформа для написания собственных приложений
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 21Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop
Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 22Public
Schema X
SAP HANA Instance
App X
Schema Y
App Y
HW
OS
Database
Schema
SAP HANA Instance
App
HW
OS
Database
Одна сехма
Одна база данных SAP
HANA
Несколько схем (MCOD)
Одна база данных SAP
HANA
Schema X
Database
SAP HANA Instance
App X
Schema Y
App Y
Database
SAP HANA Instance
Hypervisor
HW
OS OS
Несколько инстанций SAP
HANA в рамках нескольких
виртуальных машин
Schema X
Tenant DB
SAP HANA Instance
App X
Schema Y
App Y
Tenant DB
HW
OS
Несколько «тенантов» баз
данных
Единый HANA сервер
Prior to SPS09 With SPS09 Multi-tenant
database feature
SAP HANA – Multi-tenantОптимизация использования ресурсов
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 23Public
SAP HANA – Multi-tenantКонцепция работы
Новый слой для администрирования всех
систем - System database
• Информация с топологией всего ландшафта
• Установка глобальных параметров
• Выполнение backup для всех «тенантов»
• Управление ресурсами во всей системе (CPU,
memory, disk для отдельных баз данных)
Доступ к базе по названию «тенанта»
• Установка специфических параметров для
отдельного «тенанта»
• Индивидуальное выполнение backup для
«тенанта»
• Управление пользователями и данными конкретной
базы
*Единая версия SAP HANA
*Единые политики по HA/DR
AS ABAP
Connect to:
HAN.DB’A’
SAP HANA
SID: HAN
HAN.DB A
Any
Application
Connect to:
HAN.<port>
HAN.DB B
HAN.SystemDB
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 24Public
SAP HANA System
SAP HANA – Multi-tenantОрганизация работы в scale-out
конфигурации
Tenant DB A.3
Tenant DB B.1
System DB
(standby)System DB
Tenant DB C
Tenant DB B.2
Tenant DB A.2
System DB
(standby)
Tenant DB D
Tenant DB A.1
HOST 1 HOST 3 HOST 2 Standby (HOST 4)
System DB
(standby)
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 25Public
SAP HANA – Multi-tenantДоступ к данным из разных систем
SAP HANA System
Tenant DB
B
Tenant DB
A
Sca
n
Sca
n
Join
Sca
n
Sca
n
Tenant DB
C
Sca
n
HOST 1 HOST 2
Возможность
выполнения
запросов сразу
по нескольким
«тенантам»*
*на текущий
момент Read
only
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 26Public
SAP HANA Monitoring Dashboard –Единое место отслеживания состояния систем
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 27Public
Подводя итоги
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop
Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved.
Разрабатывайте свои
приложения с SAP HANA!
Кузин Сергей
Эксперт в области баз данных и технологий, SAP СНГ
t: 8(963)672-57-94
E-mail: [email protected]