sap forum kiev - · pdf filepython, .net — visual ... обработка данных...
TRANSCRIPT
SAP Forum Kiev Ключевые компоненты портфеля
больших данных SAP Павел Волощенко
8 ноября 2014
Internal
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 2
Содержание
От Данных – к Действиям
Примеры применения технологии обработки Больших Данных
Внедрение технологий Больших Данных
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 5
Данные всегда растут: чем дальше, тем быстрее
Полное собрание сочинений А.С. Пушкина в 10 томах
12 MB (формат chm)
Фильм Аватар на Blue-Ray 3D
46 GB – в 4000 раз больше информации
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 6
Большие Данные = 3 V + 2 V
Volume - объём
Velocity - ускорение
Variety - разнообразие
Value - ценность
Veracity - достоверность
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 7
Информация
Данные
Знания
Принятие Решений
Действия
От данных - действиям
Инструментарий
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 9
Требования к платформе
ГЛУБИНА
• Комплексность
• Гранулярность
• Целостность
СКОРОСТЬ
• Время отклика
• Интерактивность
ПРОСТОТА
• Подготовка данных
• Пре-Агрегирование
• Настройка
РЕАЛЬНОЕ ВРЕМЯ
• Самые свежие данные
• Немедленный результат
• Расчёты “на лету”
ШИРОТА
• Большие Данные
• Разнообразные Данные
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 10
Архитектура SAP Big Data Портфель решений – основные компоненты
Database
(SAP HANA, SAP IQ)
Data exchange
Apache Hadoop
Archive Management
Data federation
BI Tools and
Predictive Analysis
Analytic Modeling
Environment
High Performance
Applications
Data exchange
Data replication
Complex event
processor
Data Source
Acquire Store and Process
Analyze & Act
Manage
Data Governance
Hadoop landscape operational
management
Apps & Analytics
Development
Environment
Operate and Optimize
Data Categorization
and Enrichment
Cloud Deployment Choices
(HaaS, HCP, HEC)
Integrated Hybrid Landscapes
SAP Data Management
Portfolio
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 11
Архитектура SAP Big Data – ключевые компоненты SAP HANA
Оборудование
Многоядерная Архитектура
Массиво-параллельное
масштабирование
64-битная адресация к памяти
До 8TB памяти*
100 Гб/сек пропускная способность
Поколоночное и
Построчное
хранение
Компрессия
Партицио-
нирование
Практически неограниченный
размер
Быстрый поиск
Изменчивость и/или
постоянность
Без
Агрегатных
таблиц
Загрузка
только
“Дельты”
Программное обеспечение
Компрессия данных 10X
Массиво-параллельная обработка
вычислений
+ +
+ +
+
In-Memory
Flash
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 12
SAP HANA - особенности
Вычисления в Памяти
Параллелизм
OLAP & OLTP
Построчное и поколоночное хранение
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 13
SYBASE IQ: Аналитическая СУБД
Поколоночное хранение на
основе грида Быстрая обработка сложных
запросов Быстрая загрузка данных
Масштабируемость хранилища в зависимости
от пользователей Поддержка нереляционных
данных
Платформа Независимых
производителей: Linux, Unix, Windows
Независимость системы:
3NF, Star, Flat
Стандартное Взаимодействие ODBC, JDBC, OLE-DB
Стандартный язык:
ANSI SQL
СНАРУЖИ:
• Открытые интерфейсы на
основе стандартов
• обеспечивают продуманную
экосистему
ВНУТРИ:
• Архитектура, как основа для
высокопроизводительного
анализа.
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 14
SYBASE IQ: Аналитическая СУБД
Общая информация Реляционная база данных стандарта ANSI Таблицы по строкам и столбцам Поддержка процедур хранения, функций, схем одновременного чтения/записи функций ANSI 99 SQL , T-SQL, XML, OLAP
Среды приложений Языки программирования C, C++, Java, PHP, Perl,
Python, .NET — Visual Basic и Visual C# Приложения взаимодействуют через ODBC, JDBC, Open Client, Oledb Поддерживается большинство передовых
инструментов бизнес-аналитики
Операционные системы Unix (Solaris, HP-UX, AIX), Windows XP, Linux
Технологии хранения данных FC SCSI, ATA
Sybase IQ 15 Engine
Communications &
Security
Mu
ltiple
x Grid
Man
agem
en
t
Ad
min
istration
Frame
wo
rk
Column Indexing Sub-system
Loading Engine
Storage Area Network
Query Engine
In-Database Analytics
Text Search
Web Enabled Analytics
Info
rmatio
n Life
cycle M
anage
me
nt
Column Storage Processor
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 15
BusinessObjects – портфель решений BI
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 16
BusinessObjects – портфель решений BI
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 17
Hadoop – большой объём за “недорого”
• Параллельная
обработка данных
• Объём измеряется в
петабайтах
(1PB=1024TB)
• Открытый код
• Набор недорогих
серверов
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 18
Hadoop – большой объём за “недорого”
Особенности архитектуры
• Любые типы данных
• Широкий набор
вычислительных
“движков”
• Пока не очень быстро,
но быстро
эволюционирует
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 19
RDBMS, IQ, HANA, Hadoop – что выбрать ?
RDBMS IQ HANA Hadoop
Структурированные
данные
Структурированные
данные
В основном
структурированные
данные
Любые типы
данных (гибкость)
OLTP OLAP OLTP+OLAP OLAP
Не критичные по
времени запросы Быстрая Аналитика
Настоящий режим
Реального Времени
Сравнительно
медленная
Аналитика
Данные на диске Данные на диске Данные в памяти Данные на HDFS
Данные ~< 100 TB Данные ~ 100 TB Данные ~< 100 TB Данные 10 -1000*
TB
Недорого Сравнительно
недорого Разумная цена Совсем недорого
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 20
Взаимодействие “быстрой” и “медленной” аналитики
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 21
Делегирование запросов – Smart Data Access
Smart Data Access позволяет
выполнять запросы SAP HANA на
нескольких устройствах хранения
данных (Query Federation)
Поддерживаемые платформы:
• Sybase IQ
• Sybase ASE
• Hadoop/Hive
• Teradata
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 23
Пример 1 – Formula 1: соревнование команд IT
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 24
Formula 1 – соревнование команд IT
150 сенсорных датчиков
Непрерывный контроль всех показателей, в т.ч.:
• двигатель
• резина
• тормоза
• сцепление
• топливо
• биометрика водителя
1 круг – 2 GB
1 гонка – 3 TB
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 25
Formula 1 – соревнование команд IT.
Продукты SAP
• SAP HANA
• SAP Predictive Analysis
• SAP BO Dashboards
• SAP Mobility Platform
Преимущества
• в 14000 раз быстрее
старой системы
• анализ хода гонки за
время пит-стопа
• немедленное принятие
решения в напряженной
обстановке
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 26
Пример 2 – аналитика отзывов о продуктах
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 28
Основные и Транзакционные данные – SAP HANA
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 29
Отзывы о продукте – интернет-магазин и соц. сети
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 30
Отзывы о продукте – интернет-магазин и соц. сети
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 32
Загрузка данных в SAP HANA: BO Data Services
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 33
Анализ продаж и отзывов – SAP BO Dashboards
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 34
Анализ продаж и отзывов – SAP BO Dashboards
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 35
От данных – к действиям. Архитектура решения
Продукты
• SAP HANA
• SAP BO Dashboards
• SAP BO Data Services
• Hadoop
Преимущества
• структурированные и
неструктурированные
данные в одной системе
• интерактивный анализ
• обоснованное принятие
решения на основе
разнообразной
информации
BO DS BO DS
BO DS
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 36
Пример 3 – превентивное техобслуживание
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 37
Превентивное техобслуживание для более 1000 точек
SAP ESP (Event Stream
Processing) • Situation Detection
• Automated Response
• SAP Data
Service (ETL)
• SAP SLT (Replication)
• SAP Replication
Server (Replication)
SAP HANA / IQ
Hadoop (Under consideration)
Physical
Tables
Virtu
al D
ata
Model
Data Acquisition Data Storage Data Processing and
Movement Data Consumption
Analytic Tools (e.g. Advanced Analysis, Visual
Intelligence, Explorer, R Studio
etc.)
Analytic Apps (e.g.
Extreme Apps)
Smart Data Access
Data Movement
Logical
Views
• ТО для 1000 станций
• данные за текущий год
и 2 года истории
• 50 TB в год
• 100 строк в секунду
• SAP HANA - 8TB RAM
© 2014 SAP SE or an SAP affiliate company. All rights reserved. 38
Превентивное техобслуживание - архитектура
SAP ESP (Event Stream
Processing) • Situation Detection
• Automated Response
• SAP Data
Service (ETL)
• SAP SLT (Replication)
• SAP Replication
Server (Replication)
SAP HANA / IQ
Hadoop (Under consideration)
Physical
Tables
Virtu
al D
ata
Model
Data Acquisition Data Storage Data Processing and
Movement Data Consumption
Analytic Tools (e.g. Advanced Analysis, Visual
Intelligence, Explorer, R Studio
etc.)
Analytic Apps (e.g.
Extreme Apps)
Smart Data Access
Data Movement
Logical
Views
Продукты
• SAP ERP on HANA
• SAP CRM on HANA
• SAP HANA with HPA
• SAP BO Data Services
• SAP Sybase IQ
• SAP NW BW and Portal
• SAP Event Stream
Processor
• SAP Replication Server
Преимущества
• превентивное ТО
• надёжный сервис
• довольные клиенты