sap forum kiev - · pdf filepython, .net — visual ... обработка данных...

41
SAP Forum Kiev Ключевые компоненты портфеля больших данных SAP Павел Волощенко 8 ноября 2014 Internal

Upload: lenhi

Post on 07-Feb-2018

258 views

Category:

Documents


6 download

TRANSCRIPT

SAP Forum Kiev Ключевые компоненты портфеля

больших данных SAP Павел Волощенко

8 ноября 2014

Internal

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 2

Содержание

От Данных – к Действиям

Примеры применения технологии обработки Больших Данных

Внедрение технологий Больших Данных

От Данных – к Действиям

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 4

Данные никогда не спят

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 5

Данные всегда растут: чем дальше, тем быстрее

Полное собрание сочинений А.С. Пушкина в 10 томах

12 MB (формат chm)

Фильм Аватар на Blue-Ray 3D

46 GB – в 4000 раз больше информации

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 6

Большие Данные = 3 V + 2 V

Volume - объём

Velocity - ускорение

Variety - разнообразие

Value - ценность

Veracity - достоверность

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 7

Информация

Данные

Знания

Принятие Решений

Действия

От данных - действиям

Инструментарий

Большие Данные - Платформа SAP

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 9

Требования к платформе

ГЛУБИНА

• Комплексность

• Гранулярность

• Целостность

СКОРОСТЬ

• Время отклика

• Интерактивность

ПРОСТОТА

• Подготовка данных

• Пре-Агрегирование

• Настройка

РЕАЛЬНОЕ ВРЕМЯ

• Самые свежие данные

• Немедленный результат

• Расчёты “на лету”

ШИРОТА

• Большие Данные

• Разнообразные Данные

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 10

Архитектура SAP Big Data Портфель решений – основные компоненты

Database

(SAP HANA, SAP IQ)

Data exchange

Apache Hadoop

Archive Management

Data federation

BI Tools and

Predictive Analysis

Analytic Modeling

Environment

High Performance

Applications

Data exchange

Data replication

Complex event

processor

Data Source

Acquire Store and Process

Analyze & Act

Manage

Data Governance

Hadoop landscape operational

management

Apps & Analytics

Development

Environment

Operate and Optimize

Data Categorization

and Enrichment

Cloud Deployment Choices

(HaaS, HCP, HEC)

Integrated Hybrid Landscapes

SAP Data Management

Portfolio

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 11

Архитектура SAP Big Data – ключевые компоненты SAP HANA

Оборудование

Многоядерная Архитектура

Массиво-параллельное

масштабирование

64-битная адресация к памяти

До 8TB памяти*

100 Гб/сек пропускная способность

Поколоночное и

Построчное

хранение

Компрессия

Партицио-

нирование

Практически неограниченный

размер

Быстрый поиск

Изменчивость и/или

постоянность

Без

Агрегатных

таблиц

Загрузка

только

“Дельты”

Программное обеспечение

Компрессия данных 10X

Массиво-параллельная обработка

вычислений

+ +

+ +

+

In-Memory

Flash

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 12

SAP HANA - особенности

Вычисления в Памяти

Параллелизм

OLAP & OLTP

Построчное и поколоночное хранение

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 13

SYBASE IQ: Аналитическая СУБД

Поколоночное хранение на

основе грида Быстрая обработка сложных

запросов Быстрая загрузка данных

Масштабируемость хранилища в зависимости

от пользователей Поддержка нереляционных

данных

Платформа Независимых

производителей: Linux, Unix, Windows

Независимость системы:

3NF, Star, Flat

Стандартное Взаимодействие ODBC, JDBC, OLE-DB

Стандартный язык:

ANSI SQL

СНАРУЖИ:

• Открытые интерфейсы на

основе стандартов

• обеспечивают продуманную

экосистему

ВНУТРИ:

• Архитектура, как основа для

высокопроизводительного

анализа.

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 14

SYBASE IQ: Аналитическая СУБД

Общая информация Реляционная база данных стандарта ANSI Таблицы по строкам и столбцам Поддержка процедур хранения, функций, схем одновременного чтения/записи функций ANSI 99 SQL , T-SQL, XML, OLAP

Среды приложений Языки программирования C, C++, Java, PHP, Perl,

Python, .NET — Visual Basic и Visual C# Приложения взаимодействуют через ODBC, JDBC, Open Client, Oledb Поддерживается большинство передовых

инструментов бизнес-аналитики

Операционные системы Unix (Solaris, HP-UX, AIX), Windows XP, Linux

Технологии хранения данных FC SCSI, ATA

Sybase IQ 15 Engine

Communications &

Security

Mu

ltiple

x Grid

Man

agem

en

t

Ad

min

istration

Frame

wo

rk

Column Indexing Sub-system

Loading Engine

Storage Area Network

Query Engine

In-Database Analytics

Text Search

Web Enabled Analytics

Info

rmatio

n Life

cycle M

anage

me

nt

Column Storage Processor

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 15

BusinessObjects – портфель решений BI

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 16

BusinessObjects – портфель решений BI

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 17

Hadoop – большой объём за “недорого”

• Параллельная

обработка данных

• Объём измеряется в

петабайтах

(1PB=1024TB)

• Открытый код

• Набор недорогих

серверов

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 18

Hadoop – большой объём за “недорого”

Особенности архитектуры

• Любые типы данных

• Широкий набор

вычислительных

“движков”

• Пока не очень быстро,

но быстро

эволюционирует

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 19

RDBMS, IQ, HANA, Hadoop – что выбрать ?

RDBMS IQ HANA Hadoop

Структурированные

данные

Структурированные

данные

В основном

структурированные

данные

Любые типы

данных (гибкость)

OLTP OLAP OLTP+OLAP OLAP

Не критичные по

времени запросы Быстрая Аналитика

Настоящий режим

Реального Времени

Сравнительно

медленная

Аналитика

Данные на диске Данные на диске Данные в памяти Данные на HDFS

Данные ~< 100 TB Данные ~ 100 TB Данные ~< 100 TB Данные 10 -1000*

TB

Недорого Сравнительно

недорого Разумная цена Совсем недорого

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 20

Взаимодействие “быстрой” и “медленной” аналитики

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 21

Делегирование запросов – Smart Data Access

Smart Data Access позволяет

выполнять запросы SAP HANA на

нескольких устройствах хранения

данных (Query Federation)

Поддерживаемые платформы:

• Sybase IQ

• Sybase ASE

• Hadoop/Hive

• Teradata

Примеры применения технологии обработки

Больших Данных

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 23

Пример 1 – Formula 1: соревнование команд IT

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 24

Formula 1 – соревнование команд IT

150 сенсорных датчиков

Непрерывный контроль всех показателей, в т.ч.:

• двигатель

• резина

• тормоза

• сцепление

• топливо

• биометрика водителя

1 круг – 2 GB

1 гонка – 3 TB

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 25

Formula 1 – соревнование команд IT.

Продукты SAP

• SAP HANA

• SAP Predictive Analysis

• SAP BO Dashboards

• SAP Mobility Platform

Преимущества

• в 14000 раз быстрее

старой системы

• анализ хода гонки за

время пит-стопа

• немедленное принятие

решения в напряженной

обстановке

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 26

Пример 2 – аналитика отзывов о продуктах

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 27

Производство – система SAP ERP

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 28

Основные и Транзакционные данные – SAP HANA

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 29

Отзывы о продукте – интернет-магазин и соц. сети

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 30

Отзывы о продукте – интернет-магазин и соц. сети

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 31

Отзывы о продукте - Hadoop

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 32

Загрузка данных в SAP HANA: BO Data Services

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 33

Анализ продаж и отзывов – SAP BO Dashboards

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 34

Анализ продаж и отзывов – SAP BO Dashboards

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 35

От данных – к действиям. Архитектура решения

Продукты

• SAP HANA

• SAP BO Dashboards

• SAP BO Data Services

• Hadoop

Преимущества

• структурированные и

неструктурированные

данные в одной системе

• интерактивный анализ

• обоснованное принятие

решения на основе

разнообразной

информации

BO DS BO DS

BO DS

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 36

Пример 3 – превентивное техобслуживание

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 37

Превентивное техобслуживание для более 1000 точек

SAP ESP (Event Stream

Processing) • Situation Detection

• Automated Response

• SAP Data

Service (ETL)

• SAP SLT (Replication)

• SAP Replication

Server (Replication)

SAP HANA / IQ

Hadoop (Under consideration)

Physical

Tables

Virtu

al D

ata

Model

Data Acquisition Data Storage Data Processing and

Movement Data Consumption

Analytic Tools (e.g. Advanced Analysis, Visual

Intelligence, Explorer, R Studio

etc.)

Analytic Apps (e.g.

Extreme Apps)

Smart Data Access

Data Movement

Logical

Views

• ТО для 1000 станций

• данные за текущий год

и 2 года истории

• 50 TB в год

• 100 строк в секунду

• SAP HANA - 8TB RAM

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 38

Превентивное техобслуживание - архитектура

SAP ESP (Event Stream

Processing) • Situation Detection

• Automated Response

• SAP Data

Service (ETL)

• SAP SLT (Replication)

• SAP Replication

Server (Replication)

SAP HANA / IQ

Hadoop (Under consideration)

Physical

Tables

Virtu

al D

ata

Model

Data Acquisition Data Storage Data Processing and

Movement Data Consumption

Analytic Tools (e.g. Advanced Analysis, Visual

Intelligence, Explorer, R Studio

etc.)

Analytic Apps (e.g.

Extreme Apps)

Smart Data Access

Data Movement

Logical

Views

Продукты

• SAP ERP on HANA

• SAP CRM on HANA

• SAP HANA with HPA

• SAP BO Data Services

• SAP Sybase IQ

• SAP NW BW and Portal

• SAP Event Stream

Processor

• SAP Replication Server

Преимущества

• превентивное ТО

• надёжный сервис

• довольные клиенты

Внедрение технологий Больших Данных

© 2014 SAP SE or an SAP affiliate company. All rights reserved. 40

Услуги SAP по внедрению Big Data

© 2014 SAP SE or an SAP affiliate company. All rights reserved.

Thank you