aufbau eines semantic layers zwischen db und hadoop? · oracle certified professional exadata...

Aufbau eines Semantic Layers zwischen DB und Hadoop?

DOAG Konferenz Nürnberg, 18.11.2015 Matthias Fuchs

Public – Company Confidential – Customer Confidential – Sensitive

Über mich

10+ Jahre Erfahrung mit Oracle

Oracle Certified Professional

Exadata Certified

Oracle Engineered Systems

• Exadata

• Exalytics

• Big Data

• Exalogic

DWH, Hadoop, Monitoring, Audit

Senior Solution Architect [email protected]

Twitter: @hias222

Copyright © Capgemini 2015. All Rights Reserved

3 Hadoop_semantic_layer_15_11.pptx

Agenda

Über Capgemini

Semantic Layer

Big Data - Daten und Tools

Datenbank - Hadoop Kombination

Schlussfolgerung

Ausblick Analytic Views

Demo Big Data SQL



Agenda

Über Capgemini

Semantic Layer



Schlussfolgerung


Demo Big Data SQL

Capgemini – eine starke Gruppe

Umsatz nach Branchen* Umsatz nach Geschäftsbereichen*

Telecom, Media

& Entertainment

Other Managed

Services

Local

Professional

Services

Consulting Services

Application

Services

Energy, Utilities

& Chemicals

Others

Public Sector

Manufacturing,

Automotive &

Life Sciences

14%

4%

7% 19%

16%

23%

4%

58% 23%

15%

“Cap Gemini S.A.” ist im CAC 40 gelistet;

Paris, ISIN code: FR0000125338

Unsere Marke ist Capgemini, an der Pariser Börse sind

wir unter “Cap Gemini S.A.” gelistet.

Financial

Services



17%

Customer Products,

Retail, Distribution &

Transportation

Operative Marge : 970 Mio. €

Operativer Gewinn : 853 Mio. €

Jahresgewinn : 580 Mio. €

Netto-Barmittel und bargleiche Mittel : 1.22 Mrd. €

Umsatz 2014: 10,57 Mrd. €

* Stand: 1. Halbjahr 2015 * Stand: 1. Halbjahr 2015

In über 40 Ländern engagieren sich 180.000 Mitarbeiter für unsere Kunden (Stand Juli 2015)

Kanada

USA

Mexico

Brasilien

Argentinien

Europa

Marokko

Australien

China

Indien

Chile

Guatemala

Singapur

Philippinen

Taiwan

Vereinigte Arabische

Emirate

Mitarbeiter Offshore 96.000

Malaysia

Neuseeland

Japan

Südafrika

Kolumbien

Vietnam



Capgemini kombiniert seine hohe fachliche Kompetenz mit fundiertem Branchen-Know-how

Ausgewählte Referenzkunden



Automotive Public Sector

Telecom, Media & Entertainment

Manufacturing, Retail &

Distribution

Financial Services

Energy, Utilities & Chemicals

http://www.de.capgemini.com/insights/referenzen/bundesagentur-arbeit-it-beratung-arbeitslosengeld/

http://www.de.capgemini.com/insights/referenzen/bayerische-versorgungskammer-altersvorsorge/

http://www.de.capgemini.com/insights/referenzen/aok-aufbau-softwarehaus/

http://www.de.capgemini.com/insights/referenzen/deutsche-telekom-t-online/

http://www.de.capgemini.com/insights/referenzen/vodafone-netherlands-customer-management/

http://www.de.capgemini.com/insights/referenzen/telefonica-o2-go-to-market-geo-marketing/

http://www.de.capgemini.com/insights/referenzen/bmw-data-warehouse/

http://www.de.capgemini.com/insights/referenzen/daimler-global-ordering/

http://www.de.capgemini.com/insights/referenzen/volkswagen-gruppe-service42/

http://www.de.capgemini.com/insights/referenzen/johnson-controls-operational-forecasting/

http://www.de.capgemini.com/insights/referenzen/allianz-insurance-customer-service/

http://www.de.capgemini.com/insights/referenzen/thyssen-krupp-anlagenplanung/

http://www.de.capgemini.com/insights/referenzen/tchibo-internationale-handelsplanung-platin/

http://www.de.capgemini.com/insights/referenzen/schenker-transportmanagement-luft-see/

http://www.de.capgemini.com/insights/referenzen/dhl-business-mobile-communications-devices/

http://www.de.capgemini.com/insights/referenzen/syngenta-b2b-portal-sap-crm-sap-bw-sap-erp/

http://www.de.capgemini.com/insights/referenzen/lanxess-globales-reporting-sap/

http://www.de.capgemini.com/insights/referenzen/deutsche-post-elektronisches-auftragsmanagement/

http://www.de.capgemini.com/insights/referenzen/raiffeisenbank-post-merger-integration/



Agenda

Über Capgemini

Semantic Layer



Schlussfolgerung


Demo Big Data SQL

Definition Semantic Layer



A semantic layer is a business representation of corporate data that helps end users access data autonomously using common

business terms. Developed and patented by Business Objects, it maps complex data into familiar business terms such as product, customer, or revenue to offer a unified, consolidated view of data

across the organization.

Unified Semantic View of Information: The Oracle BI Foundation Suite allows an organization to model the complex information sources of their business as a

simple, semantically unified, logical business model. It provides facilities to map complex physical data structures including tables, derived measures, and OLAP

cubes into business terms - abstracting how a business user expresses calculations. It translates familiar, easy to understand business concepts into the

technical details required to access the information. The Oracle BI Foundation Suite is unique in the market because it defines an enterprise semantic layer that

spans across the unified enterprise view of information.

Quelle: http://www.oracle.com/us/obiee-11g-technical-overview-078853.pdf

Semantic Layer

Business Intelligence Semantic Layer Produkte



Quelle: http://www.datasciencecentral.com/profiles/blogs/its-time-to-unleash-the-semantic-layer

Semantic Layer Beispiel OBIEE





Agenda

Über Capgemini

Semantic Layer



Schlussfolgerung


Demo Big Data SQL

Hadoop – Polyglot Persistence



Hadoop

SQL

Not only SQL

Document DB

Key, Value

Hadoop

File System

Bilder, Texte

...

RDBMS

Relational

SQL

Resource Description Framework

Web Semantic

Tripel

Big Data - Tools



Quelle: https://www.linkedin.com/pulse/100-open-source-big-data-architecture-papers-anil-madan

Metadata HCatalog

Engines Interactive, Batch

HCatalog



Entstanden im Rahmen von Hive

Erstellt einen View/Beschreibung auf die Daten im Hadoop Filesystem

Stellt die Daten anderen Applikation zur Verfügung

HCatalog supports

• RCFile, Parquet, OCR

• CSV

• JSON

• SequenceFile (Key, Value)

• Avro (Binary)

Hcatalog Erweiterung

• InputFormat, OutputFormat

• SerDe (Serializer – Deserializer)

• Z.B. Datapump Files

Process Engines



General Purpose Processing Frameworks, Apache Projekte

• MapReduce Erstes Process Framework auf Hadoop, Batchverarbeitung

• Tez schneller als MapReduce, interaktive Datenverarbeitung, in Memory Verarbeitung, Integration in YARN

• Spark Performance ähnlich Tez, auch Standalone möglich

• Weitere wie z.B. Flink – Humboldt Uni Berlin

Auf Basis der Engines laufen viele SQL Frameworks, das wichtigste Hive

Es gibt auch SQL Frameworks mit eigener Process Engine wie z.B. Impala



Agenda

Über Capgemini

Semantic Layer



Schlussfolgerung


Demo Big Data SQL

SQL Zugriff aus Sicht von Hadoop



Hive

MapReduce Spark* Tez

Hadoop Storage HDFS HBase, Kudu **

HA

WQ

Imp

ala

Drill

Processing Layer

SQL Queries

SQL Engines Auswahl

Storage Managers

* Spark SQL über Hive, Hive Spark nicht für Produktion ** Kudu beta

Big

Da

ta S

QL

Query HCatalog

SerDes OTA4H

Hadoop

External Tools

Big Data SQL – Oracle SQL Layer



Oracle Big Data SQL

Cloudera

Hadoop

NOSQL

R Advanced

Analytics

Exadata

Advanced

Analytics

Advanced

Security

Connectors

ODI

Hadoop und Big Data SQL



Storage Layer

Filesystem (HDFS)

Resource Management YARN + MapReduce

Processing Layer

Big Data SQL

Big Data SQL Roadmap



Big Data SQL

1.x - 2014

Erste Version mit Smart Scan auf Hadoop und NoSQL

Optimierte Joins - Bloom filter mit Hadoop Daten

Fan-out Parallelität auf Hadoop

2.0 – 09/2015

Storage Indexes für Big Data SQL

Reduzierter IO – auslassen von HDFS Blöcken aufgrund des Storage Index

Minimierung User Administration

Future

Optimizer – Columnar – Parquet – Partition pruning - Exadata?



Agenda

Über Capgemini

Semantic Layer



Schlussfolgerung


Demo Big Data SQL

Semantic Layer in BI



Reporting Dashboards

DB Hive

Hadoop

Impala

HCatalog

Semantic Layer

Semantic Layer in Hadoop



DB Hive

Hadoop

Impala

HCatalog


Semantic Layer

Semantic Layer in Oracle DB



DB

Hive

Hadoop

Impala

HCatalog Big Data SQL

Semantic Layer


Vergleich Möglichkeiten



Scurity Agile Geschwindigkeit Extensibility

BI Layer External

Auf DB und Hadoop Ebene

Seperate Implementation auf DB und Hadoop

DB hoch, Hadoop abhängig

New Tool New Layer

BI Layer Database

DB Security

One Layer Implementation

Big Data SQL oder Hive, DB hoch

One Layer for Many Tools, Analytic Views

BI Layer Hadoop

Hadoop Security Knox, Sentry

One Layer ImplementationDatalake

Abhängig Verwendung Spark/Tez/MapReduce etc. Streamingdaten

Offen für Trends in Hadoop wie Streaming, Realtime



Agenda

Über Capgemini

Semantic Layer



Schlussfolgerung


Demo Big Data SQL

Kommt in Oracle DB 12.2

Neuer Type von View Basis Business Model und Calculation Hirachien

Datanzugriff auf Tabellen, Views, External Tabellen, Big Data SQL Abfrage der Views mit einfachem SQL und MDX MDX Provider (OLE DB for OLAP) unterstütz Excel Pivot Smart Analytic View -> SQL einfach

Analytic Views DB 12.2



Beispiel Analytic View



Select time_hierachy.member_name as time,

Product_hierachy.member_name as product,

Customer_hierachy.member_name as customer,

Sales as sales,

Sales_ytd_pct_chg_yr_ago as sales_ytd_pct_chg,

Share_product_parent_sales as prod_share_sales

from sales_analysis HIERACHIES

(time_hierachy,

Product_hierachy,

Customer_hierachy)

where

Time_hierachy.level_name = ‚YEAR‘

And Product_hierachy.level_name = ‚Department‘

And Customer_hierachy=level_name = ‚Region

Filters, level der Aggregation

SQL Query:

New Hirachy Objekt



Agenda

Über Capgemini

Semantic Layer



Schlussfolgerung


Demo Big Data SQL

Demo



Load Data über Big Data SQL

Transfer Data

The information contained in this presentation is proprietary.

Copyright © 2015 Capgemini. All rights reserved.

http://www.facebook.com/Capgemini

http://www.linkedin.com/company/capgemini

http://www.twitter.com/capgemini

http://www.youtube.com/user/capgeminimedia

http://www.slideshare.net/capgemini

aufbau eines semantic layers zwischen db und hadoop? · oracle certified professional exadata...

Documents