oracle data warehouse mit big data neue horizonte für das data warehouse ermöglichen alfred...
Post on 05-Apr-2015
117 Views
Preview:
TRANSCRIPT
Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen
Alfred Schlaucher, Detlef Schroeder
DATA WAREHOUSE
Big Data Buzz Word oder eine neue Dimension und Möglichkeiten
Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten
Cloudera Framwork
„Connectors“ in die neue Welt Oracle Loader for Hadoop und HDFS
Big Data Appliance
Mit Oracle R Enterprise neue Analyse-Horizonte entdecken
Big Data Analysen mit Endeca
Themen
Was hat uns bisher interessiert?
Sales & Mktg
Information Technology
Engineering
Supply Management
Service
Finance
Sales & Operational Planning
Production
Warum und wie Big Data jetzt?
New Business Opportunities
Kosten und andere AnalysenNeue Wege der
Datenerzeugung
• Beiläufig entstehende Daten• Maschinen-generiert• Kommunikation• Geo-Bezüge
• Was sind interessante Daten• Wie sind sie zu speichern• Welche Analysetechnik /
Verfahren• Welche Kosten entstehen
Use Case gibt es viele
Use Cases
• Financial Service• Freizeit• Automaten / Logistik• Automotive• Retail
Ein potentieller Fall
Ein Börsen-Unternehmen misst permanent alle relevanten Aktienkurse über einen längeren Zeitraum.In dem Data Warehouse sind alle Entwicklungen,alle Ups und Downs der letzten 10 Jahre genau dokumentiert.
Offen aber bleiben Frage wie:
• Warum sind diese Ups und Downs zu bestimmten Zeiten entstanden?
• Beeinflussen öffentliche Nachrichten den Aktienhandel?
Parallel zu dem Data Warehouse sammelt das Unternehmen alleöffentlich zugänglichen Nachrichten.Gesucht werden bewertende Aussagen zu Zeitpunkten der Aktienbewegungen.
In vielen Lebenssituationen erzeugen wir beiläufig und permanent Daten (z. T. ohne es zu wissen oder zu bemerken)
Potential für neue Analysen und Geschäftsmodelle
Potential für neue Analysen und Geschäftsideen
• 50 Kontaktpunkte / Skifahrer / Tag• 10 KB pro Kontaktpunkt
-> 500KB pro Skifahrer / Tag• Bei 20 Millionen Skifahrer in den
Alplen/Jahr und durchschnittlich 10 Tagen Aufenthalt sind das -> 10 TB / Tag-> 100 TB insgesamt
• Personendaten• Herkunft (Wohnort)• Kartenkaufort• Alter (Geb. Datum)
• Nutzungszeitraum• Monat / Woche / Tag• Tageszeit• Nutzungshäufigkeit
• Wetterdaten• Pistendaten
• Schneeverhältnisse• Schwierigkeitsgrade• Höhenmeter
• Liftdaten• Auslasung
Maschinendaten Vergleichsdaten / DWH
Technologisch erweiterte Möglichkeiten
1980 2010
Bitte nicht als Zigarettenwerbung verstehen. Wir finden Rauchen nicht gut!
• 120000 Automaten / Deutschland• Alle Automaten über Sensorik erfasst und zentral abrufbar• Füllstände, Sensoren in der Mechanik der Geräten • Wartungszyklen, Routenplanung für Service-Techniker
Auto:Der fahrende Computer > 200 Sensoren / Auto
Reifendruck
KraftstoffverbrauchDrehzahl
Beschleunigung
Bremskraft
Getriebeeinstellung
Leerlaufverhalten
Stromverbrauch
Aktivierte Stromverbraucher
Temperatur innen / aussen
Motortemperatur
Öldruck
Kühlwasser
Regenfühler
Fahrpedalgeber
Bremspedalgeber
10 KB / Km (?????)10 MB / Tankfüllung10 TB / Tankfüllung / 1 Mill Autos500 TB / 50.000 km / 1 Mill Autos
1 MB / Km (?????)1 GB / Tankfüllung100 TB / Tankfüllung / 1 Mill Autos5 PB / 50.000 km / 1 Mill Autos
Big Data in der Auto-IndustrieVielfältige Einsatzgebiete
Welche Daten werden gesammelt Verwendung “Use Case”
Komponenten-Sensoren(z. B. Öldrück, Temperatur etc.)
Vorhersage von Pannen Individuellle Service Pläne
Welche Stromverbraucher werden wie oft genutzt
Welche Extras werden genutzt und sind wirklich wichtig
Effektiveres MarketingEingang in F&E
Brems- / Beschleunigungsdaten,Fahrleistung, Schaltverhalten
Messen des individuellenFahrverhaltens
Rekonstruktion von UnfällenIndividuelle Versicherungsangebote
GPS-Geo-PositionenWo befindet sich das Fahrzeug
Wo befindet sich das FahrzeugWelche Strassen werden genutzt
Proactive engagement
Bessere Grundlagen für künftige Anforderungen (Gelände etc.)
Verbrauchsdaten Wer braucht wann und wo und wieviel Treibstoff .Messen des Tankverhaltens.
Genauere Grundlage für Tankstellenplanung
Genauere KundenanalysenMehr als nur klassische Sortimentsanalysen
Business Problem Neue Art der Analyse Nutzen
Zielgenauere Werbebotschaften
Minimieren von Werbeaufwand
Bessere Zielgruppen-orientierung
Kaufgewohnheiten Kundenbindung
Detailliertere Kundenprofile
Hinzuziehen von zusätzlichen Informationsquellen
Co-Varianz-Analysen Emails Web logs
Effizienteres Marketing Umsatzsteigerung Schärfung des
Sortiments
Massenmarkt-Retailer
Soziale StadtpläneWo in bewegen sich zu welchen Zeiten die meisten Menschen
MEDIA/ENTERTAINMENTViewers / advertising effectiveness
COMMUNICATIONSLocation-based advertising
EDUCATION &RESEARCHExperiment sensor analysis
CONSUMER PACKAGED GOODSSentiment analysis of what’s hot, problems
HEALTH CAREPatient sensors, monitoring, EHRsQuality of care
LIFE SCIENCESClinical trialsGenomics
HIGH TECHNOLOGY / INDUSTRIAL MFG.Mfg qualityWarranty analysis
OIL & GASDrilling exploration sensor analysis
FINANCIALSERVICESRisk & portfolio analysis New products
AUTOMOTIVEAuto sensors reporting location, problems
RETAILConsumer sentimentOptimized marketing
LAW ENFORCEMENT & DEFENSEThreat analysis - social media monitoring, photo analysis
TRAVEL &TRANSPORTATIONSensor analysis for optimal traffic flowsCustomer sentiment
UTILITIESSmart Meter analysis for network capacity,
Weitere Big Data Use Cases In allen Branchen
ON-LINE SERVICES / SOCIAL MEDIAPeople & career matchingWeb-site optimization
Challenged by: Data Volume, Velocity, Variety
Acquire Organise Analyse, Decide &Deliver
Semi strukturierte Daten
Unstrukturierte Daten
Strukturierte Daten
TextClickstreamWeb content
Logs
ProfileTransaktionenVertriebswegeAbsatzdaten
KundenprofileExterne DatenSocial Media
Blogs, Feeds, Forum
NOSQL
Relational
High volumn, lowLatency-Daten-Streams
Marktdaten, News
OLTP:Bank, PoS, Credit Card
Complex event processing
Transaction EventCorrelation
HDFSBatch bulk load
Social Media, Mails,Briefe, Verträge
Texte, Dokumente
Low value densitydata processing
User DefinedAlgorithms
StatisticalAnalysis
High value dataprocessing
FilterClassifycorrolate
HDFSReduced data set
KundenprofileAngereicherte Wissensablage
TransaktionenAggregate
Kennzahlen
Analyse Tools
Smart VisualisierungLeicht durchführbare
Abfragen
Kundenvorlieben(Sentiments Analyse)
Massendaten-Analyse
Predictive Analysen
Realtime undSelbstlernend
Stateless DeliveryUnterschiedliche
Kanäle
Mobile
Tablet
Web
Office
„New Data“ Paradigma
Acquire Organise Analyse, Decide &Deliver
Semi strukturierte Daten
Unstrukturierte Daten
Strukturierte Daten
TextClickstreamWeb content
Logs
ProfileTransaktionenVertriebswegeAbsatzdaten
KundenprofileExterne DatenSocial Media
Blogs, Feeds, Forum
NOSQL
Realtional
High volumn, lowLatency-Daten-Streams
Marktdaten, News
OLTP:Bank, PoS, Credit Card
Complex event processing
Transaction EventCorrelation
HDFSBatch bulk load
Social Media, Mails,Briefe, Verträge
Texte, Dokumente
Low value densitydata processing
User DefinedAlgorithms
StatisticalAnalysis
High value dataprocessing
FilterClassifycorrolate
HDFSReduced data set
KundenprofileAngereicherte Wissensablage
TransaktionenAggregate
Kennzahlen
Analyse Tools
Smart VisualisierungLeicht durchführbare
Abfragen
Kundenvorlieben(Sentiments Analyse)
Massendaten-Analyse
Predictive Analysen
Realtime undSelbstlernend
Stateless DeliveryUnterschiedliche
Kanäle
Mobile
Tablet
Web
Office
„New Data“ Paradigma
Acquire Organise Analyse, Decide &Deliver
Semi strukturierte Daten
Unstrukturierte Daten
Strukturierte Daten
TextClickstreamWeb content
Logs
ProfileTransaktionenVertriebswegeAbsatzdaten
KundenprofileExterne DatenSocial Media
Blogs, Feeds, Forum
NOSQL
Realtional
High volumn, lowLatency-Daten-Streams
Marktdaten, News
OLTP:Bank, PoS, Credit Card
Complex event processing
Transaction EventCorrelation
HDFSBatch bulk load
Social Media, Mails,Briefe, Verträge
Texte, Dokumente
Low value densitydata processing
User DefinedAlgorithms
StatisticalAnalysis
High value dataprocessing
FilterClassifycorrolate
HDFSReduced data set
KundenprofileAngereicherte Wissensablage
TransaktionenAggregate
Kennzahlen
Analyse Tools
Smart VisualisierungLeicht durchführbare
Abfragen
Kundenvorlieben(Sentiments Analyse)
Massendaten-Analyse
Predictive Analysen
Realtime undSelbstlernend
Stateless DeliveryUnterschiedliche
Kanäle
Mobile
Tablet
Web
Office
„New Data“ Paradigma
Zählen von Strings und Mustern
Strukturiert
Unstrukturiert
KlassischesDWH
MassenDaten
Klassische Auswertung
+
Acquire Organise Analyse, Decide &Deliver
Semi strukturierte Daten
Unstrukturierte Daten
Strukturierte Daten
TextClickstreamWeb content
Logs
ProfileTransaktionenVertriebswegeAbsatzdaten
KundenprofileExterne DatenSocial Media
Blogs, Feeds, Forum
NOSQL
Realtional
High volumn, lowLatency-Daten-Streams
Marktdaten, News
OLTP:Bank, PoS, Credit Card
Complex event processing
Transaction EventCorrelation
HDFSBatch bulk load
Social Media, Mails,Briefe, Verträge
Texte, Dokumente
Low value densitydata processing
User DefinedAlgorithms
StatisticalAnalysis
High value dataprocessing
FilterClassifycorrolate
HDFSReduced data set
KundenprofileAngereicherte Wissensablage
TransaktionenAggregate
Kennzahlen
Analyse Tools
Smart VisualisierungLeicht durchführbare
Abfragen
Kundenvorlieben(Sentiments Analyse)
Massendaten-Analyse
Predictive Analysen
Realtime undSelbstlernend
Stateless DeliveryUnterschiedliche
Kanäle
Mobile
Tablet
Web
Office
„New Data“ Paradigma
Zählen von Strings und Mustern
Strukturiert
Unstrukturiert
KlassischesDWH
MassenDaten
Klassische Auswertung
IndividualisiertereSichten+
Acquire Organise Analyse, Decide &Deliver
Semi strukturierte Daten
Unstrukturierte Daten
Strukturierte Daten
TextClickstreamWeb content
Logs
ProfileTransaktionenVertriebswegeAbsatzdaten
KundenprofileExterne DatenSocial Media
Blogs, Feeds, Forum
NOSQL
Realtional
High volumn, lowLatency-Daten-Streams
Marktdaten, News
OLTP:Bank, PoS, Credit Card
Complex event processing
Transaction EventCorrelation
HDFSBatch bulk load
Social Media, Mails,Briefe, Verträge
Texte, Dokumente
Low value densitydata processing
User DefinedAlgorithms
StatisticalAnalysis
High value dataprocessing
FilterClassifycorrolate
HDFSReduced data set
KundenprofileAngereicherte Wissensablage
TransaktionenAggregate
Kennzahlen
Analyse Tools
Smart VisualisierungLeicht durchführbare
Abfragen
Kundenvorlieben(Sentiments Analyse)
Massendaten-Analyse
Predictive Analysen
Realtime undSelbstlernend
Stateless DeliveryUnterschiedliche
Kanäle
Mobile
Tablet
Web
Office
„New Data“ Paradigma
Zählen von Strings und Mustern
Strukturiert
Unstrukturiert
KlassischesDWH
MassenDaten
Klassische Auswertung
IndividualisiertereSichten Direkte
Kundenansprache
Direkte Einflussnahme auf Prozesse
Konkrete Aktionen
+
• Explorative Analyse • Komplexe statistische
Analysen• Agile
Berichtsentwicklung• Massive Skalierung • Real Time Ergebnisse
• Abfragen mit extrem hohen Daten-Durchsatz
• Bearbeitung am Speicherplatz
• Hohe Parallelisierung
• Unvorhersehbares Auftreten• Hohe Datenmengen• Flexible Daten-Strukturen• Arbeiten mit vielen Servereinheiten
Big Data: Infrastruktur Anforderungen
Acquire Organize Analyze
Acquire AnalyzeOrganize
Oracle’s integrierte Software Lösung
Oracle (DW)
Oracle (OLTP)
Schema-less
Unstructured
DataVariety
Schema
InformationDensity
Cloudera
HadoopHDFS
Oracle NoSQL DB
OracleAnalytics
MiningRSpatialGraph
OBI EE
OracleMapReduce
Oracle Hadoop Loader
Acquire AnalyzeOrganize
Oracle Engineered Systems
Schema-less
Unstructured
DataVariety
Schema
InformationDensity
Big DataAppliance
Exadata Database Machine
Exalytics
Oracle Database Management System
Reporting &Publishing
Ad-hoc Analysis
Office Integration
Mobile
Scorecards
Interactive Dashboards
BI Server
Oracle Database Management System
Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement
Dat
a In
tegr
atio
nR
eal T
ime
& B
atch
Any Source
Controlling
Financial
Marketing
Sales
HR
BI Apps
Enterprise Information Layer
Operational Data Layer
Information Layer Architecture Concept
User View LayerData IntegrationLayer InDatabase
ROLAPInDatabase MOLAP
Optimiertes Netzwerk
ServerCluster
OperatingSystem
Optimized Network
StorageHierarchy
Server Cluster
Exadata / Database Machine / Exalytics
Reference Data ModelsData Management Concept
Dynamic Data MartsData Quality Rules Checks&Monitoring
DWH Logistic UtilitiesBusinessCatalogue
TechnicalAuditing
MetadataUtilities
Lifecycle Management Concept
DWH System Monitoring Utilities
DWH Security Utilities
DWH Backup / Recovery Concept
Concept Framework
InDatabase Data MiningRInDatabase
noSQL
Big Data Solution
Big Data Appliance
Exadata
Exalytics
Hadoop
Oracle Produkt-KomponentenData Warehouse / BigData
OLAP (18)
Advanced Analytics (18)
Diagnostic+Tuning (8)
BigData Connectors (1,5)
NoSQL EE (8)
InMemory DB Cache(18) AD Comp (9)
Label Sec (9)
Oracle EE (37)
Partitioning (18)
RAC (8) Spatial (13)
BigData Appliance (400K)
Exadata /DBM (ab 350K) Business Intelligence
Data Integration
Oracle Produkt-KomponentenData Warehouse / BigData
OLAP
Advanced Analytics
Diagnostic+Tuning
BigData Connectors
NoSQL EE
InMemory DB Cache AD Comp
Label Sec
Oracle EE
Partitioning
RAC (8) Spatial
BigData Appliance
Exadata /DBM Business Intelligence
Data Integration
Oracle Produkt-KomponentenData Warehouse / BigData
Advanced Analytics
BigData Connectors
NoSQL EE
BigData Appliance
Oracle R Enterprise
Oracle Data Mining
Oracle Loader for Hadoop
Oracle Direct Connector for HDFS
Oracle R for Hadoop Connector
top related