netezza – to pravé řešení pro vaše náročné analytické potřeby
DESCRIPTION
Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík ([email protected]) 14 . Června 2011. Napříč odvětvími Retail Telekomunikace Digitální media Zdravotnictví Věda a výzkum Finanční instituce Veřejný sektor Energetika. Co Netezza dodává - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/1.jpg)
Netezza – to pravé řešení pro Vaše náročné analytické potřeby
Martin Pavlík ([email protected])14. Června 2011
![Page 2: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/2.jpg)
2
Napříč odvětvímiRetail
TelekomunikaceDigitální media
ZdravotnictvíVěda a výzkum
Finanční instituceVeřejný sektor
Energetika
Co Netezza dodáváVysoce výkonné
appliance
Řešení pro ukládání a dotazování nad PB dat
Datové sklady a pokročilé analýzy
FilozofieJednoduchost po všech
stránkách
Akvizice IBM11.11.2010
Netezza se stává součástí portfolia produktů brandu
Information Management
Co je Netezza?
Firma
Špičková technologie pro oblast datových
skladů
Zaměstnanci500+
Zákazníci500+
Reference400+
Kde působí?Po celém světě
Zejména však v severní Americe
![Page 3: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/3.jpg)
Co Netezza dodáváVysoce výkonné appliance
Řešení pro ukládání a dotazování se nad PB datDatové sklady a pokročilé
analýzy
3
Co Netezza dodáváVysoce výkonné appliance
Řešení pro ukládání a dotazování se nad PB dat
Datové sklady a pokročilé analýzy
Rychlost
Škálovatelnost
Jednoduchost
Chytrost
![Page 4: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/4.jpg)
Co je to appliance v případě Netezzy?
![Page 5: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/5.jpg)
• Aby to bylo komplikované• Aby to bylo hooooodně drahé
Proč appliance?
• Aby to EFEKTIVNĚ FUNGOVALO
A co vlastně má efektivně fungovat?• Vyhodnocování analytických / ad-hoc dotazů
![Page 6: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/6.jpg)
• Není OLTP databázovým serverem– Není vhodná jako db pod ERP, CRM, ...
Co Netezza není?
Kde Netezza fakticky nemá konkurenci?• Náročné
• Analytické dotazy• Ad-hoc dotazy
• Když jsou konvenční technologie maximálně vyladěné• pro konkrétní dotazovací potřebu
• Má co do činění s velmi malým objemem dat
Kdy Netezza obvykle není rychlejší?
![Page 7: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/7.jpg)
AnalytikIT
Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu.
OK. Musíme udělat řadu statistik, nastavit správně indexy a partitioning. 5
dní práce to spraví
![Page 8: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/8.jpg)
Analytik IT
Paráda. Mockrát děkuji.Hned to zkusím.
Hotovo. Můžete spustit Váš analytický dotaz.
![Page 9: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/9.jpg)
Analytik IT
Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak
Ale ale, to jsou k nám hosti. No, tak to máme dalších 5 dní
práce
Neeee !!!Tady se nedá pracovat !
![Page 10: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/10.jpg)
A teď s Netezzou ...
![Page 11: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/11.jpg)
AnalytikIT
Potřeboval bych vyhodnotit závislost mezi vzděláním a
velikosti bytu.
![Page 12: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/12.jpg)
Analytik IT
Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak.S Netezzou můžu dotaz zadat hned.
Odpověď bude za stejnou dobu
IT se může věnovat něčemu jinému
![Page 13: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/13.jpg)
• MPP architektura– Koncept “Shared Nothing”– Rozdělení práce na několik menších úloh
• Velká úloha je rozdělena vertikálně do série menších úloh• Menší úlohy běží paralelně / naprosto nezávisle• Pro každou menší úlohu je přiděleno stejné množství fyzických zdrojů• Komunikace mezi jednotlivými úlohami je jen na začátku a konci
• Přínosy– Obrovské úlohy jsou vykonány ve významně kratším čase– Maximální využitelnost zdrojů
Masivní paralelní architektura“Rozděl a panuj”
![Page 14: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/14.jpg)
Massively Parallel Intelligent Storage
1
2
3
920
ŸŸŸ
Network FabricSMP Host
Front End
Netezza TwinFin Appliance
High-Speed Loader/Unloader
ODBC 3.XJDBC Type 4
OLE-DBSQL/92
Execution Engine
SQL Compiler
Query Plan
Optimize
Admin
Source Systems
Client
High Performance
Loader
3rd PartyApps
DBA CLI
ETL Server
SOLARIS
LINUX
HP-UX
AIX
WINDOWS
TRU64
High-PerformanceDatabase EngineStreaming joins,
aggregations, sorts
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
![Page 15: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/15.jpg)
High-PerformanceDatabase EngineStreaming joins,
aggregations, sorts
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
Execution Engine
Massively Parallel Intelligent Storage
1
2
3
920
ŸŸŸ
Network FabricSMP Host
Front End
Netezza TwinFin Appliance
High-Speed Loader/Unloader
SQL Compiler
Query Plan
Optimize
Admin
SQL
1 2 3
1 2 3
1 2 3
1 2 3
Snippets
1 2 31 2 3
SQL
Source Systems
Client
High Performance
Loader
3rd PartyApps
DBA CLI
ETL Server
SOLARIS
LINUX
HP-UX
AIX
WINDOWS
TRU64
![Page 16: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/16.jpg)
Zpracování toku dat jednotkou S-BladeJádro (Core) FPGA Jádro CPU
Dekomprese dat
Projekce Selekce,Autorizace
Komplexní ∑Joiny, Aggr, atd.
DatováCache
Select sex, age, count(*)From MultiBillionRowTable
Where BirthDate < ’01/01/1967’ And PostCode like ’SW%’
Group by sex, age;
Každý S-Blade obsahuje 8 n-tic s vlastním:• Diskem• Datovou cache• Jádrem FPGA jednotky• Jádrem CPU
![Page 17: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/17.jpg)
High-PerformanceDatabase EngineStreaming joins,
aggregations, sorts, etc.
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
Asymmetric Massively Parallel Processing™
Massively Parallel Intelligent Storage
1
2
3
920
ŸŸŸ
Network FabricSMP Host
Front End
Netezza TwinFin Appliance
High-Speed Loader/Unloader
SQL Compiler
Query Plan
Optimize
Admin
1 2 3
1 2 3
1 2 3
1 2 3
Consolidate
Execution Engine
ODBC 3.XJDBC Type 4
OLE-DBSQL/92
Source Systems
Client
High Performance
Loader
3rd PartyApps
DBA CLI
ETL Server
SOLARIS
LINUX
HP-UX
AIX
WINDOWS
TRU64
![Page 18: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/18.jpg)
18
The Netezza TwinFin™ Appliance
SQL CompilerQuery Plan
OptimalizátorAdministrace
Každý disk je rozdělen na 3 oblasti:Uživatelská data„Swap“ „Mirror“
SMP Servery
Jednotky S-Blade™ (s databázovým
akcelerátorem FPGA)
Disky
![Page 19: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/19.jpg)
19
Produkty rodiny Netezza
Skimmer TwinFinVětšinou jako:• systém pro vývoj• systém pro testování
• Datový sklad• Náročné analytické úlohy
1 TB to 10 TB 1 TB to 1.5 PB
![Page 20: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/20.jpg)
20
Základní přínosy řešení NETEZZA
![Page 21: Netezza – to pravé řešení pro Vaše náročné analytické potřeby](https://reader036.vdocuments.mx/reader036/viewer/2022062816/5681560c550346895dc3cd47/html5/thumbnails/21.jpg)
Konkurenční technologie mají obrovské množství parametrů a databázových objektů, které pomáhají výrazně zlepšovat výkonnost systémů.
Musejí být tedy lepší.
Netezza má celou řadu z nich taky, ale jejich hodnoty si spravuje sama a nezatěžuje tím uživatele.
Používá tedy vlastně jakési implicitní hodnoty parametrů
Jenže v případě Netezzy platí:
Výkonnost systému s implicitními parametry je dostatečnáVýkonnost systému s implicitními parametry je dostatečná
Tak takhle nějak jsem se na to tvářil poprvé, podruhé, ... a ještě mockrát, ...
Těším se na Vaše dotazy
Martin Pavlík+420 731 435 691