parallel data warehouse : the data warehouse consolidation appliance lionel pénuchot

27
#JSS2013 es journées SQL Server 2013 n événement organisé par GUSS

Upload: keelia

Post on 12-Feb-2016

55 views

Category:

Documents


0 download

DESCRIPTION

Parallel Data Warehouse : The Data Warehouse Consolidation Appliance Lionel Pénuchot PDW Center of Excellence. Agenda. Aperçu de SQL Server PDW SSAS + PDW: la dream team Consolidation Les principales évolutions de l’appliance Une démo peut-être ?. Configuration HP. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Les journéesSQL Server 2013

Un événement organisé par GUSS

Page 2: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Les journéesSQL Server 2013

Un événement organisé par GUSS

Parallel Data Warehouse:The Data Warehouse Consolidation Appliance

Lionel PénuchotPDW Center of Excellence

Page 3: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• Aperçu de SQL Server PDW• SSAS + PDW: la dream team• Consolidation• Les principales évolutions de

l’appliance• Une démo peut-être ?

Agenda

Page 4: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS20133/4 Rack

45.3TB (Raw)

Reserved Space (9U)• Data Integration Platform

server• Passive Unit (adds Failover Node)• Future expansion

Reserved Space (8U)• Data Integration Platform

server• Passive Unit (adds Failover Node)• Future expansion

InfinibandInfinibandEthernetEthernet

Control NodeFailover Node

JBOD 1

Compute Node 1Compute Node 2

JBOD 2

Compute Node 3Compute Node 4

JBOD 3

Compute Node 5Compute Node 6

JBOD 4

Compute Node 7Compute Node 8

ReservedSpace

PDW Backplane (6U):• Redundant Infiniband• Redundant Ethernet• Management and control (Active)• Rack Failover Node (Passive)

Base Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75

TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

¼

Rack15.1TB (Raw)

1/2 Rack30.2TB (Raw)

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Full Rack60TB (Raw)

InfinibandInfinibandEthernetEthernet

Failover Node

JBOD 5

Compute Node 9Compute Node 10

JBOD 6

Compute Node 11Compute Node 12

JBOD 7

Compute Node 13Compute Node 14

JBOD 8

Compute Node 15Compute Node 16

ReservedSpace

Extension Base Unit (5U):• Redundant Infiniband• Redundant Ethernet• Rack Failover Node (Passive)

Extension Base Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75

TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75TB

Rack75.5TB (Raw)

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

3 Rack181.2TB (Raw)

1 1/2 Rack90.6TB (Raw)

2 Rack120.8TB (Raw)

InfinibandInfinibandEthernetEthernet

Failover Node

JBOD 9

Compute Node 17Compute Node 18

JBOD 10

Compute Node 19Compute Node 20

JBOD 11

Compute Node 21Compute Node 22

JBOD 12

Compute Node 23Compute Node 24

ReservedSpace

Extension Base Unit (5U):• Redundant Infiniband• Redundant Ethernet• Rack Failover Node (Passive)

Extension Base Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75

TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/Ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Reserved Space (9U)• Data Integration Platform

server• Passive Unit (adds Failover Node)• Future expansion

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/Ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Configuration HP

Page 5: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS20131/3 Rack

22.6TB (Raw)

2/3 Rack45.3TB (Raw)

Full Rack67.9TB (Raw)

Base Unit (6U):• Redundant Infiniband• Redundant Ethernet• Management and Control (Active)• Rack Failover Node (Passive)

Base Unit (10U):• 3 servers in 2U enclosure

• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.

• 1 TB drives• User data capacity: 79

TB

Scale Unit (10U):• 3 servers in 2U enclosure

• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.

• 1 TB drives• User data capacity: 79

TB

Reserved Space (6U)• Passive Unit (adds Failover Node)• Future expansion

InfinibandInfinibandEthernetEthernet

Control NodeFailover Node

JBOD 2

Compute Node 2Compute Node 3

JBOD 1

Compute Node 1

JBOD 5

Compute Node 8Compute Node 9

JBOD 6

Compute Node 7 Scale Unit (10U):• 3 servers in 2U enclosure

• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.

• 1 TB drives• User data capacity: 79

TB

ReservedUse

JBOD 3

Compute Node 5Compute Node 6

JBOD 4

Compute Node 4

JBOD 1

Compute Node 2Compute Node 3

JBOD 2

Compute Node 1

Dell configuration

Page 6: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Architecture logicielDétails généraux

Tous les serveurs sont sous Windows Server 2012 StandardToutes les VMs sont sous Windows Server 2012 StandardLes tâches de type fabric et workload sont dans des VMsFabric VM, MAD01, and CTL partagent un serveurCela permet de réduire le surcoût spécialement pour les petites configurationsL’agent PDW tourne sur tous les hosts et toutes les VMsDWConfig and Admin Console existent toujoursLa technologie Windows Storage Spaces gère le mirroring et les secours, ainsi cela permet de réduire les coûts en utilisant du DAS (JBODs) plutôt que du SAN

Détails du moteur PDWSQL Server 2012 Enterprise Edition (PDW build) sur le control node et sur les compute nodes

Détails sur le stockageSimilaire à la V1Double de datafiles par filegroupPlus de disques physiques en parallèle

Détails logiciels

HST02

HST01

HSA01

HSA02

JBODIB andEthernet

Direct attached SAS

Base unit

CTL MAD FAD VMM

Compute 2

Compute 1

• Window Server 2012 Standard • PDW engine• DMS Manager• SQL Server 2012 Enterprise Edition (PDW build)• Shell databases

• Window Server 2012 Standard • DMS Core • SQL Server 2012 Enterprise Edition (PDW build)

Page 7: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Extensions possibles

DELL Base Active Compute Capacity inc. Spare Total Raw disk: 1TB Raw disk: 3TB CapacityOne third-rack 1 0 3 N/A 1 5 22.65 67.95 79-340 TBTwo thirds 1 1 6 100% 1 8 45.3 135.9 159-680 TBFull rack 1 2 9 50% 1 11 67.95 203.85 238-1019 TBOne & third 2 2 12 33% 2 15 90.6 271.8 317-1359 TBOne & two thirds 2 3 15 25% 2 18 113.25 339.75 396-1699 TBTwo racks 2 4 18 20% 2 21 135.9 407.7 476-2039 TBTwo & a third 3 4 21 17% 3 25 158.55 475.65 555-2378 TBTwo & two thirds 3 5 24 14% 3 28 181.2 543.6 634-2718 TBThree racks 3 6 27 13% 3 31 203.85 611.55 713-3058 TBFour racks 4 8 36 33% 4 41 271.8 815.4 951-4077 TBFive racks 5 10 45 25% 5 51 339.75 1019.25 1189-5096 TBSix racks 6 12 54 20% 6 61 407.7 1223.1 1427-6116 TB

HP Base Active Compute Incr. Spare Total Raw disk: 1TB Raw disk: 3TB CapacityQuarter-rack 1 0 2 N/A 1 4 15.1 45.3 53-227 TBHalf 1 1 4 100% 1 6 30.2 90.6 106-453 TBThree-quarters 1 2 6 50% 1 8 45.3 135.9 159-680 TBFull rack 1 3 8 33% 1 10 60.4 181.2 211-906 TBOne-&-quarter 2 3 10 25% 2 13 75.5 226.5 264-1133 TBOne-&-half 2 4 12 20% 2 15 90.6 271.8 317-1359 TBTwo racks 2 6 16 33% 2 19 120.8 362.4 423-1812 TBTwo and a half 3 7 20 25% 3 24 151 453 529-2265 TBThree racks 3 9 24 20% 3 28 181.2 543.6 634-2718 TBFour racks 4 12 32 33% 4 37 241.6 724.8 846-3624 TBFive racks 5 15 40 25% 5 46 302 906 1057-4530 TBSix racks 6 18 48 20% 6 55 362.4 1087.2 1268-5436 TBSeven racks 7 21 56 17% 7 64 422.8 1268.4 1480-6342 TB

2–56 nodes

15 TB–1.3 PB raw

Up to 6 PB user data

2–3 node increments for small topologies

Page 8: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• PDW + MOLAP• PDW + ROLAP• PDW + TABULAR Direct Query

SSAS + PDW: la dream team

Page 9: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• EnableRolapDistinctCountOnDataSource=1

• ROLAPDimensionProcessingEffort>=300000

• Connexion via le client natif SQL Server SNAC 11.

Les prérequis SSAS

Page 10: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• Inventaire des cubes et de leurs Data Warehouse

• Migration vers PDW– Répliquer les tables de dimensions– Distribuer les tables de faits– Distribuer les tables de dimensions changeantes– Pas d’index– CCI (Clustered Column Store Index)

Prérequis PDW

Page 11: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• Gain processing– Les temps de processing peuvent être réduits à

10% du temps initial.– Le processing tire antièrement partie du réseau

Infiniband de l’appliance– Cubes et dimensions inchangés

• Gain stockage– Pas d’index– Stockage In-memory columnstore .

PDW + MOLAP

Page 12: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• Gain processing– Processing immédiat

• Gain stockage– Pas de données stockée par SSAS– Pas d’index– Stockage In-memory columnstore .

PDW + ROLAP

Page 13: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• Gain processing– Processing immédiat

• Gain stockage– Pas de données stockée par SSAS– Pas d’index– Clustered column store index.

Plusieurs modes– DirectQuery– InMemoryWithDirectQuery– DirectQueryWithinMemory

PDW + TABULAR Direct Query

Page 14: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

PDW

User space

SSAS

ROLAP MOLAP TABULAR

Exemple de consolidation 1

IB

Page 15: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

PDW

User space SSAS SSAS SSAS

Example de consolidation 2

IB

Page 16: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

PDW

User space Sharepoint 2013 + Excel Services

Example de consolidation 3

IB

Page 17: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

• Appliance Update• Fréquence : tous les 6 mois

Les principales évolutions de l’appliance

Page 18: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Région dédiée Hadoop

Appliance préassemblée et préconfigurée Massively Parallel Processing (MPP) jusqu’à 6

PBs In-memory columnstore : jusqu’à 100x plus

rapide Région dédiée Hadoop Requêtes SQL sur données relationnelles et

Hadoop Disponible auprès de HP et Dell

SQL Server Parallel Data Warehouse

Page 19: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Extension du stockage en petabytes Massively Parallel Processing (MPP) parallelise les

requêtes Multiple noeuds avec CPU, mémoire et stockage

dédiés Ajout incrémental de HW pour une augmentation

quasi linéaire en volume et performance Ajout de capacité par incrément dans la même

appliance

Scale OUT

Des Terabytes aux Mult i -Petabytes

Page 20: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Box Software

CloudAppliances

Différentes options de déploiementet solutions hybrides

SQL Server

Hortonworks Data Platform

Parallel Data Warehouse

SQL Server for data warehousing in Windows Azure

VMs

HDInsight for Windows AzureSQL Server Fast Track

Page 21: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Explorer les données non-relationnelles

Gère les données non-relationnelles 100% Apache Simplicité of Windows Hadoop sous toutes les formes :

software, appliance, cloud

“Big Data” avec s impl ic i té

Non-relational

Windows Azure

Parallel Data Warehouse

Hortonworks Data Platform

Hadoop cluster in HDP for Windows and HDInsight

Page 22: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Intégration relationel et non-relationel

Requête relationelle et Hadoop en parallèle

Requête unique Pa besoin d’ETL d’Hadoop vers DW Requête Hadoop à l’aide de T-SQL

Re q u ê t e re l a t i o n e l l e + n o n re l a t i o n e l l e

SQL Résultat

Données relationelles

PolyBase

Requête integrant PolyBase in SQL PDW

Page 23: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Démo

Page 24: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Questions ?

Page 25: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013

Merci à nos sponsors

Page 27: Parallel  Data  Warehouse : The Data  Warehouse  Consolidation Appliance  Lionel Pénuchot

#JSS2013#JSS2013