parallel data warehouse : the data warehouse consolidation appliance lionel pénuchot
DESCRIPTION
Parallel Data Warehouse : The Data Warehouse Consolidation Appliance Lionel Pénuchot PDW Center of Excellence. Agenda. Aperçu de SQL Server PDW SSAS + PDW: la dream team Consolidation Les principales évolutions de l’appliance Une démo peut-être ?. Configuration HP. - PowerPoint PPT PresentationTRANSCRIPT
#JSS2013
Les journéesSQL Server 2013
Un événement organisé par GUSS
#JSS2013
Les journéesSQL Server 2013
Un événement organisé par GUSS
Parallel Data Warehouse:The Data Warehouse Consolidation Appliance
Lionel PénuchotPDW Center of Excellence
#JSS2013
• Aperçu de SQL Server PDW• SSAS + PDW: la dream team• Consolidation• Les principales évolutions de
l’appliance• Une démo peut-être ?
Agenda
#JSS20133/4 Rack
45.3TB (Raw)
Reserved Space (9U)• Data Integration Platform
server• Passive Unit (adds Failover Node)• Future expansion
Reserved Space (8U)• Data Integration Platform
server• Passive Unit (adds Failover Node)• Future expansion
InfinibandInfinibandEthernetEthernet
Control NodeFailover Node
JBOD 1
Compute Node 1Compute Node 2
JBOD 2
Compute Node 3Compute Node 4
JBOD 3
Compute Node 5Compute Node 6
JBOD 4
Compute Node 7Compute Node 8
ReservedSpace
PDW Backplane (6U):• Redundant Infiniband• Redundant Ethernet• Management and control (Active)• Rack Failover Node (Passive)
Base Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75
TB
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
¼
Rack15.1TB (Raw)
1/2 Rack30.2TB (Raw)
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
Full Rack60TB (Raw)
InfinibandInfinibandEthernetEthernet
Failover Node
JBOD 5
Compute Node 9Compute Node 10
JBOD 6
Compute Node 11Compute Node 12
JBOD 7
Compute Node 13Compute Node 14
JBOD 8
Compute Node 15Compute Node 16
ReservedSpace
Extension Base Unit (5U):• Redundant Infiniband• Redundant Ethernet• Rack Failover Node (Passive)
Extension Base Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75
TB
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75TB
1¼
Rack75.5TB (Raw)
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
3 Rack181.2TB (Raw)
1 1/2 Rack90.6TB (Raw)
2 Rack120.8TB (Raw)
InfinibandInfinibandEthernetEthernet
Failover Node
JBOD 9
Compute Node 17Compute Node 18
JBOD 10
Compute Node 19Compute Node 20
JBOD 11
Compute Node 21Compute Node 22
JBOD 12
Compute Node 23Compute Node 24
ReservedSpace
Extension Base Unit (5U):• Redundant Infiniband• Redundant Ethernet• Rack Failover Node (Passive)
Extension Base Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75
TB
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/Ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
Reserved Space (9U)• Data Integration Platform
server• Passive Unit (adds Failover Node)• Future expansion
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/Ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
Scale Unit (7U):• 2 HP 1U servers
• (16 cores/ea. Total: 32)• JBOD 5U
• 1 TB drives• User data capacity: 75 TB
Configuration HP
#JSS20131/3 Rack
22.6TB (Raw)
2/3 Rack45.3TB (Raw)
Full Rack67.9TB (Raw)
Base Unit (6U):• Redundant Infiniband• Redundant Ethernet• Management and Control (Active)• Rack Failover Node (Passive)
Base Unit (10U):• 3 servers in 2U enclosure
• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.
• 1 TB drives• User data capacity: 79
TB
Scale Unit (10U):• 3 servers in 2U enclosure
• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.
• 1 TB drives• User data capacity: 79
TB
Reserved Space (6U)• Passive Unit (adds Failover Node)• Future expansion
InfinibandInfinibandEthernetEthernet
Control NodeFailover Node
JBOD 2
Compute Node 2Compute Node 3
JBOD 1
Compute Node 1
JBOD 5
Compute Node 8Compute Node 9
JBOD 6
Compute Node 7 Scale Unit (10U):• 3 servers in 2U enclosure
• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.
• 1 TB drives• User data capacity: 79
TB
ReservedUse
JBOD 3
Compute Node 5Compute Node 6
JBOD 4
Compute Node 4
JBOD 1
Compute Node 2Compute Node 3
JBOD 2
Compute Node 1
Dell configuration
#JSS2013
Architecture logicielDétails généraux
Tous les serveurs sont sous Windows Server 2012 StandardToutes les VMs sont sous Windows Server 2012 StandardLes tâches de type fabric et workload sont dans des VMsFabric VM, MAD01, and CTL partagent un serveurCela permet de réduire le surcoût spécialement pour les petites configurationsL’agent PDW tourne sur tous les hosts et toutes les VMsDWConfig and Admin Console existent toujoursLa technologie Windows Storage Spaces gère le mirroring et les secours, ainsi cela permet de réduire les coûts en utilisant du DAS (JBODs) plutôt que du SAN
Détails du moteur PDWSQL Server 2012 Enterprise Edition (PDW build) sur le control node et sur les compute nodes
Détails sur le stockageSimilaire à la V1Double de datafiles par filegroupPlus de disques physiques en parallèle
Détails logiciels
HST02
HST01
HSA01
HSA02
JBODIB andEthernet
Direct attached SAS
Base unit
CTL MAD FAD VMM
Compute 2
Compute 1
• Window Server 2012 Standard • PDW engine• DMS Manager• SQL Server 2012 Enterprise Edition (PDW build)• Shell databases
• Window Server 2012 Standard • DMS Core • SQL Server 2012 Enterprise Edition (PDW build)
#JSS2013
Extensions possibles
DELL Base Active Compute Capacity inc. Spare Total Raw disk: 1TB Raw disk: 3TB CapacityOne third-rack 1 0 3 N/A 1 5 22.65 67.95 79-340 TBTwo thirds 1 1 6 100% 1 8 45.3 135.9 159-680 TBFull rack 1 2 9 50% 1 11 67.95 203.85 238-1019 TBOne & third 2 2 12 33% 2 15 90.6 271.8 317-1359 TBOne & two thirds 2 3 15 25% 2 18 113.25 339.75 396-1699 TBTwo racks 2 4 18 20% 2 21 135.9 407.7 476-2039 TBTwo & a third 3 4 21 17% 3 25 158.55 475.65 555-2378 TBTwo & two thirds 3 5 24 14% 3 28 181.2 543.6 634-2718 TBThree racks 3 6 27 13% 3 31 203.85 611.55 713-3058 TBFour racks 4 8 36 33% 4 41 271.8 815.4 951-4077 TBFive racks 5 10 45 25% 5 51 339.75 1019.25 1189-5096 TBSix racks 6 12 54 20% 6 61 407.7 1223.1 1427-6116 TB
HP Base Active Compute Incr. Spare Total Raw disk: 1TB Raw disk: 3TB CapacityQuarter-rack 1 0 2 N/A 1 4 15.1 45.3 53-227 TBHalf 1 1 4 100% 1 6 30.2 90.6 106-453 TBThree-quarters 1 2 6 50% 1 8 45.3 135.9 159-680 TBFull rack 1 3 8 33% 1 10 60.4 181.2 211-906 TBOne-&-quarter 2 3 10 25% 2 13 75.5 226.5 264-1133 TBOne-&-half 2 4 12 20% 2 15 90.6 271.8 317-1359 TBTwo racks 2 6 16 33% 2 19 120.8 362.4 423-1812 TBTwo and a half 3 7 20 25% 3 24 151 453 529-2265 TBThree racks 3 9 24 20% 3 28 181.2 543.6 634-2718 TBFour racks 4 12 32 33% 4 37 241.6 724.8 846-3624 TBFive racks 5 15 40 25% 5 46 302 906 1057-4530 TBSix racks 6 18 48 20% 6 55 362.4 1087.2 1268-5436 TBSeven racks 7 21 56 17% 7 64 422.8 1268.4 1480-6342 TB
2–56 nodes
15 TB–1.3 PB raw
Up to 6 PB user data
2–3 node increments for small topologies
#JSS2013
• PDW + MOLAP• PDW + ROLAP• PDW + TABULAR Direct Query
SSAS + PDW: la dream team
#JSS2013
• EnableRolapDistinctCountOnDataSource=1
• ROLAPDimensionProcessingEffort>=300000
• Connexion via le client natif SQL Server SNAC 11.
Les prérequis SSAS
#JSS2013
• Inventaire des cubes et de leurs Data Warehouse
• Migration vers PDW– Répliquer les tables de dimensions– Distribuer les tables de faits– Distribuer les tables de dimensions changeantes– Pas d’index– CCI (Clustered Column Store Index)
Prérequis PDW
#JSS2013
• Gain processing– Les temps de processing peuvent être réduits à
10% du temps initial.– Le processing tire antièrement partie du réseau
Infiniband de l’appliance– Cubes et dimensions inchangés
• Gain stockage– Pas d’index– Stockage In-memory columnstore .
PDW + MOLAP
#JSS2013
• Gain processing– Processing immédiat
• Gain stockage– Pas de données stockée par SSAS– Pas d’index– Stockage In-memory columnstore .
PDW + ROLAP
#JSS2013
• Gain processing– Processing immédiat
• Gain stockage– Pas de données stockée par SSAS– Pas d’index– Clustered column store index.
Plusieurs modes– DirectQuery– InMemoryWithDirectQuery– DirectQueryWithinMemory
PDW + TABULAR Direct Query
#JSS2013
PDW
User space
SSAS
ROLAP MOLAP TABULAR
Exemple de consolidation 1
IB
#JSS2013
PDW
User space SSAS SSAS SSAS
Example de consolidation 2
IB
#JSS2013
PDW
User space Sharepoint 2013 + Excel Services
Example de consolidation 3
IB
#JSS2013
• Appliance Update• Fréquence : tous les 6 mois
Les principales évolutions de l’appliance
#JSS2013
Région dédiée Hadoop
Appliance préassemblée et préconfigurée Massively Parallel Processing (MPP) jusqu’à 6
PBs In-memory columnstore : jusqu’à 100x plus
rapide Région dédiée Hadoop Requêtes SQL sur données relationnelles et
Hadoop Disponible auprès de HP et Dell
SQL Server Parallel Data Warehouse
#JSS2013
Extension du stockage en petabytes Massively Parallel Processing (MPP) parallelise les
requêtes Multiple noeuds avec CPU, mémoire et stockage
dédiés Ajout incrémental de HW pour une augmentation
quasi linéaire en volume et performance Ajout de capacité par incrément dans la même
appliance
Scale OUT
Des Terabytes aux Mult i -Petabytes
#JSS2013
Box Software
CloudAppliances
Différentes options de déploiementet solutions hybrides
SQL Server
Hortonworks Data Platform
Parallel Data Warehouse
SQL Server for data warehousing in Windows Azure
VMs
HDInsight for Windows AzureSQL Server Fast Track
#JSS2013
Explorer les données non-relationnelles
Gère les données non-relationnelles 100% Apache Simplicité of Windows Hadoop sous toutes les formes :
software, appliance, cloud
“Big Data” avec s impl ic i té
Non-relational
Windows Azure
Parallel Data Warehouse
Hortonworks Data Platform
Hadoop cluster in HDP for Windows and HDInsight
#JSS2013
Intégration relationel et non-relationel
Requête relationelle et Hadoop en parallèle
Requête unique Pa besoin d’ETL d’Hadoop vers DW Requête Hadoop à l’aide de T-SQL
Re q u ê t e re l a t i o n e l l e + n o n re l a t i o n e l l e
SQL Résultat
Données relationelles
PolyBase
Requête integrant PolyBase in SQL PDW
#JSS2013
Démo
#JSS2013
Questions ?
#JSS2013
Merci à nos sponsors
#JSS2013
• http://www.microsoft.com/en-us/sqlserver/solutions-technologies/data-warehousing/pdw.aspx
• http://download.microsoft.com/download/4/2/6/42616D71-3488-46E2-89F0-E516C10F6576/SQL_Server_to_SQL_Server_PDW_Migration_Guide.pdf
• http://blogs.technet.com/b/sql/archive/2013/11/12/sql-server-chez-les-clients-parallel-data-warehouse.aspx
Références
#JSS2013#JSS2013