high performance computing mit windows windows hpc server 2008 wolfgang dreyer hpc - produkt manager...
Post on 06-Apr-2015
105 Views
Preview:
TRANSCRIPT
High Performance Computing mit Windows
Windows HPC Server 2008Wolfgang DREYER
HPC - Produkt Manager Deutschland wdreyer@microsoft.com
Agenda
Hohe Produktivität für HPC
Überblick Windows HPC Server 2008
Partnerschaften
Diskussion
Geschäftsvorteile durch HPC
WettbewerbsvorteileWettbewerbsvorteile
Möglichkeiten zur Verbesserung der Betriebsleistung (Kosten, Qualität und Produkteinführungszeit)
Möglichkeiten zur Verbesserung der Betriebsleistung (Kosten, Qualität und Produkteinführungszeit)
Qualitätsgerechte Compliance im Bezug auf behördliche AnforderungenQualitätsgerechte Compliance im Bezug auf behördliche Anforderungen
Schnelle Zyklen der ProduktinnovationSchnelle Zyklen der Produktinnovation
End-to-End-Workflow
Resultat
Analyse und Nachverarbeitung
Analyse
Simulationen und Tests
Entwurf und Vorverarbeitung
Simulation
Konzept und Zielsetzung
Entwurf
HPC-Speicherlösung
NAS und Cluster-NAS
Gemeinsame Dateisysteme oder SAN-Dateisysteme
Paralleldatei-systeme
Agg
rega
t (M
B/s
/Cor
e)
Anzahl der Cores im Cluster
Höherer Entwicklungs-
standard
• Windows Server 2003 • Windows Server 2008 …
• HP – PolyServe • Ibrix – Fusion• Quantum – StorNext• SANbolic – Melio file
system
• IBM – GPFS• Panasas – Active
Scale
Highspeed-Networking-Technologien
Myrinet, In
finiband, 10-GB-
E.
1-GB-Ethernet
100-MB-Ethernet
Ban
dbre
ite
Verfügbarkeit
CiscoVoltaireQlogic
Open Fabrics
Myricom
NetEffect
Aktuelle Umgebung
Unternehmensinfrastruktur Speicherung
Cluster/Supercomputer
Highspeed-Networking
Ingenieure
Wissenschaftler
Information Worker
Compiler
DebuggerSpezialsprachen
Mainstreamtechnologien
Finanzanalysten
High Productivity Computing
Kombinierte Infrastruktur
Integrierte Desktop- und HPC-Umgebung
Vereinheitlichte Entwicklerumgebung
Die Herausforderung
„High-End-Computing muss leichter und produktiver anzuwenden sein. Der Fokus sollte auf „Time to Solution“ liegen, dem wichtigsten Wertmaß für High-End-Computing-Anwender … Eine gemeinsame Softwareumgebung für wissenschaftliches Computing von High-End-Systemen bis zu Standarddesktops wird die Produktivitäts-gewinne durch die leichte Nutzbarkeit und Handhabung der Systeme steigern.“
High-End Computing Revitalization Task Force, 2004
(Office of Science and Technology Policy, Executive Office of the President)
Hürde: Integrationsfähigkeit• Mangel an nahtloser Integration zwischen
Workstations, Clustern, Daten • Mangel an Anwender-Workflowintegration
über verschiedene Anwendungen und Abteilungen hinweg
Hürde:Technologieinseln• Isolierte Inseln erfordern viel manuelle
Arbeit• Wenig End-to-End-IT-Prozessintegration• Existierende Investitionen in
weitgefächerte IT-Qualifikationen und IT-Infrastruktur können nicht genutzt werden
Hürde: Anwendungsverfügbarkeit• Begrenzte Umgebung mit Parallel-
anwendungen• Mangel an entwicklerfreundlichen Tools,
schwer zu programmieren
Warum Microsoft für HPC?Aktuelle Probleme HPC- und IT-Datencenter-Zusammenlegung: isoliertes
Clustermanagement Entwickler können Parallelität schwer programmieren Anwender haben kaum Zugang zur Verbesserung der Verarbeitung
von Kernprozessen und Daten
Wie kann Microsoft helfen? Gut positioniert für die Mainstreamintegration von
Anwendungsparallelitäten Hat bereits begonnen, Parallelität weitgehend für die
Entwicklercommunity möglich zu machen Kann den Wert von HPC durch die Integration von Produktivitäts- und
Managementtools steigern
Investitionen von Microsoft in HPC Umfangreiches Softwareportfolio: Client, Server,
Management, Entwicklung und Zusammenarbeit Engagierte Teams für Cluster-Computing Vereinheitlichte Parallelentwicklung durch die
„Parallel Computing Initiative“ Partnerschaften mit technischen Computinginstituten
Die HPC-Strategie von Microsoft:
Computing
Phase 1:Unternehmenscluster
Computing
Daten-Speicherung
IO
Märkte
Technologien
2006−2007 2008
Phase 2:allgemeine Plattform für Abteilungs- und Unternehmenscluster
Windows Compute Cluster Server 2003 Entwickler-Tools
Produktivität
Ressourcen- management
Schnelle EntwicklungNutzungsbereiteAnwendungsüberwachungLeichtes Management
Skalierbare Unterstützung fürDateisysteme
NetworkDirect für sehr hohe Netzwerkeffizienz
Allgemeine Entwickler-Plattform für Desktop-Cluster
Allgemeine Management- und Produktivitätsplattform
SOA-basiert; skalierbare Partner
Windows HPC Server 2008
Visual Studio 2008Parallel Computing Initiative
MOSS, SQL,System Center
Key-Partner
Key-Partner
Expanding to the Enterprise
Die Microsoft-Vision für HPC
Administrator
Integrierte und sofort nutzbare HPC-Clusterlösung
Vereinfachtes Setup und Deployment
Integrierte Diagnosetools Effiziente Clusternutzung Integration in IT-Infrastrukturen
und Richtlinien
Anwendungsentwickler
Integrierte Tools für paralleles Programmieren
Hochproduktive Frameworks für Parallelprogrammierung
Serviceorientierte HPC-Anwendungen
Unterstützt die wichtigsten HPC-Entwicklungsstandards
UNIX-Anwendungsmigration
Endanwender
Nahtlose Integration in Workstationanwendungen
Integration in bestehende Zusammenarbeits- und Workflowlösungen
Sichere Ausführung von Aufträgen und sicherer Datenzugriff
Windows HPC ermöglicht Ihnen mehr zu erreichen! Und zwar in kürzerer Zeit und mit geringerem Aufwand: durch die Nutzung der bereits vorhandenen Anwenderfähigkeiten und durch Integration in/von bereits
bestehende(n) Tools.
Integriertes HPC der Zukunft
Schlüssel
Storage
Bestehende Clusterinfrastruktur
UNIX/LinuxSystem
Business Intelligence
SQL ServerAnalyse
Reporting
SQL ServerIntegrationServices
Speicherung
Administration
Partner
Microsoft
System Center Configuration Manager
Windows ServerUpdate Services
Software Protection Services
Windows HPC Server 2008
Auf
trag
sübe
rmitt
lung
AP
Is Adm
inistration AP
Is
WC
F R
oute
r
Job Scheduler w/ Failover
Computerknoten
Storage
SQLStrukturierteSpeicherung
WindowsSpeicherungsserver mit DFS
Parallel/Clusterspeicherung
Node Manager
AnnwendungWCF, C#, C++, Fortran
New TCP/IP MPI mit NetworkDirect
HPC Server 2008
HPCProfile
Managementdienstprogramme für Drittanbietersysteme
Clients/AuftragseinreichungEntwicklungstools
System Center Operations Manager
Windows HPC Server 2008-Administrationskonsole
System, Scheduling, Networking, Imaging, Diagnose
Windows PowerShell
SharePointBatch Applications
CCS-Auftragskonsole
CCS Scripts
Visual Studio: C#, C++, WCF, OpenMP,
MPI, MPI.NET
MPI Debugging
Traceanalyse
Profiling
MPI TracingFortran
Numerische Bibliotheken
WCF-Anwendungen
Windows Workflow Foundation
Excel
System CenterData Protection Manager
Was ist neu in Windows Server 2008?Verlässlichkeit
• ´ Dynamische Partitionierung – • Hot Plug PCI Express/Memory, • Hinzufügen und Ersetzen von
Prozessoren im laufenden Betrieb• Dateisysteme – selbstreparierendes NTFS
Usability• Windows 64bit Hypervisor - HyperV• Neues Ereignisprotokoll/• neue Diagnosefunktion• PowerShell
Leistung• Speichermanagerleistung Schnellerer Festplattenzugriff für Auslagerungsdateien und
gemappte Dateien, I/O-Eingabe/Ausgabe (das 64-KB-Limit gibt es nicht mehr) I/O-Priorität
Basiert auf der Priorität des Issuing Thread oder der explizit definierten I/O-PrioritätVerwendet von Windows Server 2008-Hintergrundaufgaben wie Indizierung• Erweiterungen die speziell die NUMA (Non-Uniform Memory Access)
Funktionalität unterstützen• SMB 2.0Unterstützt NTFS-Client-seitige symbolische LinksUnterstützung für beliebige Buffergrößen für effizientere Kopierresultate mit 30 bis 40-fachen Durchsatzverbesserungen
Was ist neu im HPC Pack 2008?
System-management
Job- Scheduling
Networkingund MPI
Speicherung
Neues System Center-UI PowerShell für CLI-Management Hohe Verfügbarkeit für Hauptknoten Windows Deployment Services Diagnose- und Reportingtools Operations Manager wird unterstützt
SOA und WCF werden unterstützt Genaues Ressourcen-Scheduling Verbesserte Skalierbarkeit für
größere Cluster Neue Job-Scheduling-Richtlinien Interoperabilität via HPC-Profile
NetworkDirect (RDMA) für MPI Verbesserter
Netzwerkkonfigurationsassistent Shared Memory MS-MPI für
Multicore MS-MPI integriert in Windows Event
Tracing
Verbesserte iSCI SAN-Unterstützung in Win2008
Verbesserter Server Message Block ( SMB v2)
Neue Drittanbieter-Parallelsystem-Dateiunterstützung für Windows
Neue Memory-Cache-Anbieter
Windows HPC Server 2008
Ort Tukwila, WAHardware – Geräte 256 Dual-CPU, Quadcore-Intel-5320-
Clovertown-1,86-GHz-Prozessor und 8 GB RAM
Hardware – Networking Private und öffentliche Netze: Broadcom GigE
MPI: Cisco Infiniband (IB) SDR inkl. 34 IB Switches in Leaf- und
KnotenkonfigurationAnzahl der Knoten 256
Gesamtanzahl Cores 2048Gesamtspeicher 2+ TB RAM
Angaben für aktuelle Linpack-Runs Beste Linpack-Rate bisher 11,75 TeraFLOPS
Beste Clustereffizienz bisher 77,1 %Als Vergleich …
Linpack-Rate Juni 2007, Top500 (#106), auf der gleichen Hardware
8,99 TeraFLOPS
Clustereffizienz Juni 2007, Top500 (#106), auf der gleichen Hardware
59 %
Typische Top500-Effizienz für Clovertown-Motherboards mit IB unabhängig vom Betriebssystem
65−77 % (2 Instanzen von 79 %)
30 % Effizienzsteigerung mit der gleichen Hardware
Freigabe: November 07 Beta 1
Sommer 08 RTM
Deployment in wenigen Stunden
#X Top 500
Ready for Primetime
Höhere Effizienz für Systemadmins• Einfach im Setup und Management in einer
vertrauten Umgebung– Nutzungsbereite Clusterlösungen durch
OEMs– Vereinfachtes System- und
Anwendungsdeployment• Basisimages, Patchs, Treiber,
Anwendungen • Fokus auf leichtem Management
– Umfassende Diagnose-, Trouble Shooting- und Überwachungstools
– Vertrautes, flexibles und „zentrales“ Managementinterface
– Entsprechende Befehlszeilenunterstützung für automatisches Management
• Skalierbarkeit– Skalierbares Deployment, Administration,
Infrastruktur– Hauptknoten-Failover– Clusternutzungsreporting– Computerknotenfilterung
• Bessere Integration ins Unternehmensmanagement
– Patchmanagement– System Center Operations Management– PowerShell– Windows 2008-Hochverfügbarkeitsservices
System Center Operations Manager
Produktivere HPC-Umgebung•Vorgespeicherte Reports für Überwachung aus Endanwenderperspektive•Sicherheitsloganalyse und -reporting
Skalierbare Überwachung•Überwachungsanwendungen laufen in einer skalierbaren, dezentralen Umgebung•Skalierbar mit abgestuften Managementservern•Überwachung ohne Agents
Höhere Effizienz und Kontrolle•Verbessertes Design für mehr Sicherheit•Active Directory-Integration•Erweiterte Lösung mit Management Packs
Hochverfügbarer Hauptknoten
– Die nächste Generation der Clusterservices
– Große Verbesserungen bei der Konfigurationsvalidierung und im Management
• HPC Pack enthält:– Setupintegration mit Failover
Clustering Services• Hauptknoten- und
Failoverknoten-Setup mit SQL Failover Cluster
• Job-Scheduler-Services-Failover
– Managementkonsole verbunden mit Windows Server-Failover-Managementkonsole
Gemeinsame Festplatte
Privates Netzwerk
HauptknotenWin2008 Enterprise
Clustered SQL Server
Failover-hauptknoten
Win2008 EnterpriseClustered SQL
Server
WindowsFailover Clustered
• “Single point of error” werden durch die Failover-Lösung eliminiert• Erfordert Windows Server 2008 Enterprise Failover Clustering Services
NetworkDirect
• Prioritäten- Vergleichbar mit
hardwareoptimierten MPI-Implementierungen
• Fokus auf MPI-Only-Lösung für Version 2
- Verbs-basiertes Design für nahtlose Integration in native High Performance Networking Interfaces
- Koordiniert mit Win Networking Teamlangzeitpläne
• Implementierung- MS-MPIv2 für 4 Networkingpfade
• Gemeinsamer Speicher für Prozessoren auf einem Motherboard
• TCP/IP-Implementirung („normales“ Ethernet)
• Winsock Direct (und SDP) für socketsbasiertes RDMA
• Neues RDMA-Networking-Interface
- HPC-Teampartner mit Networking-IHVs zur Entwicklung und Distribution von Treibern für dieses neue Interface
Ein neues RDMA-Networking-Interface für mehr Geschwindigkeit und Stabilität
TCP/Ethernet- Netzwerk
Ker
nelb
ypas
s
MPI-AnwendungSocketbasierte Anwendung
MS-MPI
Windows Sockets (Winsock + WSD)
Networking HardwareNetworking HardwareNetzwerkhardware
Networking HardwareNetworking HardwareHardwaretreiber
Networking Hardware
Networking HardwareMini-Port-Treiber
TCP
NDIS
IP
Networking HardwareNetworking HardwareAwendermodus-Zugangsebene
Networking Hardware
Networking HardwareWinsock Direct- Provider
Networking Hardware
Networking Hardware
NetworkDirect- Provider
RDMA- Netzwerk
OS-Komponente
CCP-Komponente
IHV-Komponente(ISV) Anw.
Interoperabilität und Open-Grid-Forum
Was ist das?• Der Entwurf eines OGSA-
(Open-Grid-Services-Architectures-) Inter-operabilitätsstandards für Stapelaufträge Scheduler-Aufgabenübermittlung und -management
• Basierend auf Webservicestandards (HTTP, XML, SOAP)
Was bedeutet das?• Ermöglicht die Integration
von HPC-Anwendungen, ausgeführt auf verschiedenen Plattformen und Schedulern durch Webservicestandards
Wie ist der Status?• Wurde von der
Öffentlichkeit akzeptiert• Es wird an neuen
Erweiterungen gearbeitet
Windows Cluster
Windows CenterWindows Center
LSF/PBS/SGE/Condor
Linux, AIX, Solaris HPUX, Windows
Parallelprogrammierung• Jetzt erhältlich:
– Debugging (für Entwicklung/Parallelprogrammierung) in Visual Studio– Compiler, Debugger, Runtimes et cetera von Drittanbietern
• Neue Technologien: Parallelframework– LINQ/PLINQ – natürliche OO-Sprache für SQL-Abfragen in .NET– C# Futures – für Loops beim Parallelprogrammieren
• Für die Zukunft: Parallel Computing Initiative (PCI)– Dreifachinvestment mit einem neuen Engineeringteam– Gemeinsame Entwicklertools für Multicore-Codes vom Desktop bis zu Clustern
Compiler
• Visual Studio• Intel C++• Gcc • PGI Fortran• Intel Fortran• Absoft Fortran• Fujitsu
Profiler und Tracer
• PerfMon• ETW (für MS-MPI)• VSPerf/VSCover• CLRProfiler• Vampir (portiert an Windows)• Intel Collector/• Analyzer (läuft auf CCS mit
Intel MPI)• Vtune & CodeAnalyst• Marmot (portiert an
Windows)• MPI Lint++
Debugger
• Visual Studio• WinDbg• DDT
Laufzeit und Bibliotheken
• MPI• OpenMP• C# Futures• MPI.C++ and MPI.Net• PLINQ
VersionsvergleichFeature Windows Compute Cluster Server 2003 Windows HPC Server 2008
Betriebssystem Windows Server 2003 SP1 Windows Server 2008
Prozessortyp X64 (AMD64 oder Intel EM64T) X64 (AMD64 oder Intel EM64T)
Knotendeployment Remote Installation Services (RIS) Windows Deployment Services
Hauptknotenredundanz K. A. Windows Failover Clustering und SQL Server Failover Clustering
Management Basisknoten- und JobmanagementIntegriertes Knoten- und
Auftragsmanagement, Gruppierung, Überwachung auf einen Blick, Diagnose
Netzwerktopologie Network Configuration Wizard Verbesserter Netzwerkkonfigurations-Assistent
MS-MPI Winsock Direct-basiert NetworkDirect-basiert. Neue Shared-Memory-Implementierung für Multicoreprozessoren
Scheduler Befehlszeilen oder GUI
Integriert in die Managementkonsole, mit voller Unterstützung für Windows PowerShell-Scripting und Legacy-Befehlszeilen-UI-Scripts
aus v1. Umfassend verbesserte Geschwindigkeit und Skalierbarkeit
Reporting K. A.Integriert in die Managementkonsole.
Erweiterbarkeitsfeatures ermöglichen die Verwendung von SQL Analysis Services für
zusätzliche Analysen
Überwachung Baut auf Windows auf. Keine clusterspezifische Unterstützung
Hot Mapping (an Clustern oder Knotengruppen). Clusterweite
Leistungsüberwachung
Diagnose K. A.Integrierte Verifizierungs- und Leistungstests.
Testergebnisse und Testhistorien können gespeichert, gefiltert und gelesen werden
Versionen
• Technische Vorschau (Private Release)• Beta 1 – jetzt erhältlich!• Beta 2 – zusammen mit Windows Server 2008 RTM• RTM – 90 bis 120 Tage nach Windows RTM
Nov. 2008
Techn. Vorschau Beta 1 Beta 2 RTM
August 2008
Frühjahr 2008
Sommer 2008
Branchenbasierte Lösungen
AutomotiveLuftfahrtGeologische
DiensteFinanz-diensteBildung Regierung
Medizin,Pharma
Windows HPC Server 2008-Angebote
System Center Operations Manager
Windows HPC Server 2008
SQL Server 2008 Express Dritt-
anbie-terHPC Pack
System Center Configuration Manager
• Sofort nutzbare Lösung für bis zu 1000 Knoten
• HPC Pack• Management• Deployment• Job-Scheduling
• Drittanbieterpackages für Job-Scheduling
Basisangebot, sofort nutzbar Hochverfügbarkeit Unternehmensmanagement
• Kein einzelner Fehlerpunkt• Windows Server 2008
Enterprise für hohe Verfügbarkeit des Hauptknotens
• SQL Server 2008 Enterprise für hohe Verfügbarkeit
• Größe bis zu vielen Tausend Knoten• System Center Operations Manager für
hochentwickelte Überwachung• System Center Configuration Manager
für verbessertes Deployment und Patch- management
Windows Server 2008 Core• Klein und leicht/kein UI/CLI• Hyper-V• Kein .NET Framework
Windows HPC Server 2008
Windows Server 2008 Enterprise
SQL Server 2008 Standard
HPC Pack
Dritt-anbie-
ter
SQL Server 2008 Standard
HPC Pack
Dritt-anbie-
ter
Windows HPC Server 2008
Windows Server 2008 Enterprise
Ressourcen
• Microsoft HPC-Website – laden Sie jetzt die Beta-1-Version herunter!– www.microsoft.com/hpc
• Windows HPC-Community-Site– www.windowshpc.net
• Windows Server x64-Informationen– www.microsoft.com/x64/
• Windows Server System-Informationen– www.microsoft.com/windowsserver
• Die wichtigsten Fakten finden Sie auf dieser Website– www.microsoft.com/getthefacts
top related