hardware-beschleunigtes cloud-computing für die bauteile

Hardware-beschleunigtes Cloud-Computing für die Bauteile-Identifikation (AP 6)

powered by IAV

Christian Unger, Berlin 29.11.2018

2

powered by IAV

M3D:

Hardware-beschleunigtes

Cloud-Computing für die

Bauteile-Identifikation (AP 6)

Christian Unger, 29.11.2018

Agenda

• Über CPU 24/7 + Rechenzentrum

• Ziele des AP 6

• Cloud-Infrastruktur + Schlüsseltechnologien

• Ergebnisse der Hardwarebeschleunigung

• Ausblick

3

powered by IAV

M3D:





Über CPU 24/7

Wer sind wir?

• Potsdamer HPC Cloud-Provider mit Spezialisierung auf CAE

• Gegründet 2006 aus PoC der TU-Berlin mit Rolls-Royce Dtl.

• ~ 20 Mitarbeiter

• Seit 2018 Tochter der IAV (Ingenieurgesellschaft Auto und Verkehr)

Unsere Kunden (Auszug):

4

powered by IAV

M3D:





Hochsicherheitsrechenzentrum Berlin-Spandau

5

powered by IAV

M3D:





Arbeitspaket 6

Ziel:

• Aufbau einer Hardware-beschleunigten Cloud-Infrastruktur

Beteiligte Konsortialpartner:

Arbeitsunterpakete:

• HHI (AG Embedded Systems):

− Laufzeitanalysen

− Evaluierung Beschleunigerkonzepte

− Portierung auf Zielplattform

• CPU 24/7:

− Implementierung Cloud-Computing API

− Gesamtintegration / Infrastruktur

− Validierung / Feldtest

6

powered by IAV

M3D:





Integration in M3D-Workflow

7

powered by IAV

M3D:





Cloud Management (OpenStack)

Software-Defined Storage (CEPH)

Temporary block storage

Network-Attached Accelerator Grid (NAA-Grid)

Storage / Tenant (HPC) / OpenStack Management (InfiniBand EDR with 100 Gb/s)

Load balancer

OpenStack controller

Ceph OSD nodes(persistent storage)

Ceph monitor nodes

Distribution nodes

TenantFirewall

Autonomousdeployment node

Bare-metal / VMprovisioning

Health monitoring +failure detection



Object read+write /data replication

Software-NAA(Golden reference)

GPU-NAA Accelerator Node

FPGA-NAA Accelerator Node

Tenant communication

Cloud APIs / User Interfaces

AdminFirewall

VPN

Cloud-Infrastruktur

8

powered by IAV

M3D:





Schlüsseltechnologien

OpenStack

• Cloud-Management-Tool

• OpenSource (initiiert durch NASA und Rackspace)

• Proprietäre Distributionen vorhanden (z.B. Mirantis, RedHat, Oracle)

• Key-Features:

− Dynamisches Provisionieren von Compute-Nodes als VMs + Bare-Metal

− Virtual Networks (VLANs) zur logischen Netzwerk-Trennung

− Identity-Services für Authentifizierung

− Storage-Services

− Monitoring + Accounting

− UI / Dashboard + standardisierte APIs

9

powered by IAV

M3D:






Ceph

• Software Defined Storage (OpenSource)

• Redundant, vertikal + horizontal skalierbar, selbstheilend

• Einsatz auf Commodity-Hardware (kein Vendor-Lock-in)

• Komponenten:

− Object Storage (S3-basiert) -> Datentransfers von/zur Cloud

− Block Storage -> Storage für VMs + Compute-Nodes

− Ceph FS (Parallel File System) -> Nicht im Einsatz in M3D, da erst seit kurzem Production-ready

Für M3D:

− Entwicklung eines eigenen S3-Clients für M3D

10

powered by IAV

M3D:






Netzwerk-Topologie mit 3 physischen Netzen und VLANs

• InfiniBand EDR (100 Gb/s) mit IPoIB

− Storage-Anbindung + Daten-Replikation

− Tenant-Netzwerk (z.B. für MPI-Kommunikation)

− OpenStack Management-Network

− InfiniBand nativ nicht von OpenStack unterstützt

• 1G Ethernet

− Public Network (z.B. für SSH auf Tenants)

− Admin/PXE Netzwerk (z.B. Netzwerk-Boot von Servern)

• 1G Ethernet (rein administrativ)

− IPMI (Intelligent Plattform Management Interface)

11

powered by IAV

M3D:






Heterogenes Beschleunigerkonzept

• CPUs (x86, ARM), GPUs und rekonfigurierbare FPGAs

• Nutzung großer Anzahl verteilter Ressourcen, welche mit einfachen Interfaces genutzt werden können

• Idealer Beschleuniger für die jeweilige Anwendung auswählbar

• Auswahl abhängig von:

− Durchsatz

− Latenz

− Energieeffizienz

− Verfügbarkeit einer Implementierung

• Aufbau einer Bibliothek verfügbarer Beschleuniger-Implementierungen

12

powered by IAV

M3D:






HNAA Runtime Resource Management / Software Framework

13

powered by IAV

M3D:






Wiederverwendbares Framework für grundlegende FPGA Fähigkeiten wie

• Spezialisiertes Netzwerkinterface

• Speicherzugriff

• Accelerator Sockets als virtuelle Beschleuniger zur idealen Ressourcenausnutzung

• Datentransfer zwischen Accelerator Sockets

• Bussystem zur Steuerung und Überwachung aller Komponenten

14

powered by IAV

M3D:






HNAA FPGA Hardware Framework

Inbetriebnahme von Intel Boards:

• Arria 10 (Nallatech 385A, Nallatech T510)

• Stratix 10 (Intel Stratix 10 Dev Board)

15

powered by IAV

M3D:





Ergebnisse der Hardware-Beschleunigung - AP6

SIFT (CPU + FPGA)

• Referenz - CPU:

− pro CPU Kern: ~2,5 s pro HD SIFT

• Hardware-beschleunigt - FPGA:

− pro FPGA: ~0,008s (120 Frames/s bei 1920x1080)

− Beschleunigungsfaktor: 300

Matching auf HD-Bildern (CPU + GPU + FPGA)

• Referenz - CPU:

− Kd-Tree Matching pro CPU Kern: 17,8 s

• Hardware-beschleunigt - GPU:

− Brute-Force Matching pro GPU: 0,5 s


• Hardware-beschleunigt - FPGA:

− Kd-Tree Matching pro FPGA: 0,36s


17

powered by IAV

M3D:





Ausblick

Cloud-Technologien:

• Evaluierung von Container-basierten Plattformen

− Trend von OpenStack (VMs) zu Kubernetes (Container)

− Hoher Wartungsoverhead bei OpenStack:

• Produktives OpenStack-Rollout dauert ca. 3-6 Monate (selbst unter Einbindung externer Dienstleister)

• Aufbau + Betrieb: Team von mind. 5 FTE + Schulungen nötig

Beschleuniger-Technologien:

• Entwicklung weiterer Beschleuniger für Videocodierung und Neurale Netzwerke (CNN)

• Verarbeitungspipelines zwischen verteilten (virtuellen) FPGAs über 100 Gbit/s Network

− Datenaustausch mit hohem Durchsatz und geringer Latenz

− Ideale Plattform für energieeffiziente Neuronale Netze

18

CLOUD

TECHNOLOGIES

TECHNOLOGY

INNOVATION

COMPUTER VISIONARTIFICIAL

INTELLIGENCE

HARDWARE-ACCELERATORS

Ihr direkter Ansprechpartner

Christian Unger

Head of Technology Innovation

0331 / 279 784 48

[email protected]

hardware-beschleunigtes cloud-computing für die bauteile

Documents