webinar neues von der re:invent 2013 teil 2: kinesis, appstream, workspaces
DESCRIPTION
Webinar vom 29.11.2013 Teil 2: (heute) Kinesis, AppStream, WorkSpacesTRANSCRIPT
Neues von der re:invent 2013Teil 2
Steffen KrauseTechnical Evangelist
Teilen Sie mir mit:
Was gut ist, was nicht
Was Sie bei unseren Veranstaltungen sehen
wollen
Was Sie sich von AWS wünschen
Ihr Feedback ist wichtig
Teil 2: (heute)
• Kinesis
• AppStream
• WorkSpaces
Agenda
Kinesis
• Traditionelle Big Data Ansätze
– Abfrageengine (Data Warehouse, YesSQL, NoSQL Datenbank)
– Batch Engines (Map-Reduce)
• Streaming Big Data Processing Ansatz
Big Data Ansätze
Echtzeit Big Data Wunschliste Dienst-Anforderungen
Gesamtlatenz im Sekundenbereich Niedrigen Ende-zu-Ende Latenz von Datenaufnahmebis Verarbeitung
Verarbeitung von Gigabytes pro Sekunde ohne Verlust der Persistenz
Hoch skalierbar, persistent
Skalierung hoch/runter nach Bedarf Elastisch
Einfaches Load Balancing von Datenströmen, verteilte Dienstkoordinierung,
Entwickler müssen sich nur um Implementierung der Geschäftslogik kümmern, nicht um Basisdienst
Automatische HW/ SW Provisionierung, Patching und Betrieb einer zuverlässigen Streaming Plattform
Verwalteter Dienst für Echtzeit-Datenströme: Sammlung, Verarbeitung, Analyse.
Grundlagen der Stream-Verarbeitung
Data Sources
App.4
[Machine Learning]
AW
S En
dp
oin
t
App.1
[Aggregate & De-Duplicate]
Data Sources
Data Sources
Data Sources
App.2
[Metric Extraction]
S3
DynamoDB
Redshift
App.3[Sliding Window Analysis]
Data Sources
Availability
Zone
Shard 1
Shard 2
Shard N
Availability
ZoneAvailability
Zone
Architektur Amazon Kinesis
Verwalteter Dienst für Echtzeitverarbeitung von Big Data
http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html
twitter-trends.com
Elastic Beanstalk
twitter-trends.com
Beispiel: twitter-trends.com Website
twitter-trends.com
Zu groß für eine Instanz
twitter-trends.com
Lösung: Streaming Map/Reduce
My top-10
My top-10
My top-10
Global top-10
twitter-trends.com
Kernkonzepte
My top-10
My top-10
My top-10
Global top-10
Data recordStream
Partition key
ShardWorker
Shard: 14 17 18 21 23
Data record
Sequence number
twitter-trends.com
Was das mit Kinesis zu tun hat
KinesisKinesis Applikation
• Data Record ~ Tweet
• Stream ~ alle Tweets (die Twitter Firehose)
• Partition Key ~ Twitter Thema (Jeder Tweet gehört zu genau einem)
• Shard ~ Alle Data Records, die zu einem Twitter Thema gehören werden gruppiert
• Sequence Number ~ Jeder Data Record erhält eine beim Schreiben in den Stream
• Worker ~ Verarbeitet die Records in einem Shard in Reihenfolge der SequenceNumber
Kernkonzepte wiederholt
Leichte Administration
Verwalteter Dienst
• Stream Erstellen
• Gewünschte Kapazität bestimmen
• Dienst kümmert sich um den Rest
Echtzeit-Performance
Verarbeitung von großen Datenströmen
• Latenz im Sekundenbereich
Hoher Durchsatz, elastisch
Skalierung nach benötigtem Durchsatz
• Skalierung nach oben und unten
(Split/Merge Shards)
• Ohne Unterbrechung des Datenstroms
S3, Redshift, & DynamoDB Integration
Auslieferung an verschiedene AWS Dienste
• Speicherung von aggregierten
Ergebnissen nach Bedarf
• Vorgefertigte Konnektoren
Einfache Entwicklung
Client Libraries unterstützen Entwickler
• Low Level & high Level APIs nach Bedarf
Kostengünstig
Cost-efficient for workloads of any scale. You
can get started by provisioning a small
stream, and pay low hourly rates only for
what you use.
Nutzen für Entwickler
http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html
Clickstream Analytics Beispiel
Clickstream Processing App
Aggregate Clickstream Statistics
Clickstream Archive
Clickstream Trend Analysis
AppStream
What is Amazon AppStream?
• Streaming von Ressourcen-/Grafik-intensiven Anwendungen aus der Cloud
• Rendering von grafischen Inhalten in der Cloud
• Skalierung nach Bedarf
• Schnell reagierende, flüssig laufende HD-Anwendung auf dem Gerät
• Streaming der ganzen Anwendung oder eines Teiles
http://aws.typepad.com/awsaktuell/2013/11/amazon-appstream-streaming-von-grafischen-anwendungen-aus-der-cloud.html
Nutzen von Amazon AppStream
• Beseitigt Rechenleistungs- und Speicherplatzbeschränkungen auf dem Client
• Spart Entwicklungszeit
• Instant-on Anwendungen
• Vereinfachte Updates
• Verbesserte Sicherheit und Schutz des eigenen Codes
Beispiel-Anwendungsfälle
• Spiele
• Medien und Unterhaltungsprogramme
• Simulations-Software
• 3D Grafikentwicklung
Komponenten von AppStream
AppStream Host
AppStream Service
Ihr Entitlement Service
Ihr Client
Ihre Applikation
AppStream Konsole
Der neue EC2 G2.2xlarge Instanztyp
• 15 GiB Hauptspeicher
• 26 EC2 Compute Units
• 1 x NVIDIA GRID GPU (Kepler GK104)
• 60 GB SSD Instance Store
• 64-bit Plattform
Unterstützung für weitere Instanztypen 2014
Anforderungen
Anwendungsseite
• Windows Server 2008 R2
Clientseite
• Kindle Fire OS
• Android 4.0 (ICS) +
• iOS 6 +
• Windows 7
• Mac OSX (kommt 2014)
• 3Mbps Internetverbindung
Streaming der Applikation
AppStream Host
AppStream Service
Ihr Entitlement Service
Ihr Client
Streaming der Applikation
AppStream Host
AppStream Service
Ihr Entitlement Service
Ihr Client
Autorisierung anfragen
Streaming der Applikation
AppStream Host
AppStream Service
Ihr Entitlement Service
Ihr Client
Session erstellen
Streaming der Applikation
AppStream Host
AppStream Service
Ihr Entitlement Service
Ihr Client
Session erstellen
Streaming der Applikation
AppStream Host
AppStream Service
Ihr Entitlement Service
Ihr Client
Entitlement einlösen
Streaming der Applikation
AppStream Host
AppStream Service
Ihr Entitlement Service
Ihr Client
Anwendung streamen
Amazon AppStream’s STX Protokoll
• Gewährleistet qualitativ hochwertige STreaming eXperience
• Video und Audio als H.264 enkodiert
– Transport über UDP
• Benutzereingaben über TCP transportiert
• Misst ständig Netzwerk-Bedingungen
• Encoding/Transport in Echtzeit angepasst
WorkSpaces
Was ist WorkSpaces?
• WorkSpaces ist eine voll verwaltete Desktop Lösung in der Cloud
• Endbenutzer greifen auf die benötigten Dokumente, Anwendungen und Ressourcen mit dem Gerät ihrer Wahl zu – Laptop, iPad, Kindle Fire, Android Tablet
• Hochwertiger Desktop für unbegrenzte Nutzerzahlen
http://aws.typepad.com/awsaktuell/2013/11/amazon-workspaces-desktop-computing-in-der-cloud.html
Warum? Kundenfeedback
Apps & Data
Warum? Mobiler Zugriff
Warum? Viele Gerätetypen
Mac or PC
Warum? Datensicherheit
Warum? OS Migration
Image Source: http://commons.wikimedia.org/wiki/File:Microsoft_Windows_XP_logo_and_wordmark.svg
Warum? Wechselnde Mitarbeiterzahl
Warum nicht VDI on premises?
Infrastruktur und Software kaufen
Spezialisten anstellen
Hohe Investitionskosten
VDI Nutzenzu welchen Kosten?
WorkSpaces Bundle
Bundle Hardware-Ressourcen Anwendungen Preis proMonat
Standard 1 vCPU, 3,75 GiB Hauptspeicher, 50 GB persistenter Speicherplatz
Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)
35 US$
Standard Plus 1 vCPU, 3,75 GiB Hauptspeicher, 50 GB persistenter Speicherplatz
Microsoft Office Professional 2010, Trend Micro Anti-Virus, Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)
50 US$
Performance 2 vCPU, 7,5 GiB Hauptspeicher, 100 GB persistenter Speicherplatz
Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)
60 US$
Performance Plus 2 vCPU, 7,5 GiB Hauptspeicher, 100 GB persistenter Speicherplatz
Microsoft Office Professional 2010, Trend Micro Anti-Virus, Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)
75 US$
Sicherer Datenzugriff
Desktop von jedem Gerät
Unternehmens-Authentifizierung
Verwaltungswerkzeuge
Anwendungsfälle
• http://aws.amazon.com/de
• Getting started with Free Tier:http://aws.amazon.com/de/free/
• 25 US$ Credits für neue Kunden:http://aws.amazon.com/de/campaigns/account/
• Twitter: @AWS_Aktuell
• Facebook: http://www.facebook.com/awsaktuell
• Webinare: http://aws.amazon.com/de/about-aws/events/
• Slides: http://de.slideshare.net/AWSAktuell
• Blog: http://aws.typepad.com/awsaktuell/
• Youtube: http://www.youtube.com/awsaktuell
Ressourcen