Download - Architectures lambda - Microsoft

AMBIENT INTELLIGENCE

#mstechdays techdays.microsoft.fr

tech days•

2015camps

Architectures Lambda

Michel Hubert / Georges Damien

@michelhubert @georges_damien

tech.days 2015#mstechdaysArchitecture Lambda

Directeur Technique chez Cellenza

MVP Azure

Microsoft P-Seller


Consultant chez Cellenza


Architectures Lambda


« La meilleure façon de prédire le futur est de regarder le passé et le présent ! »

Pourquoi les architectures lambda ?


Historiquement, le BigData est une suite logique de la B.I.

Donc on a appliqué les techniques de la B.I. : Le Batch

Ce n’est pas plus suffisant !

Des flux de données à prendre en compte en temps-réel

Des historiques très volumineux qui recèlent de la valeur

Pourquoi les architectures lambda ?


Architecture lambda ?


La base de données classique :

Architecture basée sur des données immuables

UPDATE


Stockage immuable :

Architecture basée sur des données immuables


Quels cas d’usage ?


Prenons un scénario Exemple :

• Analyse temps réel des comportements,

• Calcul du Taux d’abandon de panier,

• Prévision de stock

• Détection de Fraude

• Analyse d’une campagne marketing

• Quels produits ne déclenchent pas d’achat ? Problème de stock ? De prix ?

Architecture Lambda


La Master Data


Azure Service Bus

Relay

Queue

Topic

Notification Hub

Event Hub

NAT and Firewall Traversal Service

Request/Response Services

Unbuffered with TCP Throttling

Many publishers and many consumers to

communicate over a FIFO like channel.

(Competing consumers and Queue-based

Load leveling scenarios)

Pub / Sub communication channel. Each

Consumer subscribes to a copy of message

High-scale notification distribution

Most mobile push notification services

Millions of notification targets


Event Hub vs Topics / Queues

Bus de messages

Topics / Queues Event Hub


Principe général

Event Producers

Azure Event Hub

> 1M Producers> 1GB/sec

Aggregate Throughput

Up to 32 partitions via portal, more on

request

Part

itio

ns

Direct

PartitionKey

Hash

Consumer Group(s)

Receivers

AMQP 1.0

Credit-based flow control

Client-side cursors

Offset by Id or Timestamp


Envoi des données

Partition 1

Partition 2

Partition “n”

Event 1

PartitionKey=A

Event 1

PartitionKey=B

tech.days 2015#mstechdays

Publication de message .Net / AMQP

Architecture Lambda


Publication de message via HTTP

Architecture Lambda

<protocol>://<namespace>.servicebus.windows.net/<eventhubname>/publisher/<partitionkey>/messages


Consommation des données

Partition 1

Partition 2

Partition “n”

Event 1

Pkey = A

Event 2

Pkey = B Receiver 6

Receiver 2

Worker “n”

Receiver 1

Receiver “n”

Worker 1


Consommation multiple

Partition 1

Partition 2

Partition “n”

Consumer Group C

Callback for prtn. 6


Worker “n”


Callback “n”

Worker 1Consumer Group B



Worker “n”


Callback “n”

Worker 1Consumer Group A

Worker “n”




Callback “n”

Worker 1


IEventProcessor

Architecture Lambda

Architecture Lambda


Données en mouvement« Complex Event Processing »


Stream Analytics

SELECT count(*) FROM ParkingLot

WHERE type = 'Auto'AND color = 'Red'

Question“Combien de voitures rouges dans le parking?”

Répondre avec une base de donnée relationnelleMarcher jusqu’au parking

Compter les véhicules qui sont: Rouge, Voiture


Stream Analytics

La question est différente“Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans

la dernière heure?”

Répondre avec une base de donnée relationnelleS’arrêter, faire se garer toutes les voitures qui arrivent pendant l’heure dans un parking, les compter

Pas la meilleure des solutions…


SELECT count(*) FROM A-10WHERE Type = ‘Voiture’ and Color = ‘Rouge’GROUP BY TumblingWindow(hour, 1)

La question est différente“Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans

la dernière heure?”


TumblingWindow(minute,5) HoppingWindow(minute, 10 , 5)

SlidingWindow(minute, 3)

Architecture Lambda


Une usine à données

Last Name First Name Country Age …

Flasko Mike Canada 32

Anand Subbaraj USA 30

Gaurav Malhotra USA 72

… …. …. ….

Last Name First Name At risk of churning ….

Flasko Mike Yes

Anand Subbaraj No

Gaurav Malhotra Yes

… ….

Call Log Files

Customer Table

Call Log Files

Customer Table

Customer Churn Table

Data Factory Concepts

Data Sources Ingest Transform & Analyze Publish

Customer Call Details

Customers Likely to Churn


A managed cloud service for building & operating data pipelines (aka. data flows)

1. Orchestrate, monitor & schedule

• compose data processing, storage & movement services (on premises & cloud)

2. Automatic infrastructure mgmt

• combine pipeline intent w/ resource allocation & mgmt

• data movement as a service (global footprint & on premises)

3. Single pane of glass

• one place to manage your network

of data flows

Architecture Lambda


Pipeline (Active Period: July 2015 to July 2016)

Architecture Lambda

Architecture Lambda


Pour aller plus loin…


Machine Learning

Architecture Lambda


[email protected]

@michelhubert

[email protected]

mailto:[email protected]

mailto:[email protected]

Download - Architectures lambda - Microsoft

Top Related