complex event processing - imagair.imag.fr/images/b/b6/complex_event_processing.pdfi/ complex event...
TRANSCRIPT
![Page 1: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/1.jpg)
Complex Event Processing
KLIPFFEL TararainaPolytech Grenoble - RICM 5
![Page 2: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/2.jpg)
I/ Complex Event Processing
a. Qu’est ce qu’un CEPb. Architecture EDA
II/ Domaine d’application
III/ Exemple de produit
a. Apache Stormb. Spark Streaming
IV/ Positionnement : MapReduce Vs Spark
Sommaire
![Page 3: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/3.jpg)
Qu’est ce qu’un Complex Event Stream Processing
● concept d'analyse d'événements● calcul et/ou traitement des
événements
But :
● faire ressortir les informations contenues dans les événements
● analyser son impact et décider du plan d'action en temps réel
![Page 4: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/4.jpg)
Architecture EDA ( Event Driven Architecture)
● modèle interaction applicative met en oeuvre des services répondant aux demandes
● pas langage particulier● pas de platforme
particulère● communication
asynchrone● bus : PublishedSubscibe
![Page 5: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/5.jpg)
Domaine d’application● réseaux de capteurs (IoT)● journaux système (détection de fraudes, ...)● finance (quotations boursières )● réseaux sociaux (tweeter)● Business Activity Monitoring (BAM)● Sécurité des systèmes d’information par corrélation d’événements. (alertes
remontées par les composants logiciels et serveurs)● Optimisation de tournées de flottes de véhicule (Optimisation en temps réel
par corrélation de positions GPS et état du trafic)● cellules de crise (aviation)
![Page 6: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/6.jpg)
Apache Storm
● Storm : 2011● CEP concept● Mode de traitement : par stream (One at time)● Language
○ Java○ Scala○ Ruby○ Python○ ....
● Tolérance aux pannes (travail perdu, l'état d'opérateur)
![Page 7: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/7.jpg)
Spark Streaming
● Spark : 2010● CEP concepts● mode de traitement : micro-batch● Langage
○ Java○ Scala○ Python
● Tolérance aux pannes (travail perdu, l'état d'opérateur)● Exécution platforme : Hadoop, Mesos, standalone, ou sur le cloud
![Page 8: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/8.jpg)
Posisionnement : MapReduce VS Spark
MapReduce
● MapReduce : 2004● patron d'architecture de
développement informatique● inventé par Google● calculs parallèles et distribués● but : recherche web● résolution non optimiser
Spark
● + Rapide (au niveau des applications)
○ facteur 100 entre MapReduce (Hadoop) et Spark (Cassandra)
○ opérations en mémoire, copie des
données d’un système de stockage physique vers de la mémoire RAM
● facilité d’utilisation API● flexibilité
○ requêtes interactives
○ algorithmes avancés comme le Machine Learning.
![Page 9: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/9.jpg)
Merci, pour votre attention.
Avez-vous des questions ?
![Page 10: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/10.jpg)
Démonstration 1 : Storm Apache
“topologie wordcount”
![Page 11: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/11.jpg)
Démonstration 2 : Saas IFTTT
![Page 12: Complex Event Processing - imagair.imag.fr/images/b/b6/Complex_Event_Processing.pdfI/ Complex Event Processing a. Qu’est ce qu’un CEP b. Architecture EDA II/ Domaine d’application](https://reader030.vdocuments.mx/reader030/viewer/2022040309/5f0c5fd27e708231d43515c1/html5/thumbnails/12.jpg)
Bibliographie● http://fabulous-lab.com/blog/2015/01/17/spark-streaming-affichez-vos-
donnees-en-presque-temps-reel/● http://blog.octo.com/complex-event-processing-cep-de-quoi-sagit-il/ ● http://www.infoq.com/fr/articles/apache-spark-introduction● http://searchsoa.techtarget.com/definition/complex-event-processing● https://upload.wikimedia.
org/wikipedia/commons/3/39/Complex_Event_Processing.jpg● http://www.lemagit.fr/conseil/Spark-contre-MapReduce-quelle-solution-pour-
les-entreprises● http://www.infoq.com/fr/articles/apache-spark-introduction