big data analytics
TRANSCRIPT
Soft Computing – 55, quai de Grenelle – 75015 Paris – tél. +33 (0)1 73 00 55 00 – www.softcomputing.com
Big Data Analytics avec
Paris, le 17 octobre 2012
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 2
SOMMAIRE
1. Présentation de Soft Computing
2. Quelle place pour l'analytique dans les nouveaux SI décisionnels ?
3. Les enjeux de la gouvernance d’une plate-forme analytique
4. Illustration 1 :Industrialiser le cycle de vie des modèles :
présentation de SAS Business Analytics V9© pour une grande
banque de détail
5. Conclusion
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 3
Carte d’identité de Soft Computing
« Soft Computing est une
société spécialisée en CRM,
Big Data et Digital, délivrant
des prestations de Conseil, de
Technologie et de Marketing
Services »
Employés
400
R&D/CA
9 %
Référent
Citoyen
Capitaux
16 M€
Innovant
Qualité
Pérenne
CA 2012
36 M€
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 4
Ambition : spécialiste CRM, Big Data et Digital
Big Data
CRM
Génétiquement Net
Digital
Différenciateur client
Accélérateur de décision
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 5
Services
Continuum de services
Concevoir, développer et déployer des solutions CRM, BI et Web performantes, pragmatiques et adaptées
Cadrage et Business Case Refonte de processus et conception de systèmes d’informations Architecture et urbanisation Gestion de programmes et de projets Développement et intégration Recette Change management et formation Centres de services Tierce Maintenance Applicative
Imaginer, bâtir et opérer des programmes de conquête et de fidélisation cross-canaux, rentables et innovants Conception de programmes relationnels de conquête et de fidélisation Exploitation de base et de programmes marketing Conseil fichier et enrichissement Gestion de la qualité et des référentiels de données Analyse de données et connaissance client Conception et exécution de campagnes cross-canaux Mesure de la performance
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 6
Big Data, ils en parlent, nous le faisons
Nous travaillons sur toutes les architectures
Big Data
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 7
SOMMAIRE
1. Présentation de Soft Computing
2. Quelle place pour l'analytique dans les nouveaux SI
décisionnels ?
3. Les enjeux de la gouvernance d’une plate-forme analytique
4. Illustration 1 - Industrialiser le cycle de vie des modèles :
présentation de SAS Business Analytics V9© pour une grande
banque de détail
5. Conclusion
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 8
Des tendances de consommation drivées par un contexte de crise et par les nouvelles technologies…
COMPORTEMENTS USAGES
ATTENTES
. Faire la bonne affaire
. Contribuer, participer . Re commerce
. Acheter groupé . Louer
. Comparer, reporter
. Screen culture . Sans espèce
. Accès temps réel à l’information
. Transparence . Honnêteté . Simplicité
. Engagement
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 9
…qui redéfinit la relation consommateur/marque-entreprise
23%
Un quart des consommateurs ayant eu une mauvaise expérience ont publié un commentaire négatif
86%
Près de 9 français sur 10 lisent « toujours » ou « parfois » les avis consommateurs sur Internet
15 personnes Après une mauvaise expérience, 64% des consommateurs déclarent en discuter systématiquement avec « environ 15 personnes »
3 fois plus
On accorde trois fois plus sa confiance aux recommandations de ses amis, sa famille, ses proches qu’à la publicité des marques
15% Seuls 15% des consommateurs se déclarent «tout à fait fidèles aux marques»
NE FAIT PLUS CONFIANCE AUX DISCOURS DES MARQUES
A UN POUVOIR DE NUISANCE
EST VOLAGE
(Source INIT pour la journée de la fidélité).
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 10
...ce qui nécessite de redéfinir la relation en mixant messages transactionnels et services
58% désirent retrouver les dernières nouveautés d’une
marque
73 % sont intéressés par l’obtention des
coordonnées du point de vente le plus proche
69% d’entre eux souhaitent bénéficier d’offres promotionnelles
55% veulent obtenir des informations sur les marques en exclusivité
41% aimeraient recevoir des conseils personnalisés
Source: SMSEnvoi.com, les attentes du consommateur mobile
79% souhaiteraient pouvoir télécharger des coupons de
réduction directement sur leur téléphone
39% souhaitent avoir la possibilité d’acheter directement des produits à partir de leur mobile
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 11
… en lui proposant une expérience différenciée qui contribuera à créer de la valeur…
SOCIAL . Social shopping (avis)
. Communauté . E-réputation MOBILE
. Internet everywhere
. Réalité augmentée
. E coupon
. Check-in
INTERACTIVITE . Synergie cross canal . Identification / reconnaissance
LUDIQUE . Client=acteur
. Expérience immersive de la marque
. Relation affective et positive
BRAND CONTENT . Contenu utile vs produit
. Valeur ajoutée / services
1
2
3 4
5
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 12
De nouvelles exigences opérationnelles pour les équipes métier
• Pour s’adapter, les équipes métiers évoluent, s’organisent et souhaitent industrialiser/déployer les processus experts. Les enjeux du pilotage et du CRM analytiques vont en s’accentuant jusqu’à devenir critiques dans un contexte très compétitif.
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 13
De forts enjeux se profilent
• Industrialiser la fabrication de l’information, et la mettre à disposition aux bons acteurs,
• Disposer d’une persistance élargie pour apprendre et/ou auditer
Disposer d’organisations
études et décisionnelles agiles
et productives
• Etre en mesure de mettre en œuvre des outils analytiques
• S’appuyer sur des modèles experts
• Les mettre à jour de manière plus
réactive
• Administrer les données ET les
modèles
Industrialiser l’apport
d’intelligence dans les systèmes
Mieux gérer la collecte et
la persistance
Déployer de nombreux processus complexes
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 14
Big Data…
• Une expression utilisée pour désigner des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données.
• Dans ces nouveaux ordres de grandeur, la capture, le stockage, la recherche, le partage, l'analyse et la visualisation des données doivent être redéfinis.
• La typologie même des données ne se cantonne plus aux données structurées classiques : texte libre, vidéos, sons,…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 15
L’opportunité « Big Data »…
• Chaque jour, nous créons plus de données – (90% des données dans le monde d'aujourd'hui ont été créées dans les deux dernières années).
• Ces données proviennent : des capteurs utilisés pour recueillir des informations sur le climat, des messages sites de médias sociaux, photos et vidéos numériques, enregistrements de transactions d'achat et téléphonie cellulaire, de signaux GPS pour n'en nommer que quelques-uns. Ces données sont des Big Data.
• Big Data est plus qu’une simple question de taille, c'est une occasion d’identifier et de faire émerger de nouveaux types de données et de contenu, pour rendre votre entreprise plus agile, et à répondre aux questions qui étaient auparavant considérés comme hors de votre portée.
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 16
Big data implique trois dimensions : Volume, Vitesse, Variété plus la notion de Valeur
• Volume : les entreprises sont inondées d’un nombre croissant de données de tous types, avec des volumes mesurables en téraoctets voire même en pétaoctets .
– Exploiter 12 téraoctets de Tweets chaque jour pour améliorer l'analyse de la perception produit
– Convertir 350 milliards de relevés de compteurs en prédiction de consommation d'énergie
• Vitesse : A quelques minute près, il peut être trop tard. Les processus actuels, tels que l’identification de la fraude, sont tellement sensibles au temps que ces big data doivent être utilisées en flux continu pour créer un maximum de valeur pour l’entreprise.
– Examiner 5 millions d'événements commerciaux/jour pour identifier d'éventuelles fraudes
– Analyser 50 millions d’enregistrements d’appels en temps réel pour prédire le taux de désabonnement plus rapidement
• Variété : les Big Data sont constituées de tout type de données - des données structurées et non structurées comme du texte, les données audio, vidéo, flux de clic, les fichiers log... L'analyse de ces types de données offre de nouvelles perspectives :
– Exploiter en direct les flux vidéo des caméras de surveillance situées aux points clés d'intérêt
– Interpréter les données issues des images, vidéo et documents pour améliorer la satisfaction client
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 17
L’opportunité « Big Data »…
• Les perspectives du traitement des big data sont notamment pour l'analyse d'opinions, de comportement clients, de météo, ou même de tendances…
• Parmi les domaines de données qui réservent des opportunités :
– Le suivi des parcours physiques des clients (en centre commercial, magasin, sur le territoire,…)
– L’analyse des comportements et des usages sur le web,
– La compréhension des usages mobiles,
– La corrélation avec des facteurs externes (météo, contextes économiques, concurrence…),
– L’extension de la relation sur les réseaux sociaux,
– L’analyse des flux de consommation de service (internet, télévision…)
Services financiers –Gestion des risques de fraude
–Analyse de la clientèle
Transport –Optimisation logistique
–Analyse de la congestion du trafic
Santé / Sciences de la Vie –Analyse de texte médicaux
–Analyse génomique
Télécommunications –Traitement de détail des enregistrements d’appels
–Monétisation du profil du client
Energie and Utilities –Analyse de compteurs intelligents
–La gestion d'actifs
Digital Media –Ciblage en temps rée des annonces
–Analyse de site Web
Vente au détail –Omni-canal de marketing
–Analyse des flux de clic
Application de la loi –Surveillance multimodal en temps réel
–La cybersécurité
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 18
Le concept Décisionnel 2.0
Toutes les données ont une valeur
Les besoins d’aujourd’hui ne présument pas ceux de demain
De nouvelles données apparaissent régulièrement
La forme, l’origine ou la localisation ne sont pas des limites (SID, SI, Partenaires, Web …)
La donnée doit produire de l’information
Stratégique
Tactique
Pilotage
Opérationnel
Un capital en
constante évolution
…
… apport de valeur dans
tous les processus de l’entreprise
La donnée récente, même non certifiée, La donnée non structurée, De l’information média (associée ou non), Des photos datées, des indicateurs et des informations calculées, La très haute volumétrie Différents niveaux de service Le besoin de flexibilité
Gérer :
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 19
Le concept Décisionnel 2.0 : point de vue fonctionnel
Services d’intégration
Services de persistance
Services d’accessibilité
Gouvernance
• Référencement, intégration, gestion de la qualité, transformation, …
• Organisation, mise en relation, ajout de valeur, historisation, stockage, …
• Exposition, mise à disposition, mise en forme, analyse, interprétation, sécurité, …
• Des données, des usages, des processus, des modèles…
Des services de base appuyés sur une gouvernance orientée métier
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 20
Décisionnel 2.0 : les grandes différences
• Pas de recherche d’intégration maximale des données au sein d’un même SGBD, ni même dans les SI internes, mais plutôt une approche par référencement et syndication de données
• Tolérance à la réplication de données
• Conservation de toutes les données (ou un maximum!)
• Mise en place systématique de dictionnaires de métadonnées indépendants
• Gestion des évolutions plutôt par ajout de nouveaux domaines de données, reliés par les référentiels communs plutôt que par évolution des modèles/systèmes existants
• Gestion de la performance par les concepts systèmes (appliances, big data), plus que par les développements ou l’optimisation récurrente
• Déploiement de solutions spécialisées pour les fonctions complexes : textmining, gestion des médias, recherches complexes, …
• Mise en œuvre de solutions orientées services
• Décloisonnement du reporting de production du décisionnel d’entreprise traditionnel, notamment en déployant des processus d’aide à la décision basés sur des modèles décisionnels
• Systématisation des solutions de restitution multi sources, avec une logique d’accès de type moteur de recherche
• Intégration de moteur de création de valeur (plate-forme analytique, outils experts)…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 21
Big Data : un vocable, plusieurs réalités pour la plate-forme analytique
FLUX
SQL NoSQL
Analytique
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 22
Et au bout de tout ça ? Quelques exemples de résultats
Connaitre sa part d’audience et sa réputation sur le Web
Partager avec ses clients les informations clés les concernant et enrichir ces données avec celles qu’ils acceptent de partager (réseaux sociaux)
Évaluer la performance d’un processus de bout en bout en prenant en compte le fonctionnement actuel (temps réel), récent et de référence
Adapter simplement le SI pour pouvoir réagir sur un évènement, (soupçon de fraude, franchissement de seuil, dégradation de score, …), initier les processus d’alerte puis de correction
Être en mesure d’utiliser tous les médias (images, texte, son, vidéo, …) dans les processus décisionnels, tant pour leur contenu, que pour faciliter l’exploitation des informations (image produit, parcours physique, texte d’un blog, …)
Pouvoir mettre en œuvre et alimenter en données des solutions d’arbitrage prédictif en production (Yield Management, Campagne auto-apprenante, moteur de règles, pricing dynamique)
Donner de l’autonomie aux équipes d’experts en matière d’accès aux données sans prendre le risque de dégrader les SLA pour tout le monde
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 23
SOMMAIRE
1. Présentation de Soft Computing
2. Quelle place pour l'analytique dans les nouveaux SI décisionnels ?
3. Les enjeux de la gouvernance d’une plate-forme analytique
4. Illustration 1 - Industrialiser le cycle de vie des modèles :
présentation de SAS Business Analytics V9© pour une grande
banque de détail
5. Conclusion
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 24
Périmètre de la gouvernance : Les fonctions de l’environnement décisionnel
Gouvernance et Organisation
Les outils
Les données
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 25
Une vision de la gouvernance décisionnelle
• La mise en place d’une gouvernance décisionnelle trouve sa légitimité et sa valeur en donnant aux utilisateurs plus de liberté et d’autonomie tout en garantissant l’intégrité du système décisionnel et son aptitude à satisfaire rapidement les nouveaux besoins.
• La gouvernance décisionnelle permet d’une part d’assurer la qualité et la performance des processus et du SI, d’autre part de maîtriser les coûts. Elle doit garantir de mettre à disposition
des utilisateurs des données/informations/résultats cohérents et fiables.
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 26
Quelques axes pour la gouvernance décisionnelle des plates-formes analytiques
Gestion des modèles
Gestion des méthodes
Mesure de la performance
Knowledge management
Gestion des traces et de l’historique
Sécurité et confidentialité
Légalité
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 27
Segmentation marché
Segmentation Comportementale
TextMining
Réseaux Sociaux
Webmining
Segmentation Relationnelle
Durée de vie
PILOTAGE Constat
Distribution dynamique
Réaction Anticipation Action
Prévision
DATAM
ININ
G
Distribution statique
Etudes Profils Client
Valeur Client
Score d’attrition
Score d’appétence
Datamining - Temps Réel
Une plate-forme d’études 2.0 – Usages et Pilotage
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 28
SOMMAIRE
1. Présentation de Soft Computing
2. Quelle place pour l'analytique dans les nouveaux SI décisionnels ?
3. Les enjeux de la gouvernance d’une plate-forme analytique
4. Illustration 1 - Industrialiser le cycle de vie des modèles :
présentation de SAS Business Analytics V9© pour une
grande banque de détail
5. Conclusion
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 29
Présentation générale
d’une plate-forme
d’études 2.0
Les points de
vigilance La couche logique
pour l’accès aux
données
La gestion du cycle de
vie des modèles
Industrialiser le cycle de vie des modèles
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 30
Vision traditionnelle de l’implémentation de modèles datamining
Création de modèles de scores sur données stockées sur des serveurs de fichiers
Ecriture de spécification pour implémentation du modèle
1
2
Lecture de spécification pour implémentation du modèle
3
4
Recodage du modèle en langage cible des infrastructures IT
DWH
Ordonnancement 5
Environnement datamining
Environnement IT
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 31
Plate- forme d’études 2.0 – Cycle de vie des modèles, un processus automatisé et sécurisé
Analyses Datamining
Référentiel de Modèles/Etudes uniques et
centralisés
Droits et profils spécifiques
• Arborescence avec des droits accès règlementés et sécurisés : applicatif de type « clique bouton » pour l’écriture
• Bibliothèques : génériques, communes, privatives Stocker tous types de documentation (associée ou non au modèle)
• Tous types de documents (spécifications, bonnes pratiques, guides de formation,…)
• Tous types de format • Gérer le versionning des modèles en production
Création d’études
Pilotage des modèles - Rapport de performance
ou Backtesting - Construction des rapports de performance - Choix de type de Mise à jour :
--> Manuelle --> Automatique
Rapport de mise à jour - Envoi au DTM et BAL le rapport de mise à jour (contexte et note pour validation)
Industrialisation des modèles
Mettre le modèle en production - Sauvegarder les pré-requis du modèle (périodicité, type de lancement, chainage, périmètre des données,…) - Envoi pour validation : --> Script --> Fiche ordonnanceur --> Validation technique - Envoi MEP
Mise à jour automatique - Lancement de l’ordonnanceur - Rapport d’alerte : -> OK : Mise à jour dans le DWH -> KO : blocage des notes
Création de modèles
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 32
Plateforme d’études 2.0 : Le cycle de vie des modèles
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 33
Les exigences fonctionnelles du projet
Construire une base spécifique au datamining et aux études pour chaque entité
Construire une base spécifique au datamining et aux études pour des groupes d’entité
Créer des études (ex: comportementales) ou des modèles Datamining (scores …)
Généraliser des modèles sur l'ensemble des clients de toutes les entités
Backtester, mesurer la pertinence et modifier si nécessaire des modèles mis en production
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 34
Gouvernance des données (vue générale)
Clients SAS
Couche de données
Environnement d’études
Espace privatif
Echantillon à 1/10 ème
Echantillon à la
demande
Eléments de
contexte
Métadonnées SAS
SAS Entreprise Guide
SAS Entreprise Miner
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 35
Gouvernance des données (éléments de contexte)
Utilisateurs et groupes
Contextes applicatifs
Déclaration des librairies
DataMiner
Entité E1
Entité E2
Entité E3
Groupes d’entités G1
(E1,E2)
Groupes d’entités G2
(E1,E3)
Métadonnées SAS
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 36
Gouvernance des données (gestion des droits)
Environnement
d’études Echantillon à 1/10 ème
Echantillon à la
demande
Compte technique accès DWH
Espace de gestion des modèles
Espace privatif
Autorisations système
Métadonnées SAS
Content Server
SGBD
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 38
Gouvernance des modèles
Clients SAS
Espace de stockage des modèles
Espace privatif
Espace de partage des références aux
modèles (table utilisée,
transformation, …)
Métadonnées SAS
SAS Entreprise Guide
SAS Entreprise Miner
SAS Model Manager
Espace de gestion des
versions des
modèles
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 39
SAS Model Manager : plus qu’une bibliothèque de scores
Créer une nouvelle version Exécuter des tâches de scoring
Rapport de comparaison des modèles Rapport de performance détaillé
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 40
SAS Model Manager : Configuration du cycle de vie des modèles
SAS Model Manager
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 41
Mise en production d’un modèle
SAS Data Integration Studio
SAS Data Integration Studio
Déploiement du modèle en environnement de production
Transformation du programme SAS publié dans SAS Model Manager en un job SAS Data Integration Studio
SAS Management Console
Ordonnancement du modèle en environnement de production
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 42
Une plate-forme d’études 2.0 – Points de vigilance
•Configurer les outils en concordance avec les bonnes pratiques préconisées par l’éditeur
•Utiliser au maximum les outils par défaut fournis par la suite analytique
•Réaliser les développements spécifiques pour un besoin bien ciblé, avec une pré-analyse en amont
•Veiller à ne pas généraliser les développements spécifiques
Conception de la plate-
forme
•Etre en capacité d’adapter les compétences des utilisateurs aux spécificités de l’outil
•Identifier des profils adaptés à l’administration et à une utilisation optimale de la plate-forme.
•Mener des plans de formations adaptés aux profils des utilisateurs, à la maturité des groupes d’interlocuteurs
•Guide de bonnes pratiques
Organisation
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 43
SOMMAIRE
1. Présentation de Soft Computing et de SAS
2. Quelle place pour l'analytique dans les nouveaux SI décisionnels ?
3. Les enjeux de la gouvernance d’une plate-forme analytique
4. Illustration 1 :Industrialiser le cycle de vie des modèles :
présentation de SAS Business Analytics V9© pour une grande
banque de détail
5. Conclusion
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 11/04/2013 44
Conclusion : industrialiser pour saisir l’opportunité
Le mode « garage » n’est plus de mise : Il faut repenser l’urbanisation des données et la place de l’analytique
pour mettre en place des processus souples et industriels
Analytique : des processus à généraliser
Une condition sine qua non pour transformer le gisement en valeur
Big Data : une opportunité
De nouvelles données accessibles pour approfondir la connaissance client