data science a machine learning tour

CHAPITRE 0 MACHINE LEARNING OVERVIEW MATHS

Copyright Franck Bardol 2016 2

CV

FranckBardol+33624309259

[email protected]

@bardolfranck

¡  ConsultantinMachineLearning

¡  Jury–organizerhackathons

¡  Trainerinmachinelearning

¡  co-organisermeetupParisMachineLearning

¡  Fondements

“We are living the age of information and entering the age of recommendation” The Long tail - Chris Anderson


PARADOX OF CHOICE MORE IS LESS

¡  Fondements §  “The web is leaving the era of search and entering one of discovery” §  “Race to create a smart GOOGLE” – CNN –


FROM SEARCH TO DISCOVERY

SEARCH

DISCOVERY

users

users

idea

idea

👧‍ 👨‍

👦

👩‍

👧‍ 👨‍

👦

👩‍

💡

🔮 ❤️‍

💡

🔮 ❤️‍



“you may also like” “people

you may know”

“people to

follow”

reco in stealth mode

👧‍ 👨‍

👦

👩‍ 👩‍

👩‍

👮

80% watch

via RECO

¡  Quels sont les secteurs qui l’utilisent ?

§  Sites de streaming video §  Sites marchands §  Opérateur télécom §  Formation & MOOC



CA +35%

click +40%

¡  Apprentissage Définition : Modification du comportement par l’expérience

¡ Machine learning

définition : Programmes executables qui :

ü apprennent les données ü s’adaptent aux données ü s’améliorent au cours du temps


DATA-SCIENCE QU’EST-CE-QUE C’EST ?

¡ Apprendre ? comment ?

par l’exemple !!

les couleurs


QU’EST-CE QUE C’EST ?


QU’EST-CE QUE C’EST ?

Apprendre Généraliser

quoi ? un concept

quand ? sur nouvelles

données

comment ?par l’exemple

pourquoi ? généraliser


COMMENT ÇA FONCTIONNE ?

Intuition Hypothèses

Connaissances Modèle /

programme Données

Données Détecteur schémas cachés

Modèle/programme

informatique traditionnelle

informatique data driven

X , Y f

X , Y f

f X Y

PRODUCTION

input decision predict

COMMENT ÇA FONCTIONNE ?

DESCRIPTEURS / FEATURES nb_appel duree_

min appel internation

age categorie_socio

type_ forfait

3 46 6 98 86 11

4 33 0 8 6 12

PREDICTION

reste_client

part

PREDICTION

part

reste_client

DESCRIPTEURS / FEATURES nb_ appel

duree_min

appel internation

age categorie_socia

type_ forfait

3 46 6 98 86 11

4 33 0 8 6 12

1 - TRAIN

2 - TEST

34 7 56 2 3 - PREDICT ? NOUVELLE DATA

BASE D’APPRENTISSAGE

BASE DE TEST

PREDICTION

? Copyright Franck Bardol 2016 11

GENERALIZATION VS. OVERFITTING MEMORIZING VS. LEARNING

généraliser

Apprendre Généraliser

données d’apprentissage

STRUCTURE

DETAILS & BRUITS

nouvelles données


Supervisé = exemples étiquettés ü Régression

prédire des chiffres continus

ü Classification prédire des étiquettes / classes / label


APPRENTISSAGE SUPERVISÉ

COMBIEN ?

EST-CE QUE ?

Supervisé = exemples étiquettés ü Régression

prédire des chiffres continus

ü Classification prédire des étiquettes / classes / label


APPRENTISSAGE SUPERVISÉ

big / little ?

temperature pressure stock markets

petit moyen grand très grand ?

COMBIEN ?

EST-CE QUE ?

Non supervisé = pas d’étiquettes ü Clustering

trouver des familles naturelles

ü Moteur de recommandation Introduire de la sérendipité controllable


APPRENTISSAGE NON SUPERVISÉ

RESUME ?

Non supervisé = exemples non étiquettés ü Clustering – anomaly detection – recommender system

§  Comprendre, explorer, simplifier les données, trouver des structures cachées invisibles à l’oeil


APPRENTISSAGE NON SUPERVISÉ

CARTE TOPOLOGIQUE 300 variables économiques (PIB/hab, accès eau, ….)

ANOMALY DETECTION

RECOMMENDER SYSTEM

RESUME ?


EXEMPLES

web log text

text langue ?

EEG

web log

who ?

epilepsy ?

bot?

gender ?

churn?

CRIME where ? when ?

predpol.com

deepinstinct.com

Malicious Code & Attacks ?

age?

click pub ?

¡  Règles écrites “à la main” èapproche peu performante ¡  Pas de règles / absence d’expertise humaine

§  bio informatique

¡  Trop de règles §  Difficulté à poser les règles, les expliquer… §  La solution évolue §  Reconnaissance artificielle (vision, parole, signes gestes …) §  Voiture autonome §  Ranking, Tracking, poursuite

§  routing computer networks §  pub temps réel


C’EST EFFICACE QUAND ?

pedestrian detection

Automatic questions – answering Requirement : ü never seen these words before ü comprehension

ü time element (« before », « after », …) ü action (« go », « pick up », …)


EXEMPLES

www.github.com/vinhkhuc/MemN2N-babi-python


EXEMPLES

HEP@LHC-CERN

boson?

100 million events / sec

CA +30%

buy ?

hire?

sign ?

success ?

70% accuracy


DATA

Scrapping = extract info from web sites

opendata.cern.ch data.gov data.gouv.fr www = thousand more

Open Data

Scrapping


DATA, BECAUSE …

ACCURACY

DATA


DATA, BECAUSE …

PERF

DATA

MORE DATA !

¡  Pourquoi ?


BUT …. BE CAREFUL

¡  De quoi parle-t-on ?


BEWARE OF THE DIMENSION

p features (descripteurs - variables explicatives)

DIMENSION = p

VOLUME DATA

n SAMPLES

¡  De quoi parle-t-on ?


DIMENSION ?

DIMENSION

VOLUME

TECHNO BIG DATA

STATISTICS & MACHINE LEARNING ACP

ACC SOM

n SAMPLES

¡ é dimension du problème èRISQUE de … § é corrélation fallacieuses - spurious correlations – potentielles

Tendance aléatoire fortuite commune http://www.tylervigen.com/spurious-correlations

§ é combinaisons fallacieuses - spurious combinations – potentielles Combinaisons fallacieuses qui peuvent “prédire” un phénomène é exponentielle du nombre de combinaisons entre les colonnes

§ é données nécessaires pour l’apprentissage §  é exponentielle du nombre de lignes (samples) pour apprendre

convenablement §  Curse of dimensionality

§  En très grande dimension, les données se trouvent toutes à égales distance. §  Les méthode basées sur le voisinage (kNN…) échouent


RÉDUCTION DIMENSION

DIMENSION

¡ é dimension du problème èRISQUE de … § é complexité de la solution

§  é complexité §  Kolmogoroff §  MDL : Minimum Description Length §  Occam Razor “l’explication la plus simple est toujours la meilleure”

§  nb : simple ≠ simpliste

§ ê pouvoir explicatif de la solution §  nb : pouvoir explicatif ≠ pouvoir prédictif

§ é sur-apprentissage – over fitting (par coeur vs. généralisation)

§ é difficulté de visualiser le problème (êintuition)



DIMENSION

¡ é dimension du problème èRISQUE de …

§  faire ECHOUER les méthodes statistiques et mathématiques Exemple inspiré de



DIMENSION


§  faire ECHOUER les méthodes statistiques et mathématiques §  Exemple en bio-informatique - génomique : §  Quelques centaines de lignes (les patients - samples) vs. 100 millions de

descripteurs (les gènes extraits - features)



DIMENSION

contexte


§  faire ECHOUER les méthodes statistiques et mathématiques



DIMENSION

problème !

¡  Pourquoi ê dimension du problème ? Vision d’ensemble donnée par 2 des plus grands spécialistes §  Interview de Michael Jordan

§  Interview de Vladimir Vapnik §  fichier “interview Vapnik”




METHOD KEY SKILL = FAST PROTOTYPING

AVOID COMPLEXITY

NO

OK

NO

SIMPLEST SOLUTION


COMPETE AGAINST OTHER DATA SCIENTIST

Key figures: •  400K data scientists •  2 million machine learning models Lessons learned from previous contest : •  Top methods

•  XgBoost models : for structured problems •  Deep Learning : for unstructured problems (sounds, visual, texts)

-  source : Anthony Goldbloom, CEO Kaggle – www.kaggle.com


COMPETE AGAINST OTHER DATA SCIENTIST

www.datascience.net

www.challengedata.ens.fr


DATA-SCIENCE + PYTHON = DREAM TEAM

¡  Python : langage de programmation ¡  Avantages :

§  Très vaste choix de librairies gratuites §  Courbe d’apprentissage faible §  Communauté d’utilisateurs actifs gigantesque §  Le langage favori des data-scientists §  Elimine la ré-écriture complète du code prototypé par data-scientist §  langage interprété – prototyping rapide (pas de compilation – link) §  lisibilité du code (via identation)

¡  Inconvénients : §  langage interprété (pas d’étape compilation – link) §  vitesse d’exécution


DATA-SCIENCE AVEC PYTHON


OPEN SOURCE TOOLS

vision langage

general purpose machine learning visualization

data management optimization …

package

thousand other tools


API

portails API

www.mashape.com www.programmableweb.com www.mloss.org

thousand other tools

ULTRA FAST PROTOTYPING

#chargement des données �  1 import pandas as pd �  data = pd.read_csv(‘data_to_read.csv’) #chargement d’une librairie �  2 from sklearn import model #chargement d’un algorithme de prédiction �  3 clf = model.algo() #ENTRAINEMENT sur les données d’apprentissage �  4 clf.fit(data_train , out_train) #TEST sur les données non vues �  5 predict = clf.predict(data_test)



BIBLIO

ainews.posthaven.com/16-free-ebooks-on-machine-learning


Internet ressources : MOOC (massive onLine open courses)

Udacity.com coursera.org Edx.org france-universite-numerique.fr moocs.epfl.ch ...


•  duplique le savoir d’experts •  construit des programmes exécutables de décision •  augmente la boite à outils des analystes

Prediction

TAKE HOME

Machine Learning

Algo

Hidden Pattern Detector

Data TRAINING

PROD Data

Hidden Pattern Detector

data science a machine learning tour

Data & Analytics