p geurts - séminaire lip6 1 ensembles darbres extrêmement aléatoires application à la...

of 54/54
P Geurts - séminaire LIP6 P Geurts - séminaire LIP6 1 Ensembles d’arbres Ensembles d’arbres extrêmement aléatoires extrêmement aléatoires Application à la Application à la classification classification d’images d’images Pierre Geurts Pierre Geurts Département d’Electricité, Département d’Electricité, d’Electronique et d’Electronique et d’Informatique, d’Informatique, Université de Liège, Belgique Université de Liège, Belgique 19 février 2004 19 février 2004

Post on 03-Apr-2015

102 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • Page 1
  • P Geurts - sminaire LIP6 1 Ensembles darbres extrmement alatoires Application la classification dimages Pierre Geurts Dpartement dElectricit, dElectronique et dInformatique, Universit de Lige, Belgique 19 fvrier 2004
  • Page 2
  • P Geurts - sminaire LIP62 Plan de la prsentation Arbres extrmement alatoires Arbres extrmement alatoires Arbres de dcision et mthodes densemble Arbres de dcision et mthodes densemble Arbres extrmement alatoires Arbres extrmement alatoires Analyse biais-variance Analyse biais-variance En pratique En pratique Arbre totalement alatoire Arbre totalement alatoire Application la classification dimages Application la classification dimages
  • Page 3
  • P Geurts - sminaire LIP63 Arbres de dcision/rgression X1 t 1 X2 t 2 X1 t 3 X2 t 4 r1r1 r2r2 r3r3 r4r4 r5r5 r2r2 r1r1 r3r3 r5r5 r4r4 t2t2 t1t1 t3t3 X1X1 X2X2
  • Page 4
  • P Geurts - sminaire LIP64 Arbres de dcision/rgression Construction de larbre partir de donnes Construction de larbre partir de donnes De haut en bas De haut en bas chaque tape: chaque tape: On choisit un nud terminal On choisit un nud terminal On cherche le meilleur attribut et la meilleure question selon une mesure de score On cherche le meilleur attribut et la meilleure question selon une mesure de score On clate le nud On clate le nud Variable numrique: question de type [A
  • P Geurts - sminaire LIP642 Extraction de sous-fentres Les sous-fentres permettent de tenir compte de caractristiques plus locales dans les images et augmente artificiellement lchantillon ( N w >>) Les sous-fentres permettent de tenir compte de caractristiques plus locales dans les images et augmente artificiellement lchantillon ( N w >>) La taille des sous-fentres dpend du problme La taille des sous-fentres dpend du problme dautant plus petite que les classes dimages dpendent de caractristiques locales dautant plus petite que les classes dimages dpendent de caractristiques locales Exemple: classification de caractres manuscripts ! grandes fentres, classification de texture ! fentres plus petites Exemple: classification de caractres manuscripts ! grandes fentres, classification de texture ! fentres plus petites En pratique, dtermination de la taille optimale par validation croise pour rester gnrique. En pratique, dtermination de la taille optimale par validation croise pour rester gnrique.
  • Page 43
  • P Geurts - sminaire LIP643 DBs#images#attributs#classes MNIST70000 784 (28x28x1) 10 ORL400 10304 (92x112x1) 40 COIL-1007200 3072 (32x32x3) 100 OUTEX864 49152 (128x128x3) 54 Base de donnes
  • Page 44
  • P Geurts - sminaire LIP644 Protocoles dexprimentation MNIST MNIST LS = 60000 premires images LS = 60000 premires images TS = 10000 dernires images TS = 10000 dernires images ORL ORL 100 groupes de donnes: 100 groupes de donnes: LS = 200 images (5 images par personne) LS = 200 images (5 images par personne) TS = 200 images (5 images restantes par personne) TS = 200 images (5 images restantes par personne) COIL-100 COIL-100 LS = 1800 images (k*20, k=0..17) LS = 1800 images (k*20, k=0..17) TS = 5400 images (36 images restantes par objet) TS = 5400 images (36 images restantes par objet) OUTEX OUTEX LS = 432 images (8 images par texture) LS = 432 images (8 images par texture) TS = 432 images (8 images restantes par texture) TS = 432 images (8 images restantes par texture)
  • Page 45
  • P Geurts - sminaire LIP645 Prcision BDsExtra-treesSous-fentresLittrature MNIST3.26%2.63% (w 1 =w 2 =24) 12%0.7% ORL 4.56% 1.43 2.13% 1.18 (w 1 =w 2 =32) 7.5%0% COIL-1002.04%0.39% (w 1 =w 2 =16) 12.5%0.1% OUTEX64.35%2.78% (w 1 =w 2 =4) 9.5%0.2%
  • Page 46
  • P Geurts - sminaire LIP646 Comparaison avec dautres mthodes MethodMNISTORLCOIL-100OUTEX One classical DT 11.5%29.25%20.80%89.35% Bagging DT 4.42%9.5%2.24%73.15% Boosting DT 2.29%3.75%0.54%69.44% Random Forests 3.0%1.25%1.17%66.90% Extra-trees3.17%1.25%1.96%65.05% Extra-trees + SW 2.54%0.5%0.35%2.78% SVMs1.95%1.25%0.44%71.99% Nearest Neighbours 5.5%2.25%1.94%80.79% State-of-the-art0.7%-0.1%0.2%
  • Page 47
  • P Geurts - sminaire LIP647 Temps de calcul Apprentissage sur COIL-100 (1800x3072) Apprentissage sur COIL-100 (1800x3072)
  • Page 48
  • P Geurts - sminaire LIP648 Temps de calcul Test sur COIL-100 (5400 images) Test sur COIL-100 (5400 images)
  • Page 49
  • P Geurts - sminaire LIP649 Robustesse Linconvnient dune approche gnrique est peut-tre le manque de robustesse diffrentes transformations des images Linconvnient dune approche gnrique est peut-tre le manque de robustesse diffrentes transformations des images Exemples de transformations: Exemples de transformations: Rotation Rotation Changement dchelle Changement dchelle Occultation Occultation
  • Page 50
  • P Geurts - sminaire LIP650 Robustesse: rotation Rotation planaire des images (COIL-100) Rotation planaire des images (COIL-100) Ok, jusque 20 avec des sous-fentres Ok, jusque 20 avec des sous-fentres
  • Page 51
  • P Geurts - sminaire LIP651 Robustesse: chelle Seule la variante avec des sous-fentres peut encore tre applique Seule la variante avec des sous-fentres peut encore tre applique Le modle est construit sur des images 32x32 (sous-fentres de 16x16) Le modle est construit sur des images 32x32 (sous-fentres de 16x16) Ok seulement pour de faibles variations Ok seulement pour de faibles variations
  • Page 52
  • P Geurts - sminaire LIP652 Robustesse: occultation La partie droite de limage est occulte La partie droite de limage est occulte Ok jusqu environ 40% doccultation avec les sous-fentres Ok jusqu environ 40% doccultation avec les sous-fentres
  • Page 53
  • P Geurts - sminaire LIP653 Conclusions et perspectives Mthode gnrique comparable aux meilleurs mthodes spcifiques bien que lgrement infrieure en prcision par rapport ltat de lart Mthode gnrique comparable aux meilleurs mthodes spcifiques bien que lgrement infrieure en prcision par rapport ltat de lart Est-ce quune amlioration lgre de la prcision justifie une approche spcifique ? La rponse dpend de lapplication Est-ce quune amlioration lgre de la prcision justifie une approche spcifique ? La rponse dpend de lapplication Perspectives: Perspectives: Combinaison des sous-fentres avec dautres mthodes dapprentissage (SVM, boosting) Combinaison des sous-fentres avec dautres mthodes dapprentissage (SVM, boosting) Amlioration de la robustesse Amlioration de la robustesse tudier le compromis entre efficacit et prcision pour faire une prdiction. tudier le compromis entre efficacit et prcision pour faire une prdiction.
  • Page 54
  • P Geurts - sminaire LIP654 Rferences Extra-trees: (http://www.montefiore.ulg.ac.be/~geurts) Extra-trees: (http://www.montefiore.ulg.ac.be/~geurts)http://www.montefiore.ulg.ac.be/~geurts Contribution to decision tree induction: bias/variance tradeoff and time series classification, P.Geurts, Thse de doctorat, 2002. Contribution to decision tree induction: bias/variance tradeoff and time series classification, P.Geurts, Thse de doctorat, 2002. Traitement de grands volumes de donnes par ensemble darbre de dcision, P.Geurts, Journes de Statistiques, Lyon, Juin 2003. Traitement de grands volumes de donnes par ensemble darbre de dcision, P.Geurts, Journes de Statistiques, Lyon, Juin 2003. Extremely randomized trees, P.Geurts, Rapport interne, Mai 2003. Extremely randomized trees, P.Geurts, Rapport interne, Mai 2003. Classification dimages: (http://www.montefiore.ulg.ac.be/~maree) Classification dimages: (http://www.montefiore.ulg.ac.be/~maree)http://www.montefiore.ulg.ac.be/~maree Une mthode gnrique pour la classification automatique dimages partir des pixels, R.Mare, P.Geurts et L.Wehenkel, Journes de Statistiques, Lyon, Juin 2003. Une mthode gnrique pour la classification automatique dimages partir des pixels, R.Mare, P.Geurts et L.Wehenkel, Journes de Statistiques, Lyon, Juin 2003. A generic approach for image classification based on decision tree ensembles and local subwindows, R. Mare, P. Geurts, J. Piater, L. Wehenkel, Sixth Asian Conference on Computer Vision, Jeju (Core), janvier 2004 A generic approach for image classification based on decision tree ensembles and local subwindows, R. Mare, P. Geurts, J. Piater, L. Wehenkel, Sixth Asian Conference on Computer Vision, Jeju (Core), janvier 2004 A comparison of generic machine learning algorithms for image classification, R.Mare, P. Geurts, G. Visimberga, J. Piater, L. Wehenkel, 23rd SGAI International Conference on Innovative Techniques and Applications of Artificial Intelligence, Cambridge (UK), Dcembre 2003. A comparison of generic machine learning algorithms for image classification, R.Mare, P. Geurts, G. Visimberga, J. Piater, L. Wehenkel, 23rd SGAI International Conference on Innovative Techniques and Applications of Artificial Intelligence, Cambridge (UK), Dcembre 2003.