cours emi cfd
DESCRIPTION
TRANSCRIPT
![Page 1: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/1.jpg)
Data PublicaOpendata & visualisations
Thomas [email protected]
@tdudouet
EMI - CFDMercredi 28 mars 2012
![Page 2: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/2.jpg)
Open dataDéfinition
● Open data = Donnée ouverte● On parle d'ouverture des données ● Mise à disposition des données publiques pour
accès et réutilisation par les citoyens et les entreprises
![Page 3: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/3.jpg)
Open dataDonnée publique
La notion de « donnée publique » couvre l'ensemble des données qui sont ou devraient être (légalement ou volontairement) publiées ou tenues à disposition du public, et qui sont produites ou collectées par un État, une collectivité territoriale, un organe parapublic, dans le cadre de leurs activités de service public.
http://fr.wikipedia.org/wiki/Donnée_publique
![Page 4: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/4.jpg)
Modernisation
● Enrichissement des données● Développement du collaboratif● Intégration du décisionnel de données
Open dataMotivations
![Page 5: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/5.jpg)
Économiques
● Développement de l'innovation● Croisement des compétences● Création d'emploi, de structures● Valorisation du territoire
Open dataMotivations
![Page 6: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/6.jpg)
Démocratiques
● Lisibilité et transparence de l'action publique● Dialogue et participation citoyenne
Open dataMotivations
![Page 7: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/7.jpg)
● États-Unis Initiative data.gov (administration Obama - 2009)
● Royaume-Uni Initiative data.gov.uk (2010)● UE Directive Européenne sur la réutilisation des
données publiques (2003)● Finlande, Australie, Nouvelle-Zélande,
Irlande,...● France Mission Etalab (data.gouv.fr)
Open dataUn mouvement mondial
![Page 8: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/8.jpg)
● Des formes variées Statistiques, horaires, cartographies, mesures,...
● Des thématiques diverses Transport, culture, tourisme, environnement, démoghraphie, finances,...
● Des formats préconisés○ Formats "libres" (non propriétaires)○ Formats lisibles par les machines
CSV, ODF, XML,... XLS, PDF, DOC,...
Open dataDonnées publiques
![Page 9: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/9.jpg)
● Exemples :○ Liste des arbres dans la ville○ Liste de jardins et parcs publics○ Localisation des vélos en libre accès○ Circulation et places de parking en temps réel○ Localisation des toilettes publiques○ Statistiques de prêt dans les bibliothèques○ Résultats aux élections
Open dataDonnées publiques
![Page 10: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/10.jpg)
Open dataÉtat du mouvement en France
![Page 11: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/11.jpg)
Open dataPetit exercice d'introduction...
http://www.pratique.fr/sites/default/files/articles/referencer-site.jpg
Recherche de jeu de données
Pour chaque jeu de données, noter :● L'URL du site● Le format de fichier
![Page 12: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/12.jpg)
MINISTÈRE DES SPORTS MINISTÈRE DE L'INTÉRIEUR MINISTÈRE DU BUDGET
MINISTÈRE DE L'ECOLOGIE MINISTÈRE DE L'ÉDUCATION NATIONALE MINISTÈRE DE LA
CULTURE MINISTÈRE DU TRAVAIL PRÉFECTURE D'ILE DE FRANCE & DE PARIS
PRÉFECTURE DU JURA PRÉFECTURE DU NORD PRÉFECTURE DE LA SOMME PRÉFECTURE DE
LA MARNE PRÉFECTURE DE L'AIN PRÉFECTURE DU VAR PRÉFECTURE DU PAS DE CALAIS
Open dataProducteurs de données
![Page 13: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/13.jpg)
VILLE DE PARIS VILLE DE NANTES VILLE DE RENNES VILLE DE MONTPELLIER VILLE DE
TOULOUSE VILLE DE BROCAS CONSEIL GÉNÉRAL DU LOIR ET CHER CONSEIL GÉNÉRAL DE GIRONDE CONSEIL GÉNÉRAL DE SAÔNE ET
LOIRE CONSEIL GÉNÉRAL DE LOIRE ATLANTIQUE CONSEIL GÉNÉRAL DU MAINE ET LOIRE AGENCE DE L'EAU ARTOIS PICARDIE ...
INSEE EUROSTAT OCDE BANQUE MONDIALE ...
Open dataProducteurs de données
![Page 14: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/14.jpg)
PDF XLS CSV DOCXML RDF RTF TXT SHP
GTFS ESRI KMLHTML ODS JPG
...
Open dataFormats de données
![Page 15: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/15.jpg)
MINISTÈRE DES SPORTS MINISTÈRE DE L'INTÉRIEUR MINISTÈRE DU BUDGET MINISTÈRE DE L'ECOLOGIE MINISTÈRE DE
L'ÉDUCATION NATIONALE MINISTÈRE DE LA CULTURE MINISTÈRE DU TRAVAIL PRÉFECTURE DU JURA PRÉFECTURE DU NORD
PRÉFECTURE DE LA SOMME PRÉFECTURE DE LA MARNE PRÉFECTURE DE L'AIN PRÉFECTURE DU PAS DE CALAIS VILLE DE
PARIS VILLE DE NANTES VILLE DE RENNES VILLE DE MONTPELLIER VILLE DE TOULOUSE VILLE DE BROCAS CONSEIL
GÉNÉRAL DU LOIR ET CHER CONSEIL GÉNÉRAL DE GIRONDE CONSEIL GÉNÉRAL DE SAÔNE ET LOIRE CONSEIL GÉNÉRAL DE LOIRE ATLANTIQUE CONSEIL GÉNÉRAL DU MAINE ET LOIRE
AGENCE DE L'EAU ARTOIS PICARDIE AGENCE DE L'EAU ADOUR GARONNE AGENCE DE L'EAU LOIRE BRETAGNE PDF XLS CSV DOC
XML RDF RTF TXT SHP GTFS ESRI KML HTML ODS JPG
Open dataData deluge
DATA DELUGE
![Page 16: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/16.jpg)
The data deluge refers to the situation where the sheer volume of new data being generated is overwhelming the capacity of institutions to manage it and researchers to make use of it.
http://itlaw.wikia.com/wiki/Data_deluge
Open dataData deluge
![Page 17: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/17.jpg)
● Utilisation d'annuaires● Segmentation des données existantes :
○ Par éditeur : portée géographique (national, continental, mondial)
○ Par catégorie : portée sémantique○ Par format : niveau de réutilisation,
d'automatisation
Open dataSolutions (nécessaires mais pas suffisantes)
![Page 18: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/18.jpg)
● Structurer les données● Les rendre librement accessibles via des
services web (Exemple de Google Maps)● Assurer leur mise à jour automatique● Garantir la rétro-compatibilité des systèmes
http://maps.googleapis.com/maps/api/geocode/json?sensor=false&address=7,%20rue%20des%20Petites%20Ecuries%
20Paris
Open dataSolutions ((presque ?) suffisantes)
![Page 19: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/19.jpg)
Open dataData Publica - Histoire
● Origine Projet de R&D financé par le Secrétariat d'État à l’Économie numérique (2010)
● Septembre 2010 : Lancement du premier annuaire
Français de données électroniques● Mars 2011 : Lancement de la société Data Publica● Octobre 2011 : Lancement de la place de marché● Janvier 2012 : Outil de visualisation générique● Mars 2012 : Lancement de l'API
![Page 20: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/20.jpg)
Open dataData Publica - Points forts
● Excellente connaissance des données françaises● Maitrise des technologies de recueil de données
○ Crawling, scraping○ Text mining, web mining○ ETL, data cleansing
● Flexibilité et réactivité● Collaboration avec le monde de la recherche
![Page 21: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/21.jpg)
Open dataData Publica - L'annuaire
● Libre, gratuit, ouvert● Plus de 13000 jeux de données, 200 éditeurs● Données & méta-données combinées dans un
moteur de recherche à facettes● Moteur de visualisation générique
![Page 22: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/22.jpg)
Open dataData Publica - Recherche
● Un résultat du moteur = un jeu de données● Classement par pertinence ou par date de parution● Nombreuses facettes :
○ Prix (99% gratuit)○ 24 catégories (multi-catégories)○ Type de publication (groupements de formats)○ Annuaire (site d'origine)○ Éditeur○ License
![Page 23: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/23.jpg)
Open dataData Publica - Recherche
DémoLa poule pondeuse, témoin de la puissance du moteur de recherche Data Publica.
http://www.zanimag.fr/files/2011/03/poule-pondeuse.jpg
![Page 24: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/24.jpg)
Open dataData Publica - Visualisateur
● Un outil simple d'utilisation qui permet de visualiser des données de manière claire :○ Cartographies○ Graphiques○ Courbes
● Un moyen facile d'exporter une visualisation dans
un article
![Page 25: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/25.jpg)
Open dataData Publica - Visualisateur
Première étape : Trouver sa visualisation
![Page 26: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/26.jpg)
Open dataData Publica - Visualisateur
Deuxième étape : Choisir un type de visualisation
![Page 27: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/27.jpg)
Open dataData Publica - Visualisateur
Troisième étape : Paramétrer ses données
![Page 28: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/28.jpg)
Open dataData Publica - Visualisateur
Last but not least : Partager ses données
![Page 29: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/29.jpg)
Open dataData Publica - Visualisateur
DémoDélinquance : des chiffres qui donnent la chair de poule (pondeuse)
http://www.monversailles.com/wp-content/uploads/2009/11/menottes.jpg
![Page 30: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/30.jpg)
Open dataVisualisateur : prenez la main !
Quel est le pays Européen dont le montant de la dette publique était le plus important en 2010 ?
![Page 31: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/31.jpg)
Open dataVisualisateur : prenez la main !
Quel est le pays Européen dont le montant de la dette publique était le plus important en 2010 ?
L'Allemagne, avec 2062 milliards d'euros.
La Grèce à quant à elle la part la plus elevée par
rapport à son PIB avec 145%.
![Page 32: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/32.jpg)
Open dataVisualisateur : prenez la main !
Quel est le pays Européen qui détient le plus d'élevages de poules pondeuses ? Le plus de
poules pondeuses ?
![Page 33: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/33.jpg)
Open dataVisualisateur : prenez la main !
Quel est le pays Européen qui détenait le plus d'élevages de poules pondeuses en 2007 ?
Le plus de poules pondeuses ?
La Roumanie avec 2 951 970 élevages.La France avec 73 670 000 poules pondeuses.
Varier le paramètre "Nombre de têtes".
![Page 34: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/34.jpg)
Open dataVisualisateur : prenez la main !
Quel est le domaine d'activité en France le plus sujet à des accidents du travail ?
![Page 35: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/35.jpg)
Open dataVisualisateur : prenez la main !
Quel est le domaine d'activité en France le plus sujet à des accidents du travail ?
La construction.
Nette amélioration dans l'agriculture en 2007.
Observer également avec la dimensions Pays.
![Page 36: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/36.jpg)
Open data Data Publica, c'est aussi...
Un blog sur l'actualité des donnéeshttp://www.data-publica.com/content/blog/data-news/
● Des articles d'analyse de jeu de données : Analyse
des résultats des primaires socialistes, Analyse des données sur la délinquance,...
● Des entretiens avec des acteurs du domaine
![Page 37: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/37.jpg)
Open data Data Publica, c'est aussi...
Le "labs" et ses expériences
http://observatoire.data-publica.com/
Outil de mesure de l'impact des 10 candidats à la présidentielle sur Twitter :
● Nombre de followers● Analyse sémantique (text-mining)● Bruit (nombre de tweets associés)
![Page 38: Cours emi cfd](https://reader035.vdocuments.mx/reader035/viewer/2022081802/548041bdb37959492b8b5a60/html5/thumbnails/38.jpg)
Open data Data Publica, c'est aussi...
Le "labs" et ses expériences
http://www.data-publica.com/content/2012/03/voyage-dans-le-patrimoine-immobilier-de-letat/
Analyse et cartographie sur les biens immobiliers détenus par l'État Français dans le monde.