Strumenti Google per gli Open Data Best practice dall'esperienza di Palermo

Bari, 17 novembre 2013

Francesco Passantinofpassantino@gmail.comabout.me/fpassantino

2

about.me/fpassantinoDal 1990 Ricercatore, Consulente e Formatore nelle Tecnologie dell’Informazione e della Comunicazione. Ho fondato e lavorato per diverse Startup. Valutatore di imprese per banche ed altri enti.

Ho fondato il Google Developer Group di Palermo e co-fondato il progetto Sementor. Sono Ambassador del progetto Working Capital di Telecom Italia e della Maker Faire Rome.

Svolgo attività di Digital Strategist, con specializzazione in servizi Social Local Mobile.

Sto organizzando la Palermo Startup Weekend.

3

Programma

• Google/Open Refinehttps://code.google.com/p/google-refine/

• Google Fusion Tablehttps://chrome.google.com/webstore/detail/fusion-tables-experimenta/pfoeakahkgllhkommkfeehmkfcloagkl/related?hl=it

• Google Public Data Explorerhttp://www.google.com/publicdata/directory

• Open Data a Palermohttp://www.comune.palermo.it/opendata.php

4

GOOGLE/OPEN REFINEStrumenti Google per gli Open Data

5

Introduction to OpenRefine

• http://openrefine.org/ – Download, Installazione, Documentazione

– Explore Datahttp://www.youtube.com/watch?v=B70J_H_zAWM

– Clean and Transform Transform Datahttp://www.youtube.com/watch?v=cO8NVCs_Ba0

– Reconcile / Matchhttp://www.youtube.com/watch?v=5tsyz3ibYzk

6

Esercizi su Open Refine

• Geocodinghttps://github.com/OpenRefine/OpenRefine/wiki/Geocoding

• Fetching URLs From Web Serviceshttps://github.com/OpenRefine/OpenRefine/wiki/Fetching-URLs-From-Web-Services

7

TOOLSStrumenti Google per gli Open Data

8

Table Capture

https://chrome.google.com/webstore/detail/table-capture/iebpjdmgckacbodjpijphcplhebcmeop

9

Funzioni utili in Google SpreadsheetFunzione DescrizioneDETECTLANGUAGE Identifica la lingua in cui è scritto il testo all'interno

di un intervallo specificoGOOGLETRANSLATE Traduce il testo nell'intervallo specificato dalla lingua

di origine a quella di destinazione.IMAGE Inserisce un'immagine all'interno di una cellaIMPORTDATA La funzione ImportData recupera informazioni da un

file CSV o TSV.IMPORTFEED Recupera le informazioni da un feed di dati.IMPORTHTML La funzione ImportHTML consente di importare i

dati in una tabella o elenco particolare da una pagina HTML

IMPORTXML Recupera le informazioni da un file XML.

https://support.google.com/drive/table/25273?hl=it

10

Google Sitemap> Excel+SeoTools

• Protocollo: www.sitemaps.org • Robots.txt

Sitemap: http://example.com/sitemap_location.xml

• XML>EXCEL+SeoToolshttp://nielsbosma.se/projects/seotools/Social:like, G+ count, Twitter count

11

GOOGLE FUSION TABLEStrumenti Google per gli Open Data

12

Create with Fusion Tables• Installazione estensione

https://drive.google.com/#query?view=2&filter=tables

• Esempihttps://support.google.com/fusiontables/answer/184641 – Mappa

https://support.google.com/fusiontables/answer/2527132?hl=en&topic=2573107&ctx=topic

– Graficihttps://support.google.com/fusiontables/answer/2562121?hl=en&topic=2573107&ctx=topic

– Condivisionehttps://support.google.com/fusiontables/answer/2562055?hl=en&topic=2573107&ctx=topic

– Mappa ad intensitàhttps://support.google.com/fusiontables/answer/1032332

13

Esempio: OSM>Qgis>Fusion Table

14

Esempio uffici comunali

15

GOOGLE PUBLIC DATA EXPLORERStrumenti Google per gli Open Data

16

Public Data

• Directoryhttp://www.google.com/publicdata/directory

• Upload Datasethttp://www.google.com/publicdata/admin

• DSPLhttps://developers.google.com/public-data/?hl=it&csw=1

17

Riferimenti, Tool, Esempi• Freebase: http://www.freebase.com/• Shape escape: http://www.shpescape.com/ • Opendatakit: http://opendatakit.org/• Cleaning Data with Refine

http://geojournalism.oeco.org.br/2013/07/cleaning-data-with-refine/• School of data

http://schoolofdata.org/handbook/ http://schoolofdata.org/online-resources/

• Data Journalism Handbookhttp://datajournalismhandbook.org/1.0/en/index.html

• Caso d’usohttp://www.msanti.net/2013/09/29/il-bilancio-2013-del-comune-di-imola-visualizzato/

• Altri spunti: http://social-dynamics.org/twitter-network-data/

18

OPEN DATA A PALERMOBest practice dall'esperienza di Palermo

19

Linee Guida per le attività sugli Open Data della Città di Palermo

A cura di:• Marco Alfano• Andrea Borruso• Giulio Di Chiara• Gerlando Gibilaro• Francesco Passantino• Ciro Spataro• Davide Taibi

20

Indice• INTRODUZIONE E PRINCIPI

– Funzione delle Linee Guida, Governo Aperto e dati aperti come strumenti di trasparenza, Open Data, Normativa di riferimento: Normativa Italiana, Normativa Europea, Normativa Internazionale cui aderisce lo Stato Italiano

• ORGANIZZAZIONE DEL COMUNE PER LE ATTIVITÀ SUGLI OPEN DATA– Strutturazione interna, Modello Operativo, Formazione, Partecipazione sociale nel processo degli Open Data

comunali, Attività di monitoraggio e ruolo degli indicatori

• PROCESSO DI PUBBLICAZIONE DEGLI OPEN DATA– Metodologia per la pubblicazione dei dati in formato open, Modalità di produzione dei dataset e formato di

pubblicazione, I Metadati, Licenza per il riutilizzo, Frequenza di aggiornamento, Modalità di pubblicazione dei dataset sul sito web, Comunicazione e promozione dei dataset pubblicati

• RIUTILIZZO DEGLI OPEN DATA– Modalità di riutilizzo dei dati pubblicati e richiesta di pubblicazione di nuovi dati, Commenti, suggerimenti e

segnalazioni sui dataset pubblicati, Utilizzo da parte del Comune di applicazioni e interfacce sviluppate da terzi

• OBIETTIVI, AZIONI E TEMPI• APPENDICE A: DEFINIZIONI• APPENDICE B: CATALOGAZIONE DEI SET DI DATI CON IL METODO DELLE STELLE• APPENDICE C: SCHEDA CATALOGAZIONE DATASET ED ESEMPI• APPENDICE D: ESEMPI DI DATASET DI LARGO INTERESSE• RIFERIMENTI BIBLIOGRAFICI

21

Metodologia per la pubblicazione dei dati in formato open

1. individuazione e selezione dei dataset2. bonifica3. arricchimento tramite metadati4. validazione e pubblicazione (dati a 3 stelle)5. analisi e modellazione6. linking con dataset esterni7. validazione e pubblicazione (dati a 4 e 5

stelle)

22

Metadati 1/2• Titolo *: Nome del dataset comprensibile da un utente generico. E’ il nome che

viene mostrato all’utente quando consulta il dataset (es. “Elenco dei siti turistici visitabili”)

• Referente*: E’ il responsabile del dataset, cioé il “titolare della banca dati” come definito sopra (nel paragrafo sulla strutturazione interna)

• Assessorato titolare *: Assessorato Titolare (es. Ass. BB.CC)• Contatto *: email contatto• Autore: Nome dell’autore• email autore: email autore• Descrizione *: Descrizione testuale del contenuto informativo del dataset• Categorie *: Categoria o categorie alle quali il dataset appartiene**• Tag/Parole chiave *: Lista di termini associati al dataset che lo descrivono, e

rendono possibile la sua classificazione e la sua ricerca• Documentazione tecnica: Indirizzo o indirizzi delle pagine web che contengono

informazioni utili alla comprensione del contenuto del dataset

23

Metadati 2/2• Copertura Geografica: Territorio amministrativo di riferimento (es. “Palermo”, “II

Circoscrizione”)**• Copertura Temporale (Data di inizio) *: Data di inizio validità• Copertura Temporale (Data di fine) *: Data di fine validità• Aggiornamento *: Frequenza di aggiornamento (es. “mensile”, “annuale”,

“giornaliera”)**• Data di pubblicazione *: Data in cui il dataset è reso disponibile on-line• Data di aggiornamento *: Data di ultima modifica del dataset• Licenza *: Tipo di licenza applicata (vedi capitolo relativo)**• Formato *: Formato di pubblicazione (standard) del dataset**• Codifica Caratteri: Codifica dei caratteri utilizzata (es. “latin-1”, “PC-850”)**• Dimensione: Dimensione in byte (o multipli di byte) del dataset• URI permanente: Identificatore univoco del dataset• Dataset richiesto da un cittadino: Booleano si/no• Altro: Ogni altra informazione utile per dataset

24

Dataset di largo interesse• Priorità alta:

– siti turistici– i dati raccolti nel geoblog– news– piani di lavoro aziende partecipate– stradario– scuole

• Analisi necessarie:– le fermate degli autobus della città (non è necessario che sia un file cartografico, anche una

tabella con nome e codice fermata, indirizzo, ecc)– le tabelle correlate che consentono di incrociare linee con fermate– le linee degli autobus in formato cartografico– l'anagrafe sulle farmacie– i dati sulle opere pubbliche che impattano su strada (quindi cantierizzate)– elenco dei beni comunali.

25

Riferimenti Bibliografici• Agenzia per l’Italia Digitale - Linee Guida Nazionali per la Valorizzazione del Patrimonio

Informativo Pubblico (Secondo Semestre 2013)• Comune di Milano - Linee di indirizzo per la realizzazione del progetto Open Data• Formez PA - Linee guida per i siti web delle PA, Vademecum Open Data• Regione Emilia-Romagna - LINEE GUIDA RELATIVE AL RIUTILIZZO E MESSA A

DISPOSIZIONE IN Open Data DEI DATI PUBBLICI DELL'AMMINISTRAZIONE REGIONALE• Regione Lombardia - CRITERI GENERALI per l’Open Data• Regione Piemonte - Linee Guida relative al riutilizzo e alla diffusione tramite la rete

internet dei documenti e dei dati pubblici dell'Amministrazione regionale• Provincia Autonoma di Trento - Linee guida per il riutilizzo e la diffusione dei dati

pubblici• DigitPA - Linee Guida per l’interoperabilità semantica attraverso i Linked Open Data• Boris Villazón-Terrazas, Luis. M. Vilches-Blázquez, Oscar Corcho, and Asunción Gómez-

Pérez Methodological Guidelines for Publishing Government Linked Data. Linking Government Data. D. Wood (Ed.) Part 1, pp.: 27- 49. Springer, New York. 2011. ISBN: 978-1-4614-1767-5.