curs 1.5. procés de publicació de dades

INICIATIVA BARCELONA OPEN DATA EL VALOR D’OBRIR LES DADES

Procés de Publicació de Dades

curs 1.5

Docents:Eduard Gil @edugil39Enric Montia @EnricMontia

INTRODUCCIÓ A LES DADES OBERTES

● Identificar les tasques previes que forman part d´un

procés de públicació de dades obertes.● Descriure el que i el perquè de les tasques

relacionades a un procés de públicacio de dades

obertes.● Aplicar tot allò après a casos concrets per ser capaç de

protagonitzar casos d'èxit.

Objectius

Publicació de Dades Obertes

● Un pla de dades obertes● Seleccionar les dades● Generar un Dataset● Publicar● Promocionar


1. Començar amb un pla

5. Manteir-

lo

2. Selecció de les dades

4. Publicaci

ó

3. Creació

d’un Dataset

Procés de l’Open Data

Pla de Dades Obertes

Tenir un Objectiu

Avaluar la Publicació i els usos actuals

Aconseguir Suport

Demostrar el valors

Iniciativa Barcelona Open Data

Exemple de valor. x un ajuntament que va publicar addes de restaurant que no cumpleixen els requisits sanitat, ha baixat le surgencies alimentaries un 20%. un ecxemple si publiquen dades, la gent s'informa, escull millor te repercusio. darrera de open data - hi ha diners + o millora de la transparencia. ejemplo seguesa- diari tarragona - noticia coses se sabien . metges que cobraben com a directius i com metges privats .


proceso previo - plan . como un pla estrategico.1. tener un obetivo --- por ejemplo: dinamizar economia? mas trasparencia? reducir dastso 2. avaluar -3- aconseguir suport - es un canvi cultural, no es una poltica tic, implica un canvi cultural, mai es fan nomes tot- down, sino amb suport dins de la organitzatcuo i fora.4. demostra valors-. demostrar amb dades el valor de . donar addes ens ajudara per tenir suport.


● Clarificar els objectius : Que vull aconseguir?

● Establir un pla de publicació: per on vull començar?

● No oblidar temes de LOPD i nou GRDP


PLA PUBLICACIÓ. Per Quins dades començarem? justifica per quines començaran, per que tenen mes valor o utilitat. Tenir un pla de treball del proces de publicació, amb terminis.No es pot oblidar les referencie s ala LOPD o REglement de la UE.Europa tema privacitat especialment sensible, america tema dades no tant interoritzat. Tenir abl de secretari, asesor juridic, Tenir un diagnosi legal que el que fem no atenta contra la privacirar


OBJECTIUS: molt dels plan ajuntaments open data. incliuen com objetius- cumplir la llei. millor nara més enlla, pensar objectius que volem. Un dels objectius es complir la llei, pero per aixo no cal un pla


Abans de decidir quines dades es publiquen com dades

obertes, les entitats públiques han de tenir una visió

general de les dades que es gestionen en l'actualitat, i per

tant podrien Inclouen bases de dades, registres, recollides

de dades i enquestes, conjunts de dades geoespacials etc.

Diagnòstic situació actual:


Diagnosi. Tot pla ha de começar per un diagnosi. -> 1. quines dades tenim a la casa?? Moltes vegades les dades disperses, no conexions entre les addes,2. Estat de les Bases de Dades . Tenim tots camps actualitzars, formats, com ho tenim registrat. REsum: revisar bases de dades per posar al dia abns de obrir-les


● Clarificar els objectius : Que vull aconseguir?● Establir un pla de publicació: per on vull començar?● Guia “Com fer un cas de negoci amb open data”

http://theodi.org/guides/how-make-business-case-open-data




ODI. te una guia de com definir un pla de addes obertes. 1 ovjetcius 2 dignosticar com estic utiltzar les addes , com le spodria utilitzars 3 treballar en grup de les casas, com le spodria utilitzar ( ens serveix per a evangelitzar. Aquest guia pot servir per fixar el pla de dades obertes. ( 17:19)


● Buscar lideratge i suport: Directius, Open Data

Evangelists, TIC compartint informació sobre els

objectius i els resultats del pla.● Capturar evidències que les dades obertes estan

aportant valor: consultes, impacte, etc.


-buSCAR SUPORTS ..Buscar lideratges. 1. ALGU de dalt hA ha ldierara + 2. necessitem suports internt que facin de taca d'oli. Clau: departament TIC vagi de la ma, aixo no nomes es tecbologic, pero si lo tic no funciona no avançaremeVIDENCIES QUE LES DADES APRTEN VALOR

Escollir les Dades

Identificar les dades que tens

Seleccionar les dades obertes que vols

publicar

Desenvolupar un Pla de Publicació de Dades Obertes


a partir aqui .... 2. selecconar addes 3, desenvolupanr pla OData. Important: deixar documentat el proces


IDENTIFICAR - quines dades tenim. Millor seeccionar aquelles que publiquem estiguin be. Millor publicar dades més netes, entendibes no mab dades de baixa qualitat.


PLA DE DADES OBERTES. S'assembla a un Pla Estrategic. Cal Escollir DADES.- al principi millor que decideixin 3, per deciri obrir algunes dades. quante smés gent tinguis es mes dificil decidir quines dades obrim. Si comeces volen implicant a tothom pot ser no ( llançar 4 dataset que vegin que no pasar res) i a aprtir aqui, cmençar atreballar amb el cnjunt de l'organizaacon.-

Escollir les Dades

● Hi ha tres principals vies per seleccionar quines dades

es publiquen:■Actualització de les dades que ja estan en el domini

públic.■Seguir les millors pràctiques internacionals.■Les demandes a la unitat.


Que publicar 3 formes. 1. El mes facil, lo que ja tenim a la web pero no esta en opendata, en pdf, ho pasem a excel i ho publiquem. 2. Seguir les millors practiques. Mirar que han obert altres plans. Quines dades son mes reutilitzades? Ens pot servir de referencia. ( A gava en van donar com exemple els 10 data sets de NYC mes utilitzades, pero els hem de posar al nostre context. a USA les dades de crim molt important, en canvi auqi no es habitual ni tant acceptable publicar dates de crim). Les bone spractiques internacionals s'han d'adaptar a contextos locals. 3. demandes de la unitat. Imprtant treballar des de el principi identificar a persones que volem reutilitzar i demanar dades, comptar amb ells des de el principi.en resum .Hi ha estes 3 vies .... la mes pedestre ( adapatar), que interessa més a a altres llocs, la demanada d ela comunitat

Escollir les Dades


Exemple, govern escocia, esl data sets mes utilitzar al nivel internaciona. 1. crim i jsuticia ( molt anglosaxo) 2. observacion .. metereologiam polucion aire molt util en recerca, como el ejemplo de las personas asmaticas, qualitat del agua 3. energia- que se gastan los departamentos en energia y por que 4. geoespacialSocial mobility .. housing - Ho vam fer gava, a cada finca posar quan es paga de ibi a cada finca. Hi ha llocs app per pdoer comparar al moment de compra un pis - quan pago impostos locals? uien sserveis tinc? per aixo cal que estiguin obertes.Transport -- accident de trafics. Madrid ha publicar les multes, podeu veure a quins llocs mes multes i altes. Esat de la xarxes de mobilitat. Et podria avisar al gsm que el tram que vas passar es un punt vermetll d'accident si la gent podria tenir més

Crear Datasets

Aplicar un format obert

Capturar els metadades

Aplicar una llicència oberta

Revisar els datasets


CREAR DATA SET.CONTEXT: ja tinc un pla, ticn adeptesm faig diagnostic , reviso que he publicar segon estandars internacinals .... a partir aqui .. em tiro a publicar. si fos una base dea dades, una taula - seria un data set de una base de dades. IMPORTANT- METADATA -- aplicar llicencia oberta - aixi donem seguritat juridica a qui reutilitza dades-re

Crear Datasets

Després de seleccionar la informació que es desitja publicar

es necessari organitzar les dades de manera que pugui

posar a disposició per a baixar en formats llegibles per les

màquines i tenir en compte si existeixen o no estàndards

internacionals (INSPIRE, els 8 principis del OPEN

GOVERNMENT DATA).


ODI + OKfundation - añaden que sean gratis, que no tengan costo


- complertes , primadries , accesibles, e stenien poder procesas per maquines, acceso no pt ser discrminatori, no format propitari ... https://opengovdata.org/


por ejemplo - si uno pone angel cnzalex, otro gonzales angle , otro agonzalez no se podran entender o comparar. Queremos que nuestro dato va mas alla de comunidad uso local, sea improtable a nivel global


isnpire - portal europero que intenta crear un standar . he d'intera que dades tingui format comun amb altres .....http://inspire.ec.europa.eu/ ver el video de en reusm dice -- si tenemso informacin con formatos diferentes, es muy dificil estreure informacio. aquest format europeu intenta aixo


Despres de seleccionar informacion - aplicar FORMAT OBERT. Que es un format obert? no només le format informatic, sino metadades

Metadades

● Identificar Metadades: informació descriptiva sobre les

dades.

● Pot descriure elements com el contingut, el formats etc.

● Unes bones metadades poden permetre la

interoperabilitat amb altres data sets.


any de publiccaio, qui ho ha publicat ..


METADADES. info sobre les daes ... pot ser contingut, format, fomenten la interoperabilitat .... si tothom compatim les mateixes dades podran comprara-se entre elles 17:55

Metadades

● Hi ha tres tipus principals de metadades:■Les metadades descriptives (títol, autor)■Les metadades estructurals (pg x capítol)■Les metadades administratives (format)


Metadades .. 3 tipus ... 1. Descriptivos .. titol el dataset, qui ho ha fetllei obama - tots mateixa metadata , de tots els estats .. com diuen les coses ha de ser igual. Publicar amb metedates per a poder comparar.2. Estructuralsen temes de cada capitilquantes pg te cada capitol .. de un arxiu3. ADMINISTRATIVES: En quin format, periodicitat d'actualització.Exemple . despesa d ela festa major, gasta 3 millons, e smolt o poc? hauren de tenir referencia, despesa / habitant, comparar amb municipis d'altres lloc. Quan van obrir gava, era per demostrar que no teiem problems en obrir, encara no habia llei, volien demostrar que no teniem cpa probema, ens van deixar la part de metadata . llavors no serveixen per comparar amb dades.

Neteja de les Dades

● La neteja de dades és l'acte de descobriment i

correcció o eliminació de registres de dades errònies

d'una taula o base de dades. ● El procés de neteja de dades permet identificar dades

incompletes, incorrectes, inexactes, no pertinents, etc. i

després substituir, modificar o eliminar aquestes dades

bruts.● Després de la neteja, la base de dades podrà ser

compatible amb altres bases de dades similars en el

sistema.


NETEJA DE DADES. Es pot ser a postitriori o abans. Ideal es que les dades ja estiguin obertes per a treballar internament. serveix per pendre decisions internament.Es vol registrar la informaicon despres no es fa servir.Que e sporces de eteja?? identificar les addes incorrectes, indexades ... teniu en compte normalment les addes no estan netes, cal fer aquest procéspermet- dade sincompetes, t'has deixar un camp vuit / nul .. adrea sense numero- contrat del darrer any .. i n han possat el nom, si no esta el nom del contactant- dades no pertinents - serveix per extrapolar dades de la propia organitzatció. Exercici intern, ho hauries de fer tot i no obrir, pero normalment no esta fet

Activitat

Buscar a quines hores, en el primer trimestre de 2016, es van posar les multes més cares a Madrid.

http://bit.ly/2knppBX

Activitat individual.Temps: 1,5 hores.

http://bit.ly/2knppBX

Activitat

És un bon portal de dades obertes el portal de l’Ajuntament de Madrid ?


Activitat

Amb quins problemes ens trobem ?


Activitat final

Com crearíeu un Pla de Dades Obertes ?

Activitat individual.Temps: 5 minuts.

Neteja de les Dades

● Si les dades estan netes, és més fàcil de combinar

diferents conjunts de dades i obtenir una visió més

profunda.

● Hi ha una sèrie d'errors comuns en les dades que

hauríem de tenir en compte en qualsevol conjunt de

dades que està treballant.

Neteja de les Dades

● Errors en el format de les dates: L'error més comú és

l'ús mixt de formats americans (MM/DD/AAAA) i

europeus (DD/MM/AAAA).● Les persones sovint tracten d'estalviar temps en

introduir dades abreujant termes. Si aquestes

abreviatures no són consistents, pot causar errors en el

conjunt de dades.


errors.1- format ... tens un BD format america // i europes diefrent, Si et vols federar altres dades, per exemle del portal europeus de dades hem de veure el format.2. Les persones que registren, tenen el servei finalistes. Salut- el que registra dades esta atencio pacient es lo urgent. Per exemple tarjeta sanitaria, no ben arreglat registrar be les persones extracomunitaries, per un tema registre mal trebllat, aixo pot influir .. es € que recibia la gene per atendre persones de fora .. pero no el tenia ben registrat. CONCIENCIAR gent de la importancia de registrar be les dades. Quan qui registra te una alatra prioritat

Neteja de les Dades

● Un registre duplicat és quan s'ha introduït la mateixa

peça de dades més d'una vegada. Sovint es produeixen

quan els conjunts de dades s'han combinat o perquè no

se sabia que ja existia una entrada.● Les dades redundats son qualsevol cosa que no sigui

rellevant per al seu treball amb el conjunt de dades.


redundants . no serveix per res despres. auxo ha de pasar al interventor ne 2 dies ... nomes servix per qui gestiona


DUPLICAR. a vegades s'inlcou dues vegades. P exem. Un proveidor que esta registrat dues vegades el contracte.jutge - asentament contable SS 200000, pones pagador 20000, caso de corrupcion, en canvi era un problema de la persona que ho va regitrar.com pot millot??- control a postrior?- proces de busines inteligence - es consegueix dates important , da awarehouse, aquelles per a trebllar i pendre decidisions ...ideal - per dades explotables - la diferencia entre registrar , magatzem de les que processes.Ideal - auditoria.

Neteja de les Dades

● Un registre duplicat és quan s'ha introduït la mateixa

peça de dades més d'una vegada. Sovint es produeixen

quan els conjunts de dades s'han combinat o perquè no

se sabia que ja existia una entrada.● Les dades redundats son qualsevol cosa que no sigui

rellevant per al seu treball amb el conjunt de dades.

Neteja de les Dades

● Els valors numèrics en els conjunts de dades sovint

utilitzen diferents escales perquè sigui més fàcil per a un

ésser humà al llegir. No obstant, això per a una màquina

provoca errors.

● Els errors d'ortografia.


aixo es soluciona mab desplegables, no escriure, lo minim per evitar errors


quan més avancem cap interoperabilittat + introdució de dada unica - les dades nomes la entra una persona, més facil no trobar errors...

Open Refine 2.0 - Introducció

https://www.youtube.com/watch?v=B70J_H_zAWM

Neteja de les Dades

https://www.youtube.com/watch?v=B70J_H_zAWM


medicos. mirar los medicos de cabecera, para ver los medicamentos que se recertan ( para intentar controlar ..) comparara catasets diefrentes, para ver sis e usan nombran igual, esta eina es oberta i gratis. Video periodista de dades la utlitza. pero ho podrien fer abans de publicar dades. Haura algun a la casa que es preocupa que les dades es publiquin be, despres hi ha conseqüecies. Evaluaremos errors, per revisar proces i intentar menys dades.Com a PUBLICADOR. tenir en compte tenir en compte que a vegades lo optim no es lo posible,


eina ue gratuitas y abiertas .. te la puedes bajar en tu tu servcidos ordenadors y usarla en local. no peligro de privacidad


En cas de trobar informació "bruta". Normalment quan trobes info no netejada vol dir que no treballen amb les seves propies dades. Si troben dades no netejades - tenim eines que serveix per a netejar dades ..

Llicències

El Sector Públic sobvint externalitza serveis, es fa

necessari explicitar en els contractes de servei que les

dades vinculades a l´activitat del contracte estaran

subjectes al Open Data i podran ser consultades per

tothom de forma gratuïta.


servcios externalizados- sino s'inclou al contrate que les addes son de l'ajuntament no es poden publicar o accedir.

Llicències

Hi ha mètodes diferents per facilitar l'accés a dades

obertes: com dades en bloc (dadesdump), a través d'una

interfície de

programació d'aplicacions (API), com alimentació, a través

d'un punt final SPARQL, etc. El mètode més utilitzat i útil és

dades en

bloc, el que significa que el conjunt complet de dades ha

d'estar disponible en format descarregable.


publicar addes nomes per ciutadan no nocessites API. Pero si vols generi actividada economica, que es pguin reutilitzar per negoci, per comprara, tindras incorporar API al teu pla de dades


SPARTGL ... mes complexe, modul de dades linkes, modul de consulta de SQL. un lenguatge per a fer consultes a dades likades, seria com un SQL de dades enllaçades .... per expempel buscar "cervantes" en date sets de linkades


Portal gava, part dedeasrroyadores, alla la gent posa un link pot gestionar les dades sense baixar les dades.API. si saps hi ha una comunitat de reutilitzadors que utilitzaran unes dades, si poses uan api, facilites que utilitzin les dades.


usen API - es un enllaç a un programa que et dona acces directe a aquest programa, sin necessitat de reporduir aiox el teu programaexemple- quan vas a una web, registrat o a conectat a traves dle facebook, no cal entrar les dades. Facebook ja les te, diu, no cal netris les addes ja les tindre a través a de facebook ...COMPARTIR DADES... altra exemple, p de un hotel, reserva de hotel ..a demas quuere reservar un coche? te sale un questionari de avis, no estas en pagina avis, hi ha uan conexio, des de la pagina de l'hotel entres a la reserva de la web de avis sense anar a la web, comparteixen dades...


Maneres de publicar dades. Normalment el que gent es veu mes ... los no tequis.. arxiu excel, vsg .... En canvi los data science ... gent mes nivel tecnic, api

Publicar

● Hem de decidir on publiquem les dades:■Web corporativa.■Portal de dades Obertes.


com publicar les dades. 2 models. 1- apartat dins de la web 2- un portal odata - con un sotware que et permet gestionar leaa dades, amb un catelg de dades ( les localitza faci, com un catelg del ikea), molt permeten visualitzacio facil, et donen mes "user frame" faciliten la vida del usuari

Publicar

Un catàleg de dades proporciona un registre o llista de

tots els conjunts de dades existents i un punter (URL) a on

es pot accedir a les dades. Un catàleg de dades de tots els

conjunts de dades obertes de dades disponibles és

generalment el component clau d'un portal de dades

obertes, a més de socials, notícies i els elements de la

comunitat.


promocio ...Bon manteniment - quan mes autonatic millor. tot el que sigui manual indueix al error.


tanquem cercel..1. tenir pla2 objetius3 que volem publicar4 tenir clar que tenirn i en quines condicions

Promoció

● Que la gent sàpiga que has obert alguns conjunts de

dades.● Si hi ha un cert grup de persones al que voleu arribar,

pensar quina seria la millor manera d'aconseguir el

missatge per a ells?● Cal per animar-los a utilitzar les seves dades.


reutilitzacio implica1. obliga a actualitzar 2. ajuda a detectar errors 3. treballar grups de com usuarisi que ovlen, per actualiztar amb noves dades, renovar


Aixo: Tancar el cercle. Si no utlitcen les dades es tirar els diners.


grup persones ->>1- si publiquesn, contabiltat ajuntament - lo millor contacte els periodiste de dades " 2- col.lectius amb grup interes. gava teniem una persona volia fer 3. pactar amb altres institucions us i retorn- vam pactar amb UPC- dades reutilitzades, retornar informes, idees.4. promo activa , hacaktons ...


promocio - voluntat rela que vols obrir i publicitat, sino hi ha convenciment que es addes e spublicuen per usar, dificilment es fara promocio


PROMOCIO ..seguir divulgacio- seguir quines dades tenen mes visites- saguesa- el dataset que mes es consutes sous 1500 visites, en canvi indicadors de qualitat nomes 300 visites. o interesen mes ? o no s'h fet uan politica de promocio??

Activitat final

Exercici pràctic de publicació de dades.


De dades no estructurades a dades estructurades

● Vegem com de propers estem a les dades no-

estructurades.

● Maneres d’estructurar dades no estructurades ?

● Vegem un exemple:

https://www.youtube.com/watch?v=OiskE1Jsr6A

https://www.youtube.com/watch?v=OiskE1Jsr6A


● Extraiem el so del vídeo usant: www.vidtomp3.com

● Comprovem que l’àudio estigui ben descarregat en el

nostre ordinador.● Canviem el format fent servir:

www.audio.onlineconvert.com/convert-to-wav

http://www.vidtomp3.com/


● Ara anem a: https://speech-to-text-demo.mybluemix.net

● Pugem l’arxiu .wav i esperem la conversió a text (5 min)

● Copieu el text en un arxiu .txt i guardeu-lo.

https://speech-to-text-demo.mybluemix.net/


● Visitem el web:

http://www.online-utility.org/text/analyzer.jsp

● Copiem el text i busquem a les estadístiques.

● Fem una fulla de càlcul amb les frases més usades de

tres paraules i la guardem com a CSV.

http://www.online-utility.org/text/analyzer.jsp


● Pugem la informació a http://demo.ckan.org

● Revisar que la informació estigui disponible online.

http://demo.ckan.org/

Activitat final

(Ara de veritat)

Exercici pràctic de publicació i anàlisi de dades.


>CD «Direcció_on_volem_el_.csv_combinat»

>copy «Direcció_on_són_els_.csv_a_combinar» «nom_del_nou_arxiu.csv»

Combinar .csv


curs 1.5. procés de publicació de dades

Data & Analytics