INICIATIVA BARCELONA OPEN DATA EL VALOR D’OBRIR LES DADES
Procés de Publicació de Dades
curs 1.5
Docents:Eduard Gil @edugil39Enric Montia @EnricMontia
INTRODUCCIÓ A LES DADES OBERTES
● Identificar les tasques previes que forman part d´un
procés de públicació de dades obertes.● Descriure el que i el perquè de les tasques
relacionades a un procés de públicacio de dades
obertes.● Aplicar tot allò après a casos concrets per ser capaç de
protagonitzar casos d'èxit.
Objectius
Publicació de Dades Obertes
● Un pla de dades obertes● Seleccionar les dades● Generar un Dataset● Publicar● Promocionar
Publicació de Dades Obertes
1. Començar amb un pla
5. Manteir-
lo
2. Selecció de les dades
4. Publicaci
ó
3. Creació
d’un Dataset
Procés de l’Open Data
Publicació de Dades Obertes
Pla de Dades Obertes
Tenir un Objectiu
Avaluar la Publicació i els usos actuals
Aconseguir Suport
Demostrar el valors
Iniciativa Barcelona Open Data
Exemple de valor. x un ajuntament que va publicar addes de restaurant que no cumpleixen els requisits sanitat, ha baixat le surgencies alimentaries un 20%. un ecxemple si publiquen dades, la gent s'informa, escull millor te repercusio. darrera de open data - hi ha diners + o millora de la transparencia. ejemplo seguesa- diari tarragona - noticia coses se sabien . metges que cobraben com a directius i com metges privats .
Iniciativa Barcelona Open Data
proceso previo - plan . como un pla estrategico.1. tener un obetivo --- por ejemplo: dinamizar economia? mas trasparencia? reducir dastso 2. avaluar -3- aconseguir suport - es un canvi cultural, no es una poltica tic, implica un canvi cultural, mai es fan nomes tot- down, sino amb suport dins de la organitzatcuo i fora.4. demostra valors-. demostrar amb dades el valor de . donar addes ens ajudara per tenir suport.
Pla de Dades Obertes
● Clarificar els objectius : Que vull aconseguir?
● Establir un pla de publicació: per on vull començar?
● No oblidar temes de LOPD i nou GRDP
Iniciativa Barcelona Open Data
PLA PUBLICACIÓ. Per Quins dades començarem? justifica per quines començaran, per que tenen mes valor o utilitat. Tenir un pla de treball del proces de publicació, amb terminis.No es pot oblidar les referencie s ala LOPD o REglement de la UE.Europa tema privacitat especialment sensible, america tema dades no tant interoritzat. Tenir abl de secretari, asesor juridic, Tenir un diagnosi legal que el que fem no atenta contra la privacirar
Iniciativa Barcelona Open Data
OBJECTIUS: molt dels plan ajuntaments open data. incliuen com objetius- cumplir la llei. millor nara més enlla, pensar objectius que volem. Un dels objectius es complir la llei, pero per aixo no cal un pla
Pla de Dades Obertes
Abans de decidir quines dades es publiquen com dades
obertes, les entitats públiques han de tenir una visió
general de les dades que es gestionen en l'actualitat, i per
tant podrien Inclouen bases de dades, registres, recollides
de dades i enquestes, conjunts de dades geoespacials etc.
Diagnòstic situació actual:
Iniciativa Barcelona Open Data
Diagnosi. Tot pla ha de começar per un diagnosi. -> 1. quines dades tenim a la casa?? Moltes vegades les dades disperses, no conexions entre les addes,2. Estat de les Bases de Dades . Tenim tots camps actualitzars, formats, com ho tenim registrat. REsum: revisar bases de dades per posar al dia abns de obrir-les
Pla de Dades Obertes
● Clarificar els objectius : Que vull aconseguir?● Establir un pla de publicació: per on vull començar?● Guia “Com fer un cas de negoci amb open data”
ODI. te una guia de com definir un pla de addes obertes. 1 ovjetcius 2 dignosticar com estic utiltzar les addes , com le spodria utilitzars 3 treballar en grup de les casas, com le spodria utilitzar ( ens serveix per a evangelitzar. Aquest guia pot servir per fixar el pla de dades obertes. ( 17:19)
Pla de Dades Obertes
● Buscar lideratge i suport: Directius, Open Data
Evangelists, TIC compartint informació sobre els
objectius i els resultats del pla.● Capturar evidències que les dades obertes estan
aportant valor: consultes, impacte, etc.
Iniciativa Barcelona Open Data
-buSCAR SUPORTS ..Buscar lideratges. 1. ALGU de dalt hA ha ldierara + 2. necessitem suports internt que facin de taca d'oli. Clau: departament TIC vagi de la ma, aixo no nomes es tecbologic, pero si lo tic no funciona no avançaremeVIDENCIES QUE LES DADES APRTEN VALOR
Escollir les Dades
Identificar les dades que tens
Seleccionar les dades obertes que vols
publicar
Desenvolupar un Pla de Publicació de Dades Obertes
Iniciativa Barcelona Open Data
a partir aqui .... 2. selecconar addes 3, desenvolupanr pla OData. Important: deixar documentat el proces
Iniciativa Barcelona Open Data
IDENTIFICAR - quines dades tenim. Millor seeccionar aquelles que publiquem estiguin be. Millor publicar dades més netes, entendibes no mab dades de baixa qualitat.
Iniciativa Barcelona Open Data
PLA DE DADES OBERTES. S'assembla a un Pla Estrategic. Cal Escollir DADES.- al principi millor que decideixin 3, per deciri obrir algunes dades. quante smés gent tinguis es mes dificil decidir quines dades obrim. Si comeces volen implicant a tothom pot ser no ( llançar 4 dataset que vegin que no pasar res) i a aprtir aqui, cmençar atreballar amb el cnjunt de l'organizaacon.-
Escollir les Dades
● Hi ha tres principals vies per seleccionar quines dades
es publiquen:■Actualització de les dades que ja estan en el domini
públic.■Seguir les millors pràctiques internacionals.■Les demandes a la unitat.
Iniciativa Barcelona Open Data
Que publicar 3 formes. 1. El mes facil, lo que ja tenim a la web pero no esta en opendata, en pdf, ho pasem a excel i ho publiquem. 2. Seguir les millors practiques. Mirar que han obert altres plans. Quines dades son mes reutilitzades? Ens pot servir de referencia. ( A gava en van donar com exemple els 10 data sets de NYC mes utilitzades, pero els hem de posar al nostre context. a USA les dades de crim molt important, en canvi auqi no es habitual ni tant acceptable publicar dates de crim). Les bone spractiques internacionals s'han d'adaptar a contextos locals. 3. demandes de la unitat. Imprtant treballar des de el principi identificar a persones que volem reutilitzar i demanar dades, comptar amb ells des de el principi.en resum .Hi ha estes 3 vies .... la mes pedestre ( adapatar), que interessa més a a altres llocs, la demanada d ela comunitat
Escollir les Dades
Iniciativa Barcelona Open Data
Exemple, govern escocia, esl data sets mes utilitzar al nivel internaciona. 1. crim i jsuticia ( molt anglosaxo) 2. observacion .. metereologiam polucion aire molt util en recerca, como el ejemplo de las personas asmaticas, qualitat del agua 3. energia- que se gastan los departamentos en energia y por que 4. geoespacialSocial mobility .. housing - Ho vam fer gava, a cada finca posar quan es paga de ibi a cada finca. Hi ha llocs app per pdoer comparar al moment de compra un pis - quan pago impostos locals? uien sserveis tinc? per aixo cal que estiguin obertes.Transport -- accident de trafics. Madrid ha publicar les multes, podeu veure a quins llocs mes multes i altes. Esat de la xarxes de mobilitat. Et podria avisar al gsm que el tram que vas passar es un punt vermetll d'accident si la gent podria tenir més
Crear Datasets
Aplicar un format obert
Capturar els metadades
Aplicar una llicència oberta
Revisar els datasets
Iniciativa Barcelona Open Data
CREAR DATA SET.CONTEXT: ja tinc un pla, ticn adeptesm faig diagnostic , reviso que he publicar segon estandars internacinals .... a partir aqui .. em tiro a publicar. si fos una base dea dades, una taula - seria un data set de una base de dades. IMPORTANT- METADATA -- aplicar llicencia oberta - aixi donem seguritat juridica a qui reutilitza dades-re
Crear Datasets
Després de seleccionar la informació que es desitja publicar
es necessari organitzar les dades de manera que pugui
posar a disposició per a baixar en formats llegibles per les
màquines i tenir en compte si existeixen o no estàndards
internacionals (INSPIRE, els 8 principis del OPEN
GOVERNMENT DATA).
Iniciativa Barcelona Open Data
ODI + OKfundation - añaden que sean gratis, que no tengan costo
Iniciativa Barcelona Open Data
- complertes , primadries , accesibles, e stenien poder procesas per maquines, acceso no pt ser discrminatori, no format propitari ... https://opengovdata.org/
Iniciativa Barcelona Open Data
por ejemplo - si uno pone angel cnzalex, otro gonzales angle , otro agonzalez no se podran entender o comparar. Queremos que nuestro dato va mas alla de comunidad uso local, sea improtable a nivel global
Iniciativa Barcelona Open Data
isnpire - portal europero que intenta crear un standar . he d'intera que dades tingui format comun amb altres .....http://inspire.ec.europa.eu/ ver el video de en reusm dice -- si tenemso informacin con formatos diferentes, es muy dificil estreure informacio. aquest format europeu intenta aixo
Iniciativa Barcelona Open Data
Despres de seleccionar informacion - aplicar FORMAT OBERT. Que es un format obert? no només le format informatic, sino metadades
Metadades
● Identificar Metadades: informació descriptiva sobre les
dades.
● Pot descriure elements com el contingut, el formats etc.
● Unes bones metadades poden permetre la
interoperabilitat amb altres data sets.
Iniciativa Barcelona Open Data
any de publiccaio, qui ho ha publicat ..
Iniciativa Barcelona Open Data
METADADES. info sobre les daes ... pot ser contingut, format, fomenten la interoperabilitat .... si tothom compatim les mateixes dades podran comprara-se entre elles 17:55
Metadades
● Hi ha tres tipus principals de metadades:■Les metadades descriptives (títol, autor)■Les metadades estructurals (pg x capítol)■Les metadades administratives (format)
Iniciativa Barcelona Open Data
Metadades .. 3 tipus ... 1. Descriptivos .. titol el dataset, qui ho ha fetllei obama - tots mateixa metadata , de tots els estats .. com diuen les coses ha de ser igual. Publicar amb metedates per a poder comparar.2. Estructuralsen temes de cada capitilquantes pg te cada capitol .. de un arxiu3. ADMINISTRATIVES: En quin format, periodicitat d'actualització.Exemple . despesa d ela festa major, gasta 3 millons, e smolt o poc? hauren de tenir referencia, despesa / habitant, comparar amb municipis d'altres lloc. Quan van obrir gava, era per demostrar que no teiem problems en obrir, encara no habia llei, volien demostrar que no teniem cpa probema, ens van deixar la part de metadata . llavors no serveixen per comparar amb dades.
Neteja de les Dades
● La neteja de dades és l'acte de descobriment i
correcció o eliminació de registres de dades errònies
d'una taula o base de dades. ● El procés de neteja de dades permet identificar dades
incompletes, incorrectes, inexactes, no pertinents, etc. i
després substituir, modificar o eliminar aquestes dades
bruts.● Després de la neteja, la base de dades podrà ser
compatible amb altres bases de dades similars en el
sistema.
Iniciativa Barcelona Open Data
NETEJA DE DADES. Es pot ser a postitriori o abans. Ideal es que les dades ja estiguin obertes per a treballar internament. serveix per pendre decisions internament.Es vol registrar la informaicon despres no es fa servir.Que e sporces de eteja?? identificar les addes incorrectes, indexades ... teniu en compte normalment les addes no estan netes, cal fer aquest procéspermet- dade sincompetes, t'has deixar un camp vuit / nul .. adrea sense numero- contrat del darrer any .. i n han possat el nom, si no esta el nom del contactant- dades no pertinents - serveix per extrapolar dades de la propia organitzatció. Exercici intern, ho hauries de fer tot i no obrir, pero normalment no esta fet
Activitat
Buscar a quines hores, en el primer trimestre de 2016, es van posar les multes més cares a Madrid.
És un bon portal de dades obertes el portal de l’Ajuntament de Madrid ?
Activitat individual.Temps: 1,5 hores.
Activitat
Amb quins problemes ens trobem ?
Activitat individual.Temps: 1,5 hores.
Activitat final
Com crearíeu un Pla de Dades Obertes ?
Activitat individual.Temps: 5 minuts.
Neteja de les Dades
● Si les dades estan netes, és més fàcil de combinar
diferents conjunts de dades i obtenir una visió més
profunda.
● Hi ha una sèrie d'errors comuns en les dades que
hauríem de tenir en compte en qualsevol conjunt de
dades que està treballant.
Neteja de les Dades
● Errors en el format de les dates: L'error més comú és
l'ús mixt de formats americans (MM/DD/AAAA) i
europeus (DD/MM/AAAA).● Les persones sovint tracten d'estalviar temps en
introduir dades abreujant termes. Si aquestes
abreviatures no són consistents, pot causar errors en el
conjunt de dades.
Iniciativa Barcelona Open Data
errors.1- format ... tens un BD format america // i europes diefrent, Si et vols federar altres dades, per exemle del portal europeus de dades hem de veure el format.2. Les persones que registren, tenen el servei finalistes. Salut- el que registra dades esta atencio pacient es lo urgent. Per exemple tarjeta sanitaria, no ben arreglat registrar be les persones extracomunitaries, per un tema registre mal trebllat, aixo pot influir .. es € que recibia la gene per atendre persones de fora .. pero no el tenia ben registrat. CONCIENCIAR gent de la importancia de registrar be les dades. Quan qui registra te una alatra prioritat
Neteja de les Dades
● Un registre duplicat és quan s'ha introduït la mateixa
peça de dades més d'una vegada. Sovint es produeixen
quan els conjunts de dades s'han combinat o perquè no
se sabia que ja existia una entrada.● Les dades redundats son qualsevol cosa que no sigui
rellevant per al seu treball amb el conjunt de dades.
Iniciativa Barcelona Open Data
redundants . no serveix per res despres. auxo ha de pasar al interventor ne 2 dies ... nomes servix per qui gestiona
Iniciativa Barcelona Open Data
DUPLICAR. a vegades s'inlcou dues vegades. P exem. Un proveidor que esta registrat dues vegades el contracte.jutge - asentament contable SS 200000, pones pagador 20000, caso de corrupcion, en canvi era un problema de la persona que ho va regitrar.com pot millot??- control a postrior?- proces de busines inteligence - es consegueix dates important , da awarehouse, aquelles per a trebllar i pendre decidisions ...ideal - per dades explotables - la diferencia entre registrar , magatzem de les que processes.Ideal - auditoria.
Neteja de les Dades
● Un registre duplicat és quan s'ha introduït la mateixa
peça de dades més d'una vegada. Sovint es produeixen
quan els conjunts de dades s'han combinat o perquè no
se sabia que ja existia una entrada.● Les dades redundats son qualsevol cosa que no sigui
rellevant per al seu treball amb el conjunt de dades.
Neteja de les Dades
● Els valors numèrics en els conjunts de dades sovint
utilitzen diferents escales perquè sigui més fàcil per a un
ésser humà al llegir. No obstant, això per a una màquina
provoca errors.
● Els errors d'ortografia.
Iniciativa Barcelona Open Data
aixo es soluciona mab desplegables, no escriure, lo minim per evitar errors
Iniciativa Barcelona Open Data
quan més avancem cap interoperabilittat + introdució de dada unica - les dades nomes la entra una persona, més facil no trobar errors...
medicos. mirar los medicos de cabecera, para ver los medicamentos que se recertan ( para intentar controlar ..) comparara catasets diefrentes, para ver sis e usan nombran igual, esta eina es oberta i gratis. Video periodista de dades la utlitza. pero ho podrien fer abans de publicar dades. Haura algun a la casa que es preocupa que les dades es publiquin be, despres hi ha conseqüecies. Evaluaremos errors, per revisar proces i intentar menys dades.Com a PUBLICADOR. tenir en compte tenir en compte que a vegades lo optim no es lo posible,
Iniciativa Barcelona Open Data
eina ue gratuitas y abiertas .. te la puedes bajar en tu tu servcidos ordenadors y usarla en local. no peligro de privacidad
Iniciativa Barcelona Open Data
En cas de trobar informació "bruta". Normalment quan trobes info no netejada vol dir que no treballen amb les seves propies dades. Si troben dades no netejades - tenim eines que serveix per a netejar dades ..
Llicències
El Sector Públic sobvint externalitza serveis, es fa
necessari explicitar en els contractes de servei que les
dades vinculades a l´activitat del contracte estaran
subjectes al Open Data i podran ser consultades per
tothom de forma gratuïta.
Iniciativa Barcelona Open Data
servcios externalizados- sino s'inclou al contrate que les addes son de l'ajuntament no es poden publicar o accedir.
Llicències
Hi ha mètodes diferents per facilitar l'accés a dades
obertes: com dades en bloc (dadesdump), a través d'una
interfície de
programació d'aplicacions (API), com alimentació, a través
d'un punt final SPARQL, etc. El mètode més utilitzat i útil és
dades en
bloc, el que significa que el conjunt complet de dades ha
d'estar disponible en format descarregable.
Iniciativa Barcelona Open Data
publicar addes nomes per ciutadan no nocessites API. Pero si vols generi actividada economica, que es pguin reutilitzar per negoci, per comprara, tindras incorporar API al teu pla de dades
Iniciativa Barcelona Open Data
SPARTGL ... mes complexe, modul de dades linkes, modul de consulta de SQL. un lenguatge per a fer consultes a dades likades, seria com un SQL de dades enllaçades .... per expempel buscar "cervantes" en date sets de linkades
Iniciativa Barcelona Open Data
Portal gava, part dedeasrroyadores, alla la gent posa un link pot gestionar les dades sense baixar les dades.API. si saps hi ha una comunitat de reutilitzadors que utilitzaran unes dades, si poses uan api, facilites que utilitzin les dades.
Iniciativa Barcelona Open Data
usen API - es un enllaç a un programa que et dona acces directe a aquest programa, sin necessitat de reporduir aiox el teu programaexemple- quan vas a una web, registrat o a conectat a traves dle facebook, no cal entrar les dades. Facebook ja les te, diu, no cal netris les addes ja les tindre a través a de facebook ...COMPARTIR DADES... altra exemple, p de un hotel, reserva de hotel ..a demas quuere reservar un coche? te sale un questionari de avis, no estas en pagina avis, hi ha uan conexio, des de la pagina de l'hotel entres a la reserva de la web de avis sense anar a la web, comparteixen dades...
Iniciativa Barcelona Open Data
Maneres de publicar dades. Normalment el que gent es veu mes ... los no tequis.. arxiu excel, vsg .... En canvi los data science ... gent mes nivel tecnic, api
Publicar
● Hem de decidir on publiquem les dades:■Web corporativa.■Portal de dades Obertes.
Iniciativa Barcelona Open Data
com publicar les dades. 2 models. 1- apartat dins de la web 2- un portal odata - con un sotware que et permet gestionar leaa dades, amb un catelg de dades ( les localitza faci, com un catelg del ikea), molt permeten visualitzacio facil, et donen mes "user frame" faciliten la vida del usuari
Publicar
Un catàleg de dades proporciona un registre o llista de
tots els conjunts de dades existents i un punter (URL) a on
es pot accedir a les dades. Un catàleg de dades de tots els
conjunts de dades obertes de dades disponibles és
generalment el component clau d'un portal de dades
obertes, a més de socials, notícies i els elements de la
comunitat.
Iniciativa Barcelona Open Data
promocio ...Bon manteniment - quan mes autonatic millor. tot el que sigui manual indueix al error.
Iniciativa Barcelona Open Data
tanquem cercel..1. tenir pla2 objetius3 que volem publicar4 tenir clar que tenirn i en quines condicions
Promoció
● Que la gent sàpiga que has obert alguns conjunts de
dades.● Si hi ha un cert grup de persones al que voleu arribar,
pensar quina seria la millor manera d'aconseguir el
missatge per a ells?● Cal per animar-los a utilitzar les seves dades.
Iniciativa Barcelona Open Data
reutilitzacio implica1. obliga a actualitzar 2. ajuda a detectar errors 3. treballar grups de com usuarisi que ovlen, per actualiztar amb noves dades, renovar
Iniciativa Barcelona Open Data
Aixo: Tancar el cercle. Si no utlitcen les dades es tirar els diners.
Iniciativa Barcelona Open Data
grup persones ->>1- si publiquesn, contabiltat ajuntament - lo millor contacte els periodiste de dades " 2- col.lectius amb grup interes. gava teniem una persona volia fer 3. pactar amb altres institucions us i retorn- vam pactar amb UPC- dades reutilitzades, retornar informes, idees.4. promo activa , hacaktons ...
Iniciativa Barcelona Open Data
promocio - voluntat rela que vols obrir i publicitat, sino hi ha convenciment que es addes e spublicuen per usar, dificilment es fara promocio
Iniciativa Barcelona Open Data
PROMOCIO ..seguir divulgacio- seguir quines dades tenen mes visites- saguesa- el dataset que mes es consutes sous 1500 visites, en canvi indicadors de qualitat nomes 300 visites. o interesen mes ? o no s'h fet uan politica de promocio??