data hyotykayttoon -koulutuspaiva 09122016
TRANSCRIPT
Data hyötykäyttöön – avoin data
kaupungin työntekijän arjessa
9.12.2016
Tanja Lahti ja Hami Kekkonen
Helsingin kaupungin tietokeskus
klo 8.30 Esittelykierros ja tavoitteet
klo 9.00 Mitä on avoin data? Mikä on HRI?
klo 9.30 Paritehtävä + purku
klo 9.50 Tauko
klo 10.00 Avaamisen perusteet, käytännössä, mikä xls ja csv?
klo 11.00 Mitä hyötyä avoimesta datasta työhön? Faris Alsuhail
klo 11.30 Lounas (omakustanteinen)
klo 12.30 Mikä on rajapinta? Henri Kotkanen
klo 13.15 Case rajapinta – Tapahtumarajapinta Linked Events, Aleksi Salonen
klo 13.30 Harjoitus: tutkitaan rajapintoja ja datan hakua Henri Kotkasen avustuksella
klo 14.15 Tauko
klo 14.30 Hyödyntämisesimerkki, Case Eventmore, Lissu Kirves
klo 14.50 Miten löytää avattavaa dataa?
klo 15.00 Paritehtävä + purku
klo 15.30 Yhteenveto & kysymyksiä
Koulutuksen ohjelma
Helsingin kaupungin aineistopankki
Kunta edistää asukkaidensa hyvinvointia ja
alueensa elinvoimaa sekä järjestää asukkailleen
palvelut taloudellisesti, sosiaalisesti ja
ympäristöllisesti kestävällä tavalla. (Kuntalaki)
Helsingin kaupungin aineistopankki/SkyFoto
SOSIAALI- JA
TERVEYDENHUOLTO
PYSÄKÖINTI
VÄESTÖ
PÄÄTÖKSET
PÄIVÄHOITO JA
KOULUTUS
ASUMINEN
JULKINEN
LIIKENNE
ENERGIA
MAANKÄYTTÖ
TAPAHTUMAT
RAKENTAMINEN
KULTTUURI
Valtavasti dataa
Julkinen tieto vrt. avoin tieto
Julkinen tieto:
pääsy tietoon, ihmiset pääsevät lukemaan tietoja
Avoin julkinen tieto (data):
kansalaiset ja yritykset voivat käyttää tietoja omiin
tarkoituksiinsa tasavertaisesti julkisen hallinnon kanssa
Lähde: Anne Kauhanen-Simanainen, VM, JulkICT-toiminto 20.4.2012http://www.slideshare.net/THLfi/avoin-julkinen-tieto-yhteiskunnan-elvyttjn
http://opendefinition.org/okd/suomi/
Julkista tietoa
Lupa käyttää
Koneluettavassa muodossa
Maksutta saatavilla “A piece of content or data is open
if anyone is free to use, reuse, and
redistribute it — subject only, at
most, to the requirement to
attribute and/or share-alike.”
Avoin data
• Julkishallinto
hallinnon sisäinen tehokkuus
• Kuntalainen
läpinäkyvyys ja demokratia
• Yritykset
liiketoiminta ja innovaatiot
Avoimen datan hyötyjä
Mikä on Helsinki Region Infoshare
(HRI)?
HRI on pääkaupunkiseudun
kaupunkien (Helsinki, Espoo, Vantaa ja
Kauniainen) yhteinen avoimen datan
palvelu, jonka kautta kaupunkien
julkista tietoa (dataa) tarjotaan
avoimena datana kaikkien (mm.
kehittäjät, korkeakoulut, yritykset,
media) vapaasti hyödynnettäväksi.
Verkkosivut: www.hri.fi
Eteneminen
• Pilottivaihe 2010-2012
• Vakiinnuttamisvaihe 2013
• Osa kaupunkien normaalia toimintaa 2014->
Toimijat
• Johtoryhmä: PKS-kaupunginjohtajat
• Ohjausryhmä: PKS-kaupunkien vastuuhenkilöt
• Operatiivinen toiminta: Tietokeskus/HRI-tiimi,
kaupunkien HRI-ryhmät
• Tärkeimmät yhteistyötahot: Forum Virium
Helsinki, VM, avoimen datan yhteisö
HRI:n taustaa
Avoimen datan linjauksia Helsingissä
• Kaupunginhallituksen päätös 1.10.2012
• Strategiaohjelma
• IT-ohjelma
• Talousarvion
laatimisohjeet
Helsinki Region Infoshare – www.hri.fi
Avoin käyttölupa
Koneluettavaa
Maksutonta
Julkista tietoa
Espoo
Vantaa
Kauniainen
Helsinki
09/12/2016
Strategista dataa
• Tilastot, ennusteet• Paikkatietodataa• Maankäyttö• Päätökset• Talousdataa• …
Kaupungin tila?
Operatiivista dataa
• Tapahtumat• Liikenne• Ilmanlaatu• Lumiaurat• Palaute• …
Kaupungin pulssi?
Avattavaa dataa riittää – esimerkiksi
Helsingissä on yli 800 tietojärjestelmää!
Tietojärjestelmäluettelo priorisoinnin apuna
http://www.hri.fi/fi/dataset/helsingin-kaupungin-tietojarjestelmaluettelo
CLEARING
HOUSE
➜ Tuottavat alkuperäistä
tietoa
➜ Ylläpitävät omaa
tietoaan
➜ Osallistuvat tiedon
avaamiseen
➜ Toimittavat
tietoaineistojen
metatiedot Clearing
houselle
Dataa
Palautetta ja
toiveita
datasta
Tiedon
tuottaminen
Tiedon
avaaminen
Tiedon
jakaminen
Tiedon
hyödyntäminen
LoppukäyttäjätKriteerit ja ohjeet
Avaamisen apuvälineet
Palautetta datasta
Dataa ja
metadataa
Julkisen tiedon
tuottajat ja
lähteet
➜ Priorisoi mitä tietoja
avataan
➜ Kriteerit ja ohjeet
➜ Avustaa tiedon tuottajia
avaamisessa
➜ Ottaa vastaan tietoja,
arvioi ne ja hyväksyy
jakeluun
➜ Vastaa verkkopalvelun
ylläpidosta
➜ Ylläpitää
metatietorekisteriä
➜ Kerää käyttäjäpalautetta
datasta
➜ Kerää käyttäjien toiveita
uusista tietoaineistoista
➜ Kerää muuta
käyttäjäpalautetta
➜ Kuntien työntekijät,
yritykset, tutkimuslaitokset,
kansalaiset, oppilaitokset,
jne.
➜ Hyväksyvät käyttöehdot
➜ Lataavat ja hyödyntävät
dataa
➜ Palautetta ja toiveita
datasta
Clearing
houseTiedon
jakelija
”Datan
metatieto-
rekisteri”
”Helsingin
seudun
datakatalogi”
HRI-toimintamalli
Datan avaaminen on osa kaupungin
normaalitoimintaa, jossa tukena
• HRI-tiimi (kotipesä Tietokeskuksessa) + 6Aika Avoin data -väkio Yhteistyö datan avaajan kanssa: tiedustelut, esittelyt, käytännön tuki
o Yhteistyö hyödyntäjien kanssa: viestintää, vuoropuhelua, tilaisuuksia
• Kaupungin avoin ohjelmistokehitys (Kanslia/Titek)o ”Kaupungin toimeksiannosta kehitettävä uusi ohjelmistokoodi julkaistaan avoimen lähdekoodin
lisenssillä, ellei ole perusteltua syytä muuhun.”
o Avoimen ohjelmistokehityksen puitesopimus
• Kaupungin IT-kokonaisarkkitehtuuri (Kanslia/Titek)o Kokonaiskuva kaupungin tietojärjestelmistä ja niiden kehittämisestä, mm. tietojärjestelmäluettelo
Jatkossa painopistettä myös avoimien datojen hyödyntämiseen
Esittelyvideo HRI:sta ja
avoimesta datasta suomeksi,
ruotsiksi ja englanniksi
https://www.youtube.com/user/HRInfoshare
http://www.hri.fi/fi/ajankohtaista/hri-piirrosvideona/
HRI ja avoin data 3 minuutissa
Datan avaaminen jatkuu• Datan avaaminen jatkuu osana pääkaupunkiseudun kaupunkien
normaalitoimintaa
• Avaamisen haasteita tunnistettu, mutta ratkaistavissa
– kyse toimintakulttuurin muutoksesta
• Avattavaa dataa riittää – tuodaan ne näkyville
• Avoimia ja standardoituja rajapintoja tavoitellaan yhä enemmän
• Yhteistyötä yli rajojen: kuntien sisällä, kuntien kesken,
valtion kanssa, kansainvälisillä kentillä, asukkaiden,
kehittäjien, korkeakoulujen, yrittäjien jne. kanssa
• Tarjolla tukea esim. www.6aika.fi- ja
Horizon 2020 -ohjelmista
Mitä dataa jatkossa
avata ja miten? http://www.hri.fi/fi/hri-projekti/tyon-alla/
• Voit tutustua työn alla oleviin data-
avauksiin
• Tietotarpeita? Toivo dataa!
• Avaus tiedostona ja/tai avoimen
rajapinnan kautta?
• Parannetaan datojen löydettävyyttä
• Edistetään hyödyntämistä
• Juridiset seikat (mm. omistajuus,
yksityisyydensuoja, EU:n tietosuoja-
asetus, tekijänoikeus)
6Aika edesauttaa liiketoimintaaKuusi suurinta kaupunkia mm.:
• Avaa liiketoimintapotentiaalista dataa
• Luo avoimia ja standardoituja
ohjelmointirajapintoja
• Edesauttaa datojen löydettävyyttä ja
käytettävyyttä
• Tekee yhteistyötä yrityskentän kanssa
• Vahvistaa kaupunkien it-
hankintaosaamista
http://6aika.fihttp://databusiness.fi
Helsinki Loves Developers -tapaamisetTervetuloa avoimen datan avoimeen konttoriin! Järjestään keväällä
2017 noin kerran kuukaudessa torstaisin klo 15-18 Laiturilla!
https://www.facebook.com/groups/heldev/
Hel♥Dev -
tapaamisia
31.3.2016 pysäköinti-aiheisessa avokonttorissa
ideoitiin erilaisia pysäköintimaksudatan käyttömahdollisuuksia.
Datojen hyödyntäminen yhteistyössä
ulkopuolisten kanssa – co-creation?
• Avoimen datan hyödyntäjänä voi
olla kuka tahansa
• Miten kehittäjiä saataisiin mukaan
ratkomaan kaupungin haasteita?
• Miten kehittäjien sovelluksiin
suhtaudutaan?
• Miten voisi/pitäisi kytkeytyä
hankintaprosesseihin?
• Edellyttää kaupungilta uudenlaisia
toimintatapoja ja yhteistyöalustoja
Digitaalinen Helsinki – digi.hel.fi
Näkymä kaupungin
palvelujen digitalisointiin
ja väylä palvelujen
yhteiskehittämiseen.
Ensimmäisiä pilotteja:
- Tilat avoimiksi
- Helsinki App
Oppimisprosessi meille kaikille
Kaupungin työntekijöillä mahdollisuus vahvistaa osaamistaan
esim. miten avata ja hyödyntää dataa, paikkatietokoulutusta,
IT-hankintaosaamiskoulutusta jne.
Koulutusmateriaalia
• Avoimen datan perusteos:
”Julkinen data – johdatus tietovarantojen
avaamiseen”
www.julkinendata.fi
• Q&A: www.avoindata.net
• Kokemuksia HRI:n alkutaipaleelta
www.hri.fi/2vuotta
• HRIn koulutusmateriaalit
http://www.hri.fi/fi/avaa-
dataa/koulutusmateriaalia/
• Avoimen rajapinnan määrittelyä
http://avoinrajapinta.fi/
• Datan avaajan mestarikurssi verkossa
http://datakoulu.fi/kurssit/datan-avaajan-
mooc/Lähde: http://www.squidoo.com/frog-hibernation Photo Credit: Muddy fun on Flickr, Creative Commons
Median voima -
datajournalismi
• HS 31.1.16 uutinen Asuntojen
hinnat nousivat pilviin
Helsingin seudulla
• Taustalla asuntojen
hintatietoja
http://www.hs.fi/kaupunki/a1454127033359
Helsingin
kaupungin ostot
Läpinäkyvyyttä
visualisoinneilla
http://www.hri.fi/fi/dataset/helsingin-kaupungin-ostot
http://www.hri.fi/fi/dataset/paakaupunkiseudun-matka-aikamatriisi
http://www.hri.fi/fi/ajankohtaista/matka-aikamatriisi-sai-hrin-erityispalkinnon-apps4finlandissa/
Tutkimuksen kautta uutta tietoa
Helsingin ilmakuvat 1930-,
1940-, 1950-, 1960-, 1970-,
1980- ja 2010-luvuilta
-> Helsinki ilmakuvina
1932–2012
http://www.hri.fi/fi/sovellukset/helsinki-
ilmakuvina-1943-2012/
Kurkistus menneisyyteen ja muutokseen
HSL:n avoin rajapinta
http://www.youtube.com/watch?v=qGllzWt0acU
ReittiGPS
www.blindsquare.com
Sovelluksilla uutta
liiketoimintaa ja innovaatioita
Nysse
http://www.hri.fi/fi/ajankohtaista/open-ahjo-
rajapinta-helsingin-asiakirjajarjestelmaan-avautui/
http://www.slideshare.net/helsinkiregioninfoshare/
open-data-layers-to-helsinki-citys-case-
management
Avoin ohjelmointirajapinta
Helsingin kaupungin
Ahjo-asiakirjajärjestelmään
= Open Ahjo
Kaupungin päätöksenteko avoimeksi
Edistetään demokratiaa
http://dev.hel.fi/paatokset/
Ahjo Explorer
Open API
Kaupungin päätökset (Ahjo)
Mitäpäätetään,
missä, million? #HelsinkiPäätökset
Monipuolista paikkatietodataa
Open Data Use Case by Antti Ahola/Esri: https://www.linkedin.com/pulse/avoin-data-rakennus-ja-kiinteist%C3%B6alan-
k%C3%A4yt%C3%B6ss%C3%A4-n%C3%A4in-se-antti-ahola?trk=hp-feed-article-title-publish
Uudenlaisiatapoja
ymmärtää ja suunnitella
alueita
http://www.hri.fi/fi/sovellukset/
• Ulkopuolisten tahojen
tekemien, avointa dataa
hyödyntävien sovellusten,
visualisointien ja
ohjeistuksien esittelyä
• Sovellusideoiden
kerääminen käyttäjiltä
1Sovellusgalleria
Mitä dataa
organisaatiostasi löytyy?
• Mitä dataa tuotat työssäsi?
• Mitä dataa käytät työssäsi?
• Mitä dataa tarvitsisit työssäsi?
• Mikä on kiinnostavin datasetti parisi
organisaatiossa?
Julkisuus• Tiedon oltava julkista
o Julkisuuslaki
o Muu lainsäädäntö
• Tieto ei saa sisältää henkilötietojao Julkaistaan vain tietoa, jossa ei ole henkilötietoja
o Tarvittaessa tiedon anonymisointi
• Julkaisijalla on oikeus julkaista tietoo Tekijän- ym. immateriaalioikeudet
o Sopimukset ym.
• Maksuttomuuso Kuntalaki 50§: valtuusto päättää kunnan maksujen perusteista
KoneluettavuusIhminen hahmottaa datasta nopeasti esim. otsikot, väli- tai loppusummat, lisätiedot, jne.
Koneelliseen tulkintaan tarvitaan rakenteinen, systemaattinen muoto
Missä muodossa avata dataa?
Erilaisia tapoja avata dataa
• Tiedostonao Tiedosto, jossa data ylläpidetään (xls / csv / tab / shp / …)
o Otetaan tieto manuaalisesti ulos järjestelmästä
o Otetaan tieto automatisoidusti ulos järjestelmästä
• Rajapinnan kauttao Tehdään rajapinta järjestelmästä automatisoidusti ulos otettavaan tietoon
o Tehdään järjestelmään / sen kopioon rajapinta
Missä muodossa avata dataa?
Kysymyksiä, joita hyvä pohtia:
• Kuinka usein data päivittyy / päivitetään?
• Kuinka suuri datamäärä on?
• Onko data reaaliaikaista, vai esim. vuosittaista tietoa?
• Kuinka paljon käsityötä datan muokkaaminen vaatii?
• Mihin dataa voisi käyttää?
• Onko jokin muu taho jo avannut vastaavan datan? Miten
se on tehty?
Lisenssi
• Datan omistaja antaa käyttöoikeuden eli lisenssin datansa
o Kopiointiin, levitykseen, muokkaukseen, yhdistelyyn ym. sekä
ei-kaupallisessa että kaupallisessa käytössä
• Datan soveltaja kantaa vastuun sovelluksestaan
• Lisenssisuositus (JHS 189): Creative Commons BY 4.0
• Suositeltava lähdeviittaus sovelluksessa:
Lähde: Helsingin 3D-rakennukset. Aineiston ylläpitäjä on Helsingin
kaupungin kiinteistövirasto ja alkuperäinen tekijä Helsingin kaupunki,
kiinteistöviraston kaupunkimittausosasto. Aineisto on ladattu
Helsinki Region Infoshare -palvelusta 30.09.2015 lisenssillä
Creative Commons Nimeä 4.0 Kansainvälinen (CC BY 4.0).
Datan julkaiseminen
• Metatiedot kuntoon• Sanallinen kuvaus: mitä data pitää sisällään, miten se on tehty, mitä
käyttäjän tulee huomioida ja tietää siitä + avainsanoitus ym. hakutoimintoja
varten
• Aineiston jakelualusta• Viraston oma palvelin / HRI:n datastore / kaupungin
verkkojulkaisujärjestelmä
• Julkaisu
Jatko
• Avauksesta tiedottaminen• Kenelle ja missä avaamisesta on hyvä tiedottaa?
• Datan ylläpito
• Muutoksista tiedottaminen• Datan / metadatan muutokset
• Palautteen kerääminen ja keskustelu• Seuraa, millaisen vastaanoton data saa, kerää palautetta, keskustele!
• Datan päivittäminen• Päivitä dataan uusimmat tiedot ilmoitetun päivitystiheyden mukaisesti
esim. kerran vuodessa. Päivitysrutiinit hyvä sopia jo dataa avattaessa.
Datan avaamisen haasteita
• MOTIIVI - Ei koeta hyödylliseksi, tai koetaan haitalliseksi.
• RESURSSIT – Koetaan ettei ole aikaa, rahaa tai osaamista
• JURIDIIKKA – Uhka yksityisyydensuojalle tai yleiselle turvallisuudelle
• TEKNIIKKA – Ei ole sopivassa muodossa, ei ole paikkaa laittaa
tiedostoja julkiseen jakeluun
• VÄÄRINKÄYTÖN PELKO – Pelätään että julkaistua dataa tulkitaan
väärin tai käytetään väärin.
• PALAUTTEEN PELKO – Ei haluta julkaista dataa koska pelätään
palautteen ja mahdollisen kritiikin aiheuttamaa kuormitusta.
• TOIMINTAKULTTUURIN MUUTOS
Pääkaupunkiseudun liikennemeluvyöhykkeet
Matalalla roikkuvat hedelmät
http://www.hri.fi/fi/dataset/paakaupunkiseudun-liikennemeluvyohykkeet
Pääkaupunkiseudun väestöennusteet
Mitä tietoja kysellään eniten?
Mitä tietoja haluaisit käytettävän enemmän?
http://www.hri.fi/fi/dataset/paakaupunkiseudun-vaestoennuste-2015-2023
http://www.hri.fi/fi/ajankohtaista/miten-vaestoennuste-laaditaan/
Terassit Helsingin yleisillä alueilla
Datatoiveesta sovellukseksi
http://www.hri.fi/fi/dataset/helsingin-kaupungin-yleisten-alueiden-tapahtuma-ja-maankayttolupajarjestelma
http://www.hri.fi/fi/datatoiveet/
Helsingin kaupungin tietojärjestelmäluettelo
Tietojärjestelmäluettelo suunnittelun apuna
http://www.hri.fi/fi/dataset/helsingin-kaupungin-tietojarjestelmaluettelo
Mitä dataa voisin avata?• Mitä omassa työssäsi tuottamiasi / käyttämiäsi tietoaineistoja voisi
avata?
o Mitä tulee huomioida?
o Missä formaatissa? Eräajotiedostona vai rajapinnan kautta?
• Mitä voisit saada / toivoisit saavasi avaamisesta takaisin päin?
• Miten voisit hyödyntää avointa dataa omassa työssäsi?
• Voisivatko muualla pääkaupunkiseudulla / Suomessa / maailmalla
avatut aineistot olla sinulle hyödyllisiä?
• Mitä konkreettista aiot tehdä tämän koulutuksen jälkeen?
• strategista tai toiminnallista
• aika ajoin päivittyvää tai reaaliaikaista
• koko tietoaineisto tai sen osa
• harmonisoimatonta tai harmonisoitua
• helppo avaus vs. työläämpi avaus
(rajapinnat)
• jolle on kysyntää,
hyödyntämispotentiaalia, edistää muiden
datojen hyödyntämistä
Rohkeasti avaamaan ja hyödyntämään
dataa…
Helsingin kaupungin aineistopankki/Matti Tirri
KIITOS!
75
Photo: The City of Helsinki Media Bank/Matti Tirri
Helsinki Region Infoshare (HRI)
Verkkopalvelu: www.hri.fi
Sähköposti: [email protected]
Facebook: www.facebook.com/helsinkiregioninfoshare
Twitter: @HRInfoshare
Projektipäällikkö
Tanja Lahti
040-553 2425
Suunnittelija
Hami Kekkonen
040-334 4780