R-ohjelmointikieli ja datajournalismi

Juuso Parkkinen (Louhos)Hacks/Hackers Helsinki August Meetup

15.8.2012

Wednesday, August 15, 12

Mistä on kyse?

• R: avoimeen lähdekoodiin perustuva tilastollisen laskennan ohjelmointikieli, käytössä useilla dataintensiviisillä tieteenaloilla

• Datajournalismi: (avointa) dataa analysoimalla, yhdistelemällä ja visualisoimalla tuotettua journalismia

Wednesday, August 15, 12

New York Times ja R

• The Facebook Offering: How it compares

• Miten tähän päädyttiin?

• Amanda Cox and countrymen chart the Facebook I.P.O.

Wednesday, August 15, 12

R Suomessa

• Louhos-blogi - suomalaisen avoimen datan louhintaa ja visualisointia

• sorvi - Avoimen datan työkalupakki R-kielelle

• Apps4Finland 2011 Datan avaus -sarjan voittaja

• Louhos-projekti githubissa kerää kaikkea avoimeen dataan liittyvää avointa koodia kielestä riippumatta

• Kehittäjät: Leo Lahti, Juuso Parkkinen, Joona Lehtomäki, Juuso Haapanen - kaikilla taustaa laskennallisesta tieteestä

Wednesday, August 15, 12

sorvi

• Motivaatio: kaikkea dataa ei saada koskaan yhteen paikkaan ja formaattiin - tarvitaan joustavia ja läpinäkyviä välineitä aineistojen automatisoituun hakuun ja seulontaan

• Joustavat ohjelmakirjastot avoimen datan tutkimusvälineenä; automatisoidaan rutiininomaiset toimenpiteet, vältetään pyörän keksiminen uudelleen

• Kohteet: tutkijat, (data)journalistit, avoin data -hörhöt, ...?

Wednesday, August 15, 12

Esimerkkejä Louhos-blogista

Hesarin Presidentinvaalikoneen analysointia

Natoon --- ei Natoon

Wednesday, August 15, 12

Esimerkkejä Louhos-blogistaGoogle Motion chart: Presidenttiehdokkaiden kannatus ja suomalaisten hyvinvointi

Wednesday, August 15, 12

Esimerkkejä Louhos-blogista

Aihepiirianalyysi kansanedustajien puheista

hallit

useu

rom

iljoon

ale

ikka

usle

ikat

apr

osen

ttim

aase

utu

maa

kunt

atu

llam

aata

lous

vuos

im

inis

teri

uusi

myö

spi

eni

kesk

usta

työp

aikk

apo

liisi

laps

ila

kirik

osha

rmaa

lakia

loite

esity

stu

rval

lisuu

sta

lous

adop

tiova

nhem

pihe

nkilö

lains

äädä

ntö

esillä

oikeu

salo

iteka

nsala

inen

suom

iEuro

oppa

kreikk

a

maapankki

vastuu

kriisi

miljardi

pitäävakuus

sopimus

euroalue

portugali

riskiperussuomalainen

rahavaltiokuntaelieukansalisäedustajalinjakeskuskylläverotustietäälläpääministeriedellinensosialidemokraattiPekkarinenhallitahalutapalvelualuekuntauudistusuudistusvahvamitentodetakuntalainenihminenkuntarakenneparas-hankesuuritehdämonikiinteistöverohankeisoliikennerakentaminen

kauttarakentaavihreäitämerimäärärahakustannus

asuminenympäristö

eduskuntaperustuslaki

presidenttiasiavaltioneuvosto

osaperustuslakivaliokunta

poliittinenvaliokunta

sittenunionikansainvälinen

työnuorityöntekijä

työttömyys

työtön

työllisyys

yhteiskuntatakuu

työelämä

työ-koulutus

työllistäminen

työmarkkina

työmarkkinatuki

toimeentulotuki

tarveharkinta

perusturpa

korotus

perusturva

työttömyysturva

peruspäiväraha

kaikki

hallitusohjelma

sosiaaliturva

amm

attikorkeakoulu

opiskelija

koulualoituspaikka

amm

atillinen

kulttuuri

lukioperuskoulu

opintotuki

yliopistoYLEnuoratärkeäpuolustusvoim

a

jalkaväkimiina

Afganistanpuolustusm

iinakorvatatoim

intavaruskuntajoukkosotilaallinenpuolustuskyky

Hautala Lasse (kesk)

Vehkaperä Mirja (kesk)

Hakkarainen Teuvo (ps)

Korhonen Timo V. (kesk)

Pirttilahti Arto (kesk)

Leppä Jari (kesk)

Savola Mikko (kesk)

Torniainen Ari (kesk)

Kiviranta Esko (kesk)

Tolvanen Kari (kok)

Holm

lund Anne (kok)

Pekonen Aino-Kaisa (vas)

Mäntym

aa Markku (kok)

Räsänen Päivi (kd)

Hongisto Reijo (ps)

Henriksson Anna-Maja (r)

Jokinen Kalle (kok)

Hirvisaari James (ps)

Stubb Alexander (kok)

Heinäluoma Eero (sd)

Soini Timo (ps)

Kontula Anna (vas)

Ravi Pekka (kok)

Modig Silvia (vas)

Kumpula-Natri Miapetra (sd)

Haavisto Pekka (vihr)

Tuppurainen Tytti (sd)

Tuupainen Kauko (ps)

Jääskeläinen Pietari (ps)

Tolppanen Maria (ps)

Ruohonen-Lerner Pirkko (ps)

Niikko Mika (ps)

Eerola Juho (ps)

Väätäinen Juha (ps)

Kettunen Pentti (ps)

Louhelainen Anne (ps)Viitanen Pia (sd)

Backman Jouni (sd)Kiviniemi Mari (kesk)

Tiilikainen Kimmo (kesk)Paasio Heli (sd)Zyskowicz Ben (kok)Lintilä Mika (kesk)Lindtman Antti (sd)Virkkunen Henna (kok)Tölli Tapani (kesk)Mäkinen Tapani (kok)

Hiltunen Rakel (sd)Tainio Hanna (sd)

Orpo Petteri (kok)

Soininvaara Osmo (vihr)

Wideroos Ulla-Maj (r)

Niinistö Ville (vihr)

Kiuru Krista (sd)

Kyllönen Merja (vas)

Karimäki Johanna (vihr)

Tynkkynen Oras (vihr)

Myller Riitta (sd)

Korhonen Martti (vas)

Heikkilä Lauri (ps)

Koskinen Johannes (sd)

Salolainen Pertti (kok)

Rajamäki Kari (sd)

Brax Tuija (vihr)

Kääriäinen Seppo (kesk)

Saarakkala Vesa-Matti (ps)

Kanerva Ilkka (kok)

Feldt-Ranta Maarit (

sd)

Ihalainen Lauri (sd)

Mustajärvi

Markus (v

as)

Yrttiaho Jy

rki (va

s)

Tossa

vaine

n Reijo

(ps)

Turune

n Kaj

(ps)

Filatov

Tarja (

sd)

Kärnä J

ukka

(sd)

Tiaine

n Eila

(vas

)

Gästgi

vars

Lars

Erik (r

)

Rehula

Juha

(kes

k)

Risikk

o Pau

la (ko

k)

Vehv

iläine

n An

u (k

esk)

Saar

ikko

Annik

a (k

esk)

Alan

ko-K

ahilu

oto

Outi (

vihr)

Virta

nen

Erkk

i (va

s)

Guz

enin

a-Ri

char

dson

Mar

ia (s

d)

Kilju

nen

Anne

li (sd

)

Gus

tafs

son

Jukk

a (s

d)

Vaha

salo

Rai

ja (k

ok)

Arhi

nmäk

i Paa

vo (v

as)

Vikm

an S

ofia

(kok

)Pa

lm S

ari (

kd)

Haa

pane

n Sa

tu (v

ihr)

Hei

none

n Ti

mo

(kok

)Ka

ntol

a Ilk

ka (s

d)N

iinis

tö J

ussi

(ps)

Pack

alén

Tom

(ps)

Oin

onen

Pen

tti (p

s)W

allin

Ste

fan

(r)Ku

rvin

en E

sko

(kok

)Tu

omio

ja E

rkki

(sd)

Hal

la-a

ho J

ussi

(ps)

1

4

6

8

10

11

13

14

15

16

17

18

Left: RepresentativesMiddle: Interesting topicsRigth: Top words for the topics

Wednesday, August 15, 12

Datavaalit

• Avoin ja yhteisövetoinen Datavaalit-hanke, jossa tuotetaan uusia välineitä yhteiskunnalliseen osallistumiseen

• Hankkeen tavoitteena on luoda Suomeen pysyvä data- ja koodi-infrastruktuuri talous- ja päätöksentekodatan tarkasteluun niin vaalien aikana kuin niiden välilläkin

• Syksyn kunnallisvaalien alla on nyt hyvä tilaisuus näyttää, miten avoimen datan ja avointen algoritmien myötä voidaan kehittää yhteiskunnan läpinäkyvyyttä

Wednesday, August 15, 12

Datavaalit (2)

• Joukkoistetaan datan avaamista hankalista kuntatason tietoläheistä

• Tarjotaan helppokäyttöiseen muotoon saatettua avointa dataa, koodia ja koulutusmateriaalia - kansalaisten, järjestöjen, tutkijoiden, toimittajien ja muiden käyttöön

• toimittajan aikaa vapautuu, kun hankkeen ansiosta päätöksentekoaineiston keräämiseen ja siistimiseen kuluu vähemmän aikaa

• hankkeen tiimoilta pidetään myös datajournalismin koulutuksia toimittajille

• datavaalit.fi-sivusto avautumassa lähipäivinä

Wednesday, August 15, 12

R käytännössä

• Plussaa

• Ohjelmointikieleksi helppo

• Valmiit rajapinnat lähes kaikkeen

• Netti pullollaan esimerkkikoodia

• Kattavat tilastollisen analyysin työkalut

• Toistettavat ja kumuloituvat analyysit

• Miinusta

• Interaktiivisten visualisointien tuottaminen suoraan R:stä ei onnistu

=> Erityisen hyvä nopeaan datan pöyhintään kun ei olla vielä varmoja mitä halutaan. Lopulliset visualisaatiot voi tehdä muilla ohjelmilla.

Wednesday, August 15, 12

Miten osallistua?

• Irkissä: !louhos, #r-project

• Koodareille

• R-osaaja => Mukaan sorvia kehittämään

• Muut kielet => Avointa koodia Louhokseen

• Journalisteille

• Ensiaskelet R:n opetteluun - kokeile Louhoksen esimerkkejä ja pyydä apua

• Kiinnostavia juttuideoita - ota yhteyttä!

• Datavaalit-hanke!

Wednesday, August 15, 12

Linkkejä

• Louhos: http://louhos.github.com/

• R-blogi: http://www.r-ohjelmointi.org/

• Datavaalit: http://www.datavaalit.fi/ (avataan elokuun aikana)

• R-blogifeedi: http://www.r-bloggers.com/

• NYT blogi: http://chartsnthings.tumblr.com/

• Computing for Data Analysis (R course at Coursera)

• FlowingData: http://flowingdata.com/

• Slides&Polls-firma: http://www.screen.io/en/

Wednesday, August 15, 12