big data kohtaa master datan
DESCRIPTION
Miten Master Dataa voi käyttää apuna Big Datan hyödyntämisessä? Mitä uutta Big Data voi tarjota Master Datalle? - Käytä master dataa laadukkaan ja standardoidun tiedon lähteenä - Sovella master datan hallinnan periaatteita Big Dataan - Elinkaari - Omistajuus - Hyödynnä samoja data quality työkaluja ja periaatteita - Määritä laatukriteerit - Estä huonolaatuisen datan pääsy prosessiin - Käytä samoja työkaluja - Valitse sellaiset työkalut, jotka pystyvät käsittelemään isoja määriä ei-rakenteista dataaTRANSCRIPT
![Page 1: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/1.jpg)
Big Data kohtaa Master Datan
Talent Base Oy
Nino Ilveskero, osakas
13.3.2013
![Page 2: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/2.jpg)
Talent Base - Getting the Best out of IT
Luomme asiakkaillemme kilpailuetua suunnittelemalla parhailla
menetelmillä tarkoituksenmukaisia IT-ratkaisuja.
![Page 3: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/3.jpg)
1 Strategia
2 Prosessit
3 Ratkaisusuunittelu
Palvelualueemme
![Page 4: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/4.jpg)
Yksittäisestä sovelluksesta kokonaisuuden hallintaan
Avaintiedon
hallinta
(MDM)
Sisällönhallinta (ECM)
Asiakkuudenhallinta
(CRM)
Verkkokauppa
Sähköiset palvelut
![Page 5: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/5.jpg)
Sisältö
• Johdanto
• Tiedon laatu
• Master Data apuna Big Datan hyödyntämisessä
• Laillisuusnäkökulma
• Yhteenveto
![Page 6: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/6.jpg)
Johdanto
![Page 7: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/7.jpg)
Big Datan määritelmä tämän esityksen
puitteissa
• Big Dataa voidaan kuvata kolmella V:llä: Volume (Määrä), Velocity
(Nopeus), Variety (Vaihtelevuus)
• Tiedon hyödyntämistä vaikeuttaa rakenteen puuttuminen ja puutteet
laadussa sekä sisällön ymmärrettävyydessä
![Page 8: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/8.jpg)
Master Datan määritelmä
• Master Data on (staattista) koko organisaation toiminnalle
keskeistä ja jaettua tietoa, jolla on yhteisesti sovittu rakenne,
sisältö ja merkitys.
• Tyypillisiä avaintietoja: – Toimijat (asiakkaat, henkilöstö, toimittajat, kumppanit)
– Paikat (toimipisteet, myymälät, markkina-alueet)
– Asiat (tuotteet, palvelut, kiinteistöt, omaisuus, sopimukset)
![Page 9: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/9.jpg)
Master Data Managementin (MDM)
määritelmä
Kokoelma sovittuja vastuita, prosesseja ja työkaluja, joiden avulla kuvataan
sekä hallitaan organisaation toiminnan kannalta keskeisiä tietosisältöjä ja
varmistetaan niiden laatu.
![Page 10: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/10.jpg)
Datakerrokset
METADATA
REFERNSSI DATA
MASTERDATA
TRANSAKTIODATA
BIG DATA
Datan määrä
Semantiikka, datan staattisuus
ja uudelleen-käytettävyys
Sensoridata, verkkopalvelun lokitietoa, twiittejä…
PÄIVÄMÄÄRÄFORMAATTI, OSOITESTANDARDI... (DDMMYYYY)
MAALISTA, TOIMISTUSLAUSEKKEET... (Fin;Swe;UK;Rus)
MATERIAALI, TUOTE, ASIAKAS...
(Talent Base;Y-tunnus 21574644)
MYYNTITILAUS, TOIMITUS... (order-number;7756365)
![Page 11: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/11.jpg)
Big Datan hyödyntäminen yleistyy
How big is big data adoption – Talend. Kyselytutkimus tehty kesäkuussa 2012, 231
vastaajaa EMEA ja Pohjois-Ameriikan alueelta.
• 41%:lla yrityksistä on Big Data strategia. Big Datan käyttöönotto etenee.
• 48% Big Data hankkeista on liiketoiminnan ja 39% IT:n johtamia.
• Niistä, joilla ei ole Big Data strategiaa 76% kertoi syyksi sen, että he eivät erottele
Big Dataa muusta yritystiedosta.
• 62% vastaajista sanoi, että he ovat saavuttaneet liiketoimintahyötyjä. Näistä 28%
liittyi liiketoimintaprosessien tehostamiseen ja 24% liittyi myynnin ja markkinoinnin
tehostamiseen.
Lähde: http://www.talend.com/resources/whitepapers/how-big-is-big-data-adoption
![Page 12: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/12.jpg)
Big Datan lähteet
Lähde: Talend survey 2012
![Page 13: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/13.jpg)
Walmart käsittelee ja tallentaa yli miljoona asiakastapahtumaa joka tunti.
Esimerkki vähittäiskaupasta
Lähde: Talend survey 2012
![Page 14: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/14.jpg)
Esimerkki lentoliikenteestä
![Page 15: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/15.jpg)
Hype hälvenee ja palataan perusasioiden
äärelle
Yritykset tulevat oivaltamaan, että “big data” tarkoittaa
kaikkea heidän tietoa.
Forrester, Big Data Predictions for 2013, Jan 2, 2013
http://blogs.forrester.com/mike_gualtieri/13-01-02-big_data_predictions_for_2013
![Page 16: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/16.jpg)
Tiedosta ymmärrykseksi
Data Information Knowledge
Big Muuttuuko mikään?
![Page 17: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/17.jpg)
Tiedon laatu
![Page 18: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/18.jpg)
Määrä ei korvaa laatua
Huono datan laatu + Big Data = Isoja ongelmia
Huono datan laatu * Big Data = Isoja ongelmia^2
Tiedon laatuvaatimukset riippuvat aina käyttötarkoituksesta.
Big Datan laadun varmistaminen on yleensä huomattavasti vaikeampaa kuin master datan.
![Page 19: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/19.jpg)
MDM Big Datan laadun varmistamisessa
• Käytä master dataa laadukkaan ja standardoidun tiedon
lähteenä
• Sovella master datan hallinnan periaatteita Big Dataan
– Elinkaari
– Omistajuus
• Hyödynnä samoja data quality työkaluja ja periaatteita
– Määritä laatukriteerit
– Estä huonolaatuisen datan pääsy prosessiin
– Käytä samoja työkaluja
• Valitse sellaiset työkalut, jotka pystyvät käsittelemään isoja määriä ei-
rakenteista dataa
– Yksinkertainen esimerkki http://www.youtube.com/watch?v=NKwotbwCg78
![Page 20: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/20.jpg)
Master Data apuna Big
Datan hyödyntämisessä
![Page 21: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/21.jpg)
Miksi Master Data ja Big Data pitää
käsitellä kokonaisuutena?
• Mikäli Big Dataa (analyysituloksia) ei voida yhdistää osaksi oman
organisaation kontekstia, esim. tuote- tai asiakastietoja, niin se jää helposti
irralliseksi ja kertaluonteiseksi toimenpiteeksi.
• Olemassa olevia MDM-toimintamalleja voidaan hyödyntää myös Big
Datassa
– Tietomallit (rakenne & merkitys)
– Prosessit ja hallintamalli (governance)
– Laadun varmistus ja parantaminen
• MDM luo organisaatiolle yhteistä kieltä ja käsitteistöä. Asiakas pitää olla
asiakas myös Big Datassa.
• Molemmat ovat osa isompaa EIM (Enterprise Information Management)
sateenvarjoa.
![Page 22: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/22.jpg)
Ilman tiedon rakennetta ja merkitystä Big
Datan käyttö voi olla samanlainen
kokemus kuin juominen paloletkusta.
Big Datalle tarvitaan merkitystä ja
rakennetta
![Page 23: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/23.jpg)
SYNERGIA
Viitekehys
* = volume, velocity, variety
MDM
Governance Prosessit
Liiketoiminta-hyötyä Big
Datasta
Kolmen V:n* hallinta
Tiedon merkitys ja rakenne
Tiedon laatu
Organisaation osaaminen
![Page 24: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/24.jpg)
SoMe
Mobiililaitteet
Transaktiot
Verkkolaitteet
Sensorit
Datojen kohtaaminen
…
Big Data
Rakenteinen data Ei rakenteinen data
![Page 25: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/25.jpg)
Miten yhdistää? SoMe
Mobiililaitteet Analysointi
Tulosten yhdistäminen
Transaktiot
Sensorit
…
Suora datan
yhdistäminen
Business
Analyst
Liiketoiminta-
käyttäjä Johto
TIEDON HYÖDYNTÄMINEN
![Page 26: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/26.jpg)
Big Datan ja Master Datan kohtaaminen
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
Päätöksenteko
![Page 27: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/27.jpg)
Esimerkki: asiakassegmentointi
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
ASIAKAS
- Nimi
ASIAKKUUS
- Segmentti
TOIMIPISTE
KONTAKTI
Ulkoiset • Facebook
aktiviteeti • Tweetit
Sisäiset • Verkko-
palvelulokit • Click stream • Osto-
tapahtumat / historia
Data scientist
Tiedon
analysointi
DW
Big Data Uusi asiakas-
segmentti Raportointi
segmenteittäin
Parempi kohdentaminen
![Page 28: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/28.jpg)
Esimerkki: laitteen vikaantumisanalyysi
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
ASIAKAS
Nimi
LAITEKANTA
Tuote
TOIMIPISTE
Koordinaatit
Paikkakunta
Ulkoiset • Sää tiedot
alueittain
Sisäiset • Sensoridata • Huolto-
käynnit
Data scientist
Tiedon
analysointi
DW
Miksi huoltokäynnit lisääntyvät? Laadukas pohjatieto
Parempi huoltokäyntien ennakointi
![Page 29: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/29.jpg)
Esimerkki: Boeing 787
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
MODUULI
- ID
- Toimittaja
KOMPO-
NENTTI
- ID Sisäiset • Reaali-
aikainen sensori data
• Lentotiedot
(Data scientist)
Tiedon
analysointi
DW
Big Data Tunnistetaan huollon tarve
Valmistaudutaan huoltoon
Nopea huolto
ERP
![Page 30: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/30.jpg)
Kaikki mikä on teknisesti
mahdollista ei aina ole
sallittua
![Page 31: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/31.jpg)
Yksityisyydensuoja
• Kriittistä, kun käsitellään henkilötietoja (kuluttajat, työntekijät,
potilaat jne.)
• Kansallista ja EU tason lainsäädäntöä.
– Kansallisissa laeissa paljon eroavaisuutta
– Tulossa uutta EU-lainsäädäntöä, joka korvaa kansallisia lakeja
• Ole erityisen varovainen yhdistäessäsi eri tietokokonaisuuksia
– Sinulla ei välttämättä ole oikeutta käyttää/pitää syntyvää
tietokokonaisuutta
![Page 32: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/32.jpg)
Varoittava esimerkki
http://www.guardian.co.uk/technology/2012/apr/22/big-data-privacy-information-currency
“Big Data age puts privacy in question as information becomes currency”
![Page 33: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/33.jpg)
Yhteenveto
![Page 34: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/34.jpg)
1. Datan määrä ei itsessään luo arvoa
2. Jos pystyt yhdistämään Big Datan ja Master Datan, pystyt hyödyntämään
dataa lukemattomin eri tavoin ja tuottamaan todellista arvoa
liiketoiminnalle
3. Master Data tarjoaa Big Datalle merkityksen ja rakenteen
4. Hyödynnä MDM-periaatteita Big Datan laadun varmistamiseen
5. Varo lakiansoja
![Page 35: Big Data kohtaa Master Datan](https://reader033.vdocuments.mx/reader033/viewer/2022052619/5563ac09d8b42ac70d8b46a7/html5/thumbnails/35.jpg)
Kiitos!
Lisätietoja:
www.talentbase.fi