tieto: totta vai tarua? - fcg
TRANSCRIPT
Tieto: totta vai tarua?
Miten parantaa tiedon luotettavuutta?
Sami Laine, TohtorikoulutettavaTietotekniikan laitos, Aalto-yliopisto
Terveydenhuoltoa ja tiedolla johtamista yli 15 vuotta
Turun yliopisto
• Empiiristä tutkimusta erikoissairaanhoidon työtavoista ja tietojärjestelmistä
VSSHP
• Johdon raportoinnin ja tietovarastoinnin kehittämistä
Aalto-yliopisto
• Terveydenhuollon tietojen laadun ja laadunhallinnan tutkimusta
Siili Solutions Oyj
• Asiakastietojen hallinnan kehittämistä
Sami Laine, TohtorikoulutettavaTietotekniikan laitos, Aalto-yliopisto
Sote-uudistus tulee muuttamaan kaikkien suomalaisten elämän…
Sote-uudistusta perustellaan esimerkiksi säästöillä ja palvelujen laadulla…
Talous Laatu
Säästöjä Terveyttä
Suunnitelmien taustalla olevat laskelmat perustuvat valtakunnallisesti kerättyihin tietoihin…
Paras
Keskiverto
Miehikkälä
Miehikkälä
(4.)
Keskiverto
Heikoin
Paras
Miehikkälä
Heikoin
?
Miten johdetaan tiedolla jos laskelmien mukaan ”paras” on
”huonoin” tai ”jotain” siltä väliltä?Ei mitenkään!
Tarvitaan laadukkaampaa tietoa ja pätevämpiä laskelmia!
Tiedon laadunhallinta on monitieteellinen ala, jonka perusta rakennettiin MIT:issa…
MIT Information Quality-
tutkimusohjelma yhdisti 80-90-
luvuilla tuotantotalouden laadunhallinnan opit moderniin
tietojenkäsittelyyn.
Tietotuotantoprosessi sisältää tietojen syntymisen, muokkaamisen ja hyödyntämisen vaiheet…
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoi
Tulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailu
Tietovarasto
Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your
Information as a Product. Sloan Management Review, 39, 4, pp. 95-105.
Raportointi
MIT:in mukaan tietotuotantoakin tulee hallinnoida järjestelmällisesti tuotantoprosessina…
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto
Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your
Information as a Product. Sloan Management Review, 39, 4, pp. 95-105.
Raportointi
Ymmärrä tiedon hyödyntäjän tarpeet.
Hallinnoi koko prosessia tiedon tuottajista sen hyödyntäjiin.
Hallitse tiedon koko elinkaarta sen syntymästä lopulliseen tuhoamiseen.
Aseta tiedolle vastuullinen omistaja.
Tiedon laadunhallinta perustuu kaikkien tuntemaan laatuympyrään…
Sote-palvelujen järjestäjällä ja tuottajalla tulee olla tiedon laadunhallinnan järjestelmä.
Tiedolla johtaminen mahdollistuu vain laadukkaalla tiedolla ja pätevillä laskelmilla.
1. Määrittele
2. Mittaa
3. Analysoi
4. Paranna
Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your
Information as a Product. Sloan Management Review, 39, 4, pp. 95-105.
Tiedon laadunhallinta tulee sulauttaa organisaatioiden kaikkeen toimintaan…
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto
Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your
Information as a Product. Sloan Management Review, 39, 4, pp. 95-105.
Raportointi
Ymmärrä tiedon hyödyntäjän tarpeet.
Hallinnoi koko prosessia tiedon tuottajista sen hyödyntäjiin.
Hallitse tiedon koko elinkaartasyntymästä tuhoamiseen.
Aseta tiedolle vastuullinen omistaja.
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Mutta kuka hallinnoi laatua ja miten se varmistetaan sote-uudistuksen tavoittelemassa monitoimijaympäristössä?
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto
Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your
Information as a Product. Sloan Management Review, 39, 4, pp. 95-105.
Raportointi
Kuka ymmärtää kaikkien tarpeet?
Kuka hallinnoi organisaatioiden ylitse jatkuvaa prosessia?
Kuka seuraa tiedon koko elinkaarta organisaatioiden ylitse?
Kuka omistaa koko tietoavaruuden?
Määrittele
Mittaa
Analysoi
Paranna
Minkälaisia tiedonlaatuongelmia esiintyy terveydenhuollon monitoimijaympäristössä?
Viheliäisiä ongelmia!
Perinteinen laadunhallintakaan ei riitä vaan tarvitaan aitoa läpinäkyvyyttä.
Tekes-rahoitteinen Qualidat-tutkimusprojekti
Aalto-yliopisto, VSSP, PSHP
2012-2014
DATA ANALYTIIKKA
SELITTÄVÄ TUTKIMUS
Rakentaaalgoritmeja ja johtaa
laskennallisiatuloksia datasta
Manipuloialgoritmeja ja
selittää loogisiamekanismeja
Qualidat-tutkimusprojekti
Tavoitteiden ja oletusten kääntäminenpäälaelleen avaa uusia näkökulmia
tuottavuusvertailuun
Olettaasatunnaisuutta ja Gaussin käyrää
Etsiisystemaattisiasyitä ja piileviä
muuttujiaVirheet
Tavoite
Qualidat-projekti tunnisti ja selitti mekanismeja, jotka johtavat virheellisiin johtopäätöksiin
Biasoitumisella on epäsuotuisia seurauksiatuottavuusvertailun validiudulle, palvelujen
vaikuttavuuden arvioinnille ja terveyspalvelujärjestelmän insentiiveille.
Bias on systemaattinen virhe, jonka vuoksitodellisuus on jotain muuta kuin mitä data ja
laskelmat väittävät.Qualidat-projekti tutki kansallista
sairaaloiden tuottavuusvertailua VSSHP:n ja PSHP:n
kanssa.
Tuottavuusvertailussa esiintyy ‘systemaattisia biaseja’ jotkajohtuvat ‘mekanismeista’
Potilasaineksenmekanismit
Potilaidenpoiminta
Potilaidenhylkääminen
Pirstoutumisenmekanismit
Palvelujenpilkkominen
Palvelujennimeäminen
Palvelujenpirstoutuminen
Potilasaineksenheterogeenisuus
Toimijoideninsentiivit
Datan laajuus
Dokumentaationtaso
Tiedon virheet
Tiedon korjaukset
Esimerkiksi tuottavuusvertailun mukaan toinen sairaalatuottaa samalla rahamäärällä enemmän palveluja…
Sairaala Sairaala
Episode 1
…
DRG A
…
DRG B DRG C
Mutta palvelujen pirstoutuminen palkitsee hajanaisuudesta ja monimutkaisuudesta
Sairaala Sairaala
DRG X
Episode A
DRG X
Vähemmän
tuottavuutta
mutta
enemmän
terveyttä!
Enemmän
tuottavuutta
mutta
vähemmän
terveyttä!
Pilkotaan hoitopolku 3 osaan
JA
Nimetään palvelut uudelleen
Episode 1
…
DRG A
…
DRG B DRG C
Todellisuus poikkeaa tuottavuuslaskelmista ja huonoimmat tuotantolaitokset ovatkin parhaita terveyslaitoksia!
Sairaala Sairaala
DRG X
Episode A
DRG X
Vähemmän
tuottavuutta
mutta
enemmän
terveyttä!
Enemmän
tuottavuutta
mutta
vähemmän
terveyttä!
Pilkotaan hoitopolku 3 osaan
JA
Nimetään palvelut uudelleen
Bias-mekanismeja voidaan rakentaa tietoisesti organisaatioiden toimintaan tai tietotuotantoprosessiin!
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto Raportointi
Palvelujen pirstoutuminen
Potilasaineksen heterogeenisuus
Toimijoiden insentiivit
Datan laajuus
Dokumentaation taso
Tiedon virheet
Tiedon korjauksetInhimillinen
toiminta
Ohjelmistojen
ominaisuudet
Sote-palvelujen
tuotantomalli
Hoitokäytännöt
Bias-mekanismeilla saadaan hyvät näyttämään huonoilta ja huonot hyviltä!
Bias-mekanismit aiheuttavat erittäin suuria muutoksia laskelmiin vaikka eivät liity mitattavaan ilmiöön!
Qualidat-projektin aikana PSHP nosti tuottavuuttaan noin 10% lähes pelkästään korjaamalla kirjaamiskäytäntöjä ja ohjelmistojen laskentasääntöjä.
Bias-mekanismit aiheuttavat systemaattisia variaatioita eivätkä satunnaisia virheitä!
Tietyt sairaanhoitopiirit ovat järjestelmällisesti ”parempia” johtuen esimerkiksi kirjaamiskäytännöistä, vaikka todellisuus on jotain muuta.
Perinteinen keskitetty laadunhallinta ei riitä monitoimijaympäristössä, vaan tarvitaan aitoa läpinäkyvyyttä!
Sote-tietojen ja tuotteiden standardointi ei riitä, vaan koko tietotuotantoprosessi on avattava läpinäkyväksi piilevien virheiden ja biasoitumisen tunnistamiseksi!
Tiedot pitää avata tarkemmalla raaka-data tasolla, sillä standardit voidaan täyttää biasoiduilla tiedoilla, eikä biasoitumista voi tunnistaa standardoidusta datasta.
Tiedon laatua pitää mitata yksittäisen palvelujen ylitse ja suhteessa toisiinsa, sillä piilevät erot tulevat esiin vain suhteessa toisiinsa sekä ympäristömuuttujista.
Perustavanlaatuinen ongelma on se, että biasoitumista ei voi tunnistaa suoraan palvelujen standardoitusta datasta!
Eksakti ja biasoitunut data näyttävät identtisiltä ja täyttävät standardit täydellisesti.
Eron voi tunnistaa vain tutkimalla tiedon tuottamisen taustalla vallinneita olosuhteita ja tuotantotapoja.
Kokonaisuuden pitää olla avointa, koska jos prosessissa on ”mustia laatikkoja” tai ”tunnistamattomia poikkeamia” niin johtopäätöksiin ei voi luottaa!
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto
Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your
Information as a Product. Sloan Management Review, 39, 4, pp. 95-105.
Raportointi
Kuka ymmärtää kaikkien tarpeet?
Kuka hallinnoi organisaatioiden ylitse jatkuvaa prosessia?
Kuka seuraa tiedon koko elinkaarta organisaatioiden ylitse?
Kuka omistaa koko tietoavaruuden?
Suljettu
potilasjärjestelmä
Laskentalogiikka
liikesalaisuus
Epäyhtenäinen
tietoaineisto
Nämä tulee avata
läpinäkyviksi!
Nämä tulee avata
läpinäkyviksi!Nämä tulee avata
läpinäkyviksi!
Nämä tulee avata
läpinäkyviksi!Paikallinen
kirjaamiskäytäntö
Pahin mahdollinen tilanne olisi, mikäli luotaisiin liikesalaisuuksien ja suljettujen järjestelmien kilpailumarkkinat, jossa tuotantotapaan voisi rakentaa bias-mekanismeja ja samalla piilottaa ne standardoitujen rajapintojen ja tuotteiden taakse.
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto Raportointi
Palvelujen pirstomista “tehokkaisiinyksiköihin”
Potilasaineksen valikoimista ja hylkimistä
Toimijoiden taloudellisteninsentiivien vahvistaminen
Datan laajuuden manipulointi
Dokumentaation tasonkoneellinen nostaminen
Kirjaamisen manipulointi
Tiedon korjaukset taloudellisinprioriteetein.
Biasoitunut
inhimillinen
toiminta
Ohjelmistojen
bias-
ominaisuudet
Biasoitu sote-
palvelujen
tuotantomalli
Biasoituneet
hoitokäytännöt
Johtopäätökset sote-uudistukselle ja terveyden huollon tiedolla johtamiselle
Tekes-rahoitteinen Qualidat-tutkimusprojekti
Aalto-yliopisto, VSSP, PSHP
2012-2014
Tiedon laadunhallinta tulee sulauttaa organisaatioiden kaikkeen toimintaan…
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto
Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your
Information as a Product. Sloan Management Review, 39, 4, pp. 95-105.
Raportointi
Ymmärrä tiedon hyödyntäjän tarpeet.
Hallinnoi koko prosessia tiedon tuottajista sen hyödyntäjiin.
Hallitse tiedon koko elinkaartasyntymästä tuhoamiseen.
Aseta tiedolle vastuullinen omistaja.
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Perinteinen laadunhallinta,
joka toimii yksittäiselle toimijalle.
Tuottavuusvertailu on kuitenkin viheliäinen ongelma, sillä biasoitumista voidaan rakentaa palvelu- tai tietotuotantoon!
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto Raportointi
Palvelujen pirstoutuminen
Potilasaineksen heterogeenisuus
Toimijoiden insentiivit
Datan laajuus
Dokumentaation taso
Tiedon virheet
Tiedon korjauksetInhimillinen
toiminta
Ohjelmistojen
ominaisuudet
Sote-palvelujen
tuotantomalli
Hoitokäytännöt
Viheliäinen ongelma
monitoimija-markkinoilla.
Osa tiedon viheliäisistä laatuongelmista voidaan tunnistaa vain tietojen lähteen *raaka-datasta*!
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto Raportointi
Määrittele
Mittaa
Analysoi
Paranna
Sokea
piste
Bias
piilossa
Bias
näkyvissä
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Palvelutuottaja voi sokeuttaa sote-alueen palvelujärjestäjän piilottamalla todellisuuden tarjoilemalla standardien biasoimaa dataa ilman pääsyä aitoon raaka-dataan!
Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen
Kirjaa
tietoja
Poiminta
Tietovarasto
Elektroninen
Potilaskertomus
Kerää
tietoaineistoja
Analysoi ja
raportoiTulkitsee ja
tekee
päätöksiä
Kuvantamisen
tietojärjestelmä
Poiminta
Poiminta
Sisäiset
tilastotRaportointi
Sairaaloiden
tuottavuuden
vertailuTietovarasto Raportointi
Sokea
järjestäjä
Ongelman
piilotus
Tuottajan
bias
näkyvissä
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Määrittele
Mittaa
Analysoi
Paranna
Tietotuotantoprosessit tulisi avata kaikkien osapuolien näkyville, jotta piilevätvirheet ja biasoitumista aiheuttavat erot voidaan tunnistaa, huomioida ja korjata.
Läpinäkyvyyden tulee kattaa koko hoitopolun kaikki palveluttuotteistuksineen sekä kaikki tietotuotantoprosessitjärjestelmälogiikkoineen.
• Pienikin yksityiskohta saattaa aiheuttaa suuria kerrannaisvaikutuksia!
• Läpinäkyvyyden tulee yltää raakadataan ja sisäisiin prosesseihin!
Läpinäkyvyyden tulee kattaa koko tietotuotantoprosessi kaikkienosapuolien osalta: tietojen syntyminen, tietojen muokkaaminen ja tietojen hyödyntäminen.
• Virhetulkinta tai biasoituminen voi tapahtua missä tahansa vaiheessa!
• Virheet ja biasoitumisen voi tunnistaa vain suhteessa toisiin tai ympäristömuuttujista!
Läpinäkyvä
tietotuotantoprosessi
Läpinäkyvä
hoitopolku
Läpinäkyvä
tietotuotantoprosessi
Läpinäkyvä
hoitopolku
Vain aidosti läpinäkyvällä ja
laadukkaalla tiedolla
voidaan taata sairaalan
johtamisen, poliittisen
päätöksenteon ja kliinisen
tutkimuksen johtopäätöksien
validius
Sami Laine, TohtorikoulutettavaTietotekniikan laitos, Aalto-yliopisto
Kysyttävää?
Sami Laine, TohtorikoulutettavaTietotekniikan laitos, Aalto-yliopisto
Läpinäkyvä laadukas
tietotuotantoprosessi
Läpinäkyvä
laadukas
hoitopolku
Vain aidosti läpinäkyvällä ja
laadukkaalla tiedolla voidaan taata
sairaalan johtamisen, poliittisen
päätöksenteon ja kliinisen
tutkimuksen johtopäätöksien validius