IT-Kehitysjohtaja Mikko Rotonen

HUS-TIETOHALLINTO

KUINKA DIGITALISAATIO

MAHDOLLISTAA

MUUTOKSEN SOTEPALVELUISSA

SISÄLTÖ

2

1.Lyhyt oppimäärä tekoälyä

2.Teknologia ja BigData

3.Ekosysteemit

4.Case Hyksin lastenklinikan keskosteho

5.Digitaaliset palvelut tulevaisuudessa

6.HUSin kyvykkyys digitalisaatioon ja

keinoälyn hyödyntämiseen

1. LYHYT OPPIMÄÄRÄ TEKOÄLYÄ

3

TEKOÄLYN TEKNIIKAT

1. Koneoppiminen (machine learning)

2. Neuroverkot (artificial neural networks)

3. Syvä neuroverkko (deep learning)

4. Ohjattu oppiminen (supervised learning)

5. Vahvistusoppiminen (reinforcement learning)

6. Ohjaamaton oppiminen (unsupervised learning)

4

A. KONEOPPIMINEN (MACHINE LEARNING)

Älyn logiikkaa ei kirjoiteta käsin, vaan rakenne

löytyy dataa analysoimalla ja kokemuksen

kautta.

24.8.2017 5

B . NEUROVERKOT (ARTIFICIAL NEURAL NETWORKS)

Jäljittelee aivojen rakennetta ja niiden toimintaa.

Mahdollistaa nopean rinnakkaislaskennan.

24.8.2017 6

C. SYVÄ NEUROVERKKO (DEEP LEARNING)

Neuroverkossa on useita kerroksia, joissa

syötteen abstraktiotaso nousee mitä

pidemmälle verkossa syöte etenee. Mitä

monimutkaisempaa data on, sitä syvempiä

verkkoja tarvitaan.

24.8.2017 7

D. OHJATTU OPPIMINEN (SUPERVISED LEARNING)

Kone tietää ongelman vastauksen itse ja on

päätellyt ratkaisun massiivisen aineiston

perusteella. Data annetaan syöte-

vastauspareina. Tehtävä on oppia jäljittelemään

annettua oikeaa vastausta mahdollisimman

hyvin.

24.8.2017 8

E. VAHVISTUSOPPIMINEN (REINFORCEMENT

LEARNING)

Koneelle annetaan palautetta eli sille kerrotaan

oliko tulos johon se pääsi oikea vai väärä.

Kone säätää toimintaansa (algoritmia) ja yrittää

uudelle ja tulos paranee.

24.8.2017 9

F. OHJAAMATON OPPIMINEN (UNSUPERVISED

LEARNING)

Koneelle ei anneta oikeita vastauksia eikä

palautetta, vaan data annetaan pelkkänä

syötteenä, jonka sisäistä rakennetta on

tarkoitus tarkastella.

24.8.2017 10

2. TEKNOLOGIA JA BIG DATA

11

12

Nro 2008->2009 2011->2012 2014->2015 2016->2017

1 Virtualization Media tablets Computing Everywhere Artificial Intelligence and

Advanced Machine Learning

2 Cloud Computing Mobile-centric applications and

interfaces

The Internet of Things (IoT) Intelligent Apps

3 Servers: Beyond Blades Contextual and social user

experience

3D Printing Intelligent Things

4 Web Oriented Architecture The Internet of Things (IoT) Advanced, Pervasive and

Invisible Analytics

Virtual Reality and

Augmented Reality

5 Enterprise Mashups App stores and Marketplaces Context-Rich Systems Digital Twins

6 Specialized Systems Next-generation analytics Smart Machines Blockchains and Distributed

Ledgers

7 Social Software

& Social Networking

Big Data Cloud/Client Computing Conversational Systems

8 Unified Communications In-memory computing Software-Defined Applications

and Infrastructure

Mesh App and Service

Architecture

9 Business Intelligence Extreme low-energy servers Web-Scale IT Digital Technology Platforms

10 Green IT Cloud computing Risk-Based Security and Self-

protection

Adaptive Security

Architecture

Lähde: Gartner

GARTNER TOP 10 TECHNOLOGY TRENDS

24.8.2017 13

Cognitive / Deep

learning(IBM Watson)

Potilastietojärjestelmien kypsyystasot ja sukupolvet

Tekoälyä tarvitaan, jotta voidaan saavuttaa Gartnerin kypsyystasot 4 ja 5

24.8.2017 14

NRT Mynla

ja Tietovarasto

Laaturekisterit

Potilastieto-

järjestelmät

ja

HealthWeb

Potilaat

Tutkijat

Uranus / Epic

Laboratorio

Kuvantaminen

Anestesia ja teho

Leikkaussali

Lääkitys

BCB

Laaturekisterit

Laskutus ja

tietovarasto

HUS TIETOALLAS

(HUS Datalake)

Palveluoperaattori

- Metadata

- Tutkimuslupa

- Tiedon hallinta

- Monitorointi

Hallinto

Integroitavat tietovarannot

Metadata,

Integrointi,

Lataus

Tietoaltaaseen

PACS

XDS

Kuva-arkistot

Genomi

BiopankkiMobiilisovellukset

Analyyttiset

algoritmit ja

ennustava

mallintaminen

Lääkärit

Hoitajat

Tutkijat

Hallinto

Potilaan omat mittaukset

- Noona syöpäseuranta

- Diabetes-seuranta

- EKG-seuranta

Terveyskylä

Potilaat

Watson

Kirontech

Aalto yo

Nokialab

Cortana

DuoDecim

KUINKA PALJON TIETOA TARVITAAN JOTTA

VOI HYÖDYNTÄÄ TEKÖÄLYÄ?

15

• Tiedon määrä riippuu käytettävästä tekniikasta

• Kuva-analytiikassa on syötetarve n. 10 000 kuvaa

• Esim. Watson for Oncology

• - Perustuu 300 000 lääketieteelliseen julkaisun, 200

kirjaan ja 12 miljoonaan kirjoitettuun sivuun aiheesta,

• - Opettamiseen on käytetty 15 000 tuntia (=2 000

työpäivää, = 9 työvuotta) asiantuntijoiden työaikaa

3. EKOSYSTEEMIT

24.8.2017 16

”Kukaan ei ole riittävän suuri selvitäkseen yksin, on pakko

liittoutua ja muodostaa (mikro)palvelujen ekosysteemi”

24.8.2017 17

24.8.2017 18

19

20

21

4. CASE HYKS LASTENKLINIKAN KESKOSTEHO

22

23

A. Tekninen ratkaisu

digiConnect/

eboxGE Clinisoft

database

GE Clinisoft

Watson

database

IBM WATSONPhilips

potilasmonitori

Potilaan elintoimintatietojen käsittelyvaihtoehdot ja niiden ajantasaisuus ja validointi Tietojärjestelmäarkkitehtuuri ja integraatiot

24

B. KÄYTETTY ANALYSOINTI- JA ENNUSTETEKNIIKKA

Käytetyt potilaiden elintoimintoja kuvaavat muuttujat

• Syke (HR)

• Hengitystaajuus (RESP)

• Happisaturaatio (SaO2)

SPSS Modelerin avulla päätöspuumalli (CR&T) sovitettiin dataan, jossa

sepsispositiivisten dataa päivää ennen kliinikon ottamaa veriviljelyä

verrattiin satunnaistettuun otantaan sepsisnegatiivisten potilaiden datasta

• Malli ottaa huomioon myös muuttujien väliset riippuvuudet

• Data jaettiin testi- ja mallinnusosioon mallin validointia varten

25

C. Projektin löydökset

- sepsiksen ennustaminen GE Clinisoftin datalla

• Päätöspuun avulla datasta tunnistaa

korrelaatioita, jotka ennustavat sepsistä

• Algoritmi valitsee ja optimoi

päätöspuussa näkyvät raja-arvot

automaattisesti käytössä olevan datan

perusteella

• Esimerkiksi päätöspuusta voidaan

nähdä kuinka alhainen sykkeen

vaihtelu (HR_VAR10) kasvattaa

sepsisriski

• Havainto on yhtenevä alan muiden

tutkimusten kanssa, joissa käytetty

reaaliaikaista potilasmonitorointi dataa

26

Ehdotus tulevaisuuden analytiikka arkkitehtuuriksi

D. Projektin löydökset

- Teknisen ratkaisun kehittäminen tuotantokäyttöön

IBM

Infosphere

Streams

IBM

BigInsights

for Hadoop

Real-Time Stream Computing

Big Data Watson Analytics

NICU Data Sources

AnalyzeStore & ProcessCollect

Laboratory results

Patient Monitors

Ordered medication &

Procedures

External devices

Electronic Health Records

Millions of Events

per Second / all

kinds of data

Complex analytics:

Everything you can

express via an algorithm

Immediate action in real time

Real-time data correlation, Anomaly

Detection - Event and flow normalization -

context & enrichment

• Historical data storage for

research

• Integration to production and

existing data sources

• Preservation of raw data from

patient monitors

• Long-term, multi-PB storage

• New and old data sources

• Predictive modeling

• Anomaly detection

• Research

• New Models and variables

• Text data analytics

Hifi-signals (Audio,

Monitoring data)

Video data

Clinisoft

•Legislative compliance

•Laboratory results EHR data

27

TIIVISTELMÄ KOKEILUSTA JA SEN TULOKSISTA JA JATKOSUUNNITELMISTA

Ennustekyvykkyys todettu GE Healthcare Centricity Critical Care Clinisoft

sovelluksen datalla• jo medianisoidussa datassa näkyy merkkejä siitä, että sepsis voidaan ennustaa 24 h ennen kuin kliinikko tilaa

verinäytteen

• Hoitohenkilökunnan päätöksentekoa voidaan helpottaa visualisoimalla tulokset

Ennustetarkkuutta voidaan kehittää• Hyödyntämällä lähes reaaliaikaista potilasmonitorointitietoa (esim. EKG, veren happisaturaatio, hengitystiheys,

verenpaine)

• Parantamalla datan laatua (puuttuvien arvojen vähentäminen)

• Lisäämällä uusia muuttujia (esim. videoanalytiikan avulla määritetty fyysinen aktiivisuus)

• Parantamalla analytiikkaympäristön laskentatehoa

Seuraavat askeleet• Tieteellinen tutkimus (tutkimusluvat, infrastruktuuri yms.) näytöistä, että reaaliaikaisella datalla voidaan ennustaa

sepsis. Saatava näyttöä ennustekyvystä, jonka tuloksen mukaan voidaan edetä

• Ennustetarkkuuden kehittäminen tieteellisen tutkimuksen kautta

• Käytäntöön viemisen suunnittelu

• Tuotantoa ja analytiikan kehittämistä tukevan ympäristön luonti

• Menetelmän laajentaminen muihin käyttötapauksiin

28

Clinisoft

database

GE Clinisoft Critical Care

Watson

Ennustava analytiikka

GE

Gateway

GE

potilasmonitori

Ajantasaisuus Tiedon validointi,

formaatti

Tiedon sisältö

Vaihtoehto 1 60 + 120 sekuntia Arvot mediaaneja, HL7 Laboratoriotiedot sisältyvät, samoin kertomus, ei käytetä ennustamiseen

Vaihtoehto 3 2 sekuntia Ei, XML High Speed Laboratoriotiedot täydennetään suoraan ennustemalliin HL7:llä, Muut

tiedot siirretään XML:llä, ei siirretä kertomustietoja

11 33

Multilab

Potilaan elintoimintatietojen siirto ja dokumentointi

Video data

Tietoallas

Teksti

BT / Stream Analytics

TuotantoKehitys/DL

BIG DATA SOURCES

SPSS ModelingDevelopment only

SPSS C&DS

TCP

UDP

MQ

HTTP

HDFS

ODBC

Files

EDGE ADAPTERS

EDGE ADAPTERS

STREAMS FILE LANDING ZONE (I/O)

Production Feeds

CONSUMER

INGEST APPS

SIGNATURE DETECTIONSEPSIS IDENTIFICATION

BUSINESS RULES FILTERING

SYSTEMIC MEMORY PATIENT PROFILE &

ANALYTICS SCORING STORE

ECG Scoring

PREDICTION ENGINE

Lab Scoring

Medicine

Treatments, DiagnosHistory

FILES

ODBC

HDFS

HTTP

MQ

TCP SINK

TCP SOURCE

UDP

Demograph

Realtime

Predictive

Dashboard

Medicine

Treatment

Patient

(C) Real-time Treatment action by Care

givers

(B) Real-time Patient Monitoring

Streams + subscription other data

streams ie Lab, Treatment Activity

streams etc.

(D) Real-time Predictive Dashboard

(A) Iterative Analytical model

deployment

Streams Real-time Analytics PlatformD

ata

Re

po

sito

rie

s

GE Gateway

Senosr XYZ

HealthCare Device XYZ

Video Stream

Lab Results

Medicine Hist

Treatments Hist

Symptoms Hist

PatientoDemographi

cs

Patient Account InfoP

atie

nt

Dat

aLa

b D

ata

Dyn

amic

Pat

ien

t A

ctiv

ity

DEV

Landing, Exploration and Archive data zone

Data source samples, Modelling development, Analytic Schema, Systemic Patient Profile

Operative

Clinician

Ennustava sepsisanalytiikka vuonna 2017

32

Informaation

merkitys

Data Informaatio Tietämys Ymmärrys

Mitä tapahtui?

Miksi niin tapahtui?

Mitä tulee tapahtumaan?

Mikä olisi parasta mitä voisi

tapahtua?

Raaka

data

Puhdistettu

data

Vakio-

raportti

Kuutiot ja

kyselyt

Kuvaileva

mallinnus

Ennustava

mallinnus

Optimointi

Tiedonjalostus ja sen tasot

BigDataTietovarastoPerus

järjes-

telmät

BigDatan tiikerin loikka

5. DIGITAALISET PALVELUT TULEVAISUUDESSA

33

24.8.2017 34

24.8.2017 35

24.8.2017 36

24.8.2017 37

24.8.2017 38

24.8.2017 39

https://sundaysky.com/smartvideo-platform/http://www.moneysense.ca/https://chatbotsmagazine.com/

6. HUSIN KYVYKKYYS DIGITALISAATIOON JA

KEINOÄLYN HYÖDYNTÄMISEEN

24.8.2017 40

41

INTEGRAATIOMALLI IBM WATSON PALVELUUN

Pipeline

Operational

Org ID 1:*

Common

Localization

User

Interface

Published

API

Internal API

Gateway

User / Org ID

Management

Multi-Organization SaaS InstancePartner/ResellerOrganizations

EMR

EMR

Watson

Case DataPatient, Case,

User Mapping

Integration

Components

Watson

Integration API

Structured Attribute

Translation

Structured Attribute

Retrieval

Store WO

Case Data

Forward

ProxyOrg ID

User

42

Type System

RulesModels

Indexes

Models

Models

ModelsCorpus

Operational Data Localization

Internal Cognitive Solution API

Inbound Operational Data Published Cognitive Solution API Outbound Operational Data

Question

Analysis

Query

Builder

Primary SearchSearch

Result

Processing

Candidate

Answer Generation ScoringFinal

Merger

User InterfaceClinical Interface Administration Console

Multi-Organization Instance

- HUS on tutkinut kyvykkyyttä hyödyntää Watson Oncology-palvelua

- IBM on kehittänyt 5 syöpäanalyysiä

- Breastcancer (150 muuttujaa)

- Lungcancer (97 muuttujaa)

- Rectalcancer (74 muuttujaa)

- Coloncancer (71 muuttujaa)

- MSKGastricCancer (60 muuttujaa)

- BCB Medical Oy:n syöpärekisterit kattavat suoraan keskimäärin 65%

Watsonin käyttämistä tietokentistä

- Koska rakenteistamattomien hoitokertomustietojen merkitys on 60%

Watson analyysissä, niin Watsonille tulee opettaa suomenkieli

- Rakenteistettu tieto voidaan kääntää englanniksi

integraatiovaiheessa ennen siirtoa Pipelineen

HUSin IBM Watson Oncology selvitys

43

44

Kansallinen

Syöpätautien 4C

Comprehensive

Cognitive Cancer

Center

IBM Watson

Oncology,

Genomics ja

Merge

Noona

(Potilasseuranta)

BCB Medical

(Laaturekisterit)BC Platform

(Genomianalytiikka)

HUS 3C

Comprehensive

Cancer Center

HUSin näkemys syöpätautien analytiikan ja keinoälyn ekosysteemiksi

45

- - - - - - - - - - - - - - - - -

HU

S

PS

HP

EP

SH

P

KH

SH

P

Kym

SH

P

Ekso

te

SatS

HP

PH

SO

TEY

PP

SH

P

KS

SH

P

KP

SH

P

KA

INU

U

PS

SH

P

VS

HP

PK

SS

K

ES

SH

P

ISS

HP

LP

HP

LH

P

VS

SH

P

BCB tekonivelkirurgia

BCB tähystyskirurgiaBCB selkäkirurgiaBCB murtuma

ORTOPEDIAN REKISTERIT

SYÖPÄREKISTERIT

BCB eturauhassyöpä

BCB rakkosyöpäBCB munuaissyöpäBCB rintasyöpäBCB kolorektaalisyöpä

BCB ihosyöpäBCB LaNu syöpäseuranta

BCB pään ja kaulan syövätBCB lymfoomat

BCB gynekologiset syövätBCB haimasyöpä

BCB keuhkosyöpä

BCB funkt. neurokirurgia

BCB selkäydinvamma

BCB AVHBCB aivovammaBCB hydrogefalus

BCB neuromodulaatioBCB aneyrysma

BCB epilepsia

97% 100%

NEUROLOGIAN REKISTERIT

73% 73%

65% 76%

51% 66%

58% 63%

58% 63%

58% 63%

53% 65%

48% 68%

30% 55%

30% 47%

30% 51%

30% 30%

30% 30%

30% 30%

30% 30%

100% 100%

42% 60%

9% 9%

5% 5%

30% 30%

5% 5%

5% 5%

35% 35%

2016 2017

käytössä / toimituksessa / tilattu

budjetoitu vuodelle 2017

muu ratkaisu käytössä

SYÖPÄTAUTIEN LAATUREKISTERIEN LEVINNEISYYS

46