GRADNIK ZA STROJNO UČENJE V DRŽAVNEM RAČUNALNIŠKEM OBLAKU NA PRIMERU DUŠENJA ZAHTEVKOV

dr. Tadej Justin, Medius d.o.o.mag. Bernarda Kozelj, Ministrstvo za javno upravo

DRO – državni računalniški oblak

Predstavlja računalniško infrastrukturo, ki je v lasti države in jo upravlja država. Na tej infrastrukturi se izvajajo storitve, ki uporabljajo občutljive, osebne in druge podatke in informacije, ki jih država ne želi shranjevati izven svojega okolja. DRO je logična celota podporne infrastrukture ter strojne in računalniške programske opreme.

Obsega sisteme UPS, strežniške rezine, različne diskovne sisteme, lastniško in odprtokodno programsko opremo, nadzorne sisteme, upravljavske sisteme, strojno in programsko opredeljene mrežne komponente itd

Vir: Zasnova DRO in zagotavljanje oblačnih mehanizmov

DRO – državni računalniški oblak

Gradniki

Gradniki (Building blocks)

Gradniki

Pladenj

Zmogljivost

● Asinhrono ali sinhrono

● Posamično ali paketno

● Zagotovljen prenos --> autoresume

● Vzporedno poizvedovanje --> hitrost in velika prepustnost

● Abstrakcija je na nivoju postopka● --> transparentnost

Pladenj

Prednosti uporabe

• Skupni repozitorij certifikatov• Poenostavitev integracije, logika

združena na enem mest• Vzpostavljeni komunikacijski kanali• Spremljanje metrik integriranih

sistemov• Obveščanje skrbnika• Translacija storitev iz REST v SOAP• Dušenje klicev na vire

Načrtovanje gradnika za strojno učenje v produkcijskem okolju

● Upravljanje preko REST API-ja● Strojno učenje v realnem času● Ne obremenjujemo core aplikacije, pač pa je ML komponenta kot

zunanji servis● Podatkovni tok zasnovan tako, da čim manj obremenjuje vse

odvisne ali dodatne komponente core aplikacije● Sposobnost procesiranja velike količine podatkov (Big Data)● Validacija izračunanih modelov, avtomatični izklop prediktivnega

dela, možnost enostavnih nadgradenj

Arhitektura gradnika za strojno učenje

Posebnosti gradnika za strojno učenje

● Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot celote v obliki sodobne CAAS (ang. Container As A Service) arhitekture.

● Gradnik za strojno učenje je možno uporabiti na podlagi dobro opisanih odprtih spletnih servisov, ki so zgrajeni na podlagi REST arhitekturnega stila.

● Glede na problem, ki ga skušamo rešiti s pomočjo strojnega učenja, lahko uporabimo optimizirano namestitev hranjenja podatkov.

● Lahko dodajamo algoritme za predobdelavo podatkov ali izračun značilk.

Podprta programska ogrodja

● Uporaba Java ogrodji za tradicionalni pristop k strojnemu učenju - WEKA (GLP3)

● Uporaba inkrementalnega strojnega učenja na podlagi podatkovnega toka podatkov - MOA (GPL3)

● Uporaba globokega učenja na osnovi programskega ogrodja DL4J (Apache)

Elastic stack: Nadzor gradnika za strojno učenje in validacija

Vizualizacija in alarmni sistem

● Detekcija in analiza obnašanja na podlagi grafičnih vizualizacij● Enostavna kreacija alarmov in detekcija anomalij ● Možnost enostavnega izklopa predikcij preko klica pooblaščenega

alarma na REST api

Pladenj in strojno učenje

● Napoved obremenjenosti zunanjih podatkovnih virov● Monitoring izvajanja delovanja sistema preko ELK● Zmanjšan povprečni čas obdelave zahtevkov● Robustnejše delovanje

Arhitektura gradnika za strojno učenje na primeru IS Pladenj

Zaključek in diskusijaAvtorja sva s tem prispevkom želela:

● predstaviti širši javnosti novosti, ki jih omogoča DRO in možnost ponovne uporaba že razvitih programov ali dobrih praks, ki so že testirane v produkcijskih okoljih,

● izpostaviti dobre prakse pri implementaciji strojnega učenja v produkcijskih okoljih

● predstaviti gradnik z vsemi potrebnimi elementi, ki so za produkcijska okolja bistveni:○ obvladovanje velike količine podatkov○ velik nabor algoritmov za strojno učenje○ nadzor in enostavna manipulacija sistema, ki omogoča tudi

neveščim uporabnimo enostavno krmiljenje strojnega učenja in tudi uporabe naučenih prediktivnih modelov.