lielie dati-planētas-nervu-sistēma

Dr.sc.comp. Juris Rāts6.12.2013RIX Technologieshttp://www.slideshare.net/JurisRats/lielie-datiplantasnervusistma

Lielie dati – planētas

nervu sistēma

Par ko es stāstīšu

Lielie dati

• No civilizācijas sākumiem līdz 2003. gadam mēs esam radījuši 5EB (5 miljardus GB) datus

• 2011.g. tāds apjoms tika radīts 2 dienu laikā• 2013.g. – 10 minūšu laikā• 2012.g. 2,8ZB datu (iPad 32GB disks, siena

3*4,5 metri no Rīgas līdz Francijas vistālākajam rietumu punktam Bretaņā - 2800km)

• 2020.g. – 40ZB (apkārt zemeslodei)

Twitter

Facebook

• Mēnesī 1,29 miljardi aktīvu lietotāju (dienā vidēji 728 miljoni)

• 70 valodas• 125 miljardi draugu saišu (vidēji 234)• Ik dienas– Vairāk nekā 300 miljoni fotogrāfiju– 2,7 miljardi komentāru un simpātiju (like)

Lieli dati

• Volume• Velocity• Variety

http://www.slideshare.net/CengageLearning/mark-frydenberg-drinking-from-the-fire-hose

Zemestrīču prognozēšana

http://qcn.stanford.edu/

Zemestrīču prognozēšana

http://qcn.stanford.edu/

Veselība

jawbone.com/up

Veselība

• Sieviete guļ uz 2 spilveniem, vīrietis – uz viena• 81.3% sieviešu un 55.3% vīriešu guļ uz sāniem• Tie, kuri pēc 17:00 sērfo internetā, vidēji iet

gulēt par 37 minūtēm vēlāk

http://jawbone.tumblr.com

Visuresošā skaitļošana

• Spirosmart – plaušu slimību diagnoze

http://ubicomplab.cs.washington.edu/projects/SpiroSmart

Ubiquitous computing

Visuresošā skaitļošana

http://ubicomplab.cs.washington.edu/

• Gudrā māja - elektrības, ūdens, gāzes patēriņa sensori (11% rēķina par video)

Pētniecība

• Valodas apgūšana (MIT - 3 gadi 250K stundas video un audio par sava jaundzimušā dēla katru izrunāto vārdu)

• Google: visu kopš 1500.g. angliski publicēto 500 mljrd. vārdu analīze 5 milj. grāmatās.– autors, biežums, konteksts– love, war cīnījās par pirmo vietu 1800-1914g.,

kopš 1914.g. war ir līderis

Pētniecība

• Ārpuszemes civilizācijas – radioteleskopu datu analīze (1999.g. SETI@home – 10milj. cilvēku 2 milj. stundu datorlaika)

http://setiathome.ssl.berkeley.edu/

Daudzpakalpojums (Crowdsourcing)

• reCAPTCHA

http://www.google.com/recaptcha

• Papirusu tekstu digitalizācija (Ohyrhynchus XIXgs beigās 500K papirusu, 100 gadu laikā 15%), ancientlives.org dažu mēnešu laikā digitalizēti 4000 papirusi

http://ancientlives.org

Lietu internets

• Santanderas projekts– vides monitorings, transporta

intensitāte, zaļo zonu monitorings, stāvvietas

http://www.smartsantander.eu/index.php/testbeds/item/132-santander-summary

Un vēl...

– Google: 2012.g. maijā – pirmā vadītāja apliecība bezpilotu automobilim

– Pasaules virtuāls modelis, autostrādes, pilsētu ielas

Lielo datu nozīme

• Ikviens lēmums cilvēces 200 000 pastāvēšanas gados ir bijis balstīts uz nepilnīgu informāciju (par vidi, laika apstākļiem, resursiem, konkurentiem, klientiem, sabiedrības viedokli...)

• Informācijas trūkums -> informācijas pārpilnība

• nojauta, minējumi -> zināšanas

Lielo datu nozīme

• Lēta datortehnika dod iespēju saglabāt un izmantot milzīgus (Volume), strauji veidojošos (Velocity) un dažādas formas (Variety) datus, tādējādi padarot iespējamus jaunus, kvalitatīvi pilnvērtīgākus risinājumus

• Datu vadīta (data driven) inovācija• Plaši pielietojamas tehnoloģijas

Cilvēces nervu sistēma

• Cilvēks vairs nav datu apstrādes centrālais elements, bet viens no mezgliem sadalītā datu apstrādes sistēmā (Koperniks)

• Visur esoša decentralizēta daudzaģentu sistēma, kas apvieno savā starpā komunicējošus cilvēkus, datorus, sensorus – veidojas cilvēces nervu sistēma

Cilvēces nervu

sistēma

http://www.vlib.us/web/worldwideweb3d.html

Attēls no http://mashable.com/2013/11/05/big-data-access/

Drošība un privātums

• Privātuma aizsardzība: viss tiek uzkrāts – telefona sarunas, īsziņas, pārlūku vēsture, gps dati, interneta pirkumi, bankas transakcijas, veselības dati, pārvietošanās dati (lidmašīnas, viesnīcas) utml.

• Vai tagad jūsu dati ir drošībā (pasu zādzības, uzņēmumu iekšējo sistēmu drošība)?

• Vai cilvēki grib aizsargāt savu privāto dzīvi? Datasexual, Facebook face-lift

Jaunas tehnoloģijas

• Scaling out: daudzaģentu sistēmas, nedalītā datu apstrāde, mākoņdatošana (SaaS – Amazon.com)

• NoSQL datubāzes – specifiskiem problēmu apgabaliem (http://nosql-database.org/)– Grafu datubāzes (Neo4J – Facebook)– Dokumentu datubāzes (Clusterpoint)

Produktu attīstība - Namejs

www.rixtech.lv

Produktu attīstība

• Henrijs Fords un «ātrāki zirgi»• Meklējam jaunas pieejas savu produktu

attīstībai:– Klāsterēta arhitektūra, NoSQL datubāze, uzlabota

vizualizācija– Klienta biznesa procesu uzlabošana atbilstoši Lielo

datu tehnoloģiju iespējām

www.rixtech.lv

Valsts iestādes IT sistēmas attīstība

Aktuālie projekti

• ERAF projekti par Lielo datu tehnoloģiju izmantošanas iespējām

• Aktuālais pētniecības projekts - biznesa datu vizuālā analīze (0,5% dati tiek analizēti; 64 divriteņu nomas vizualizācijas veidi)– Kādi dati ir jāuzkrāj– Kā organizēt datus, lai tos varētu efektīvi analizēt

un vizualizēt;– Kādā formā dati ir jāvizualizē

Avoti• http://thehumanfaceofbigdata.com/• https://www.facebook.com/FaceOfBigData• #FaceOfBigData• http://

www.huffingtonpost.com/phil-simon/the-human-face-of-big-dat_b_3094579.html

Paldies par uzmanību!

http://www.slideshare.net/JurisRats/lielie-datiplantasnervusistma

RIX TechnologiesBlaumaņa iela 5a-3,

Rīga, LV-1011

Tel.: 67142990Fakss: 67142991

E-pasts: info@rixtech.lv

www.rixtech.lv