lielie dati-planētas-nervu-sistēma
DESCRIPTION
Lielie dati - fakti, tehnoloģijas, piemēri.TRANSCRIPT
Dr.sc.comp. Juris Rāts6.12.2013RIX Technologieshttp://www.slideshare.net/JurisRats/lielie-datiplantasnervusistma
Lielie dati – planētas
nervu sistēma
Par ko es stāstīšu
Lielie dati
• No civilizācijas sākumiem līdz 2003. gadam mēs esam radījuši 5EB (5 miljardus GB) datus
• 2011.g. tāds apjoms tika radīts 2 dienu laikā• 2013.g. – 10 minūšu laikā• 2012.g. 2,8ZB datu (iPad 32GB disks, siena
3*4,5 metri no Rīgas līdz Francijas vistālākajam rietumu punktam Bretaņā - 2800km)
• 2020.g. – 40ZB (apkārt zemeslodei)
• Mēnesī 1,29 miljardi aktīvu lietotāju (dienā vidēji 728 miljoni)
• 70 valodas• 125 miljardi draugu saišu (vidēji 234)• Ik dienas– Vairāk nekā 300 miljoni fotogrāfiju– 2,7 miljardi komentāru un simpātiju (like)
Lieli dati
• Volume• Velocity• Variety
http://www.slideshare.net/CengageLearning/mark-frydenberg-drinking-from-the-fire-hose
Zemestrīču prognozēšana
http://qcn.stanford.edu/
Zemestrīču prognozēšana
http://qcn.stanford.edu/
Veselība
jawbone.com/up
Veselība
• Sieviete guļ uz 2 spilveniem, vīrietis – uz viena• 81.3% sieviešu un 55.3% vīriešu guļ uz sāniem• Tie, kuri pēc 17:00 sērfo internetā, vidēji iet
gulēt par 37 minūtēm vēlāk
http://jawbone.tumblr.com
Visuresošā skaitļošana
• Spirosmart – plaušu slimību diagnoze
http://ubicomplab.cs.washington.edu/projects/SpiroSmart
Ubiquitous computing
Visuresošā skaitļošana
http://ubicomplab.cs.washington.edu/
• Gudrā māja - elektrības, ūdens, gāzes patēriņa sensori (11% rēķina par video)
Pētniecība
• Valodas apgūšana (MIT - 3 gadi 250K stundas video un audio par sava jaundzimušā dēla katru izrunāto vārdu)
• Google: visu kopš 1500.g. angliski publicēto 500 mljrd. vārdu analīze 5 milj. grāmatās.– autors, biežums, konteksts– love, war cīnījās par pirmo vietu 1800-1914g.,
kopš 1914.g. war ir līderis
Pētniecība
• Ārpuszemes civilizācijas – radioteleskopu datu analīze (1999.g. SETI@home – 10milj. cilvēku 2 milj. stundu datorlaika)
http://setiathome.ssl.berkeley.edu/
Daudzpakalpojums (Crowdsourcing)
• reCAPTCHA
http://www.google.com/recaptcha
• Papirusu tekstu digitalizācija (Ohyrhynchus XIXgs beigās 500K papirusu, 100 gadu laikā 15%), ancientlives.org dažu mēnešu laikā digitalizēti 4000 papirusi
http://ancientlives.org
Lietu internets
• Santanderas projekts– vides monitorings, transporta
intensitāte, zaļo zonu monitorings, stāvvietas
http://www.smartsantander.eu/index.php/testbeds/item/132-santander-summary
Un vēl...
– Google: 2012.g. maijā – pirmā vadītāja apliecība bezpilotu automobilim
– Pasaules virtuāls modelis, autostrādes, pilsētu ielas
Lielo datu nozīme
• Ikviens lēmums cilvēces 200 000 pastāvēšanas gados ir bijis balstīts uz nepilnīgu informāciju (par vidi, laika apstākļiem, resursiem, konkurentiem, klientiem, sabiedrības viedokli...)
• Informācijas trūkums -> informācijas pārpilnība
• nojauta, minējumi -> zināšanas
Lielo datu nozīme
• Lēta datortehnika dod iespēju saglabāt un izmantot milzīgus (Volume), strauji veidojošos (Velocity) un dažādas formas (Variety) datus, tādējādi padarot iespējamus jaunus, kvalitatīvi pilnvērtīgākus risinājumus
• Datu vadīta (data driven) inovācija• Plaši pielietojamas tehnoloģijas
Cilvēces nervu sistēma
• Cilvēks vairs nav datu apstrādes centrālais elements, bet viens no mezgliem sadalītā datu apstrādes sistēmā (Koperniks)
• Visur esoša decentralizēta daudzaģentu sistēma, kas apvieno savā starpā komunicējošus cilvēkus, datorus, sensorus – veidojas cilvēces nervu sistēma
Cilvēces nervu
sistēma
http://www.vlib.us/web/worldwideweb3d.html
Attēls no http://mashable.com/2013/11/05/big-data-access/
Drošība un privātums
• Privātuma aizsardzība: viss tiek uzkrāts – telefona sarunas, īsziņas, pārlūku vēsture, gps dati, interneta pirkumi, bankas transakcijas, veselības dati, pārvietošanās dati (lidmašīnas, viesnīcas) utml.
• Vai tagad jūsu dati ir drošībā (pasu zādzības, uzņēmumu iekšējo sistēmu drošība)?
• Vai cilvēki grib aizsargāt savu privāto dzīvi? Datasexual, Facebook face-lift
Jaunas tehnoloģijas
• Scaling out: daudzaģentu sistēmas, nedalītā datu apstrāde, mākoņdatošana (SaaS – Amazon.com)
• NoSQL datubāzes – specifiskiem problēmu apgabaliem (http://nosql-database.org/)– Grafu datubāzes (Neo4J – Facebook)– Dokumentu datubāzes (Clusterpoint)
Produktu attīstība
• Henrijs Fords un «ātrāki zirgi»• Meklējam jaunas pieejas savu produktu
attīstībai:– Klāsterēta arhitektūra, NoSQL datubāze, uzlabota
vizualizācija– Klienta biznesa procesu uzlabošana atbilstoši Lielo
datu tehnoloģiju iespējām
www.rixtech.lv
Valsts iestādes IT sistēmas attīstība
Aktuālie projekti
• ERAF projekti par Lielo datu tehnoloģiju izmantošanas iespējām
• Aktuālais pētniecības projekts - biznesa datu vizuālā analīze (0,5% dati tiek analizēti; 64 divriteņu nomas vizualizācijas veidi)– Kādi dati ir jāuzkrāj– Kā organizēt datus, lai tos varētu efektīvi analizēt
un vizualizēt;– Kādā formā dati ir jāvizualizē
Avoti• http://thehumanfaceofbigdata.com/• https://www.facebook.com/FaceOfBigData• #FaceOfBigData• http://
www.huffingtonpost.com/phil-simon/the-human-face-of-big-dat_b_3094579.html
Paldies par uzmanību!
http://www.slideshare.net/JurisRats/lielie-datiplantasnervusistma
RIX TechnologiesBlaumaņa iela 5a-3,
Rīga, LV-1011
Tel.: 67142990Fakss: 67142991
E-pasts: [email protected]
www.rixtech.lv