Softver telekomunikacionih sistema

Univerzitet u Novom SaduFakultet tehničkih naukaDepartman za energetiku, elektroniku i

telekomunikacije

Katedra za telekomunikacije i obradu signala

Big Data tehnologija

Sadržaj

• Pojam i karakteristike Big data tehnologije

• Infrastruktura za Big data

• Modeli baza podataka u Big data

• MapReduce algoritama

• Primena Big data tehnologije

• Zaključak

Pojam i karakteristike Big data tehnologije

Glavni IT trendovi u 21-om veku

• Pet glavnih trendova u IT tehnologijama u 21. veku, vezano je za:

– Poboljšanje korisničkog iskustva

– Isporuka IT rešenja

– Informacije i komunikacije

– Inovacije i upotrebu modela.

Situacija u IT sektoru

• Situacija u IT sektoru početkom ovog veka ukazuje na:– Ogroman rast obima podataka

poslednjih godina

– Povećanje kapaciteta u sistemima za skladištenje podataka

– Dostupnost različitih tipova podataka

– Drastično povećanje procesorske snage.

Eksplozija IoT aplikacija

• Senzori i senzorske mreže se koriste za praćenje različitih parametara u okruženju i u njima se generišu velike količine podataka.

• Monitoring i upravljanje podacima u IoT sistemima sa milijardama senzora, stvara probleme u realnom vremenu, kao što su:– Otkrivanje visoko rizičnih uređaja u fazi

održavanja sistema i njihova korekcija pre nego što to zaista može nešto da se pokvari

– Optimiziranje rada pametnih uređaja (podešavanje, interakcija između krajnjih korisnika, optimizacija potrošnje energije, ...)

– Analiza nedostataka i ispravke u narednim verzijama.

Svrha Big data tehnologije

• Razvoj Big data tehnologije je rezultat težnje da se bolje upravlja velikom količinom podataka, koja se brzo uvećava, da bi se:

– Smanjili operativni troškovi

– Skratilo vreme potrebno za izvršavanje zadataka na računaru

– Pojednostavila pojava novih proizvoda i usluga. Google, Facebook, eBay,

LinkedIn – The first

companies that have

implemented Big data

Koje novine donosi Big data tehnologija?

• Big Data tehnologija ima istu ulogu kao i Small data tehnologija, ali se bavi velikim količinama podataka i zahteva kombinaciju novih i starih tehnologija, različitih alata i složenih algoritama za obradu podataka.

• Big Data izvlači podatke iz skladišta i obrađuje veliku količinu digitalnih informacija koje se ne mogu analizirati tradicionalnim računarskim tehnikama.– Umesto 10 godina dekodovanja ljudskog

genoma, to sr može se izvršiti u roku od jedne nedelje.

Šta su izazovi za primenu Big data tehnologije?

• Danas skladištenje velikih količina podataka nije problem i time ne predstavlja veliki izazov za Big Data tehnologiju, jer su cene memorije na IT tržištu relativno niske.

• Osnovni izazovi u primeni Big Data tehnologije su:

– Utvrditi važnost određenih podataka u velikoj grupi različitih podataka

– Obezbediti jedinstvenu vizualizacija različitih tipova podataka.

Karakteristike Big data tehnologije

• Pojam Big data tehnologije se često objašnjava korišćenjem tri “V“ modela čije su glavne karakteristike:– Obim podataka (eng. Volume) koji

eksponencijalno raste imajući u vidu da su glavni izvori velikih količina podataka senzori, mobilni telefoni, video kamere, društvene mreže i dr.

– Raznovrsnost podataka (eng. Variety) po prirodi i često strukturiranosti zbog čega se ne uklapaju dobro u bazu podataka (npr. multimedijalni podaci, dokumenti, podaci prikupljeni sa raznorodnih senzora, i sl.)

– Brzina (eng. Velocity) generisanja podataka je velika, tako da se moraju obrađivati i analizirati u realnom vremenu odnosno od momenta kada počnu da se prikupljaju.

Količina podataka

• Količina podataka se eksponencijalno povećava imajući u vidu da su glavni izvori:

– Transakcije čiji se podaci čuvaju godinama

– Tekstualni podaci sa društvenih mreža

– Click-stream podaci sa raznih web lokacija

– Pametni telefoni koji stvaraju i konzumiraju informacije

– Senzori ugrađeni u razne objekte i stvari što rezultira milijardama novih podataka koji se neprestano ažuriraju

– druge informacije, uključujući video.

Velike brzine obrade podataka

• Aktuelnost podataka je često manja od jedne sekunde, pa se podaci moraju obrađivati i analizirati u realnom vremenu (od trenutka kada se počnu prikupljati).

• Veliki izazov za korisnike su blagovremena reakcije i brza obrada podataka kao što su:– Click streams

– M2M komunikacija između milijarda senzorskih uređaja

– Masivni logovi podataka sa senzorske infrastrukture koji se obrađuju u realnom vremenu

– On-line sistemi za igranje koji podržavaju milione simultanih korisnika, a svaki od njih proizvodi više ulaza u sekundi.

Raznovsnost obrade podataka

• Različita priroda podataka povezana je sa postojanjem velikog broja različitih formata podataka.

– Tradicionalne baze podataka, tekstualne datoteke, e-pošta, video, audio, podaci o finansijskim transakcijama itd.

• Prema procenama stručnjaka, oko 80 posto podataka nije numeričkog tipa, ali ih i dalje treba uključiti u postupak analize i odlučivanja u vezi sa njima.

Dodatne karakteristike Big data tehnologije

• Promenljivost - tok podataka može vremenom postati prilično nepravilan, što se može objasniti fenomenom popularnih medija, gde se jedne te iste informacije ponavljaju više puta.

– Ovi izuzeci su veoma teški za upravljanje, posebno kada se uzme u obzir nedavni porast popularnosti društvenih mreža.

• Složenost - podaci dobijeni iz različitih izvora i u mnogim slučajevima su nepodesni za uparivanje, preočišćavanje i preoblikovanje na bilo koji način.

– Neophodno je povezati odnose između podataka i uspostaviti hijerarhije podataka, jer u protivnom određena količina podataka može izmaći iz kontrole.

Struktuiranje podataka uBig data tehnologiji

• Razvoj poslovanja primenom mobilnih tehnologija, IoT aplikacija i socijalnih mreža dovodi do brzog rasta količine podataka koji uključuje:

– Tradicionalo strukturirane podatke koji su grupisani u relacione šeme (redovi i kolone unutar standardne baze podataka)

– Nestrukturirane podatke (slike, audio i video datoteke) koje je teško staviti u tabele relacionih baza podataka za analizu ili izvršavanje upita nad njima

– Polustrukturirane podatke za koje se ne može reći da su grupisani u fiksni uzorak, ali su često nerazdvojivi i sadrže oznake koje pomažu u njihovj organizaciji u određenu hijerarhiju podataka.

Infrastuktura za Big data

Na čemu se zasniva koncept Big data tehnologije?

• Podaci se prikupljaju iz velikog broja izvora i njihova količina konstantno raste.– Jeftini i veliki storage uređaji sa brzim procesorima

• Prikupljeni podaci se primenom odgovarajućih procesa ekstrakcije, transformacije i učitavanja prebacuju u Big data fajl sistem.

• Nad podacima u Big data fajl sistemu vrši se analiza u realnom vremenu, korišćenjem raznovrsnih alata, tehnika i algoritama.– Paralelizacija, virtuelizacija,velika mrežna okruženja,

klasterizacija i sl.

• Rezultati analize podataka se prikazuju korisnicima u odgovarajućoj vizuelnoj formi.

Big data infrastruktura

Izvori koji generišu velike količine podataka

Izvori struktuiranih podataka• Razvoj Big Data tehnologije omogućava pojavu

novih izvora strukturiranih podataka - često u realnom vremenu i u velikim količinama.

• Izvori podataka su podeljeni u dve kategorije:

– Podaci koje generišu ljudi u interakciji sa mašinama

– Računarski ili mašinski generisani podaci: podaci koje proizvode mašine bez ljudskog uticaja.

Podaci koje generišu ljudi

• Strukturirani podaci koje generišu ljudi mogu obuhvatati:

– Ulazni podaci za bilo koji tip objekta, koji se mogu uneti na račun (npr. ime, prezime, starost, prihod, odgovaranje na ankete itd.) i mogu se koristiti za razumevanje ponašanja korisnika

– Click data, podaci koji se generišu svaki put kada se klikne na link na web sajt i koji se mogu analizirati kako bi se utvrdilo ponašanje korisnika i napraviti određeni uzorci

– Podaci povezani sa igricama koji se mogu snimiti i analizirati svaki potez u igrici da bi se razumelo kako krajnji korisnici igraju određenu igricu.

Mašinski generisani podaci

• Mašinski generisani podaci mogu obuhvatati:

– Senzorske podatke kao što su ID oznake radio-frekvencije (RFID), pametna brojila (npr. elektronska brojila za merenje potrošnje električne energije), podatke sa medicinskih uređaja, GPS podatke

– Podaci iz web logova sa servera, aplikacija, mreža i ostalo zabeleženi o aktivnostima korisnika, a koji se mogu iskoristiti za predviđanje njihovog ponašanja

– Podaci u trenutku prodaje koji se mogu koristiti kako bi se otkrile navike i utvrdilo ponašanje kupaca.

– Finansijski podaci koji su rezultat automatizacije procesa (danas je finansijski sistem „programiran“ i njegov rad se zasniva na unapred definisanom skupu pravila).

Primer podataka o trgovanju na berzi, kao što su marka proizvoda i vrednost u dolarima.

Izvori nestrukturianih podataka u Big data• Nestrukturirani podaci su podaci koji ne poseduju

definisan format, ali ih najčešće koristi većina ljudi i organizacija koje rade s njima.

– 20% dostupnih podataka je struktuirano, a preostalih 80% je nestrukturirano.

• Izvori nestruktuiranih podataka mogu biti:

– Ljudski generirano

– Naučni:

Satelitske slike: informacije o vremenu ili podaci prikupljeni tokom satelitskog praćenja (npr. GoogleEarth ima ogromnu količinu satelitskih snimaka koje koristi i povezuje se sa relevantnim režimom)

Naučni podaci: uključuju seizmičke slike atmosferskih podataka, fiziku visokih energija itd.

Modeli baza podataka u Big data

Modeli baza podataka u Big data

• IoT aplikacije generišu velike količine podataka pa je potrebno realizovati skalabilne, distribuirane i pouzdane modele baza podataka:

• Imajući u vidu velike količine podataka sa kojima se radi u Big data, neophodno je posedovati skalabilne, distribuirane i pouzdane modele baza podataka:

– Key data model podataka

– Bigtable model (relacioni model podataka)

– Document model

– Graf model.

Key-data model baze podataka

• Key-data je model baze podataka u kojoj se:

– Svi podaci se čuvaju u dve kolone (jedna kolona ključ, a druga vrednost podataka) i gde informacije možda nisu atomske tj. ne mogu se podeliti u manje delove

– Promene podataka prate pomoću vremenske oznake (Primer: Amazon Dinamo).

Bigtable model baze podataka

• BigTable je distribuirano rešenje za čuvanje velike količine podataka na običnim serverima (Google Big Table i Cassandra).– Upravlja vrlo skalabilnim i struktuiranim

podacima i može preći na nivo petabajta– Može da radi na više od sto hiljada

mašina– Omogućava vam lako dodavanje novih

mašina u sistem i njihovo neposredno uključivanje u rad na način koji ne zahteva nikakvu rekonfiguraciju ili prekid u sistemu.

• Big Table mapira dva proizvoljna stringa (ključ koji se odnosi na red i ključ koji se odnosi na kolonu) i vremenski trenutak (dakle imamo trodimenzionalno mapiranje) u neki vezani niz bitova.

Document model baze podataka

• Document model baze podataka je organizovan na principu dokumenata u kojima se nalaze sve informacije (ne postoji povezivanje tabela). – Svi dokumenti ne moraju da imaju istu

strukturu i nema potrebe za striktnim definisanjem šeme baze podataka.

• Document se posmatra kao grupa polustrukturiranih podataka koji se pohranjuju zajedno sa metapodacima i pružaju:– fleksibilnost– jednostavnu integraciju sa aplikacijama i– smanjenje veličine baze podataka.

• Primeri: XML baze podataka, MongoDB.

Graf model baze podataka

• Graf model baze podataka koristi modelovanje grafičke strukture semantičkih veza između čvorova u grafu (obično osoba, kompanija i sl.) i druge koncepte nad podacima koji se čuvaju.– Svaki element može da sadrži direktan

pokazivač ka drugim elementima bez potrebe za postojanjem indeksnih struktura.

• Elementi graf baze podataka su:– Čvorovi (koriste se za reprezentaciju

entiteta)

– Potezi (relacije koje međusobno povezuju čvorove ili čvorove sa svojstvima i mogu imati sopstvena svojstva)

– Svojstva (podaci koji opisuju čvorove i možemo ih izjednačiti sa atributima).

Facebook Graph Search koristi mehanizam za pretraživanje u prirodnom jeziku i traži korisnike i njihove međusobne veze.

Izbor storage-a u Big data

• Izbor odgovarajuće opreme (vendora opreme) za skladištenje podataka koja je dizajnirana prema karakteristikama podataka.

• Implementacija rešenja zasnovanih na različitim tehnologijama.

• Usklađivanje poslovnih ciljeva sa odgovarajućim skladištima podataka.

Obrada podataka u Big data

• Integracija različitih storage-a za podatke:– Mapiranje podataka u odgovarajući framework:– Povezivanje i izdvajanje podataka iz storage-a na

serverima– Transformacija/priprema za obradu podataka– Particionisanje podataka u pripremi za Hadoop

MapReduce algoritam.

• Korišćenje Hadoop MapReduce algoritma:– Kreiranje komponenti za Hadoop MapReduce algoritam– Distribucija obrade podataka unutar farme servera– Izvršavanje Hadoop MapReduce procesa– Praćenje napretka u realizaciji procesa.

Distribuirani storage-iu Big data

• Da bi skladištenje velikih količina podataka bilo pouzdano i skalabilno, potrebno je obezbediti skladištenje i upravljanje fajlovima u distribuisanom okruženju.

• Distribuirano okruženje za čuvanje podataka uključuje:– Jednostavan pristup datotekama na različitim

geografskim lokacijama

– Replikaciju fajlova između servera i

– Kompresiju podataka optimizovanu za prenos preko mreže sa ograničenim propusnim opsegom.

Distribuirani fajl sistemi

• Neke od implementacija distribuiranih okruženja su sledeći fajl sistemi:

– Google file system (GFS): efikasan i pouzdan pristup podacima u velikim klasterima, pre svega radi podrške pretraživanju servisa na Internetu

– Hadoop distributed file system (HDFS): namenjen za čuvanje velikih fajlova, veličine GB ili TB.

– Gluster file system: koristi se za realizaciju cloud computing infrastrukture i servisa.

MapReduce algoritam

MapReduce algortitam za pretraživanje podataka

• MapReduce je model programiranja pogodan za pretragu velikih skupova podataka koji se sastoji od procedura:– Mapiranja (eng. Map): obavlja se filtriranje i sortiranje podataka (npr. filtriranje

zaposlenih u preduzeću po prezimenu i sortiranje)

– Redukovanja (eng. Reduce): obavlja zbirnu operaciju (npr. brojanje koliko ima zaposlenih sa određenim preuimenom).

Kotlina Reka Planina

Dolina Dolina Planina

Kotlina Dolina Reka

Kotlina Reka Planina

Dolina Dolina Planina

Kotilina Dolina Reka

Kotlina, 1

Reka, 1

Planina, 1

Dolina, 1

Dolina, 1

Planina, 1

Kotlina, 1

Dolina, 1

Reka, 1

Reka, 1

Reka, 1

Dolina, 1

Dolina, 1

Dolina, 1

Kotlina, 1

Kotlina, 1

Planina, 1

Planina, 1

Reka, 2

Dolina, 3

Kotlina, 2

Planina, 1

Planina, 1

Reka, 1

Dolina, 1

Kotlina, 1

Planina, 1

Input Razdvajanje Mapiranje Mešanje Redukcija Konačni rezultat

MapReduce Процес бројања речи

Prednosti MapReduce-a

• MapReduce algoritam se primenjuje nad podacima koji se prikupljaju sa distibuiranih servera:

– Paralelnim izvršavanjem operacija

– Upravljanjem tokovima i

– Prenosom podataka između različitih delova sistema.

• Ključne prednosti su redudantnost, skalabilnost i robusnost sistema.

• Pojam MapReduce se prvobitno odnosio samo na Google-ovu tehnologiju, ali je kasnije poprimio generalno značenje.

Hadoop framework za Big data

• Google i Yahoo su imali izazov da pronađu metodu kako da iz velikih količina podataka izvuku određeni kontekst.

– Da shvate značenje informacija koje prikupljaju i kako da ih uklope u svoje poslovanje kako bi povećali prihode.

• Hadoop paralelizuje obradu podataka koristeći čvorove za povećanje brzine izračunavanja i smanjenje odziva i sastoji se od dve glavne komponente:

– Visoko skalabilnog distribuiranog fajl sistema koji podržava količinu podataka koja se meri u PB

– MapReduce sistema.

Hadoop framework za Big data

• Hadoop je softverski framework izveden iz MapReduce i BigTable sistema koji omogućava aplikacijama da se izvršavaju na velikim klasterima običnog hardvera.

Distribuirani fajl sistem (HDFS)

Distribuirano procesiranje (Map

Reduce)NoSQL baze

Skriptovanje

(Pig)

Mašinsko učenje

(Mahout)

Upiti

(Hive)

Inte

gra

cija

po

data

ka

(Sq

oop

, RE

ST

, OD

BC

)Work

flow

i u

pra

vlj

anje

posl

ovim

a (O

ozi

e)

Co

ord

inati

on (

Zo

oK

eep

er)

Upravljanje i nadgledanje (Ambari)

Upravljanje resursima (Yarn)

Osnovne komponente Hadoop sistema

• Osnovne komponente Hadoopsistema su:

– Hadoop Distributed File System koji aplikacijama omogućava brz pristup podacima

– Hadoop YARN modul za upravljanje resursima u klasteru i izvršavanjem poslova

– Hadoop MapReduce za paralelno procesiranje velikih skupova podataka primenom MapReduce algoritma

– Hadoop Common paketi za podršku radu ostalih modula.

MapReduce

Cluster management

YARN

Cluster management & Resources

HDFS

distributed file system

HBase

column in the database

HIVE

(SQL)

Pig

(Data flow)

Mahout

(Machine learning)AVRO

(RPC, Serialization)

SQOOP

(RDBMS conector)

OOzie

(Monitoring

workflow)

Chukwa

(monitoring)

Flume

(monitoring)

Zoo Keeper

(Management)

storage

data

data processing

Access

information

data

management

Ostale komponente Hadoop sistema

• Ostale komponente Hadoop sistema su:

– Ambari veb alat za praćenje i upravljanje Hadoop sistemom

– Avro sistem za serijalizaciju podataka

– Hcatalog sistem za upravljanje skladištem podataka

– Hbase skalabilna distribuirana baza podataka za skladištenje strukturiranih podataka

– Hive sistem za data warehousing i ad hoc upite nad podacima

– Mahout biblioteka za mašinsko učenje i data mining

– Oozie alat za upravljanje tokovima posla (workflow, scheduling).

– Pig okvir za izvršavanje paralelnog izračunavanja

– Sqoop alat za prenos podataka između Hadoop-а i relaionih baza podataka

– Spark programski model za podršku aplikacijama kao što su ETL, mašinsko učenje, obrada strimova i sl.

– ZooKeeper servis za koordinaciju distribuiranih aplikacija.

Šta je Apache Spark?

• Apache Spark je softver otvorenog koda za distribuiranu obradu podataka u realnom vremenu zasnovan na in-memory računarstvu.

– Omogućava korisničkim programima da učitaju velike količine podataka u memoriju, pa se pretraga i obrada podataka vrši u memoriji a ne na diskovima.

• Osnovne prednosti primene ovakvog rešenja su:

– Skalabilnost i rad sa stotinama nodova.

– Mala latencija omogućena in-memory obradom podataka.

– Jednostavno programiranje i podrška za više programskih jezika.

– Integracija batch i interaktivne obrade podataka.

– Visoka pouzdanost i stateful izračunavanja.

Big data tehnike za analitiku podataka

• U Big data se koriste različite tehnike za analitiku podataka:– Klaster analiza: metoda za utvrđivanje

relativno homogenih grupa objekata unutar heterogene populacije

– Crowdsourcing: tehnika prikupljanja podataka od strane velike grupe ljudi ili društvenih zajednica putem medija kao što je web

– Pravila pridruživanja: - tehnike za otkrivanje veza između naizgled nepovezanih podataka u velikim bazama podataka

– Klasifikacija: proces organizovanja informacija u kategorije (klase) tako da se podaci mogu jasnije analizirati ili razumeti.

– Mašinsko učenje: konstruisanje algoritama i računarskih sistema koji su sposobni da se adaptiraju na nove situacije i uče na bazi iskustva.

Sirovi podaci sa senzoraPredprocesiranje, agregacija,

filtracija

Metapodaci, integracija,

anotacija

Postobrada, abstrakcija,

Prepoznavanje obrazaca

Semantička analiza,

interpretacija

Izdvajanje znanja,

vizuelizacija informacija

Pametan grad

Mehanizam za

donošenje odluka

Očitavanje podataka sa

senzora i pametnih uređaja

Protivpožarni

senzori

Senzori putne infrastrukture

Toplotni senzori

Senzori za

detektovanje poplava

Navigacioni senzori

Senzori buke

CO2 сензори

Senzori vlažnosti

vazduha

Big data tehnike za analitiku podataka

– Neuronske mreže: paralelno obrađuju podatke, čije su komponente nezavisne jedne od drugih

– Mrežna analiza: tehnike koje se koriste za otkrivanje veza između na prvi pogled nepovezanih čvorova u grafu ili mreži

– Optimizacija: skup numeričkih tehnika za reorganizaciju složenih sistema i procesa kako bi se poboljšao njihov učinak prema jednom ili više kriterijuma

– Analiza segmenata - aplikacija za obradu jezika, identifikaciju i izvlačenje informacija iz tekstualnog materijala.

– Integracija podataka - tehnike koje integrišu i analiziraju podatke iz više različitih izvora, u cilju razvijanja efikasnijeg i preciznijeg načina obrade podataka.

– Genetski algoritmi - stohastički metod pretraživanja, koji oponaša biološki proces evolucije.

Sirovi podaci sa senzoraPredprocesiranje, agregacija,

filtracija

Metapodaci, integracija,

anotacija

Postobrada, abstrakcija,

Prepoznavanje obrazaca

Semantička analiza,

interpretacija

Izdvajanje znanja,

vizuelizacija informacija

Pametan grad

Mehanizam za

donošenje odluka

Očitavanje podataka sa

senzora i pametnih uređaja

Protivpožarni

senzori

Senzori putne infrastrukture

Toplotni senzori

Senzori za

detektovanje poplava

Navigacioni senzori

Senzori buke

CO2 сензори

Senzori vlažnosti

vazduha

Primena Big data tehnologije

Poslovanje

• Tehnologije interneta inteligentih uređaja omogućuju preduzećima da prikupljaju velike količine podataka o klijentima (lični podaci, podaci o kretanju, podaci o navikama, interesovanjima, potrebama i dr.)

• Kao izvori podataka koriste se podaci prikupljeni sa društvenih mreža, mobilnih telefona i drugih izvora.

• Efikasnim korišćenjem ovih podataka moguće je bolje predvideti potrebe klijenata, kreirati personalizovane proizvode i usluge i povećati zadovoljstvo klijenata.

Medicina

• Primena senzora za praćenje stanja pacijenata je u porastu.

• Čuvanje i analiziranje prikupljnih podataka može se koristiti za:

– Bolju dijagnostiku

– Praćenje stanja pacijenata

– Predviđanja reakcija na terapije

– Analizu biohemijskih procesa u organizmu

– Pružanje zdravstvenih usluga na daljinu i sl.

Obrazovanje

• Pametne učionice u obrazovnim ustanovama sadrže veći broj senzora, video kamera, mikrofona i drugih interkativnih uređaja.

• Podaci prikupljeni sa inteligentnih uređaja mogu se skladištiti u informacionom sistemu obrazovne ustanove i koristiti za: – Praćenje aktivnisti studenata

– Merenje kvaliteta nastave i zadovoljstva studenata

– Utvrđivanje tipičnih ponašanja studenata i kreiranje personalizovanih servisa

– Podršku naučno-istraživačkom radu nastavnika i studenata i dr.

Transport i saobraćaj

• Pametni sistemi za kontrolu vozova mogu automatski da prilagođavaju brzinu voza na osnovu ulaznih podataka kao što su:

– vremenski uslovi

– topografija terena

– rastojanje od odredišta

– rastojanje od drugih vozova i dr.

• U budućnosti se očekuje i šira primena Big data tehnologija u pametnim automobilima da bi se omogućila bezbedna vožnja i bez vozača.

Meteorologija

• Senzori se mogu koristiti za prikupljanje meteoroloških podataka.

– Brza analiza istorijskih podataka u kombinaciji sa aktuelnim podacima može doprineti boljem predviđanju vremenskih nepodoga, kao što su uragani, i boljoj zaštiti stanovništa na ugroženim područjima od poplava i klizišta.

Naučna istraživanja

• Prikupljanje podataka iz svemira često se zasniva na remote sensing tehnologijama.

• U istraživanjima svemira se svakodnevno prikupljaju velike količine podataka, a brojni algoritmi se razvijaju za potrebe analize velikih količina podataka

Pametni gradovi

• Integracijom podataka prikupljenih sa različitih sistema, u gradovima se može unaprediti kvalitet život i značajno povećati efikasnost usluga gradske administracije.

Zaključak

Prednosti Big datatehnologije

• Big data predstavlja novi koncept u čuvanju, pretrazi i analizi velikih količina podataka.– Podaci koje senzori prikupljaju su svuda, često su različite

strukture i moraju da se koriste u realnom vremenu.

• Suština Big data tehnologije nije u obezbeđivanju pristupa velikoj količini podataka iz senzorskih mreža, već u aktivnostima koje doprinose povećanju njihove upotrebljivosti.

• Glavni cilj - razvijanje efikasnih i pouzdanih metoda za dobijanje upotrebljivog saznanja iz podataka prikupljenih u realnom vremenu.

• Primena je moguća u različitim oblastima: poslovanje, medicina, naučna istraživanja, pametni gradovi, meteorologija, transport i saobraćaj i sl.

Hvala na

pažnji!

University of Novi SadFaculty of Technical SciencesDepartment of Power, Electronic and

Telecommunication Engineering

Chair of Telecommunications and Signal Processing