büyük veri, hadoop ekosistemi ve veri bilimi
TRANSCRIPT
BüyükVeri,HadoopEkosistemiveVeriBilimiDr.M.UmutDEMİREZENSTMBüyü[email protected]|@udmrzn
UNCLASSIFIED
HİZMETEÖZEL UNCLASSIFIED2/95
BigDataKavramı
2
«BigDataistherealizaOonofgreaterbusinessintelligencebystoring,
processing,andanalyzingdatathatwaspreviouslyignoredduetothelimitaOons
oftradiOonaldatamanagementtechnologies»
«BigDataisacollecOonofdatasets,whichareenormouslylargeandcomplex
thatconvenOonaldatabasesystemscannotprocesswithindesired
Ome.»
HİZMETEÖZEL UNCLASSIFIED3/95
BigDataKavramı
3
HİZMETEÖZEL UNCLASSIFIED4/95
BigDataVeriTürleri
4
ü DuranVeri(DataatRest)ü AkışkanVeri(DatainMo@on)ü BağlıData(LinkedData)ü ZamanSerisi(TimeSeries)
HİZMETEÖZEL UNCLASSIFIED5/95
ETL
Real Time Streams
Unstructured Data (HDFS)
Real Time Structured Database
(hBase, Gemfire, Cassandra)
Big SQL (Greenplum, AsterData,
Etc…)
BatchProcessing
Real-Time Processing
(s4, storm)
Analytics
GünümüzdeKullanılanBüyükVeriİşlemeTeknikleri
DiM
DaR
HİZMETEÖZEL UNCLASSIFIED6/95
BigData’nınEvrimi
6
HİZMETEÖZEL UNCLASSIFIED7/95
BigData’nınEvrimi
7
HİZMETEÖZEL UNCLASSIFIED8/95
BigData’nınEvrimi
8
CAPtheoremreveals thatashareddatasystemcanonlychooseat most two of three proper@es: consistency, availability, andtolerancetopar@@ons.
HİZMETEÖZEL UNCLASSIFIED9/95
BigData’nınEvrimi
9
HİZMETEÖZEL UNCLASSIFIED10/95
HadoopEkosistemi
10
HİZMETEÖZEL UNCLASSIFIED11/95
HadoopEkosistemi
11
HİZMETEÖZEL UNCLASSIFIED12/95
MapReduceV1–YARNMapReduceV2
12
HİZMETEÖZEL UNCLASSIFIED13/95
HadoopEkosistemi
13
HİZMETEÖZEL UNCLASSIFIED14/95
MapReduce
14
HİZMETEÖZEL UNCLASSIFIED15/95
MapReduce
15
HİZMETEÖZEL UNCLASSIFIED16/95
MapReduce
16
HİZMETEÖZEL UNCLASSIFIED17/95
MapReduce
17
HİZMETEÖZEL UNCLASSIFIED18/95
HadoopEkosistemi
18
HİZMETEÖZEL UNCLASSIFIED19/95
ApacheSqoop
19
HİZMETEÖZEL UNCLASSIFIED20/95
ApacheFlume
20
HİZMETEÖZEL UNCLASSIFIED21/95
ApacheZooKeeper
21
HİZMETEÖZEL UNCLASSIFIED22/95
ApacheKafa
22
HİZMETEÖZEL UNCLASSIFIED23/95
ApacheOozie
23
HİZMETEÖZEL UNCLASSIFIED24/95
ApachePig
24
HİZMETEÖZEL UNCLASSIFIED25/95
ApacheHive
25
HİZMETEÖZEL UNCLASSIFIED26/95
ApacheMahout
26
HİZMETEÖZEL UNCLASSIFIED27/95
ApacheMahout
27
HİZMETEÖZEL UNCLASSIFIED28/95
ApacheHBase
28
HİZMETEÖZEL UNCLASSIFIED29/95
ApacheStorm
29
HİZMETEÖZEL UNCLASSIFIED30/95
ApacheSpark
30
HİZMETEÖZEL UNCLASSIFIED31/95
ApacheSpark
31
HİZMETEÖZEL UNCLASSIFIED32/95
LambdaArchitecture
32
• Tutarlılıkvehatayakarşıdayanıklıolabilme• Düşükgecikmeli(LowLatency)okumaveyazma• Ölçeklenebilirolma• GenelleşKrilebilme• GenişleKlebilme• Anlıksorgulanabilme(ad-hoc)• MinimumidameçabasıgerekKrme• Hataayıklanabilme
HİZMETEÖZEL UNCLASSIFIED33/95
LambdaArchitecture
33
HİZMETEÖZEL UNCLASSIFIED34/95
LambdaArchitecture
34
HİZMETEÖZEL UNCLASSIFIED35/95
LambdaArchitecture
35
HİZMETEÖZEL UNCLASSIFIED36/95
LambdaArchitecture
36
HİZMETEÖZEL UNCLASSIFIED37/95
LambdaArchitectureNormalKapasitedeÇalışma
HİZMETEÖZEL UNCLASSIFIED38/95
AkademikYayınlar
IEEECOMPSAC2016(YayınAşamasında) USMOS2015(Yayınlandı)
HİZMETEÖZEL UNCLASSIFIED39/95
DataIngesOon
39
IoT/IoE
CloudCompuKng
FogCompuKng
HİZMETEÖZEL UNCLASSIFIED40/95
VeriBilimiNedir?
• DataScienceisthesciencewhichusescomputerscience,staOsOcsandmachine,learning,visualizaOonandhuman-computerinteracOonstocollect,clean,integrate,analyze,visualize,interactwithdatatocreatedataproducts
HİZMETEÖZEL UNCLASSIFIED41/95
DataProductGeneraOon
41
HİZMETEÖZEL UNCLASSIFIED42/95
VeriBilimiNedir?
HİZMETEÖZEL UNCLASSIFIED43/95
VeriBilimiNedir?
HİZMETEÖZEL UNCLASSIFIED44/95
BigDataveVeriBilimininKullanımı
HİZMETEÖZEL UNCLASSIFIED45/95
BigDataveVeriBilimininKullanımı
Ø Descrip@veAnaly@cs:exploitshistoricaldatatodescribewhatoccurred.Ø Predic@veAnaly@cs:focusesonpredicKngfutureprobabiliKesandtrends.Ø Prescrip@veAnaly@cs:addressesdecisionmakingandefficiency.q For example, simulaKon is used to analyze complex systems to gain insightinto system behavior and idenKfy issues and opKmizaKon techniques areusedtoanalyzeopKmalsoluKonsundergivenconstraints.
HİZMETEÖZEL UNCLASSIFIED46/95
ExplatoryDataAnalysis
Örnek:Amerika’da1997-2008arasındauçakkalkışiniş,rötarverisi:120GB
HİZMETEÖZEL UNCLASSIFIED47/95
ExplatoryDataAnalysis
Örnek:Amerika’da1997-2008arasındauçakkalkışiniş,rötarverisi:120GB
HİZMETEÖZEL UNCLASSIFIED48/95
DataMining:DynamicTimeWarping-Algoritma
HİZMETEÖZEL UNCLASSIFIED49/95
DynamicTimeWarping-Algoritma
HİZMETEÖZEL UNCLASSIFIED50/95
DynamicTimeWarping–Sensör12ve314
HİZMETEÖZEL UNCLASSIFIED51/95
DynamicTimeWarping–Sensör12ve314
HİZMETEÖZEL TASNİFDIŞI52/95
Kariyer.NetveLinked.inüzerindenAçıkPozisyonlarımızaBaşvurabilirsiniz….
BizimleÇalışmakİstermisiniz?
• DataEngineering• DataScienceAlanlarındaKariyerYapmakİstermisiniz?
BudokümanveiçerdiğitümbilgilerSTM’ninfikrimülkiyeKdir.Budokümanındağıgmıveyasunumuilebuhaklarortadankalkmışolmaz.STM’ninyazılıizniolmadanbudokümanınveiçerdiğibilgilerinüçüncükişilereaktarımı,çoğalgmı
vedağıgmıyapılamaz.Budokümanveiçeriğihazırlanmaamacınındışındakullanılamaz.
STMSAVUNMATEKNOLOJİLERİMÜHENDİSLİKVETİC.A.Ş.ANKARATEKNOLOJİGELİŞTİRMEBÖLGESİ,
BİLKENTCYBERPARK,ÜNİVERSİTELERMAHALLESİ,1605.CADDE,NO:3ABİLKENT–ÇANKAYATÜRKİYE
t : 0 312 266 35 50 f : 0 312 266 35 51 www.stm.com.tr
© STM 2015
All Rights Reserved
ThisdocumentandallinformaKoncontainedhereinisthesolepropertyofSTM.Nointellectualpropertyrightsaregrantedbythedeliveryofthisdocumentordisclosureofitscontent.ThisdocumentshallnotbereproducedordisclosedtoathirdpartywithouttheexpresswripenconsentofSTM.Thisdocumentanditscontentshallnotbeusedforanyotherpurposeotherthanforwhichitissupplied.