big data

24

Upload: derya-gonullu

Post on 15-Jan-2017

239 views

Category:

Data & Analytics


0 download

TRANSCRIPT

Page 1: Big data
Page 2: Big data

BÜYÜK VERİ NEDİR?• Geçmişten günümüze kadar gelen süre içerisinde bilgi günden

güne artmıştır hatta son yıllarda katlanarak günümüze gelmiştir.Bunun sonucunda "Bilgi Çöplüğü" diye tabir ettiğimiz olgu günyüzüne çıkmıştır. • Birçok yazılım şirketleri bu konuyla ilgili ar-ge çalışmaları

yaptıktan sonra Big Data(Büyük Veri) olgusu karşımıza çıkmıştır.• Büyük veri; toplumsal medya paylaşımları, ağ günlükleri, bloglar,

fotoğraf, video, log dosyaları vb. gibi değişik kaynaklardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir.

Page 3: Big data

BÜYÜK VERİ NEDİR?

Büyük veriler, mevcut bilgi sistemlerinin işleyemeyeceği kadar geniş ve karmaşık veri kümeleridir. Diğer bir deyişle, bilinen veritabanı yönetim sistemleri ve yazılım araçlarının, verileri toplama, saklama, yönetme ve çözümleme yeteneklerini aşan büyüklükteki verilere big data-büyük veri denir.Günümüzde bu büyüklük onlarca terabayt’ tan (1 terabayt= 1000 gigabayt, 10 üzeri 12 bayt) petabayt’lara (10 üzeri 15 bayt) uzanır.

Page 4: Big data

BÜYÜK VERİ NEDİR?• Büyük veri; doğru analiz metotları ile yorumlandığında şirketlerin

stratejik kararlarını doğru bir biçimde almalarına, risklerini daha iyi yönetmelerine ve inovasyon yapmalarına imkan sağlayabilir.

Page 5: Big data

BÜYÜK VERİ BİLEŞENLERİ (5V)• Büyük veri platformunun oluşumunda beş adet bileşeni vardır:

Variety (Çeşitlilik): Üretilen verinin yüzde 80’i yapısal değil ve her yeni üretilen teknoloji, farklı formatlarda veri üretebiliyor. Telefonlardan, tabletlerden, bütünleşik devrelerden gelen türlü çeşitlilikte veri tipi ile uğraşılması gerekiyor.Velocity (Hız): Büyük Veri’nin üretilme hızı çok yüksek ve gittikçe artıyor.

Volume (Veri Büyüklüğü): IDC(international data corporation) istatistiklerine göre 2020’de ulaşılacak veri miktarı, 2009’un 44 katı olacak. Toplam bilişim harcamalarına karşın, çok büyük bir hızla veri artışı vardır.

Page 6: Big data

BÜYÜK VERİ BİLEŞENLERİ (5V)Verification (Doğrulama): Verinin akışı sırasında “güvenli” olmasıdır. Olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerektğini açıklar.

Value (Değer): Büyük Veri’nin veri üretim ve işleme katmanlarınızdan sonra kurum için bir artı değer yaratıyor olması lazım. Örneğin sağlık konusunda stratejik kararlar alan bir devlet kurumu anlık olarak bölge, il, ilçe vb detaylarda hastalık, ilaç, doktor dağılımlarını görebilmeli. Hava Kuvvetleri, bütün uçucu envanterindeki taşıtlarının anlık yerlerini ve durumlarını görebilmeli, geriye dönük bakım tarihçelerini izleyebilmeli.

Page 7: Big data

BÜYÜK VERİNİN YAPILANDIRILMASI• Veri ile ilgili projelerde işin genellikle %80’i verinin temizlenmesi ile alakalıdır.

Geriye kalan %20 ise iyi temizlenmediğinden şikayet etmek ile geçer.• Elde ettiğimiz veriler yapısal değil, yani yapılandırılmak için bizi bekliyor.

Bizim o veriyi en derinlere kadar inerek anlamlı bir şekilde yeryüzüne çıkarmamız ve bunun için de klasik yöntemlerden biraz daha farklı çözümler gerekiyor.

• Örneğin Google, kendi geliştirdiği teknolojiler sayesinde verilerini tutuyor (Google File System), işliyor (MapReduce) ve saklıyor (Big Table). Aynı şekilde Amazon da kendi geliştirdiği teknoloji sayesinde verilerini tutuyor (DynamoDB).

• Ancak Facebook, Twitter, LinkedIn gibi firmalar, büyük veriyi işledikleri bu yazılımları açık kaynaklı olarak yayınladıkları için ortaya daha gelişmiş teknolojiler çıkabiliyor. Cassandra, Hive, Pig, Voldemort, Storm gibi çok daha fazla proje geliştirdiler.

Page 8: Big data

BÜYÜK VERİ VE KULLANIM ALANLARI

Page 9: Big data

BÜYÜK VERİ VE KULLANIM ALANLARIYapay Zeka: Şirket mekanizmaları içinde makine zekası her departmanda kendine yer buluyor. Tüketici tercihlerini ve rasyonal tüketiciyi analiz ederek satış optimizasyonu sağlanıyor. Şirket içi ve dışı güvenlik aşamasında bireyleri tanıma ve dolandırıcı tespitinde yapay zekalar geçmiş tecrübeleri hızlı analiz ettiği için tercih ediliyor.Facebook , beğendiğiniz sayfaları, içerikleri veya etkileşime geçtiğiniz arkadaşlarınızı inceleyerek benzer konuları ana sayfanızda gösteriyor. Bu durum hem size özel gelişen bir ana sayfa sunarken hem de pazarlama ve iletişim alanı başta olmak üzere sosyal medya etkileşimi alanında çalışan insanlar için çıtayı yükseltiyor.

Page 10: Big data

BÜYÜK VERİ VE KULLANIM ALANLARI• Bildiğimiz gibi, Google, elindeki büyük veri yardımıyla, bize «Bunu

mu demek istediniz?» diye sorarak, yazımı düzeltilmiş sonuçlar verir. Google’un algoritması çift yazılan harfler, hecelemede insan psikolojisi gibi şeyleri hiç bilmeden sadece insanların bir hata yaptıktan sonra neyi yazdıkları ile ilgilenerek sorunu çözüyor.• Bir anlamda yaptığımız her hata, Google’a bir şey öğretiyor.• Apple'ın Siri ve Google'ın Google Now gibi yazılımları da kendini

geliştiren yapay zekaya sahip kişisel yardımcılar arasında yer alıyor. İnsanlık olarak çoğu zaman eğlence amaçlı kullansak da onların bunu da öğrenme yeteneği var.

Page 11: Big data
Page 12: Big data

BÜYÜK VERİ VE KULLANIM ALANLARI• Yapay ne zekanın ne zaman insanlığın bilincinin üzerine çıkarak

özgürlüklerini ilan edeceği bilinmiyor. Ancak bilim ve teknoloji dünyası bunu erteleyip kıyamet senaryolarını ertelemek için de çalışmalar yürütüyor. Cambridge Üniversitesi'nde kurulan Varoluşsal Tehdit Araştırması Merkezi akademik çalışmalar yürütürken tehdidi gören Elon Musk da Future of Life Institute'a 10 Milyon Dolar bağışta bulunduğu öğrenildi.• Hatta bir arama motoru şirketinin büyük veri vasıtasıyla kendi

iradesine sahip bir robot yarattığı «Ex Machina» adlı film büyük veri ile anılarak baya yankı bulmuştu.

Page 13: Big data

BÜYÜK VERİ VE KULLANIM ALANLARISosyal medya: Birçok insanın mobil ve online olduğu dijital çağda paylaşım ve iletişim sınırı olmadan özgür ve özgün tartışma zemini yaratan Sosyal Medya, kişi ve birey iletişiminin yanında marka ve kurum konumlandırması açısında da son derece önemlidir.

Peki sosyal medya sadece içerik üretmeniz, tüketmeniz ve paylaşmanız için mi? Tabii ki hayır! Günümüzde birçok marka sosyal ağlarda yerini alıyor. Sosyal ağlarda takip edilmek için çeşitli yarışmalar yapıyor ve hediyeler dağıtıyor. Önemli olan, hedef kitle ve potansiyel müşteriler ile doğrudan iletişim kurabilmek. Bu şekilde markanın müşterileri de ciddiye alındıklarını hissediyor. Herhangi bir şikâyetleri olduğunda markanın kendisine derdini anlatabiliyor ve sorunu doğrudan çözümleyebiliyor. Markalar için sosyal medya hem pratik hem tasarruflu.

Page 14: Big data

BÜYÜK VERİ VE KULLANIM ALANLARI• Facebook kullanan 1 milyarın biraz üzerindeki

kullanıcılardan birisiyiz. Her gün 500 milyondan fazla tweet atıyor, ayda 6 milyar saatten fazla youtube izliyoruz. Gittiğimiz yerlerde swarm ile check-in yapıyor, akıllı telefonlarımız ile çektiğimiz fotoğrafları ınstagram’a atıyor, yediğimiz yemekten izlediğimiz filme kadar yaptığımız her şeyi sosyal medya üzerinde paylaşıyoruz. Tüm bunları yaparken de devasa büyüklükte veriler oluşmasına katkıda bulunuyoruz. Üstelik sosyal medyada paylaştığımız tüm bu veriler bizler hakkında önemli bilgiler içeriyor. O nedenle şirketler sosyal medya analizine artık çok daha fazla önem veriyorlar. Sosyal medya analizi ise büyük veri analizi demek aslında.

Page 15: Big data
Page 16: Big data

Nodexl adlı excel eklentisiyle yapılmış bir Twitter analizi. Bize, belirli bir konu hakkında kullanıcıların oluşturduğu toplulukları ve bunların birbiriyle etkileşimlerini gösteriyor.Örnekte, «Rusya» hakkında konuşan 500 kişi gösterilmekte.

Page 17: Big data

BÜYÜK VERİ VE KULLANIM ALANLARI• Satış ve Pazarlama: Müşterilerin geçmiş tüketim bilgisi, yaşam stilleri;

beğenileri ile lokasyon ve satın alma bilgisi ile tamamlayıcı ürünlerin tavsiye edilmesi gibi yöntemler büyük veri ile mümkün durumda.• Şirketler büyümek istiyorlarsa her müşterinin zevklerini, tercihlerini, ne

zaman alışveriş yapabileceğini önceden bilerek, sattıkları ürünler kadar, satış sürecini de kişiye özel hale getirmek zorundalar. Çünkü artık bunları sistemli bir şekilde uygulayabilen şirketler öne çıkıyor.

«Bekleyin, size siz neyi istediğinizi bilmeden önce istedikleriniz için reklamlar, kuponlar bile yollayacağız.» ANDREW POLE

Page 18: Big data

HAMİLELİK ENDEKSİ• Andrew Pole, 2002 yılında ABD’de

Target adlı bir hipermarkette çalışan istatikçiydi. Target, çok eskiden beri müşterilerin oturdukları yerden aldıkları ürüne kadar her türlü bilgiyi saklayan bir «misafir kimlik numarası» kullanıyordu. Bir gün, pazarlama bölümünden iki kişi geldi ve Andrew’a «Hangi müşterinin hamile olduğunu müşteriye sormadan kestirebilir misin?» diye sordu!

Page 19: Big data

HAMİLELİK ENDEKSİ• Andrew Pole’un şirketteki görevi, alışkanlıklar ile ilgilenmekti.

Satın alma alışkanlıkları, mezun olma, evlenme, taşınma, hamilelik gibi önemli durumlarda değişiklik gösteriyordu. Önemli olan, olayların zamanını tahmin edebilmekti.• Andrew Pole, hamile olduğu bilinen müşterilerin hangi haftalarda

hangi ürünleri aldığını inceleyerek bir endeks hesapladı.• Bu endeksi kullanarak çeşitli reklam mailleri ile potansiyel

müşterileri satın alma konusunda uyarabildiler.

Page 20: Big data

HAMİLELİK ENDEKSİ• Uygulama sırasında bir gün

telefon geldi. «Kızıma hamile reklamları göndermeye utanmıyor musunuz?» diyen bir baba reklamlardan şikayetçi oldu.• Ancak, birkaç ay sonra aynı

baba telefonla özür dilerken, « Özür dilerim, benim evimde olan bitenden haberim yokmuş» dedi.

Page 21: Big data

BÜYÜK VERİ VE KULLANIM ALANLARI• Hastaneler; hastalarına yönelik etkili, bireysel, kişiselleştirilmiş,

tıbbi hizmetler sunabilmek için, bireysel bazdaki verileri kendi sayısal ortamlarında depolamaktalar.• Bankalar, müşterileriyle ilgili olarak toplayıp sakladıkları bilgiler

yoluyla, kullanıcısını tanıyan, internet şubesine o gün ne için girdiğini bilen ve buna göre ana sayfayı, menüyü en etkin hale getiren, müşterisine hatırlatmalar yapan, özelleştirilebilir arayüzler sunan, zengin içerikli, hızlı ve kullanışlı bir 7/24 şube haline geldi.• İlaç sanayisinde; örneğin "kanser araştırmaları" için oluşturulan

büyük genomik veritabanları, araştırmacıların sürekli erişimine açık olmak durumundadır.

Page 22: Big data

• Büyük veriye ilişkin iki uç görüş var. İlki, her derde deva olduğu yönünde. Kansere çareden, işletme kârlarının artırılmasına kadar her şeyin çözümü olabilir.• Diğer görüşte ise, George Orwell’ın her şeyi

gözetleyen Büyük Birader’inin kardeşi gözüyle bakılıyor. • Daha, «Ürettiğimiz verinin sahibi kim?

Hangi verinin toplanacağına kim karar verebilir?» sorularının cevapları ortada yok. Şimdilik veriyi elde eden sahibi olarak görülüyor.

Page 23: Big data

BÜYÜK VERİNİN KATKILARI• Büyük veri şimdi emek ve sermaye gibi önemli bir üretim faktörü.• Büyük veri, müşterilere, organizasyona, ürünlere, pazara ilişkin

ayrıntılı verilerle değer oluşturabilir.• Pazar bölümlendirmesi yapılmasını sağlayabilir.• Büyük veri ile karar vermede daha karmaşık analiz teknikleri

kullanılabilir.• Yeni ürün ve hizmetlerin geliştirilmesine, iyileştirilmesine olanak

sağlayabilir.