cem kubilay

“BİR”LİKTENGÜÇ DOĞAR

Yeni Nesil Veri Ambarı

Cem KubilayTeradata Türkiye

Ajanda

• Trendler• Yeni Disk Teknolojileri• Temporal Veritabanı• Molap’tan Rolap’a• In Database Analitik• Aktif Veriambarı

Veri Ambarında Trendler

Problems on current DW’s

Source: TDWI 2009 BP Survey. 1752 responses from 417 respondents.

Analitik

Real-Time

Ölçeklenebilirlik

‘’Old’’ Stuff

Karışık iş yükü

‘’Modern’’ Stuff


Yeni Disk Teknolojileri

SSD Disk Nedir?

• Solid-State Disk (SSD) Data depolama ünitesi> Hard disk ile aynı elektriksel ve fiziksel paket> Bir grup flash memory grubudur.

Geleneksel Hard Disk Solid State Disk

SSD Vs Geleneksel Hard Disk

Kurumsal SSD (2009)

Kurumsal 15K HDD (2009)

IOPs (4 KB) 10.000 100

Bant genişliği (MB/s) >225 >150

Random I/O geçikmesi (sec)

Microseconds (10-4) Milliseconds (10-3 )

Aktif Güç (watt) <2W 12-18W

Bekleme Durumunda Güç (watt)

<1W 4-10W

Max Kapasite (GB) 256 GB 600 GB

• Hem elektrik kullanımı hem de performansta daha iyi.

Veri Ambarında en yüksek hızExtreme Performance Appliance

• Teradata Blurr Teknolojisi üzerine kurulu> SSD teknolojisi ile yaratılmış ilk veri ambarı

platformu> Endüstri lideri Teradata Veriambarı

platformunun performansını yükseltir.

• SSD “Kurumsal Kullanıma Hazır”> Yüksek performans kazancı> Yüksek süreklilik

• Teradata 13 > Yüksek performans

• Teradata Platfrom Ailesinin bir üyesi> Güvenilir donanım/yazılım ve özellikler

Blurr™ TechnologyBlurr™ Technology

•Blurr Teknolojisi yüksek performas sağlar> Saniyede 4 milyon I/O

– Diğerleri @ 1 milyon IOPS

> Saatte 9TB+ veri yükleme– Diğerleri saatte 5TB

> Günümüz veriambarlarından 18 kat daha hızlı

SSDSSD

Veri Ambarında en yüksek hızExtreme Performance Appliance

Çok katmanlı hibrid mimaride SSD (2011)

300GB SAS

Drives

1 TBSATA Drives

Solid State Drives (SSD)

Geleneksel Performans

ArşivVeri

YüksekPerformans

Oto

mati

k v

eri

taşım

a

Teradata Active Enterprise Data

Warehouse


Temporal Veri Tabanı

“Time Aware” Database

Source: Temporal Data and the Relational Model by C.J. Date, H. Darwen, N. Lorentzos

Temporal veritabanı nedir?

• Temporal veritabanı zaman boyutu için özel bir destek sağlar.Tarihsel veriyi tutma, sorgulama ve güncelleme için tasarlanmış özel bir yapı.

• Geleneksel veritabanı sistemleri– piyasada şuanda varolan tüm sistemler dahil– bu anlamda temporal değil: Aslında hiçbiri tam olarak temporal desteği vermemektedir.

Önemli fonksiyonlar

• VALID TIME gerçek dünyada bir şeyin geçerli olduğu zaman dönemi

• TRANSACTION TIME verinin veritabanına yazıldığı zaman

• BI-TEMPORAL DATA valid time ve transaction time’ın birlikte tutulduğu sistem

• Valid Time ve Transaction Time herhangi bir şey için aynı olmak zorunda değil

Örnek

• Create table musteri_statu ( musteri_no integer, statu Char(1), valid_time period(date) not null as validtime);

• Insert insert into musteri_statu values (1,’A’period '(2010-01-01,UNTIL_CHANGED)');

• Update update musteri_statu set statu=‘B’ where musteri_no=1;

musteri_no statu valid_time1 A (2010-01-01,9999-12-31)

musteri_no statu valid_time1 A (2010-01-01,2010-11-23)1 B (2010-11-23,9999-12-31)

Örnek

01/01/2010 23/11/2010

31/12/9999 (eternity)

MusteriNo = 1

MusteriNo = 1

musteri_no statu valid_time1 A (2010-01-01,2010-11-23)1 B (2010-11-23,9999-12-31)

Select * from musteri_status where musteri_no=1 and validtime as of DATE ‘2010-11-21’

Select * from musteri_status where musteri_no=1 and validtime as of DATE ‘2010-11-25’

Temporal verinin faydaları

Teknik olarak• Sorgu karmaşıklığının azaltılması

>Zaman yönetimi yerine veri içerisindeki ana değerlerle çalışma>Geliştirme ve bakım sürelerinde azalma

İş faydaları• İş Zekası uygulamalarının veri derinliğinin arttırılması

>Belirli bir andaki verinin sorgulanması ve olay zincirinin yönetimi>Tarihsel veri içerisinde daha önceden bulunmasında zorlanılan iş

faydalarının sağlanması>Olayların tarihsel yönetiminin kolaylığı


MOLAP’tan ROLAP’a

Yeni nesil küp uygulamarı

Star Şema

İşZekası

ÇözümleriKararDestek

Sistemleri

3NF Schema

Pazarlama Yönetim Analist Finans

İş Zekasında çok boyutlu modelleme

Uygulama Yöntemleri• Üçüncü Normal Form

> Ad-hoc analiz için> Esnek ve genişletilebilir> En detay veri sağlar> Farklı açılardan iş görüntüsü

sağlar> Karar destek sistemleri için

önemli

• Star/Snowflake Şema> Daha önceden belirlenmiş iş

soruları optimize> Önceden özetlenmiş veri sağlar> Raporlama ihtiyaçlarını modeller> İş Zekası ve OLAP raporlama için

hazırlanmış

Yönetim Analist Satış

Fiziksel küler(MOLAP)

Çok boyutlu görüntü

İş Zekası görüntüsü• Verinin çok boyutlu görüntüsü• Özetlenmiş veri• Detay veriye drill down

OLAP Uygulamaları• Farklı katmanlarda detay veri• Verinin özetlenmesine dayalı

mimari

Teradata Veri Ambarı• Drill-through• Drill-down• Daha hızlı küp yapısı• Güçlü OLAP motoru

ilişksel OLAP(ROLAP)

Hibrid OLAP(HOLAP)

01101100101011011

1

01

İş Zekası uygulama şekilleri

Finans

MOLAP ROLAP Karşılaştırması

Molap• Veri özetlenerek başka bir

platforma çıkılır• Fazladan disk alanı

gerektirir• Veri güncel değildir• Baştan yaratılması zaman

alır• Ölçeklenebilirlik problemleri• Detay veri analizi zordur• Bakım yönetim problemleri

Teradata Rolap• Özet veri bir indeks olarak

tutulur• Disk alanı ihtiyacı

minimumdur.• Veri veritabanına girdiği anda

analiz için hazırdır.• Yaratılması kolaydır.• Ölçeklenebilir• Detay veri sorgulanı, optimizer

tarafından kullanılır• Bakım yönetim problemleri

yoktur

Multi-dimensional View(BI Tools)

PI, PPI, AJI, Views

Teradata üzerinde İş Zekası

• Teradata Faydaları> Veri derinliği artat> Analitik veri sorgulama süresi azalır> Veri geçikmesi ortadan kalkar> Disk alanı ihtiyacı azalır> Ölçeklenebilirlik sorunları ortadan

kalkar> Düşük toplam sahip olma maliyeti> İş yükü Teradata tarafından karşılanır.

Bankacılık – Lloyds TSB

Problem

• Karışık ve koordine olmayan bir İş Zekası platformu• Ölçeklenebilir , çok teknik bilgi gerektirmeyen ve

esnek bir çözüm arayışı• Analist SQL cümlecikleri yazmakla çok fazla vakit

kaybetmekte• Standart ve günlük raporları yaratmak için yüksek

efor. • İş birimlerinin veriye doğrudan olmayışı

Çözüm

• ROLAP modunda MS Sql ServerAnalysis Services 2005• Teradata Aggregate Join Indexes ile MOLAP

fonksiyonu• Veri duplikasyonu ortadan kalkar• Büyük veri transferi yapılmaz

Sonuçlar

• Tek boyut üzerinde sorgular <1 sn vs. 40 sn• Tüm boyut üzerinde sorgular 2 sn vs. 7 dakika• Diğer tüm sorgular saniyeler içerisinde

Etki

• Raporlama süresi dakikalardan saniyelere

• Kolay kullanım• İstenilen tüm veriye kolay erişim,

zaman kazanımı• Tutarlı raporlama ortamı• Az kişi ile daha çok iş• Daha düşük Toplam Sahip Olma

Maliyeti

Telekomünikasyon – Verizon

Problem

• Ölçeklenebilirlik problemleri• İş tarafının artan isteklerine cevap verememe• Varolan mevcut altyapı, son kullanıcı isteklerine

cevap vermede yetersiz.

Çözüm

• ROLAP Küpler: En efektif çözüm• Kullanılabilir altyapı• AJI• Farklı işyüklerinin yönetimi• Konfigure analitik servisler

Sonuç

• Azalan depolama ünitesi kullanımı• Zaman Kazancı• Yüksek performans• Artan iş faydası• Azalan donanım gereksinimi• Azalan geliştirme ve bakım süreleri

Etki

• Yüksek sayıda boyut ve ölçüm desteği

• Model esnek ve ölçeklenebilir• Önceden belirlenemeyen trendler

şimdi kolaylıkla bulunabiliyor.• Veriambarı içerisinde bulunan

tüm veriye drill down olanağı

Kübün yaratılma süresi: 13 saatten 3 dakikayaKüp Boyutu: 22.4 GB’tan 10GB altınaVeri Detayı: Aylık özetten to Günlüğe


In-Database Analitik

Teradata ile SAS işbirliği veri madenciliğini veritabanı içine taşıdı

Veri madenciliğinin en genel kullanımında veri, veri ambarından SAS platformuna çıkılır.

Sorunlar • Tekrarlayan veri ve yüksek altyapı maliyeti• Analistlerin çoğu zamanı iş faydası düşük

olan veri hazırlama süreci ile geçer.• Verinin taşınması ve veri kalitesi

problemleri

Eski

Analytic Modelling

SASScoringData

Yeni

SASScoring

Data

SASModelling

Analytic Modelling

Faydalar

SAS ile Teradata tüm bu süreci veri ambarı içerisine taşıdı

• Maliyet Avantajı: Tek sistem ayrı bir donanım gereksinimi yok

• Analistler veri hazırlama yerine veri analizi yaparlar

• Yüksek hızda skorlama

Rek

abet

Ava

ntaj

ı

Veri HazırlamaVeri Hazırlama

Veri KeşfiVeri Keşfi

İşin Kavranmasıİşin Kavranması

Veri ToplamaVeri Toplama

OperaOperasysyononeel l AnalAnalitik Bakışitik Bakış

Zaman

ModelModelin in Uygulamaya AlınmasıUygulamaya Alınması

SAS ModelSAS Modelii

ModelModelGeliştirmeGeliştirme

Model Model ve Veri ve Veri DönüştürmeDönüştürme

Gelişim Sürecinin %70’i

Model ADS

Skor ADS

Geleneksel Analitik Süreç Zinciri

Rek

abet

Ava

ntaj

ı

İşin Kavranmasıİşin Kavranması

OperaOperasyonel Analitik Bakışsyonel Analitik Bakış

Uygulanabilir İş Zekası

ModelModelGeliştirmeGeliştirme

Zaman

Model Geliştirme ve UygulamaGünlerden Saatlere

Skor ADS

SAS ModelSAS Modelii

“In-Database” Analitik Süreç Zinciri

Select musteri_degeri_skorla (1,’ABC’,2000,......);

STRATEJİK ZEKA

Plan

İÇERİKAKSİYON

OPERASYONEL ZEKA

Sonuç

Veri

Sonuç OlarakAktif Kurumsal Zeka

InsightsInto

Action