TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL

TURKCELL’in EXADATA Yolculuğu

Kasım 2010

Turkcell Hakkında• Türkiye’nin Lider GSM Operatorü• 33.9 Milyon abone (Temmuz 2010)• Avrupa’nın 3. büyük GSM operatorü (abone sayısı bazında)• 8 Farklı ülkede iştirakler / toplam 60 Milyon + abone

• 150 tanesi Production olmak üzere 500 den fazla Oracle Veritabanı

• 20 tane DBA

Özet

• Turkcell’in DW domainindeki en büyük veri tabanı 100 TB (~250 TB uncompressed ) EXADATA DBM v2 Full SAS

• 3 Ayrı alanda 10 kat kazanç• Aylık 50bin raporluk sistemde ortalama 10x performans artışı sağlandı.• Veri büyüklüğü 10x küçüldü. (250TB -> 25TB)• Sistem Odasındaki kabinet sayısı 11’den 1’e düştü.

• Yatayda büyüyebilme imkanı sağlandı.

Turkcell Veri Akışı

RaporlamaMSTR

ETLAB Initio

Oracle ODIKaynak

DB

Exadata

Diğer DWH DBleri

Verinin Büyüklüğü• 1.5 Milyar CDR / gün• 600 -1000 GB ham data / 20+ kaynak veri tabanı• Dosyalarda işlenen 5 TB / gün• 2-3 TB veritabanına yükleme

Turkcell Veri Akışı / Uygulama Sunucuları

ETL Ortamı• AB Initio – 8 Node Linux Cluster• Hergün yükleme 19:00 - 08:00 (SLA) • Tablolar Sql*Loader ile 16 paralel yükleniyor.

Raporlama Ortamı• MSTR (Microstrategy)• 300+ Kullanıcı • 3000 farklı rapor / aylık 50 bin rapor• Çalışma aralığı 08:00 – 22:00 (SLA)

Fiziksel Dönüşüm

EMC DMX-470 TB

HITACHI USP-V50 TB

Sun M9000 Sparc 7176 Threads

ORACLE Exadata V2

OLD SYSTEM NEW SYSTEMServer Model Sun M9000 Oracle Exadata V2Cpu Type Sun Sparc 7 2.52 GHz Xeon® E5540 Processors 2.53 GHzNumber Of Cpu Threads 176 128Total Main Memory 512 GB 576 GBTotal Storage Capacity 120 TB 30 TBStorage Connection Technology Fiber Channel (32 x 4 Gtbit/s) Infiniband ( 8 x 40 Gbit )Storage Maximum IO Throughput Capacity 5 GB/s 21 GB/sServer + Storage units Total Power 57 KVA 20 KVAServer + Storage units Total Form Factor 11 Rack 1 RackApproximate Data Backup Duration 44 Hours 14 Hours Number of Backup Tape Cartridges Per Backup 159 57

Neden Exadata?

Basit Mimari• Sun M9000 & on(10) Disk kabineti yerine sadece 1 makine• Tek DESTEK Noktası

• Eski sistemde kurulum ve 5GB/s için aylarca uğraşıldı. • Exadata 5 gün içinde hazır.• Her sorun için TEK DESTEK Noktası.

Yatayda ölçeklenebilme • Veri her zaman ARTAR! Boyut her yıl 2’ye katlanıyor.(45TB to 100TB)• Eski disk mimarileri sınırlıdır.• 600+ disk max I/O throughput of 5 GB/s. yerine 168 SAS disk max I/O

throughput of 21 GB/s.

Neden Exadata?0-

5 dk

5-10

dk

10-3

0 dk

30-4

5 dk

45-6

0 dk

1-1.

5 sa

at1.

5-2

saat

2-2.

5 sa

at2.

5-3

saat

3-3.

5 sa

at3.

5- 4

saat

4 sa

at u

zeri

0-5

dk5-

10 d

k10

-30

dk30

-45

dk45

-60

dk1-

1.5

saat

1.5-

2 sa

at2-

2.5

saat

2.5-

3 sa

at3-

3.5

saat

3.5-

4 sa

at4

saat

uze

ri0-

5 dk

5-10

dk

10-3

0 dk

30-4

5 dk

45-6

0 dk

1-1.

5 sa

at1.

5-2

saat

2-2.

5 sa

at2.

5-3

saat

3-3.

5 sa

at3.

5- 4

saat

4 sa

at u

zeri

0-5

dk5-

10 d

k10

-30

dk30

-45

dk45

-60

dk1-

1.5

saat

1.5-

2 sa

at2-

2.5

saat

2.5-

3 sa

at3-

3.5

saat

3.5-

4 sa

at4

saat

uze

ri0-

5 dk

5-10

dk

10-3

0 dk

30-4

5 dk

45-6

0 dk

1-1.

5 sa

at1.

5-2

saat

2-2.

5 sa

at2.

5-3

saat

3-3.

5 sa

at0-

5 dk

5-10

dk

10-3

0 dk

30-4

5 dk

45-6

0 dk

1-1.

5 sa

at1.

5-2

saat

2-2.

5 sa

at2.

5-3

saat

3.5-

4 sa

at

Temmuz (05-11) Temmuz (12-18) Temmuz (19-25) Temmuz (26-01) Agustos(02-08) Agustos(09-15)

0

1000

2000

3000

4000

5000

6000

2486

6481161

3141931771394049332987

2944

6651403

4892712601125245351775

2227

5411023

3611791921075734282588

3284

454346883328 9 5 2 4 0 6

4827

376199342214 3 2 1 3

4750

4192523519 4 2 1 1 1

Haftalık Rapor Sayıları & Süreler

25 min 27 min 7 min 3 min 3 min25 min

Ort Süre

Exadata Migration

Performans İhtiyaçları• Aylık 50 bin rapor.• Ortalama rapor süresi 27 dakikadan 3 dakikaya düştü.• 5 dakikadan kısa süren raporlar %45 ‘ten %90 ’a çıktı.• 4 saatten uzun süren rapor sayısı 87 ‘den 1 ‘e düştü.

Proje Ayrıntıları

Ne değişiyor?• Exadata V2 makinesine geçiş• Oracle Version değişimi (10.2.0.4 11.2.0.1)• Single Instance RAC

4 Aylık (Nisan-Temmuz) güven testi• Crash Testleri • Network Hız Testi ( 10G mi / IB mi )• Backup/Restore • Performans Testleri (RAT, Rapor süreleri, yükleme süreleri)

Projenin Zorlu Noktaları

• 30 TB’a sığacak mıyız? (~100 TB 10g sıkıştırılmış)• 2 günde nasıl taşıyacağız ?

• Ne kadarı read/only yapılıp önceden taşınabilir? • Ne kadarı daha sonra taşınsa olur?• Ne tür bir network kullanılmalı?

• 8-nodlu RAC ? Önceki tecrübeler yeter mi? • Geri dönüş planı: Paralel yükleme?

Taşıma

• DB Link üzerinden Insert/append• Platform ve version değişimi• TTS, ASM Rebalance, Backup/Restore bize uygun değil.

• Turkcell tarafından yazılmış PL/SQL kodu• Uğur DEMİRELÇE• Metadata (Tablespaceler düzenlendi)• Partition bazında 128 paralel Insert/Append

• 40 TB veri taşındı.• Transfer hızı 300 MB/s, yaklaşık 1,1 TB/saat • 36 saatte tamamlandı • HCC için yüksek CPU kullanımı

• 20 TB read/only önceden , ~40TB aylık veri daha sonra

Test Gerçek oldu!

• Yaşanacak sorunları görmek için 3 hafta önce test taşıması• Son kullanıcılar geri dönmemize izin vermediler. • Planlanandan 3 hafta önce taşıma bitirildi.

• Paralel yüklemeler 3 hafta boyunca devam etti.• Kutlan MANİSALI / Koray KETANİ• Ay geçişi dahil her ortamda sistemin tutarlılığı görüldü.

Sıkıştırma / Sıralama

Eski sistem 10gR2 Sıkıştırma• ~2-3 kat ~250TB veriyi 100TB’a indiriyordu.

Exadata V2 HCC• Veri 250TB 25TB (Data) + 5TB (Temp) = 30TB • HCC Query High – Sıkıştırma Oranı ~7-10x • Archive sıkıştırma daha verimli ancak CPU kullanımına dikkat!

http://ferhatsengonul.wordpress.com/2010/08/09/getting-the-most-from-hybrid-columnar-compression/

SORT COMPRESS SIZE (GB) RATIONOSORT NOCOMP 137,59 1NOSORT Q_HIGH 21,21 6,48SORT_A Q_HIGH 12,18 11,29SORT_B Q_HIGH 15,37 8,95SORT_A_B Q_HIGH 11,64 11,80

Raporlardaki İyileşmeReport Name Old System Exadata by…X

CRC Control Report 0:15:48.73 0:05:06.07 X2

prepaid bireysel toplam harcanan kontor tl 8:02:10.59 1:51:33.20 X4.3eom_equipment_utilization report 0:38:17.77 0:00:23.34 X163Eom equipment arpu report 0:09:46.25 0:02:08.00 X4.5Son 10 gun icinde yapilan gonderimler 0:17:57.95 0:00:37.61 X45.7Rapor 01. Satış Kanalı Kırılımında Blackberry 0:03:22.24 0:00:00.66 X487

İnternet Paketleri Postpaid paketiçi ve paket 0:05:41.34 0:01:00.34

X4.3

Connectcard Fatura tutarları 0:31:32.38 0:00:46.51 X66.3

Connectcard Aktivasyon 0:25:21.00 0:00:54.88 X44.9

• Aylık 50bin rapor• Bazı raporlarda 400x bazılarında 10x

Exadata ile Yaşamak

RAC’tan korkmaya (artık) gerek yok.• Scan-IP sayesinde yük nodelara dağılıyor.• Yoğun PQ kullanımı sorunsuz.• Hala çok fazla log var.• Temporary Tablespace alanına dikkat!

Exadata tutarlı ama ilgi istiyor.• Bütün bir cell i ya da tek bir diski ya da flash disklerden birini

kaybettiğimiz durumda bile hizmet kesintisi yaşanmadı.

Enterprise Manager izleme için gerekli• Grid Control • SQL Monitor

Son Kullanıcı yorumları

• Altyapı degişiklikleri ile performans kazancı olacak laflarını çok duymuştuk fakat bu sefer aldığımız sonuçlar karşısında şok olduk. Rekabetin hiç durmadan devam ettiği bu ortamda daha hızlı aksiyonlar alabilecegiz.

• XDDS tek kelime ile muhteşem, hiç bir rapor 10 dakikadan uzun sürmüyor. Eskiden 3-4 saat bekledigimiz raporlar 3-4 dakikada geliyor, gerçek değil gibi ama gerçek.

• “Beni korkutuyorsun MSTR” facebook statusü.

Yolculuğun Devamı

• 2. hatta 3. Rack’ı eklemek• DWH ‘la bağlantılı veri tabanlarının da exadataya

taşınması.• OLTP• Real-Time DWH

TROUG

Türkiye Oracle Kullanıcıları Grubu kuruldu.

Teşekkürler

Sorular

www.turkcell.com.tr

Ferhat ŞENGÖNÜLferhat.sengonul@turkcell.com.tr