giip kb-hadoop sizing

Hadoop Sizing

http://giip.littleworld.net

Hadoop 기본 구성

Name Node(Pri)6Gbps SATA x 2 RAID 1

Name Node(Sec)6Gbps SATA x 2 RAID 1

Job Tracker6Gbps SATA x 2 RAID 1

DataNode016Gbps SATA x 8 RAID 10




10G

bps

10Gbps

10Gbps

10Gbps

10Gbps

10Gbps

10Gbps

10Gbps

● Network는 기본 10Gbps사용

● Storage Network 전용 구간 생성

● Name Node 및 Job Tracker는 RAID 1으로

가성비 위주 구성

● DataNode의 구성 예

○ RAID 0 + 3벌 복제




Sizing 고려사항

Starting Capacity SLA Capacity Planning

Log Data Recycle Data Data Scan Frequency

Data Safty IO Performance

RAID Replica Set Data Node Quantity

구성별 성능표(이론치)

● Data Node Spec : 6Gbps SATA Disk x 8ea● Data Node Quantity : 8ea● Not included network environment● Not included RAID controller environment● Single Disk No RAID = x 1

RAID 0,3 Replica

RAID 10,2 Replica

RAID 5,3 Replica

RAID 6,2 Replica

Read x 21.3 x 16 x 18.6 x 24

Write x 21.3 x 16 x 2.6 x 4

Capacity x 21.3 x 16 x 18.6 x 24

Fault Threshold 1 Disk x 3 Servers

3 Disks x 2 Servers

2 Disks x 3 Servers

3 Disks x 2 Servers

사용패턴 분석에 따른 가중치

읽기 비율 쓰기 비율 IO성능(MB/sec)

75 25 1805

50 50 1518

25 75 1231

● 기준값○ Write : 944 MB/sec○ Read : 2092 MB/sec

● 10Gbps 네트워크 환경에서 2 Replica Set, 4 Data Node에서 사용한 일반적인 속도 (환경마다 다를 수 있음)

● 필요 Throughput에 따른 Data Node 개수 확장 계산에 사용○ 초당 성능이 3GB/sec인 경우 Data Node를 4개에서 8개로 확장하면 약 3.6GB/sec로 조건에 만족할 수 있음.(실측치와는 다를 수 있음)

giip kb-hadoop sizing

Internet