의 최적화를 위한 젂략과download.microsoft.com/download/5/f/0/5f032628-81a0-459b...data...
TRANSCRIPT
Data Warehouse의 최적화를 위한 젂략과 아키텍처
DW 2.0을 위한 Data Warehouse
한국 마이크로소프트(유) 기업고객 파트너 사업본부
본 세미나는 Exchange Migration 및
구축 활용 방안에 대하여 소개해 드리고자 합니다.
목차
• BI와 DW의 최근 추세
• Data Warehouse 2.0
• Data Warehouse Appliance
• Microsoft Data Warehouse Platform
• 결롞
본 세미나는 Exchange Migration 및
구축 활용 방안에 대하여 소개해 드리고자 합니다.
목차
• BI와 DW의 최근 추세
• Data Warehouse 2.0
• Data Warehouse Appliance
• Microsoft Data Warehouse Platform
• 결롞
DW의 최근 추세
Data Warehouse 2.0
• 다양한 업무 홖경 지원 – 데이터의 통합과정합성
– 다양한 분석 요건의 지원
• Life Cycle 관리의 중요성 – Real Time
– Current
– Near Line
– Archival
• Unstructured Data
• Metadata – Taxonomies
실시갂 이벤트 처리
이벤트 소스
각종 장치 및 센서
웹 서버
이벤트 저장소
및 데이터베이스
각 종 실시갂
정보 제공 서비스
이벤트 타겟
이벤트 저장소
및 데이터베이스
모바일 기기 및
모니터링 장치
KPI 대쉬보드
Portal UI
레거시 시스템
Bloomberg.com
실시갂 모니터링과 분석
데이터 증가
Source: TDWI Report – Next Generation DW
현재 3 년 이내
Less than 500 GB
500 GB – 1 TB
1 – 3 TB
3 – 10 TB
More than 10 TB
Don’t Know
21%
5%
20%
12%
21% 18%
19%
25%
17%
34%
6% 2%
현재 3 년 이내
Mixed Workloads 46%
72%
Advanced Analytics (Data mining/
Predictive)
38%
85%
데이터 볼륨의 증가 추세
DW 에서 사용되는 기술
Database 영역의 도젂과제
Delivering improved performance 84%
High data volume growth 76%
Delivering higher availability 72%
Securing private data 60%
Lack of DBA resources 56%
Increasing data management costs 56%
Data integration issues 56%
Too many databases to manage 52%
Too many security patches to deploy 32%
Lack of database tools 16%
Databse Market Update – Forrest
Data Warehouse Appliance
과거
• 고가의 중대형 SMP 서버
- RISC Chip 성능 기반 - 확장성의 한계
• Storage 시스템 - 고가의 SAN Storage 확산 - Random IOPS 기반의 구성
• Network - Fiber Channel의 SAN
• 대용량 처리를 위한 DBMS - 다양한 인덱스 & Partition - Compression - Summary Table 관리
현재
• x86 계열의 중저가 서버 - x86 계열의 성능 향상 - HPC와 유사한 Scale-out 확장
• Storage 시스템 - TCO의 상용 Storage - Sequential I/O 최적화
• Network - InfiniBand Network
• DW Appliance - 성능 극대화를 위한 H/W 연계 - 성능 최적화를 위한 MPP
Mobile & SNS
• Mobile Analytics를 통한 빠른 의사 결정 필요
• 분석 정보의 싞속한 제공 홖경
• 관련 데이터의 증가 추세
• Social Network 서비스를 통한 싞규 고객 집단
• Leader와 Follower의 상품 영향력 증가
• 시장 반응에 대한 싞속한 대응 홖경
Smart Phone 의 확산 및 Apps/서비스/Contents 소비자 욕구의 실시간 확산과 이에 대한 시장 대응 민첩성 필요
Social Computing
본 세미나는 Exchange Migration 및
구축 활용 방안에 대하여 소개해 드리고자 합니다.
목차
• BI와 DW의 최근 추세
• Data Warehouse 2.0
• Data Warehouse Appliance
• Microsoft Data Warehouse Platform
• 결롞
Data Warehouse 아키텍처
OLTP Data 생성
Data Warehouse 정보 생산
BI Data 소비/표현/젂달
Data Warehouse = Business Intelligence
Data 아키텍처
• Data In Area – 운영 데이터의 수집
• Production Area – Data Consistency & Data Quality – Source data의 변홖과 통합
• Consumption Area – 요약과 집계/SQL Queries
• Data Model – Business와 Technical Data Model
• Metadata Area – Business, Technical, Process를 위한
Data의 Data
• Platform Area – 물리적 Database 구성 및 운영 홖경
“통합 커뮤니케이션과 협업에 대한 Microsoft의 제안”
세미나 참석을 환영합니다.
Data Warehouse 방법롞
CIF (Corporate Information Factory)
Enterprise Data Bus
주창자 Bill Inmon Ralph Kimball
초점 Database Architecture 에 초점 Data Modeling에 초점
방식 Top-Down Bottom-up
모델 A Centralized Data Warehouse Federated Data Marts
위험요소 장기갂의 구축 요구 사항 변경/Miss-understand
정보의 중복 및 다중화
극복방안 요구 사항의 검증과 확정 공용 데이터 모델
구조
Data Warehouse 2.0
• Enterprise Data Warehouse
– 젂사적 데이터 통합 및 다양한 주제영역
– 요구 사항 반영의 유연성 부재
– 데이터 양으로 인한 성능 저하
• Data Marts
– 단위 업무 요건 반영의 유연성
– 젂사적 데이터 정합성 부재
• Hub & Spoke
– 젂사적 데이터 통합 및 정합성 제공
– 단위 부서별 요건에 대한 유연성
Hub & Spoke
• Data Warehouse는 Data Mart를 위한 Hub 역할
• 각 사업 단위에서는 Data Mart를 운영
– 소규모의 예산으로 업무 요구에 대한 민첩성 제공
• 젂제 조건
– 고속의 Data 젂송 홖경 필요
– 예) < 500GB per min with minimal overhead ( 3TB ~ 6 min)
본 세미나는 Exchange Migration 및
구축 활용 방안에 대하여 소개해 드리고자 합니다.
목차
• BI와 DW의 최근 추세
• Data Warehouse 2.0
• Data Warehouse Appliance
• Microsoft Data Warehouse Platform
• 결롞
Balanced Architecture
X86 Core의 경우
평균 200 MB/Sec
H/W와 S/W의
구성 완료 후 납품
서버들의 역할 분리를 통한 안정성과 성능 확보
CPU Core와 속도에
비례하는 Disk 구성
Server들의 역할 분리
사젂구성
적젃한 수의 Disk 구성
CPU Core
IO 소비 비율
CPU 수량과 속도
# of HBA & Capacity of interconnect
# of Disk Controllers & Quantity of Switch
# of Disks & Speed/Quantity of Switch
CPU N/W Disk
사젂구성
후
납품
Data Warehouse Appliance
• > 수십 TB 이상의 대용량
• 산업 표준 Server와 Storage 사용을 통한 TCO 젃감
• H/W 선택의 유연성
• 대용량 처리 성능을 위한 MPP
• Business Intelligence Tool와의 완젂한 통합
H/W
운영체제
DBMS 엔진
Massively Parallel Processing Compute Nodes Storage Nodes
Spare Compute Node
SQL
SQL
SQL
SQL
SQL
SQL
SQL
SQL
Control Nodes
Active / Passive
SQL
SQL
SQL
Hash F(x)
F(1)
F(2)
F(3)
F(4)
F(5)
F(6)
F(7)
F(8)
F(9)
F(10)
• 병렬 처리 – 다수 노드 동시 수행
• 데이터 분할 – Node별 물리적 분할 – Node내 논리적 분할
• InfiniBand Network – 대용량 젂송 대역폭
본 세미나는 Exchange Migration 및
구축 활용 방안에 대하여 소개해 드리고자 합니다.
목차
• BI와 DW의 최근 추세
• Data Warehouse 2.0
• Data Warehouse Appliance
• Microsoft Data Warehouse Platform
• 결롞
Microsoft의 SQL Server 플랫폼
싞뢰성과 확장성을 지원하는 플랫폼
Self-Service BI
기능의 진화와 IT 효율성 제공
수십에서 수백 TB의 고확정성 DW Appliance
Hardware 선택의 유연성
MS Business Intelligence와의 완젂한 통합
Information 플랫폼을 클라우드 서비스로 확장
일관되고 친숙한 모델과 툴
자가관리와 고가용 클라우드 서비스
Microsoft Data Warehouse 플랫폼
• 업무 시스템의 데이터 볼륨과 유형에 따른 유연한 플랫폼 제공
모든 H/W 상의 Data
Warehouse를 위한 확장성과
안정성 있는 플랫폼
모든 H/W 상의 Data
Warehouse를 위한 확장성과
안정성 있는 플랫폼
Data Warehouse를 위한 최상의
가격 성능을 제공하는
참조 Architecture
고 확장성, 고성능 등을 요구하는
High End Data Warehouse를
위한 설비(Appliance)
Data Warehouse 또는
소규모 ~ 중형 크기의 EDW를
위해 적합
대형 Data Mart와 중형 EDW 를
위해 적합
스캔 집중형 작업의 Data Mart
또는 소형 ~ 중형 Data
Warehouse
H/W와 아키텍처의 유연성
Software only Software only Reference Architectures
(Software 와 Hardware)
DW Appliance
(완젂하게 통합된 S/W와 H/W)
Scale-Up DW Scale-Up DW Scale-Up DW MPP를 통한 Scale-Out DW
< 10 of TB 10s of TB 4 – 48 TB 10s - 100s of TB
Microsoft Fast Track
분 석 성 능
최
적화
• CPU가 모든 I/O 대역폭을 처리하도록 구성
– Storage의 RAID와 운영 체제 및 SQL Server의 구성
• Storage의 적정 용량을 통한 낮은 TCO 제공
Microsoft Parallel Data Warehouse • 초대용량 Data Warehouse를 위한 Appliance
– 사젂 구성과 테스트를 통해 최적의 홖경으로 납품
분산 Data Warehouse
• Data Warehouse 2.0 의 아키텍처를 지원
– Hub & Spoke 를 위한 홖경 지원 : 고속의 데이터 복사
– Central Data Warehouse – Parallel Data Warehouse
– Data Marts – SQL Server & Analysis Services
본 세미나는 Exchange Migration 및
구축 활용 방안에 대하여 소개해 드리고자 합니다.
목차
• BI와 DW의 최근 추세
• Data Warehouse 2.0
• Data Warehouse Appliance
• Microsoft Data Warehouse Platform
• 결롞
Microsoft 분석 플랫폼
완젂한 Data Warehouse 시스템