the intranet data warehouse · the intranet date warehouse 3 제4장online analytical processing...

All rights reserved

The Intranet Data Warehouse The Intranet Data Warehouse Richard Richard Tanler Tanler

Ch4 : Online Analytic Processing:Ch4 : Online Analytic Processing:From Data To InformationFrom Data To Information

2000. 4. 142000. 4. 14

투이컨설팅투이컨설팅

이이 보보 현현

22The Intranet Date WarehouseThe Intranet Date Warehouse

제4장 Online Analytical Processing

목적목적

qOLAP의 개념에 대한 이해v기본기능

v역사

vOLAP 도구의 정의

qOLAP 도구의 분류기준vOLAP 도구 분류 기준

vOLAP 도구 선정 기준

““OLAP is a label, rather than a technologyOLAP is a label, rather than a technology””



OLAPOLAP의의 기본기본 기능기능

qq InterfaceInterface : 사용자의 선택이나 제공조건(값)에따른 정보요구에 대한답을산출하기 위한 처리프로세스(또는 명령)를 생성시키는기능

qqQueryQuery : Interface의 명령을 받아 SQL 코드를 생성시키고, DB로부터 데이터를가져오는 기능

qqProcessProcess : ‘Query’의 결과로 DB로부터 전달된 결과값(result set)을 기초로사용자의정보요구에 맞는 분석을수행하는 기능

qqFormatFormat : 데이터를 ‘Pages’, ‘Columns’, ‘Rows’에 따라 이름을 붙이고, 적절하게배치하는기능

qqDisplayDisplay : 정해진형식에 따라 데이터를리포트나 그래프 형태로사용자의 PC에표현하는 기능



OLAPOLAP의의 발전발전 역사역사

q목적 : 비즈니스 의사결정을지원하기 위하여 보다풍부하고 시기적절한 정보를의사결정자에게제공하는 것

DSS

EIS

DIS

BIS

OLAP

1993, E.F. Codd12 Rules for OLAP

ROLAP

MOLAP

DOLAP

HOLAP

Data Mining



OLAP OLAP 도구의도구의 정의정의

q정의v사용자의 정보요구를 충족시키기 위한 모든 S/W 도구들로, DB에 질의(query)를 생성하고결과를 사용자에게 제공하는 단순한 기능만을 수행하는 도구들로부터 추세분석 등 보다복잡한 데이터 분석을 지원하는 기능을 제공하는 모든 S/W 도구들의 총칭

qOLAP 도구의 분류 기준v계산기능의 복잡한 정도l Query and Reportingl Multidimensional Analysisl Statistical Analysis(User-directed)l Data Mining(Agent Processing)

v응용시스템 기술구조(C/S or Server 중심)l 2-Tier Architecturel 3-Tier Architecture

v중간 결과값을 일시보관장소(Cache)에 관리하는 방법l Temporary Database Cachel Temporary External Cachel Persistent External Cache



OLAP OLAP 도구도구 분류기준분류기준 1 : 1 : 계산기능의계산기능의 복잡한복잡한 정도정도

Query and ReportingQuery and Reporting

Multidimensional AnalysisMultidimensional Analysis

Statistical Analysis(UserStatistical Analysis(User--directed)directed)

Data Mining(Agent Processing)Data Mining(Agent Processing)

사용자친밀도

낮음

높음

분석의 복잡 정도 높음



Query & Reporting ToolsQuery & Reporting Tools

qOLAP 데이터 분석의 가장 기본적인 형태qRDBMS만 지원하며, SQL에 의한 질의 만지원

q풍부한 보고서 형식 정의 기능과그래픽 기능(사용이 편리한사용자 인터페이스)qClient에서 SQL 코드를생성하며, 주로마이크로소프트의 ODBC를 이용q다음과 같은 비교적 단순한 계산및 질의에 적합v상태보고(Status Reporting) : 지난달 ‘ABC’상품의 매출액은 ?v (갯)수(Count) : 지난달 식당에서 ‘ABC’신용카드를 사용한 고객은 몇명인가?v목록(List) : 계좌 잔액이 ‘-’인 고객들은 누구인가 ?



Multidimensional AnalysisMultidimensional Analysis

q특정한 현상의 해석이나 의사결정 지원을위하여 DW로부터 정보를찾고연속되는 질문에 답을 하는 기능q강력한 계산 기능을 이용하여 다음과같은 질문에 대한답을 제공함v광고비는 매출액에 어떻게 영향을 미치는가 ?v새로이 진입하는 경쟁자는 누구인가?v현재 판매되는 제품들 중 단종되어야 하는 제품은 무엇인가?v가장 충성도가 높은 고객은 누구(어느 그룹)인가 ?

qReporting Shell을 통하여강력한 정보항해(navigation) 기능을 제공

q차원(Dimension)간의 이동이나 한 차원 내 계층간의이동이 매우 자유로움

q많은 중간합계 값들을 관리함q원시데이터의 4-5배 해당하는 데이터를 산출하여 관리함



Statistical AnalysisStatistical Analysis

q수많은 데이터들간의 연관성을 관계나 공식으로계산하는 기법q주로 사용되는 기법v회귀분석(Regression)v상관분석(Correlation)v요인분석(Factoring)v군집분석(Clustering)

q이러한 모델들을 이용하여 사용자의 ‘What If’질의에 대한답을 제공v판매가격을 ‘10%’낮추면 매출액은 어떻게 될것인가 ?

q 모델의 생성과 검증은 분석가보다는사용자가 수행하는 것이적합



Data MiningData Mining

q분석 대상 데이터들간의 발견되지 않은관계나 패턴을 규명하기위한 것q주로 이탈분석(churn analysis), 부정사용 탐색분석(fraud detection)등예측 모델을생성하는 데 활용

qStatistical Analysis에 Neural Networking과같은 보다 복잡한기능이 추가

q수많은 변수에 따른 다변량 문제분석에 유용(Automated Multivariate Analysis)q사용자를 대신하여 숨겨진 데이터들간의 관계를찾는 대리인(Agent) 역할을 수행

q사용자는 주로 대리인에 의해 생성된모델의 타당성을 검증하고이용만 하는 형태



OLAP OLAP 분류기준분류기준 2 : 2 : 응용시스템응용시스템 기술구조기술구조

2 2 Tier ArchitectureTier Architecture

3 3 Tier ArchitectureTier Architecture



22--Tier ArchitectureTier Architecture

qData 계층을 표현과 로직 계층에서 분리q사용의 편이성과 다양한 표현을 위한기능이 중요함

qQuery & Reporting 도구가 주로 해당

q다량의 결과셋을 산출할 경우 지원미흡q복잡한 분석 기능을 위해서는 SQL 보다는 C, C++ 등과 같은 고급프로그램밍언어 사용

DataWarehouse

DataWarehouse

Interface Query Process Format Display Interface Query

Process

Format Display

SQL Result Set SQL Result Set



33--Tier ArchitectureTier Architecture

q Interface와 Display기능을 수행하는 표현 계층을질의, 처리, 포맷 기능을수행하는로직 계층과 데이터 계층으로 부터독립qApplication Partitioning 기법v각 계층의 적합한 S/W 개발 도구와 API 선정이 가능

v표현 계층은 콤포넌트와 애플릿 등을 사용하여 PC에 D/L 하여 활용

v로직 계층은 IIOP와 CGI를 통해 접근 가능

q장점vPerformance : 적정한 H/W와 S/W로 지원 가능

vScalability : 적정한 H/W와 S/W로 지원 가능

vFlexibility : 응용시스템의 개발이 데이터, 로직, 표현계층에서 각각 독립적으로 가능

DataWarehouse

DataWarehouse

DataWarehouse

Server

Query Process Format

Server


Interface

Display



OLAP OLAP 분류기준분류기준 3 : 3 : 일시보관장소일시보관장소((Cache)Cache)에에 관리하는관리하는 방법방법

qAnalytical Cachev복잡한 계산 기능을 제공하는 OLAP은 작업장소가 필요함

v중간값 또는 결과를 저장하기 위한 ‘Cache’를 이용

vQuery & Reporting 도구는 예외

q3가지 유형vTemporary Database CachevTemporary External CachevPersistent External Cache



일시보관장소일시보관장소((Cache)Cache)에에 관리하는관리하는 방법별방법별 특징특징

qTemporary Database Cache vRDB에 중간값을 저장

v대규모 OLAP 분석에는 부적합

v2-Tier 응용시스템에 적합

vSQL의 한계에 매우 의존적이므로 우수한 Tuning 기술이 필요

v Information Advantage, Inc.의 Decision Suite

qTemporary External CachevC, C++ 등 고급언어가 사용가능하므로 복잡한 응용시스템 구조에 적합

vDW Data의 변경이 매일(또는 매주) 발생하거나 사용자의 정보요구가 매우 비정형적인경우에 적합

vMarketing의 소비자 행동의사결정 시스템

qPersistent External Cachev데이터의 적재 절차가 별도로 수행되어야 함

v데이터가 월단위로 변경되거나 사용자의 정보요구를 쉽게 예측할 수 있는 경우

v재무의사결정지원시스템

vHiperion 사의 EssbasevOracle의 Express



OLAP OLAP 기능의기능의 Intranet Intranet 적용적용 방안방안

qDW의 데이터를 추출하여 Intranet 을 통하여최종 이용자 원하는형태로 제공하는기술 구조의 유형

q4가지 유형

qType 1 : Static HTMLqType 2 : 분석처리능력을 배제한 Dynamic DW 접근

qType 3 : Interactive DW 접근 방법

qType 4 : Statistical Analysis & Data mining



OLAP OLAP 기능의기능의 Intranet Intranet 적용적용 방안별방안별 특징특징(1)(1)

qType 1 : Static Reportingv보고서를 미리 HTML 형식으로 작성해 놓고, 작성된 문서만을 Web Browser를 통해 보여줌

vBatch Reporting에 적합

v주기적으로 분석 프로세스를 수행하여야 함

v‘Paper’가 아닌 ‘Digital’로 배치 보고서가 생성되며, Web 브라우저에서 접속 가능

vHTTP를 이용하여 정해진 순서나 절차에 따라 필요 정보에 접근

v대규모 사용자가 통계나 성과등의 정해진 내용을 보고자 하는 경우 적합

v다이나믹한 정보조회에는 부적합

qType 2 : 분석처리능력을 배제한 Dynamic DW 접근 방법vWWW에서 데이터 접근시 사용하며, On-Line 접근이 가능

v사용자로부터 조건을 입력받아 결과값을 전달하는 형태

v예, 신용카드 번호와 비밀번호를 입력받아 청구 금액을 보여줌

vReport Formatting이 필요없음(주로 단건 조회이기 때문에)vQuery 자체는 Static 함



OLAP OLAP 기능의기능의 Intranet Intranet 적용적용 방안별방안별 특징특징(2)(2)

qType 3 : Interactice DW 접근 방법vTCP/IP N/W을 이용하여 Web Server로부터 OLAP 애플리케이션을 다운로드

v Intranet을 통하여 애플리케이션을 실행시키고 통신은 TCP/IP를 이용

vS/W 배포 및 관리에는 우수

v성능 측면에서는 성능에 비해 우수하지 않음

qType 4 : Statistical Analysis & Data miningv데이터 분석을 통한 모델 구축에 일반적으로 활용

v모델은 애플릿 형태로 다운로드 받으며, What-If 분석이 가능

vDW에 대한 다이나믹한 접근이 불필요



다차원다차원 분석분석 애플리케이션애플리케이션

q매출량이 240,000개라는 정보와 매출량이 10%감소했다는 정보는 차이가 있음q다차원 분석 기능의 목적은 계산된값을 가지고 있는문서를 다이나믹하게생성시키고 보여주는 것

q Intranet DW에는 정해진절차에 따라 정보를검색하는 ‘Hypertext Search(Textural Documents)기법과는 달리, 개별 정보요구의 분석절차에 따른 유일한정보검색패턴을 생성함

q다차원 분석의 주요사용 기능vspatial modelvdrill down / up / acrossvPivotvModify Constraints(filtering)

q다차원도구들간의 차이는 사용자가 새로운 계산공식이나조건 그리고 소계와같은새로운 항목들을 얼마나 쉽고 편리하게할 수 있는냐에따라 차이가 있다.



OLAP OLAP 도구도구 선정선정 기준기준(1)(1)

q1. Multidimensional View : v다차원 분석은 사용자나 개발자를 데이터 저장 구조나 질의 로직의 복잡성과는 무관하게하여야 함, 즉, 비즈니스 관점에서 질의를 할 수 있어야 함

v차원내에서 다양한 계층 관계를 표현 및 변경을 할 수 있어야 함

q2. Pivot/RotationvColumns, Row, Sections breaks간의 위치 변경이 자유롭게 변경될 수 있어야 함

q3. Drilling v사전에 정의된 분석 패턴이 아닌, 어떠한 상세 정도를 마음대로 볼 수 있어야 함

v중간 단계를 Skip 할 수도 있어야 함

q4. Cross-Dimensional Calculationsv저장 프로시져 없이 계산 항목을 쉽게 생성하고 관리할 수 있어야 함

v생성된 계산 항목은 차원들간에 공유할 수 있어야 하며, 다른 차원을 통한 분석시에도공유될 수 있어야 함

q5. Dynamic Sets v다양한 차원들간의 그룹핑이나 요약을 통한 항목의 생성이나 관리가 다이나믹하게수행되어야 함(예, 기간별, 지역별, 상품별 매출액의 경우 기간별 지역별 상품 매출 총액)

v차원의 계층을 쉽게 정의하고 즉시 활용(Drill up /Down)할 수 있어야 함. 이러한 기능들은예측하지 못했거나, 일시적으로 필요한 데이터 분석을 위해 매우 유용




q6. Filters v사용자의 특정 요구에 맞는 데이터만을 나타내기 위한 기능이며, drag & drop으로가능하여야 함

v하나의 차원에 대하여 필터링 된 값에 다시 필터링을 적용할 수 있어야 함

q7. Decision Groupware Capabilitiesv report, 분석결과, 계산, 필터링 값, 경고에 해당하는 값등을 작업그룹간이나 전사에서공유할 수 있어야 함

v이러한 정보들을 ‘Live Information’형태로 공유할 수 있어야 함

v보안 기능도 함께 제공되어야 한다

q8. Collapsible Browsingv보고서 내용의 상세화 정도 또는 포함 대상을 쉽게 정의할 수 잇어야 함

q9. Flexible Period Definitionsv비표준적인 기간에 대한 분석이 가능하여야 함

v예를 들어, 가장 최근, 비연속 기간, 회계연도와 실제 년도와의 비교, 기간과 기간과의계산을 미리 DB에 가지고 있지 않더라도 제공할 수 있어야 함




q10. Access to Data WarehousevDW로 부터 추출되어 계산된 값을 저장할 수 있는 ‘Cache’기능이 있어야 함.vDB에 저장하는 형태는 적합하지 않음

q11. Metadatav개발기간 단축과 사용자의 정보요구 조회 지원을 위한 기능을 수행하여야 함

q12. Sparse Matrix Schema Supportv수가 많고 매우 세분화된 차원이 있을 경우 발생하는 빈셀(Sparse)을 효율적으로 관리할수 있어야 함

q13. Read & WritevDW에 대하여 읽고 쓸수가 있어야 함

q14. Query Generationv사용자나 애플리케이션의 요구에 따라 동적으로 효율적인 SQL을 생성할 수 있어야 함

q15. Opennessv다차원 분석 로직은 다양한 DB와 다양한 PC 개발톨과 연계될 수 있어야 함



OLAP OLAP 시장시장 동향동향

Web ServerInterface

Display


Trend 1;OLAP Logic Components

Trend 2;Presentation Components



참고자료참고자료 11qq회귀분석회귀분석

변수 상호간의 관계를 표본으로부터 추정하는 방법으로 특정변수(종속변수,반응변수) 가 다른변수(독립변수,설명변수) 에 의해 어떻게 설명되고 예측되는지를 파악하는 방법이다. 예를 들어카드사용액을 종속변수로 놓고 성별, 연봉, 거주지, 나이 등을 독립변수로 놓고 독립변수가종속변수를 어떻게 설명하고 있는지 모형으로 나타내는 것이다.

qq상관분석상관분석2개 혹은 그 이상의 변수간의 선형관계의 정도를 분석하는 기법으로 종속 및 독립 변수가 사용되지않고 변수들간의 관련정도만 측정한다. 선형성의 측도로 상관계수를 구하고 그 의미가 유의한지에대해서 검정한다. 예를 들어 온도와 아이스크림 판매량이 선형적으로 어느정도의 연관성을 가지는지측정한다.

qq요인분석요인분석

여러 개의 변수에서 비슷한 특성을 가지(상관관계가 높은) 변수들끼리 모아서 몇 개의 집단으로 나눈후각 집단을 대표할 수 있는 새로운 변수를 찾는 방법이다. 예를 들어 한 화장품 회사에서 립스틱에 관한100가지의 설문조사를 했다고 가정하면 립스틱의 밝기, 색의 분위기, 느낌 등의 항목이 있을 때이것이 요인분석에 의해 한 집단으로 분류되었다면 이 집단 항목으로 립스틱 색감으로 새로 정의할 수있을 것이다.

qq군집분석군집분석

관측대상이 지니고 있는 다양한 특성의 유사성을 바탕으로 동질적인 군집으로 결합하거나 여러대상들을 몇 개의 동질적인 군집으로 구분하는 기법이다. 이 분석의 목적은 표본을 소규모의 집단으로분류하는 것으로 변수들이 아니 개체를 기준으로 군집을 분류한다. 예를 들어 100개의 마을을대상으로 설문조사를 하였는데 각각에 대해 다른 마케팅을 할 수가 없어서 비슷한 특성을가진마을들을 묶어서 마케팅 전략을 세우려고 할 때 군집분석을 사용한다.



참고자료참고자료 22

q IIOP(Internet Inter-ORB Protocol 또는 Internet Interoperability Protocol)인터넷 상에서객체요구 중개인간의 통신을규정하는프로토톨로 일반 사용자와개발자의분산 객체응용 프로그램개발환경의 표준으로정의되고 있다. IIOP는 분산 객체간또는 서로 다른 언어로개발된객체간의의 메시지를 전달할 수 있는 전송 메커니즘을 제공하며, TCP/IP 네트워크환경 내에서사용할수 있도록 구현되었다. ORB 개발의경우 CORBA 2.0 명세에의거 개발되더라도완벽한 호환성을보장하지는 않으며, 객체간통신의 경우 IIOP를사용하지 않으면 SmallTalk, C++, Java 로 만들어진 객체간의 통신은 불가능하다

qCGI(Common Gateway Interface)웹 브라우저, 웹서버, 그리고 응용 프로그램간의인터페이스를 의미한다. 즉, 사용자의브라우저로부터서버로 전달된데이터를다시 사용자의 브라우저로 전달하는인터페이스 매커니즘을뜻한다.