information lifecycle management datagenor...

DB SOLUTION EXPERT GROUP

BANET INFORMATION TECHNOLOGY

엔터프라이즈 환경의

Information Lifecycle Management

DataGenor ILM

Copyright ⓒ 2016 Banet Information Technology Co., Ltd. All rights reserved 1 Copyright 2016 DB SOLUTION EXPERT GROUP BANET INFORMATION TECHNOLOGY Inc.

회사 소개

일반 사항 보유 솔루션

바넷정보기술은 데이터베이스와 보안 전문기업입니다. 회사명 바넷정보기술

대표자 이 창 하

주소 서울시 금천구 가산디지털1로 168 우림라이온스밸리 A-911~912

사업분야 데이터보안 솔루션, 금융권 시스템 ITO, SI

인증 및 등록 이노비즈 기업, 벤처기업, 기업부설연구소

솔루션 DataGenor TDM, DataGenor PDS, DataGenor ILM

회사 설립 연도 2001년 9월

2010 ~ 2014 2015 ~ 2000 ~ 2010

2000.10 ㈜바넷정보기술 설립

2005.01 DB보안솔루션 Middleman 출시

2006.10 이노비즈 기업인증

2006.01 DB 보안 솔루션 특허 취득

2006.08 자본금 유상증자(4억6천)

2009.03 Middleman CC인증 획득

2009.07 DataGenor TDM v1.0 출시

2010.04 DataGenor TDM v1.2 GS 인증 획득

2010.11 대량데이터 유출방지 특허 취득

2011.12 2011 Hi-Tech 베스트솔루션 대상

2011.12 제6회 CIO AWARDS 금융부분 대상

2012.06 DBinside 솔루션 출시

2012.11 중소기업진흥공단 서울시장상 수상

2013.06 DataGenor TDM v2.0 출시

2013.08 빅데이터 익명화 방안 특허 등록

2013.12 신SW상품대상 장관상 수상

2014.06 DataGenor TDM v2.0 GS인증 획득

2015.10 DataGenor PDS V1.0 출시

2016.06 개인정보 삭제 및 분리보관 시스템 및 방법

특허 등록

2016.07 DataGenor PDS 한화손해보험 구축 완료

2016.08 DataGenor ILM V1.0 출시

2017.05 DataGenor PDS GS인증 획득

주요 연혁

DB 접근통제 솔루션 Middleman

Data(원장) 변경관리/통제 솔루션 DBinside

테스트 데이터 변환관리 솔루션 DataGenor TDM

정보수명주기 관리 솔루션 DataGenor ILM


배경 및 필요성

대용량 데이터를 유지, 관리, 운영하기 위한

유지보수비용 지속적 증가

응용 프로그램의 성능 저하

백업 및 복구에 대한 규모와 시간의 지속적

증가

정보에 대한 적시적 활용 곤란

필요성

비즈니스 분석가들은 30% 이상의 시간을 데이터

작업에 사용함

데이터의 확인, 통합, 수정 등에 많은 노력과 비용이

소모됨

잘못된 정보나 활용되지 못하는 정보들은 기업의

기회 손실을 가져옴

실제 보관 중인 전체 데이터의 30% 이하만이 활용

되고 나머지 70%는 미활용 데이터

배경

효과적인 데이터 관리와 활용 비즈니스 성공 요소


현황 및 문제점 개선방안

배경 및 필요성

현황

및

문제점

솔루션

도입 후

낮은 ROI

• 낮은 성능으로 과도한 시간 소요

• 변경에 따른 지속적인 추가 개발

• 담당자의 이동에 따른 추가 비용

• 사고 가능성 증가 → risk 비용 부담

보안 취약성 • 수동적인 운영으로 자동화 솔루션에 비해 사건 사고 가능성

• 지속적으로 진화하는 솔루션에 비해 사람에 의존하게 되어 보안에 취약

작업 이력관리 어려움 • 작업 증적 부족, 불완전한 작업통제 등 작업 이력관리 어려움

아카이빙 자동화

• 효율적인 주제영역 관리 방식의 추출/삭제/복원 Query 자동 생성

• 메타 자동 구축, Catalog 변경 시 추출/삭제/복원 Query 자동 갱신

• 아카이빙, 복원 프로세스 자동화

보안성 강화 • 데이터 유출경로가 없는 안전한 데이터 전송 방식

• 운영자가 데이터에 접근하지 않고 추출/아카이빙/삭제 프로세스를 자동으로 처리

ROI 향상

• 넓은 범위의 데이터 삭제에 따른 운영시스템 성능 개선/ 인프라 투자비용 절감

• 주제영역 별 Key Join 방식으로 고성능 데이터 추출 / 대용량 처리 시간 단축

• 데이터 삭제 시 병렬처리 방식으로 고성능 데이터 삭제 지원

• 메타관리 자동화로 변경에 따른 관리비용 최소화

• 검증, 분리된 데이터 기준의 삭제 기능 등으로 오류 가능성 최소화

작업 이력 데이터 생성 • IT 감사 대비 다양한 이력 저장 관리


엔터프라이즈 환경의 효율적인 정보 라이프사이클 관리 전략

솔루션 개요

제품명 • 정보수명주기관리 솔루션 “DataGenor ILM”

버전 • Version 1.x

제조사 • ㈜바넷정보기술

제품 개요 • 정보 유형 별 라이프사이클 관리 (고객, 상품 등)

• 데이터 삭제/아카이빙, 복원

• 다양한 상용 DBMS 통합 지원

전문성 10여 년간 DB보안분야에서 축적된 노하우를 기반 대용량 데이터 처리 최적화된 아키텍처와 기능성 제공

보안성 데이터 유출경로가 없는 안전한 데이터 전송 방식 운영자가 데이터에 접근하지 않고 추출/아카이빙/삭제 프로세스를 자동으로 처리

성능 및 안정성 Key data 배포 방식을 통한 고성능 데이터 추출 아카이빙 데이터 기준의 삭제(Delete) 2단계 아카이빙, 검증, Rollback/재작업 가능

편리성

업무영역 별 복수의 라이프사이클 관리 효율적인 주제영역 관리 방식의 추출/삭제/복원 Query 자동 생성 DB Catalog 기반의 메타 자동 구축 주제영역 별 대상 테이블 자동 관리

호환성 Oracle, MS SQLServer, Tibero, DB2, Sybase ASE 등 이미지, 녹취 데이터 삭제 및 아카이빙 연계 지원


전용서버 방식의 유연한 아키텍처

아키텍처

아카이빙 데이터를 저장하기 위한 별도의 하드웨어를 구축하여 데이터 추출 및 아카이빙 저장합니다. 아카이빙 솔루션 엔진은 별도의

하드웨어에서 구동되며 삭제 및 아카이빙 작업을 처리하기 위한 웹 기반의 UI를 제공합니다.

DataGenor ILM

추출 삭제

운영DB

추 출

이 관 적재

정보수명주기 관리 시스템

파 기

복 원

대상선정

검 증

완전삭제

Key 배포

연계시스템

운영_이미지

File

아카이빙 DB

이관 복원

파일이관

…


아카이빙 대상선정 프로세스

업무체계

Stage 5 Stage 4 Stage 3 Stage 2 Stage 1

업무 별 아카이빙 기준 정의 -. 운영 DB 데이터 보관 유효기간 정의 -. 아카이빙 추출 조건 정의 업무 별 Master 정보 추출 조건 항목 정의 -. 업무 연관관계 정의 상위 업무 Key 항목 조사

아카이빙 추출 프로그램 작성 -. 업무 별 아카이빙 기준에 따른 Script 작성 (SQL, Procedure, Function 등) -. 솔루션 아카이빙 정보 가이드 제공 아카이빙 업무 정보(대상/비 대상) 아카이빙 업무관계 정보 (상위 업무/ 업무식별번호)

대상 추출 및 선정 (솔루션) -. 업무 별 아카이빙 추출 프로그램 실행 -. 업무 별 아카이빙 대상 데이터 취합 -. 업무 연관관계를 고려하여 최종 아카이빙

아카이빙 대상 정보 검증 -. 아카이빙 대상 확인 업무 연관관계에 의한 아카이빙 -. 운영 데이터 확인 운영 통합정보관리 UI를 통한 확인 아카이빙 선정 데이터와 UI Link -. 프로그램을 통한 일괄 검증 검증 Batch Program, Script, Function Procedure 등

아카이빙 대상 확정 -. 업무 별 담당자 아카이빙 대상 확정 아카이빙 확정 결재 처리 -. 업무 별 아카이빙 확정 결재 취합 솔루션 결재정보 취합 -. 업무 담당자 아카이빙 확정 완료 시 아카이빙 및 삭제 업무 진행.

초기 아카이빙 환경 Setting 아카이빙 작업 시 반복작업

운영 업무는 여러 업무 간 상호연관관계(Relation Key)를 가지며, 복잡한 DB 구조에 따라 아카이빙 수행됩니다.

DataGenor ILM은 각 업무에 해당하는 아카이빙 대상 정보와 연관 업무Key를 업무 별 취합하여 관리합니다. 초기 아카이빙 솔루션

Setting과 이후 주기적 반복작업을 자동으로 수행할 수 있는 단계로 구분하여 처리합니다.


대용량 데이터 고속 삭제

솔루션 특장점-성능

DataGenor ILM은 아카이빙된 데이터를 기준으로 원본 데이터를 삭제하여 아카이빙 이후에 추가된 데이터의 오삭제를 방지하며, 테이블

다중/병렬 삭제로 대량 데이터를 고속 삭제합니다.

Snapshot 영역

변경분

비대상 row

대상 row n차수

Part 1

part 2

part 3

Read 1

Read 2

Read 3

분할추출 병렬삭제

DELETE 1

DELETE 2

DELETE 3

※ 아카이빙 후 삭제를 별도로 진행하더라도 변경된 데이터에 대한 오삭제 방지

삭제 대상 데이터 추출

PK 기준 삭제 Snapshot Data

TABLE_A DataGenor ILM Information Lifecycle Management


안정적인 작업 처리를 위한 2단계 처리 방식

솔루션 특장점-안정성

DataGenor ILM은 Temp 스키마에 1차 아카이빙 후 검증 작업을 진행하고, 아카이빙 영역으로 2차 아카이빙 하여 아카이빙 데이터의

안정적인 이관 및 오류 시 재처리를 지원합니다.

Snapshot

1차수

2차수

3차수

n차수 …

Live Data

대상건 n차수

아카이빙 1차 실행

아카이빙 검증

아카이빙 2차 실행

fetch

load Append

Snapshot 영역

아카이빙 영역

DataGenor ILM Information Lifecycle Management


추출 Query 자동 생성으로 관리 효율 개선

기능소개

컬럼명 주제 Key여부

고객번호 Y

고객 관련 테이블

TABLE_A

주제영역 I (고객)

ooo

DataGenor ILM은 테이블의 컬럼명을 기준으로 주제영역을 자동으로 분류하고, 주제영역이 분류된 테이블의 추출 SQL을 자동으로

생성합니다.

컬럼명 주제 Key여부

계약종류 Y

계약순번 Y

계약 관련 테이블

TABLE_B

TABLE_n

ooo

1 고객번호

2 고객ID

주제영역 II (장기계약)

1 계약종류(장기)

계약순번

여러 개의 주제영역 키 지원

TABLE_n

주제영역 III (일반계약)

1 계약종류(일반)

계약순번

하나의 테이블을 여러 개의 주제영역에서 관리 가능

주제영역 지정?

추출 SQL 자동 생성

FROM TABLE_A A JOIN ILM_TEMP.ILM_LIST B ON A.고객번호 = B.고객번호 또는 FROM TABLE_A A JOIN ILM_TEMP.ILM_LIST B ON A.고객ID = B.고객번호

Yes

추출 SQL 수동 입력

FROM TABLE_X A JOIN TABLE_Y B ON A.참조번호 = B.참조번호 JOIN ILM_TEMP.ILM_LIST C ON B.고객번호 = C.고객번호

주제영역과 직접 JOIN되지 않는 테이블은 사용자 SQL 입력

신규 테이블 추가 시 컬럼명 기준으로 주제영역 자동 분류

※ 주제영역을 세부화하면 SQL 자동화 증가 (타 고객사 구축 사례의 경우 97% 자동화)

No


데이터 복원 – 자동 복원

기능소개

DataGenor ILM은 주제영역 Key를 지정하면 추출/저장 SQL을 자동으로 생성하여 관련 테이블의 데이터를 자동으로 복원합니다.

복원 신청 (고객번호 또는 주제영역 Key)

복원 실행 (추출/저장 SQL 자동 생성)

주제영역 별 대상 목록

회차 #n

복원 데이터 저장

복원 데이터 추출

고객

계약

보상 보상 융자

지급

TABLE_A

TABLE_B

TABLE_C

TABLE_D

TABLE_E

TABLE_F

TABLE_A

TABLE_B

TABLE_C

TABLE_D

TABLE_E

TABLE_F

※ 아카이빙 작업 시 테이블과 주제영역의 계층에 따라 관련 데이터가 일괄 복원됨 ※ 테이블의 복원 순서 자동화 및 별도 지정 가능 (주제영역 역순, 테이블 역순)

복원 순서

분리 보관 순서

분리 보관 순서

복원 순서

DataGenor ILM Information Lifecycle Management


실행그룹 관리

기능소개

•Thread1

•Thread2

•Thread3

•Thread4

•Thread5

•Thread6

Process 1

Process 2

Process 3

Process 4

Process 5

수행 Process

작업 Queue

작업 관리(UI)

1. 실행그룹1

Table1, Table2

2. 실행그룹2

TableA, TableB

3. 실행그룹3

Table3

4. 실행그룹4

TableC, TableD

5. 실행그룹5

Table5, Table6

6. 실행그룹6

TableE

7. 실행그룹7

Table7, Table8

8. 실행그룹8

TableG, TableH

9. 실행그룹9

Table9, Table10

Table11, Table12

작업 수행

자동 할당

실행그룹에 Table 분배 실행그룹의 수행순서 지정

First In First Out

아카이빙 대상 Table들을 묶어 실행순서 및 작업단위를 효율적으로 관리할 수 있습니다.


오류 알림 (SMS, Messenger, mail 등)

실시간 모니터링

Table 별 아카이빙/삭제 이력 (Table 이력, KEY 데이터)

차수/실행그룹 별 이력

• 보고서 Excel Export

모니터링 및 보고서

기능소개

실시간 수행오류 알림, 수행 중인 또는 과거에 수행된 내역에 대한 다양한 View를 제공합니다.

작업결과 보고서

복원 결과 (복원 KEY 데이터)

https://www.google.co.kr/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0CAQQjRw&url=https://datanitro.com/&ei=CZxEVMOYMMXRmwXyiILAAQ&bvm=bv.77648437,d.dGY&psig=AFQjCNHFQReKC_RQWWdHwn2_eWrLLX1XaQ&ust=1413868937831864


스케줄링

기능소개

연결된 작업을 원하는 시간에 자동으로 실행합니다.

작업예약 등록 스케줄 현황

•작업 Set을 통해 선행/후행 순서를 포함한 연결된 작업 구성 지원

•작업 Set의 지정 시간 또는 반복된 스케쥴 설정

•Multi Process 자동 할당 및 실행

•스케줄(작업) 이력 관리

•오류 시 정지 및 운영자 알림

•문제원인 해결 후 재 시작


주요 기능

라이프사이클 관리 복수의 라이프사이클 정책 관리

삭제 대상 선정 환경설정

관련고객 및 타 업무 연관성을 고려하지 않은 업무별 대상 추출 SQL 정의

사전/사후 작업을 위한 SQL, Procedure, Function 등록 기능

업무 별 주제영역 정의 및 주제 Key 등록

대상 테이블 정의

아카이빙 대상 및 비 대상 테이블 현황 정보 제공

다양한 스키마 검색 기능 제공

관리 대상 테이블 목록 등록 (주제Key 필터 활용)

추출 SQL 등록 테이블 별 추출, 삭제(레코드, 컬럼), 복원 SQL 자동 생성

자동 생성된 SQL 사용자 편집 및 테스트 기능

유연한 작업 SET 정의

대상 선정, 임시분리, 검증, 분리, 삭제 각 단계를 일괄 처리하거나 임의의 단계로 나누어 유연한 작업 SET 정의

예) 선정임시분리검증분리삭제 전체 과정을 일괄 처리 또는

1단계) 선정임시분리검증, 2단계) 분리 3단계) 삭제

업무별 삭제대상 선정

업무 별 대상 Key 추출 (고객, 계약 등)

업무 연관성을 고려한 대상 Key 선정 및 병합 (다대 다 고객과 계약 간 관계, 업무간 상하 관계 고려)

선정된 대상 Key 데이터를 운영시스템에 배포 (고객번호, 계약번호, 연체Key 등)

데이터 아카이빙 단순 join query을 이용하여 한번에 고속 데이터 추출 및 DB bulk loading 방식의 고속 적재

레코드 삭제를 위한 DB script 자동 생성

스케줄러 대상 추출 및 선정 작업 스케줄 등록

데이터 분리저장 작업 스케줄 등록

결재 대상 Key 확정을 위한 결재 프로세스

대결, 후결 등 다양한 결재선 관리 기능

데이터 복원 대표 key(고객, 계약 등) 검색 후 선택하여 전체 연관 데이터 자동 복원

information lifecycle management datagenor...

Documents