머신러닝을적용한 데이터품질관리와데이터전처리6 real time batch 전처리...
Post on 17-Jan-2020
0 Views
Preview:
TRANSCRIPT
머신러닝을 적용한
데이터품질관리와 데이터 전처리
• ㈜위세아이텍•최용준
2016년 6월 15일
2
3
GAGR 25.1%
GAGR 7.8%
4
측정정의 분석 개선MeasureDefine Analisys Improve
5
방향
문제해결
접근
지표 및 방법
빅데이터의 범위
정형 데이터
비정형 데이터
다양한 관점의 접근 방법
평가 모델 수립
인적 비용최소화를
위한 자동화
품질 평가라이프사이클전 과정을 대상
다양한 평가기술 개발
6
RealTime
Batch
전처리 진단 개선
BigData 분석
구문 분석 주제어 분석 중복 분석 유사도 측정
Decision TreeNLP SVM ClusteringK-Means
기준정보 Meta Data 도메인 정보데이터품질패턴 데이터
피드백데이터
지표 관리 진단대상 평가 기준 품질 진단 모델
패턴 분석 이상값 탐지
DNN
평가
7
ASIS 데이터
실제 분석 결과
8
Prepared Data
Chosen Model
도메인자동판별 모델신규 데이터
학습데이터
9
10
11
학습데이터
Unsupervised Learning
Supervised Learning
이상값탐지모델신규 데이터
12
데이터 중복 데이터 병합
WISE DQ화면
top related