The Database for ThingsEra of Smart X

Smart Factory Conference 2018

㈜마크베이스이재훈본부장

• Smart X Era

• Time Series Database

• Industrial IoT

• Machbase Overview

• Machbase Use Cases

Table of Contents

The Fastest Time Series DBMS Machbase

Smart X Era

- 4 -Smart X Era

SMARTX

SMART Home

- 6 -Industrial IoT Era

SMART City

- 7 -

SMART Factory

- 8 -Smart X Era

SMARTX

SMART Grid SMART Farm SMART Home

SMART Factory SMART Logistics

SMART Health SMART City SMART Building

Smart X 시대의 도래

- 9 -

IoT/IoE Device 폭증

* Source : iot-analytics.com, 2014

Smart X Era

- 10 -

Smart Things?

Big Data IntelligenceConnected

• TB, PB 데이터 볼륨

• 초당 수백만 데이터 수집,저장

• 인공 지능

• 머신 러닝

• 모델링, 예지보전 분석

• M2M(Machine To Machine), IoT(Internet of Things)

• 자동차, 발전소, 건축물, 각종센서….

Smart X Era

- 11 -

Business 요구사항

Historical AnalysisCheck a specific

data point

Real-time Trend monitoringAnomaly detection

Alarm & NotificationTroubleshooting

Predictive MaintenanceReducing downtime

Past Present Future

Smart X Era

Time Series Database

구슬이 서말이라도꿰어야 보배

- 14 -

머신데이터, 센서데이터

2018-02-03 21:26:40.000,TAGID00025,56.9700002018-02-03 21:26:39.998,TAGID00088,58.6900002018-02-03 21:26:39.997,TAGID00045,59.5700002018-02-03 21:26:39.996,TAGID00038,62.6100002018-02-03 21:26:39.995,TAGID00044,58.4100002018-02-03 21:26:39.993,TAGID00051,58.9100002018-02-03 21:26:39.992,TAGID00094,53.1900002018-02-03 21:26:39.991,TAGID00017,51.9600002018-02-03 21:26:39.990,TAGID00010,53.0500002018-02-03 21:26:39.988,TAGID00072,62.1900002018-02-03 21:26:39.987,TAGID00018,62.6800002018-02-03 21:26:39.986,TAGID00097,51.1100002018-02-03 21:26:39.985,TAGID00012,55.3600002018-02-03 21:26:39.983,TAGID00073,55.9000002018-02-03 21:26:39.982,TAGID00053,64.7300002018-02-03 21:26:39.981,TAGID00023,51.5900002018-02-03 21:26:39.980,TAGID00046,55.6600002018-02-03 21:26:39.978,TAGID00012,53.3600002018-02-03 21:26:39.977,TAGID00042,50.6200002018-02-03 21:26:39.976,TAGID00050,57.9400002018-02-03 21:26:39.975,TAGID00033,51.3600002018-02-03 21:26:39.973,TAGID00010,59.7300002018-02-03 21:26:39.972,TAGID00080,55.8900002018-02-03 21:26:39.971,TAGID00029,60.1300002018-02-03 21:26:39.970,TAGID00037,59.6500002018-02-03 21:26:39.968,TAGID00088,54.0300002018-02-03 21:26:39.967,TAGID00083,58.8800002018-02-03 21:26:39.966,TAGID00051,56.350000

10,000 Tag * 1초 * 50 Bytes

- day -

9억 건

40GB

- year -

3,154억 건

14.3TB

Time Series Database

- 15 -

시계열 데이터

시간흐름에따라발생하는로그, 이벤트정보

데이터특성(정형/반정형)

데이터업데이트없고과거데이터순삭제

데이터입력위주

해당데이터소스의ID 및상태정보를반드시포함

ID, 상태정보포함

시간을기준으로각종통계, 분석수행

시간데이터

동일패턴, 지속적으로빠르게생성

매우빠른생성속도

Time Series Database

- 16 -

최근 24개월 DB 트렌드

* Source : db-engines.com

Time Series Database

- 17 -

Time Series DB 전성시대

Prometheus

Time Series Database

Beringei

Industrial IoT

- 19 -Industrial IoT

IIoT 데이터 처리 환경 변화

데이터량폭증

Scan rate 고도화 추세500msec 1msec

저장해야 할 데이터 기간 및 용량 증가

센서 개수의 증가 분석 대상 데이터 범위 증가

기 구축된 시스템의 데이터 처리허용 한도 초과

오픈소스 솔루션의 기능 확장 및책임 소재 이슈 발생

전통적인방식은각각시스템에맞게별개의인터페이스로통신공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요

- 20 -

데이터처리요구량증가

1

1,000

100

500k10k 1M

Scan rate(초당)

# of sensor

Smart Factory 시대의데이터 처리 요구량

현재처리능력

Industrial IoT

- 21 -

OT와 IT의 융합

PHDHistorianPI

System

dataPARC Predix InfoPlus

OperationalIntelligence

Visualization & Analytics

Enterprise Data Warehouse / Data Mart / Data Lake

RTDB

Tableau QlikView Spotfire SAS MSFT BI ECMinerCustom

Applications

Convergence

Industrial IoT

- 22 -

새로운데이터처리제품필요

요구사항

데이터 증가에 따른 확장 기능(Scalability)

데이터 압축 저장

편리한 개발 및도구 통합 기능 제공

책임있는 기술 지원 및사후 관리

무정지 서비스 기능(High Availability)

IIoT에 적합한 기술 개발 로드맵 제시

초당 2백만 건 이상 고성능 데이터 입력 지원

+

Industrial IoT

Machbase Overview

- 24 -Machbase Overview

The Fastest Time Series DBMS

10

10

11

01

01

01

10

10

110

10

101

10

101

10

10

11

01

01

01

10

10

11

01

01

10

10

10

10

01

01

01

10

10

00

10

10

11

01

01

01

10

10

10

01

01

10

10

10

00

10

11

00

10

01

01

10

01

0

Sensor/Machine Data

Analytics

BI

Management

ISV

Query

Results

IoT

OT IT

- 25 -

마크베이스포지셔닝

Machbase Overview

X 1000

x 10,000

x 1,000,000

x 100,000

Batch oriented Big Data Analytics

Text File

Old (minutes)Very Old (hours) Current (seconds)

HADOOP

Real-Time Big Data Analytics

Enhanced HADOOP Solutions

Splunk

Conventional AnalyticsBI Solutions

Columnar DBMS

Conventional OLTP/OLAP

ClusteredColumnar DBMS

ParStream

Machbase

Engineered System(ExaData)

In-Memory DBMS

Disk DBMS

Data Entry

Data Freshness

- 26 -

마크베이스의혁신성

RDBMSTechnology

BigDataTechnology

데이터베이스

• 안정성,편의성,사용자 특성 감안

• 소프트웨어 개발 및 관리 편리

• 느린 성능, 소규모 데이터 처리 적합

• 노드및데이터증가에따른확장성부족

빅데이터솔루션

• 대용량 처리, 클러스터링

• 대용량 데이터 입력 및 처리에 특화

• 데이터베이스 사용자 편의성 부족

• 학습 및 유지보수 관리 매우 취약

Machbase

Machbase Overview

- 27 -

기술적차별성

Machbase Overview

초고속 데이터 입력 기술

• 시계열 데이터 입력 및 파티셔닝 기술 (미국 특허)

• 병렬 클러스터를 통해 선형적 성능 증가

(초당 천만건 이상)

• 초고속 데이터 전송 프로토콜 구현 (미국 특허)

클러스터링 기술

• 클러스터 노드 관리 기술

• 클러스터 기반 초고속 SQL 처리 기술

• 데이터 복제 및 데이터 밸런싱 기술 (미국 특허)

• 고가용 보장 및 노드 확장 기술

초대용량 데이터 검색 기술

• 빅데이터를 위한 LSM 인덱스 구현

10억 건 검색 0.1초 완료

• 병렬 SQL 처리 기술 (미국 특허)

초고속 인덱스 생성 기술

• 실시간 비트맵 인덱스

인덱스당 초당 백만건 이상 처리

• 파티셔닝 기반 병렬 인덱스 생성 기술 (미국 특허)

- 28 -

마크베이스 제품군

Machbase Overview

EmbeddedEdition

Machbase

EnterpriseEdition

StandardEdition

Fast data processing performance in a

single node

Big data technology revolution in

multi-nodes cluster

Real-time Edge Analytics for

IoT sensor data

3 types

- 29 -

Embedded Edition

• CPU : ARM, x86 support

• O/S : Linux(Redhat, CentOS, Fedora, Ubuntu)

Real-time Linux (Wind river Linux)

Windows 64bit

• Performance : 20,000~ 200,000 EPS input

• Support ARTIK 7 (64 bit, Linux, ARM CPU)

Raspberry PI 2

Raspberry PI 3

Samsung ARTIK 10

Advantech UTX-3115

Machbase Overview

Edge Analytics를위한최고솔루션

7

- 30 -Machbase Overview

Embedded 성능측정

항목 ARTIK 7 (64BIT)

CPU8 core

ARM Cortex A53@ 1.4Ghz

BogoMips 19.71

Memory 1GB

Storage 256GB SSD

OS Ubuntu 16.04.3 LTS

Machbase 3.7.0.88fd672_A53-64-release

Client Spec(sending data)

Intel i7-4790 @ 3.6Ghz x 8 CPU32GB Memory

CentOS 6.71Gbps NIC

- 31 -Machbase Overview

Embedded 입력,조회성능

항목 입력 성능

전체 입력 건수 100,000,000

입력 소요 시간(sec) 575

초당 입력 건수(EPS) 173,913

평균 CPU 사용률 400%

평균 메모리 사용률 40%

저장용량(GB) 4.8

항목 조회 성능

1시간 범위 총 건수(36만 건)

0.185

1시간 범위 raw 데이터(36만 건)

1.896

1일 범위 총 건수(864만 건)

0.238

1일 범위 raw 데이터(864만 건)

37.256

특정 조건 총 건수(26만 건)

1.203

1일 범위 통계 Top 10 9.913

단위 : 초

- 32 -

Standard Edition

Machbase Overview

단일노드에서최고의데이터처리성능발휘

• 초당 수만 ~ 수십 만 건 입력 가능

• 데이터 처리 및 보안 관련 ISV 에게 최고의 솔루션

• 삼성 SECUI, 우정사업본부, KORAIL, 경기도평생교육진흥원

• 홈페이지( http://www.machbase.com )에서 제품 다운로드 가능

- 33 -Machbase Overview

Standard 테스트환경

테스트대상

1억건, 13GB 데이터, 각제품의데이터입력및조회성능측정

하드웨어사양

- CentOS 6.6

- Intel(R) Core(TM) i7-4790

CPU @3.60GHz(4 core)

- 32GB memory

- SATA DISK

- Machbase 3.5.0

- MySQL 5.7.12 MyISAM

- Splunk 6.4.0

- Elasticsearch 2.3.4

- MongoDB 3.2.6

Field Create TimeSource

IPSource

portDestination

IPDestination

portProtocol

TypeLog Text Status Code Data Size

Field Name arrivaltime srcip srcport dstip dstport protocol eventlog eventcode eventsize

Field Type datetime ipv4 integer ipv4 integer shortvarchar(1024)

short long

DATA

- 34 -Machbase Overview

Standard 성능비교

초고속입력과압축성능

초당입력건수 압축저장사이즈

Machbase MongoDB Splunk MySQL ElasticSearch

250K

200K

150K

100K

50K

0

232,558

44,583

69,493

38,344

1,388

Machbase MongoDB Splunk MySQL ElasticSearch

20

15

10

5

0

4.64

8.9

17.417.6

13.3

데이터입력시간과인덱스생성시간을종합하여계산함 Machbase는원본크기보다 64.3% 압축됨(4.64/13GB)

- 35 -

Enterprise Edition

• 단일 노드에서도 Scale-up 구성 가능

• 멀티 노드로 Scale-out 구성

• 안정적인 대용량 데이터 처리 가능

• 분산 저장, 분산 쿼리로 성능 향상

• 시계열 빅데이터 클라우드 시스템 구축 가능

멀티노드클러스터확장구성

Machbase Overview

- 36 -Machbase Overview

Enterprise Architecture

…

COORDINATOR

BROKER

WAREHOUSE

COORDINATOR

WAREHOUSE WAREHOUSE

WAREHOUSE WAREHOUSE WAREHOUSE

WAREHOUSE WAREHOUSE WAREHOUSE

WAREHOUSE WAREHOUSE WAREHOUSE

BROKER

: Standby: ActiveCLIENT

ODBC/JDBC

Web Analytics

Collector

Application

Utility

R

- 37 -Machbase Overview

Enterprise 노드종류

노드 역할

Broker• 클라이언트 프로그램과 통신

• Warehouse에게 분산 데이터/쿼리 전송

Warehouse

• Broker와 통신

• 쿼리의 분산 수행

• 데이터의 저장

• 데이터의 복제 수행

Coordinator

• Broker, Warehouse 상태 감시

• Node 장애 감시

• Fail-over 수행

Deployer • Broker와 Warehouse 설치, 제거 수행

- 38 -Machbase Overview

Enterprise 성능비교

Test case Standard Enterprise Factor

Insert (200 Bytes) 1991 765 0.38

Append (200 Bytes) 555,208 1,976,675 3.56

Append (50KB) 8105 12,724 1.57

Append (24 Bytes) 1,699,824 7,034,510 4.22

Test case Standard Enterprise Factor

Select 100K data (Event Per Second) 63,234 748,342 11.83

Select from 1M data (second) All data GROUP BY & ORDER BY 1.40 0.33 4.24

Select from 1M data (second) Inline View 0.32 0.04 8.00

Select from 1M data (second) WHERE conditions 0.46 0.06 7.67

• 테스트환경: CPU - 16 cores/32 threads, MEM - 256GB, DISK - NVME SSD, 8x warehouse

조회성능

단위 : EPS입력성능

Machbase Use Cases

- 40 -

빌딩에너지관리시스템적용

빌딩에너지관리시스템의데이터수집개선을위한마크베이스도입및테스트진행

Applications

IoT Core

Security System

Machbase…

DATA Gateway

DATA Gateway

DATA Gateway MS-SQL수집속도한계

스마트아파트관리시스템빌딩에너지관리시스템

변경

• 빌딩 내 에너지 사용기기에서 발생하는 다량의 센서 데이터 등을 수집하는데 기존 RDBMS 속도 한계 인식

• 기존 대비 데이터 수집 주기를 더 줄여서 수집 가능하게 됨으로 성능에 만족. 현재 내부 솔루션 수정 예정

• 빌딩에너지 관리 시스템(BEMS)으로 시작하여, 스마트 아파트 관리 시스템으로 확장 예정

Machbase Use Cases

Event Data, log

- 41 -

지능형영상정보저장분석오산시 지능형 CCTV 영상 정보 저장 및 통계 분석 플랫폼

Machbase Use Cases

구성도

.

.

.

CCTV 1,500대

CCTV(지능형카메라)

IntelliVix(지능형영상분석)

비디오스트림

IntelliVix 서버 50대

• 객체감지/추적

• 이벤트감지

• 녹화/검색/재생/전송

• 번호판/얼굴 인식

객체메타데이터

이벤트감지메타데이터

마크베이스 통계 플랫폼

Machbase(시계열 Database)

Grafana(시각화 대시보드)

Machbase

DB서버 1EA

• 객체 매타데이터 저장

• 자동차/사람의 배회

이벤트 저장/조회

• 일 1,500만 건의

이벤트/객체 데이터 처리

Query

통계서버

• 도로별 안전 데이터 통계

• 차량 등 객체의

지역별/기간별

유동량/배회 통계분석

배경

• 인텔리빅스 내부 DB로는 모든 이벤트/메타 데이터저장을 못함

• 속도 및 DB Size 제약으로 최근 1개월 내의데이터만 보관

• 월/연인원, 차량/인구 유동량 등 통계자료 확보 못함

적용

효과

• 1년 이상의 전체 데이터 보관 가능하며, 향후 확장하여최대 5년간 보관 예정

• 교차로 등의 사건/사고 추이 분석을 위한 기초자료제공 및 대응 방안 수립을 위한 통계분석 활용

• 월별, 연별 유동량 및 배회 등 이벤트 패턴분석 기반마련

- 42 -Machbase Use Cases

Smart FactoryPackage

설비 결함 메커니즘 분석 솔루션

HMI

Wire

less

MC

UD

AQ

N-lite

N-lite

N-lite

N-Pro

N-lite

Stand

ard C

on

netivity Service

MQTT/TSN

OPC-DA

Ethernet

ManagementConsole

종합모니터링

Analytics예지정비

EventStatus

Web socket HTTPS/REST

Smart Factory Monitoring & Analytics

HTTPS/AJAX HTTPS/XHR

Ethernet TCP/IP

100만 EPSSimulation

Machbase

• 공정 빅데이터의 초고속 수집• 공정 분석 시간 단축• 예지보전 즉시화

Modbus

RS232

MQTT

Pub/Sub

OPC-UA /TSN

스마트팩토리 설비데이터 통합 분석

I-IoT OneWay Platform

POPSystem

HTTP Web Service

Big Data HUB Interface Service

ThingModel

ThingModel

ThingModel

Thin

g Co

nn

et Inte

rface Service

Sup

er S

pee

d E

ven

t In

terf

ace

Serv

ice

+

+

+ +

The FastestTime Series DBMS

MESSystem

APSSystem

ERPSystem

SCMSystem

Big Data Operation

HumanData

BigData

OracleMS-SQL

…

Hadoop NoSQL

…

Tag Data

Tag DataTag Data

Tag Data

Tag Data

Tag Data

Tag Data

Tag Data

Tag DataTag Data

Thank You

Website

Email

Tel

:

:

:

www.machbase.com

sales@machbase.com

02-2038-4606

Machbase Inc.

www.machbase.com