20160202_live demo!!...

F-1

Live Demo!! ビッグデータ/クラウドに

レプリケーション技術で

マルチロケーションデータ連携

Insight Technologyとは？

コンサルティングサービスソフトウェアハードウェア

システム設計～運用まで

データベース総合ソリューション

データベースの様々な課題を

解決する各種ソフトウェア

高性能・低コスト・高信頼性

データベース専用マシン

データベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、サービスを最適に組み合わせてお客様に提供する会社です。

高速・低コスト・セキュアなデータベース環境を実現

データベースのセキュリティ保全ツール（自社開発）

マルチデータベースのリアルタイムレプリケーションツール

次世代型データウェアハウス向け超高速データベース

Oracle Standard Edition向け DR構築ツール

データベースのパフォーマンス監視・分析ツール（自社開発）

世界最速のデータベース専用高速マシン（自社開発）

Insight Qube on NetApp大容量ストレージは次のステージへ

ハイパフォーマンスかつエンタープライズクラスの

信頼性を実現するデータベースマシン誕生

Insight Qubeの新しいラインナップとして、オールフラッシュストレージのNetAppを採用したInsightQube on NetAppが誕生。Insight Qube の優れたパフォーマンスに加え、Snapshot™コピー、リモートレプリケーションをはじめとする高度なデータ保護機能で、データの損失やダウンタイムを防止、業務に支障を与えることなくスムーズな運用を実現します。

×

Inifn

iBand

適応用途

多量のIOPSが求められるオンライントランザクション処理システム小さいブロックサイズのデータに対するランダムI/Oが多いIOPS(1秒あたりのI/O処理数)と低レイテンシが求められる

大量のスループットが必要なデータウェアハウスシステム大きいブロックサイズのデータに対するシーケンシャルI/Oスループット（1秒あたりのI/O処理量）が求められる

24時365日リアルタイムバックアップにて信頼性が問われるシステム

自己紹介

■名前森田俊哉 / Toshiya Morita

■所属株式会社インサイトテクノロジー取締役プロダクトコンサルティング事業部部長

■主な仕事コンサルティング/プロフェッショナルサービス/チューニング

■過去の職歴 C言語プログラマー/デバッガー開発/UNIX管理者等々

データベースもクラウドへ…？

Private Cloud Public Cloud

Hybrid Cloud

クラウドファースト

Copyright @2015 Insight Technology, Inc. All Right Reserved

8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著にセキュリティに対する不安やクラウドの移行・運用コストが利用障壁に

出典：MM総研「国内クラウドサービス需要動向(2014年版) http://www.m2ri.jp/newsreleases/main.php?id=010120141104500

0

5,000

10,000

15,000

20,000

2013年度 2014年度 2015年度 2016年度 2017年度 2018年度

国内クラウドサービス市場規模実績・予測

プライベートクラウド(ホステッド/オンプレミス/コミュニティ)

パブリッククラウド(SaaS/IaaS/PaaS)16.0%

13.6%

10.9%

37.6%

21.9%

新規システム構築方法

原則的にクラウド事業者のプライベートクラウド

原則的に自社資産のプライベートクラウド

原則的にパブリッククラウド

クラウドとオンプレミスのメリットを勘案し、最適な方法で

原則的にオンプレミス（非クラウド環境）

データベースもクラウドへ！

8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著にセキュリティに対する不安やクラウドの移行・運用コストが利用障壁に

データベース基盤におけるクラウド活用

9

リモートバックアップの配置先に活用

基幹系・業務系システムとして活用

オンプレミス環境の災害環境として活用

開発環境検証環境テスト環境として活用情報系(BI/DWH)

として活用

Private Cloud Public Cloud Hybrid Cloud

データベースに対するクラウド活用についても、Amazon/MS/IBMによる積極的なデータベースサービス展開もあり下記のような用途でのクラウド活用事例が増加中

データは、適材適所に…？

BigData Hadoop

NoSQL

OracleSQL Server

Relational Database

ERP CRMSCMWeb/SNS センサーマルチメディアアクセスログ

分析系DB 基幹系DB

データソースも様々! [データ基盤も様々]

データソース

MAPR

Cloudera

Hortonworks

Teradata

VERTICA

Actian

SAP/HANA

Puredata

SQL Server

ORACLE

IBM/DB2

オンプレ←→クラウド

基幹系データベース←→分析系データベース

リアルタイムデータ連携

Copyright @2015 Insight Technology, Inc. All Right Reserved01. Description of the contents

データベースデータ連携方式

２.スタンバイ方式(Physical Replication)

データベース単位でのデータ連携（データブロック反映）

Oracle DataGuard

Dbvisit Standby

3.レプリケーション方式(Logical Replication)

スキーマ/テーブル単位でのデータ連携（SQL反映）

Oracle GoldenGate

Attunity Replicate

１.ストレージミラー方式(SnapMirror)

物理ストレージ単位でのデータ連携（ファイルブロック反映）

ONTAP SnapMirror


データベースデータ連携（ストレージミラーリング）

Source DB Target DB

EMP

DEPT

SALGRADE

INSERTUPDATEDELETE

SnapMirrorでSnapshotコピー Disk Volumeまたは、qtree単位で

Sync or Semi-Syncモードでミラーリング

EMP

DEPT

SALGRADE

SnapMirror


データベースデータ連携（データ同期）～１

Source DB Target DB

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

初期同期(COPY)


Source DB Target DB

Change Data

Capture

トランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Change DataApply

データベースデータ連携（データ同期）～２

INSERTUPDATEDELETE

Copyright @2015 Insight Technology, Inc. All Right Reserved01. Description of the contents

データベースデータ連携方式

２.スタンバイ方式(Physical Replication)

データベース単位でのデータ連携（データブロック反映）

Oracle DataGuard

Dbvisit Standby

3.レプリケーション方式(Logical Replication)

スキーマ/テーブル単位でのデータ連携（SQL反映）

Oracle GoldenGate

Attunity Replicate

１.ストレージミラー方式(SnapMirror)

物理ストレージ単位でのデータ連携（ファイルブロック反映）

ONTAP SnapMirror

データ連携方式比較

ストレージミラー方式Storage Snapshot

スタンバイ方式Physical Replication

ロジカルレプリケーションLogical Replication

プロダクト SnapMirrorOracle DataGuardDbvisit Standby

Oracle GoldenGate

Attunity Replicate

データ連携単位 Volume or qtree DB Schema / TABLE

データ連携アーキテクチャ Block Copy LOG Apply SQL Apply

転送タイミング即時～定期即時～数秒*1

/ LOG転送時(自動）

即時(自動)

データ連携先利用検索不可検索不可（検索可*1）検索可更新可

データベース構成同一同一不問

異種・異バージョンデータベース連携

*1) Active Data Guardの場合


Source DB Target DB

Change Data

Capture


EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

データベースデータ連携（Logical Replication）

Change DataApply

INSERTUPDATEDELETE

INSERT

UPD

ATE

DELETE

SQL


REDOログファイル分析のためのLogMinerを使用して情報を取得V$LOGMNR_CONTENTS（Oracleマニュアルから一部抜粋）

トランザクションログファイル(Oracleの場合)

列データ型説明

SCN NUMBER データベースに変更が加えられた時点のシステム変更番号(SCN)

START_SCN NUMBER この変更を含むトランザクションが開始されたときのシステム変更番号(SCN)。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効、それ以外の場合はNULL。この列は、トランザクションの開始を含まない時間/SCN範囲に問合せが実行されると、NULLになることもある。

COMMIT_SCN NUMBER トランザクションのコミット時のシステム変更番号(SCN)。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効。

TIMESTAMP DATE データベースに変更が加えられた時点のタイムスタンプ

START_TIMESTAMP DATE この変更を含むトランザクションが開始されたときのタイムスタンプ。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効、それ以外の場合はNULL。この列は、トランザクションの開始を含まない時間/SCN範囲に問合せが実行されると、NULLになることもある。

COMMIT_TIMESTAMP DATE トランザクションのコミット時のタイムスタンプ。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効。

USERNAME VARCHAR2(30) トランザクションを実行したユーザーの名前

OS_USERNAME VARCHAR2(4000) オペレーティング・システムのユーザー名

SQL_REDO VARCHAR2(4000) 再構成されたSQL文で、変更を実行した元のSQL文と同じ。

SQL_UNDO VARCHAR2(4000) 再構成されたSQL文で、変更を実行した元の文の結果を取り消すために使用できる。


プライマリーキーの条件を付加して生成

ロジカルレプリケーション：SQL Apply

再構築されたSQL文を別のデータベースに適用するアプリケーションでは、

行を一意に識別する列（主キーなど）で更新文(更新レコード)を識別する

必要がある。

Oracleの場合、ROWID は物理的なアドレスでありデータベースごとに異なり、他のデータベースでは意味を

持たないためV$LOGMNR_CONTENTSによって返されるSQL に示されるROWID では識別できない

ソースデータベースターゲットデータベース

PK PK


Database ログモードの変更 Command

サプリメンタルロギングを有効化

■データベースレベルの最小サプリメンタルロギングの有効化ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;■テーブル毎のサプリメンタルロギングの有効化◇プライマリキー有りALTER TABLE DEPT ADD SUPPLEMENTAL LOG DATA(PRIMARY KEY) COLUMNS;◇プライマリキー無しALTER TABLE SALGRADE ADD SUPPLEMENTAL LOG DATA(ALL) COLUMNS;

PKなしテーブルに対して、チェンジデータキャプチャを構成

■データベースレベルのCDC有効化EXEC sys.sp_cdc_enable_db■テーブル毎のCDC有効化（プライマリキー無しの場合）EXEC sys.sp_cdc_enable_table@source_schema = N’[SCHEMAname]’,@source_name = N’[TABLEname]’,@role_name = NULL

データ複製に関する追加情報をログに記録することを有効化

■テーブル毎の変更データキャプチャの有効化ALTER TABLE < name> DATA CAPTURE CHANGES

トランザクションログにプライマリキー情報を付加

Oracle

SQL Server

IBM/DB2

Copyright @2015 Insight Technology, Inc. All Right ReservedCopyright @2015 Insight Technology, Inc. All Right Reserved

③災害対策

②統合①移行

ロジカルレプリケーションでオンプレミス・マルチクラウドをシームレスに連携

オンプレミス


Orac le

MySQL

SQLServer

IBM/SOFTLAYERamazonwebserv ices

Microsof tAzure

ロジカルレプリケーションツール


Source DB Target DB

Change Data

Capture


EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE


INSERTUPDATEDELETE

INSERT

UPD

ATE

DELETE


Source DB Target DB


EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Attunity Replicateデータベースデータ連携

INSERTUPDATEDELETE

マルチデータベースのデータ連携


Orac leMySQL

Orac le SYBASE IBM/DB2 PuredataSQLServer

IBM/SOFTLAYER

amazonwebserv ices

Microsof tAzure

ORACLECLOUD


Attunity Replicateサポートデータベース

LUW(Linux/Unix/Windows)As same as Replication sources

Large DW PlatformsActian Vector

Oracle ExadataMicrosoft PDW

HP VerticaPivottal Greenplum Database

TeradataIBM Puredata(Netezza)

Amazon Redshift

LUW(Linux/Unix/Windows)Oracle

SQL Server MySQL

PostgreSQLSYBASEInfomixIBM/DB2

Hadoop(Full Load only)Saleforce(Full Load only)

Any source with ODBC(Full Load only)

MainframeDB2

IMS/DBVSAM

IBM iSeriesDB2/400

HP NonStopEnscribe ・SQL/MP

Replication Sources Replication Targets


DBサーバ側エージェントレスデータベースへのソフトウェアインストール不要

初期同期(FULL LOAD)から差分同期(CDC)までシームレスにデータ連携初期同期から差分同期へ自動切り替え

ブラウザベースのGUIによる簡易設定・監視短期のスキルトレーニングで同期設定と稼働監視が可能

異種データベース間のテーブル高速データ転送・同期(マルチDB対応) オンプレ・クラウドを問わない主要データベース間のデータ同期をサポート

On-Premises(Lenovo X230)

db.t1.microLocation : Tokyo Region(ap-northeast-1a)Processor : 1vCPUMemory : 613MB

Virtual ServerLocation : Tokyo2Processor : 1 COREMemory : 1024MB

Processor : 1 coreMemory : 1024MB

DEMO:Attunity Replicate

No TABLE NAME COUNT

1 CUSTOMER 30,000

2 DISTRICT 10

3 HISTORY 30,000

4 ITEM 100,000

5 STOCK 100,000

6 ORDERS 30,000

7 ORDER_LINE 299,617

8 NEW_ORDER 9,000

9 WAREHOUSE 1

175MB 598,628

Service Plan : BasicLocation : Japan WestPerformance Level :

S0(10 DTU)

データベース負荷テストベンチマーキング・ツール

TPC-C

Orac le11g MySQLSQLServer

Oracle10g

M A E S T R O

階層総型データ連携

階層型分散

階層型統合

オフサイトバックアップ

階層型データ連携事例（大型小売業）

ATTUNITY MAESTRO

MAESTRO NODE

ReplicateServer

MAESTRO NODEMAESTRO NODE

本社

地方のハブ (データセンター)

ローカルPOSシステム

33

Replicate Server

California New York

San Diego San Francisco Log Angeles New York Albany

HQ

…

Replicate Server

Replicate Server

Replicate Server

Replicate Server

Replicate Server

…

Attunity Maestro: ソリューション・トポロジー本社データセンターでの実行

34

大規模なデータの移動:

- グローバルデータレプリケーション

- 統合されたレポーティング

- Hadoopデータリークの授与

- IoT用データ収集 /業務用インターネ

ット

Attunity Maestro: データフローモニター

35

ロジカルレプリケーションテクノロジーを活用することで実現する「データベース・データファブリック」

36

必要な時や場所で、適切なデータを活用できる適切なデータベースへデータ配置を行うことでデータ活用が可能となる

容易にクラウド間・オンプレ/クラウド間でのデータ連携ができるデータベース種別やデータベースの設置場所を問わずにデータ連携を行うことが可能となる

データの保護とリカバリとしてデータを維持できるクラウドリソースを活用することで経済的なデータ維持が可能となる