超高速データベースエンジン hitachi advanced data binder ·...

2
2019.3 CA-968R サービスプラットフォーム事業本部 カタログに記載の仕様は、製品の改良などのため予告なく変更することがあります。  本製品を輸出される場合には、外国為替及び外国貿易法の規制ならびに米国の輸出管理規則など外国の輸出関連法規をご確認のうえ、必要な手続きをお取りください。 なお、ご不明な場合は、弊社担当営業にお問い合わせください。 超高速データベースエンジン Hitachi Advanced Data Binder ■ 導入事例 高速処理で、新たな価値発見。つなげるビジネスイノベーション。 製品に関する詳細・お問い合わせは下記へ https://www.hitachi.co.jp/soft/ask/ https://www.hitachi.co.jp/data-binder/ インターネットでのお問い合わせ 製品情報サイト 0120-55-0504 電話でのお問い合わせはHCAセンター受付時間:9:00~12:00、13:00~17:00 (土・日・祝日・弊社休日を除く) 銀行 小売り 公共 取引履歴分析 顧客嗜好分析 防災シミュレーション ・Red Hat ® Enterprise Linux Server 6(64-bit x86_64) 6.2以降のバージョン ・Red Hat ® Enterprise Linux Server 7(64-bit x86_64) 7.1以降のバージョン 本仕様はHitachi Advanced Data Binder 04-03における最大値およびアプリケーションインタフェースを抜粋したものです。 予告なく変更する可能性があります。最新の仕様は下記の製品情報サイトでご確認ください。 1ZB/システム 128EB/表 5~1,018 1~1,024 4,096表/システム 200表/DBエリア 1~1,000 B-treeインデクス、レンジインデクス、テキストインデクス 32/表 8,192/システム 400/DBエリア UTF-8、Shift-JIS ローストア、カラムストア SQL92およびSQL99に準拠 最大16,000,000バイト 最大100バイト Type4 JDBCドライバ ODBC3.0、ODBC3.5 C言語API システム最大サイズ 表最大サイズ DBエリア 同時接続数 最大表数 表およびビューの列数 インデクス種別 最大インデクス数 文字コード 格納方式 SQLサポートレベル SQL文長 スキーマ、表、列、インデクスの名称 JDBC ODBC CLI 項目 分類 システム関連 DB関連 SQL関連 内容 API ■ アプリケーションインタフェース (仕様および最大値) ■ 動作環境 対象業務 業種 課題 導入効果 Intelは、アメリカ合衆国および/またはその他の国におけるIntel Corporation の商標です。 ・Red Hatは、米国およびその他の国 におけるRed Hat, Inc.の登録商標もしくは商標です。 ・Linuxは、 Linus Torvalds氏の日本およびその他の国における登録商標 または商標です。 私たちは株式会社 日立製作所 システム&サー ビスビジネスとして環 境マネジメントシステム に関 する国 際 規 格 I S O( 国 際 標 準 化 機 構 ) 14001:2015の審査を受け、登録され、製品・ サービスのライフサイクル全 般における環 境 問題に積極的に取り組んでいます。 登録番号:EC02J0400 登録日:1995年7月19日 https://www.hitachi.co.jp/it-iso14001/ * 表・インデクスを格納する領域 監督官庁からの要請により、取引履歴から不正取引を調査 したいが、夜間バッチ処理のため前日分までの取引履歴しか 調査できない。 研究利用や緊急事態に備え、さまざまなシミュレーション結果 を蓄積しているが、柔軟な条件に応じた予測データを抽出 できず、防災・減災に活用しきれていない。 分析軸ごとのデータマート(中間DB)作成に時間がかかり、 定型分析を行っても売り場に対してタイムリーな指示ができ ない。また、定型分析で気づきを得ても、そこから試行錯誤して データを掘り下げる分析ができない。 データの鮮度を保ったまま、大量の取引履歴を活用して不正 取引の検知を実施できるようになった。 高速データアクセスにより、例えば、火山の噴火から4日後 までの被害予測を約2時間で可視化できるようになった。 データ処理性能が大幅に向上し、分析軸ごとのデータマート 作成が不要になった。さらに、利用者視点で試行錯誤を繰り 返しながらデータを掘り下げる非定型分析が可能になった ため、売り場に対してタイムリーな指示ができるようになった。 ※Intel64のアーキテクチャでのみ動作します。 © Hitachi, Ltd. 2019. All rights reserved.

Upload: others

Post on 29-May-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 超高速データベースエンジン Hitachi Advanced Data Binder · 高速データ取り込みにより、鮮度の高いデータで分析が可能 カラムストアとローストア、それぞれの格納方式に対応

2019.3CA-968R

サービスプラットフォーム事業本部

● カタログに記載の仕様は、製品の改良などのため予告なく変更することがあります。 ● 本製品を輸出される場合には、外国為替及び外国貿易法の規制ならびに米国の輸出管理規則など外国の輸出関連法規をご確認のうえ、必要な手続きをお取りください。 なお、ご不明な場合は、弊社担当営業にお問い合わせください。

超高速データベースエンジンHitachi Advanced Data Binder

■導入事例

高速処理で、新たな価値発見。つなげるビジネスイノベーション。

製品に関する詳細・お問い合わせは下記へ

https://www.hitachi.co.jp/soft /ask/

https://www.hitachi.co.jp/data-binder/■ インターネットでのお問い合わせ

■ 製品情報サイト

0120-55-0504■ 電話でのお問い合わせはHCAセンターへ

受付時間:9:00~12:00、13:00~17:00 (土・日・祝日・弊社休日を除く)

銀行

小売り

公共

取引履歴分析

顧客嗜好分析

防災シミュレーション

・Red Hat® Enterprise Linux Server 6(64-bit x86_64)6.2以降のバージョン・Red Hat® Enterprise Linux Server 7(64-bit x86_64)7.1以降のバージョン

本仕様はHitachi Advanced Data Binder 04-03における最大値およびアプリケーションインタフェースを抜粋したものです。予告なく変更する可能性があります。最新の仕様は下記の製品情報サイトでご確認ください。

1ZB/システム

128EB/表

5~1,018

1~1,024

4,096表/システム 200表/DBエリア

1~1,000

B-treeインデクス、レンジインデクス、テキストインデクス

32/表 8,192/システム 400/DBエリア

UTF-8、Shift-JIS

ローストア、カラムストア

SQL92およびSQL99に準拠

最大16,000,000バイト

最大100バイト

Type4 JDBCドライバ

ODBC3.0、ODBC3.5

C言語API

システム最大サイズ

表最大サイズ

DBエリア*数

同時接続数

最大表数

表およびビューの列数

インデクス種別

最大インデクス数

文字コード

格納方式

SQLサポートレベル

SQL文長

スキーマ、表、列、インデクスの名称

JDBC

ODBC

CLI

項目分類

システム関連

DB関連

SQL関連

内容

API

■アプリケーションインタフェース(仕様および最大値)

■動作環境

対象業務業種 課題 導入効果

・Intelは、アメリカ合衆国および/またはその他の国におけるIntel Corporationの商標です。 ・Red Hatは、米国およびその他の国におけるRed Hat, Inc.の登録商標もしくは商標です。 ・Linuxは、Linus Torvalds氏の日本およびその他の国における登録商標または商標です。

私たちは株式会社 日立製作所 システム&サービスビジネスとして環境マネジメントシステムに関する国際規格ISO(国際標準化機構)14001:2015の審査を受け、登録され、製品・サービスのライフサイクル全般における環境問題に積極的に取り組んでいます。登録番号:EC02J0400 登録日:1995年7月19日

https://www.hitachi.co.jp/it-iso14001/

* 表・インデクスを格納する領域

監督官庁からの要請により、取引履歴から不正取引を調査したいが、夜間バッチ処理のため前日分までの取引履歴しか調査できない。

研究利用や緊急事態に備え、さまざまなシミュレーション結果を蓄積しているが、柔軟な条件に応じた予測データを抽出できず、防災・減災に活用しきれていない。

分析軸ごとのデータマート(中間DB)作成に時間がかかり、定型分析を行っても売り場に対してタイムリーな指示ができない。また、定型分析で気づきを得ても、そこから試行錯誤してデータを掘り下げる分析ができない。

データの鮮度を保ったまま、大量の取引履歴を活用して不正取引の検知を実施できるようになった。

高速データアクセスにより、例えば、火山の噴火から4日後までの被害予測を約2時間で可視化できるようになった。

データ処理性能が大幅に向上し、分析軸ごとのデータマート作成が不要になった。さらに、利用者視点で試行錯誤を繰り返しながらデータを掘り下げる非定型分析が可能になったため、売り場に対してタイムリーな指示ができるようになった。

※Intel64のアーキテクチャでのみ動作します。

©Hitachi, Ltd. 2019. All rights reserved.

Page 2: 超高速データベースエンジン Hitachi Advanced Data Binder · 高速データ取り込みにより、鮮度の高いデータで分析が可能 カラムストアとローストア、それぞれの格納方式に対応

サーバとストレージの能力を最大限に生かす、超高速検索

高速データ取り込みにより、鮮度の高いデータで分析が可能

カラムストアとローストア、それぞれの格納方式に対応

必要な分析を、必要なときに行う。それを可能にするのが、超高速データベースエンジン

Hitachi Advanced Data Binder*。多種多様なデータの管理と高速検索を実現する、標準

SQL対応のリレーショナルデータベース管理システムです。

その得意分野は、センサーデータを用いた機械故障の予兆検知や、消費者の購買履歴

データを活用したマーケティングなど、スピードが求められる分析。独自技術による超高速

検索をはじめ、柔軟なデータ格納方式、高速データ取り込みといった機能により、サーバ

やストレージの能力を無駄なく使いきり、タイムリーに分析することができます。

データが持つ価値を迅速に引き出せれば、ビジネスのクオリティをさらに磨ける。

Hitachi Advanced Data Binderで、ビッグデータ時代を勝ち抜く競争力を。

超高速データベースエンジンで、データの価値をすばやく引き出し、タイムリーな分析を実現。

歩留まり改善

データ利活用

業務効率化

予防保守サービス向上

履歴データ

金融・公共・医療

製造・流通

小売り・交通・まちづくり

水・電力・エネルギー

業務データ

IoTデータ

シミュレーション

品ぞろえ改善不正取引の検知

マーケティング

原因究明

IoT・ビッグデータ時代を迎えてデータ量は飛躍的に増大

4/1202:00

4/1205:00

4/1208:00

4/1209:00

4/1210:004/12

11:00タスク割り当て

演算処理

I/O完了待ち

ディスクI/O

超高速検索 高速データ取り込みデータ特性に合わせた格納方式

超高速データベースエンジンHitachi Advanced Data Binder

超高速データベースエンジンHitachiAdvancedData Binder

超高速データベースエンジンHitachi

Advanced Data Binder

大量データ

001002003004

商品A商品B商品C商品D

SサイズMサイズLサイズ2Lサイズ

2A2B

1A1B2C

2A1C1A

1A1B2A

AABB

ABCC

AACA

ABAA

2 2/11 2/24 2/33 2/4

2○○○○1△△△△2○○○○2◎◎◎◎3□□□□

2 5001 1002 2001 6004 300

2/12/12/22/32/32/32/32/42/42/4

○○○○○○○○△△△△○○○○○○○○◎◎◎◎◎◎◎◎□□□□□□□□□□□□

500500100200200600300300300300

001002003004

商品A商品B商品C商品D

SサイズMサイズLサイズ2Lサイズ

ローストア

カラムストア

データインポート

収集/加工

データ

独自開発の超高速検索技術「非順序型実行原理*1」

を採用。「リレーショナルデータベースの検索処理は

レコードの処理順序に依存しない」という点に着目し

て開発されたこの技術は、問い合わせ処理で新たな

I/Oを発行するごとにタスクを細分化し、生成された

複数のタスクを並列実行するものです。これにより

ハードウェアを無駄なく使うことで、大規模データ*2の

検索処理時間を劇的に短縮。自社従来比約100倍*3

の高速検索を実現しました。

検査データや設備稼働ログ、ECサイトの購入履歴

など、列単位でアクセスすることが多いデータは

カラムストア形式で格納し、顧客情報や商品マスタ、

在庫・仕入れ情報など、レコード単位でアクセス

することが多いデータはローストア形式で格納

できます。さらに、カラムストア形式はインポート

の際にデータを圧縮。お客さまのデータ特性に

適した格納方式を選択できることで、効率的な

処理を行えます。

最新の営業情報やIoTデータなどを、実施中の

分析に影響を与えることなく業務のバックグラウ

ンドで高速にインポートできるため、鮮度の高い

データで分析ができます。そのため、従来のよう

に夜間のバッチ処理が終わるまでデータが更新

されない、バッチ処理中は分析ができないと

いった、システムの都合によって分析業務が

止まってしまうことがなくなり、必要な分析を

必要なときに実施できます。

順序型データベースエンジン

非順序型データベースエンジン

サーバ

ストレージ

サーバ

ストレージ

検索性能

約100倍向上(自社従来比)

データ処理可能なところから並列に処理

格納済みのチャンクからデータを検索

新しいチャンクにデータインポート

順次データを処理

検索処理完了処理の分岐

タスク制御機構で順序整合性を確保

I/O結果の返還

I/O要求の発行

センサー

検査データ設備稼働ログ

取引履歴SNS

通話ログ

受発注データ

ECサイト購入履歴

勤務シフト

商品マスタ

顧客情報

在庫・仕入れ

データ圧縮を実現

高速データ取り込み データ取り込み中も検索実行可能

ストレージ

チャンク:1回のインポートで実表に格納したデータの固まり。    (チャンク単位でマージや削除などの運用が可能です。上記の図は、1時間ごとにチャンクを生成する運用を想定しています。)

格納済みチャンク格納中チャンク

IoT : Internet of ThingsSNS : Social Networking Service

*1 喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。

*2 2013年、データベースシステムの検索処理性能に関する業界標準のベンチマークである「TPC-H」の最大クラス(100TBクラス)の性能評価リストに世界で初めて登録。

  (http://www.tpc.org/tpch/results/tpch_results.asp?version=2)*3 分析系データベースに関する標準的なベンチマークを基に作成した、各種

データ解析要求の実行性能を計測。

データベース

導入コストを削減

列単位の集計処理が効率的

レコード単位のアクセスが効率的

コストを抑えながら、柔軟かつ迅速な分析を実現

000000

* 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」(中心研究者:喜連川 東大教授/国立情報学研究所所長)の成果を利用。