use case and live demo : agile data integration from legacy system to hadoop and iot

Copyright© APPRESSO K.K. All rights reserved. 1

Agile data integration from Legacy system to Hadoop and IoT.

株式会社セゾン情報システムズ友松　哲也

会社紹介 社名：株式会社セゾン情報システムズ 設立年月日： 1970 年 9 月 1 日　 ■代表者：代表取締役社長　内田 和弘 資本金： 13 億 6768 万 7500 円 ■上場市場：東京証券取引所 JASDAQ スタンダード市場 事業内容： HULFT シリーズ製品事業、カードシステム事業、流通・ IT ソリューション事業

The top share of Managed File Transfer Tool

No.1 customer satisficationData Integration Tool

file

file

file

file

file

file

file

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.2

3

つながる価値、広がる未来

我々は、サイバー空間のグローバルロジスティックベンダーとして、企業にとってもっとも重要な資産である

「データ」を”安全・確実・柔軟”に連携し、「データ」の価値を高めて、企業活動に活用できる基盤を提供します。

ビジョン

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

あらゆるシステム・サービスをつなぐミドルウェアを提供

10年連続日本シェア第１位

世界シェア第４位

HULFTシリーズ は日本シェア 77％8400社のお客様に選ばれ、世界 42か国でご利用いただいています

顧客満足度第 1位

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.4

5

HULFT シリーズ

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

6

DataSpider シリーズ

異なるシステムのデータやアプリケーションをノンプログラミングで「つなぐ」

業務プロセスのモデル化など、PDCA に必要な要素をすべて「見える化」

2 重入力の手間や、ダブルブッキングを「スケジュール」「 ToDo 」の自動同期で解決！

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

Data Architecture について

データとは「特定の何かの状態を表現したもの」

である

8

データとは何か

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

データ活用は状態よりつながりを重視9

SoRシステム・オブ・レコード

SoEシステム・オブ・エンゲージメント

従来型の企業管理システム 人と人との関係性を強化するためのシステム

データ活用の変遷

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

SoR と SoE を融合して新たな知見から洞察を得るシステム。業務システムに蓄積された構造化データと、 SNS などの普及で爆発的に増加した非構造化データをあわせて分析。

10

データ活用は次にステップへ

System of Insight

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

11

AI に代替されてなくなると考えられる職種

【図 1】 10～ 20 年以内に AI に代替されてなくなってしまう業務はあると思いますか。 【図 2】 AI に代替されなくなると考えられる職種を教えてください。

2016/05/09 en japan ―『ミドルの転職』コンサルタントアンケート集計結果―

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

12

AI時代にデータアーキテクチャはどうあるべきか

• 大規模でも柔軟性の高いシステムアーキテクチャ• 難しいことが簡単にできる• 様々なシーン / 分野で利用できる多様性

スケーラビリティ

メンテナビリティ フレキシビリティ

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

データインテグレーションプラットホーム

•Visualization•Diagnosis•Predictive maintenance•Data governance

Sensor

IoTFactory

Mobile

FA

ERP HR DWH EDI

MachineLearning

DataIntegrationPlatform

・ Data Flow Control・ Dynamic Routing・ Data Management

13All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

Data Integration Platform

15

データ活用のプロセス

あつめる ためる つかう

• データの全貌を把握する

• 必要データを決める

• 必要データを集める

• データを蓄積する

• 処理可能な状態にする

• データを処理する

• データを分析する

実現方法

データウェアハウス BI/ 分析ツール

実現方法実現方法

ETL/EAI

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

たまったデータをきれいにする

16

処理可能な状態にする

ためながらデータをきれいにする

ETL/EAI 分散処理 FW

疑似リアルタイム /頻度の高いバッチ 超大容量データ /頻度の低いバッチ

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

データインテグレーションプラットホーム

•Visualization•Diagnosis•Predictive maintenance•Data governance

Sensor

IoTFactory

Mobile

FA

ERP HR DWH EDI

MachineLearning

DataIntegrationPlatform

・ Data Flow Control・ Dynamic Routing・ Data Management

17All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

18

データインテグレーションプラットフォーム

Sensor

Mobile

ERP

HRMachineLearning

Log

DWH/DataLake

Streaming

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

Use case

20All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

導入事例

某大手スーパーマーケット様

基幹システム在庫更新バッチ

新発注システム

データ収集 / 変換 / クレンジング店舗別売上

仕入れ情報 HDFS

HDFS

データ変換 / クレンジング

• バッチ処理に時間がかかる

• 基幹からのデータ収集が手間

• 毎回コストの稟議に時間がかかる

課題

最新在庫データ

バッチ処理高速化（ 1/20 の削減）

GUI による開発で 15～ 20% の工数削減

連携処理の内製化で開発スピード UP

導入事例

21

豊田ハイシステム株式会社様

リアルタイムに情報収集 / 見える化

情報の登録方法を整理、統一

データ一元化による瞬時に検索が可能

• ライン異常を共有できない• 生産記録が集約できない• 情報収集に時間がかかる

課題

データ連携 HUB

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

22

Amazon Web Services でセンサーデータリミックスハッカソン

1. オトナの体力測定 / センサーで運動量を検知してグラフにして表示2. お部屋Watch α/部屋に誰もいないのに電気がついていることがないか確認できる仕組み3. Hotspot Finder/ センサーを使って、人がたくさんいる場所を地図上に可視化4. GuzzREACH/赤ちゃんのぐずりをセンサーを使って検知。メールで通知してくれるサービス5. IoN/ コンサートやライブの観客のノリ ( グルーブ感 ) を可視化

2015 年 1 月 17 日（土）開催東京都目黒区

イベントの開催報告が掲載されています　　　　　　　　 http://dstn.appresso.com/blogdetail?id=4971

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

赤ちゃんのグズリ検知

機械学習

赤ちゃんのグズリを検知して通知

グズリかどうかを随時判定する学習データ登録

赤ちゃんの動きを取得する

ぐずっている場合は通知

（プリファードインフラストラクチャー社提供）

23All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

某大手電力会社

導入事例

24

使用量管理

契約者情報

スケーラビリティしやすいアーキテクチャ

汎用的でメンテナンス性に優れた API

柔軟で変更に強いインフラ

• 需要予測ができない• システム利用者が多様• ニーズが変動

契約者

小売電気事業者

電力提供

スイッチング申し込み

情報提供依頼

情報提供 供給開始• REST• ファイル

課題

データ連携 HUB

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

Microsoft Azure アダプタ

対応サービス

HDInsight Machine Learning

Azure SQL BlobStorage

DocumentDB

QueueStorage

ServiceBus

共同開発：25

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

マルチクラウド連携

HDInsight MachineLearning

Blob

Microsoft AzureAWS

S3

log log log

Web サイト

他クラウドからのデータ取得

ジョブ実行 解析実行

一連の分析プロセスを完全自動化！26

All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

Microsoft Azure

Microsoft Azure

デモイメージ

Microsoft Azure

ユーザデータをBLOB へ格納

Microsoft Azure

結果を出力

Log

BLOB に格納されたデータを使用し、MachineLearning で機械学習を実行

結果を取り込む

複数のレストランを経営。ユーザの会員情報をもとにレストランをレコメンドする。

取り込んだユーザ会員情報を HD Insight で解析。 MachineLearning でデータ解析を行いレコメンド情報を出力、表示。

Hive ジョブを実行し、取り込んだデータの成形を行う

Microsoft Azure

データ

27All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.

電話 0120-80-8620E-mail hulft@saison.co.jpWeb HULFT IoT

株式会社セゾン情報システムズHULFT 事業部

お問合せ先

検 索