ichigan データアーキテクチャ

16
ICHIGAN データ アーキテクチャ 2011-09-27 萩原 正義、データ アーキテクチャ リーダー

Upload: project-ichigan

Post on 25-Jun-2015

291 views

Category:

Technology


0 download

DESCRIPTION

2011/9の中間発表会資料です。http://www.project-ichigan.jp/20110927

TRANSCRIPT

Page 1: ICHIGAN データアーキテクチャ

ICHIGAN データ アーキテクチャ

2011-09-27 萩原 正義、データ アーキテクチャ リーダー

Page 2: ICHIGAN データアーキテクチャ

概要

ConOps に準じて、ローカル(非ネットワーク接続)環境で動作可能であること –応急期は入力データの制約条件を緩め、全てのデータの入力を可能とすること

–入力データは時系列に追記 –復旧期に入力データの精度の改善を行う –転送データはテキスト形式とする

論理モデル –現システムの登録済みデータ以外の住民の居所、避難場所、支援物資の情報などを扱う

–マッチング機能などの提供 –GIS などのメタデータ定義

2011/12/26 2 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 3: ICHIGAN データアーキテクチャ

To-be モデルの提供の狙い

先進技術を考慮した参照アーキテクチャにより、 –As-is に近い実装 –将来フェーズを目指す実装 を可能とする

2011/12/26 3 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 4: ICHIGAN データアーキテクチャ

応急期データのイメージ

2011/12/26 4 Copyright(C) 2011 Project ICHIGAN. All rights reserved

自治体システム

(通常業務データのバックアップ)

変換 メタ定義

XML

JSON版

CSV

応急期データ

応急期用

デバイス

ノートPC スマートフォン/タブレット ※現地ではネットワーク

が使えない事が前提

避難所 災害現場

ローカルデータとして格納 【入力手段】

・Excel ・HTML5+LocalStorage ・ローカルアプリケーション

・避難所情報入力

・支援要望入力

・安否入力

・支援要望入力

・安否入力

・犠牲者入力(身元判明者/身元不明者)

災害対策本部、支援組織

避難所管理 支援管理 犠牲者管理

変換 メタ定義

自治体システム(災害対策)

避難所や災害現場で入力した

データは、デバイス毎持参するか

媒体送付等で届ける

自治体システム(災害対策データ)

Page 5: ICHIGAN データアーキテクチャ

代表的なユースケース

データの分散管理

復旧段階に応じた動作

サービスの切り替え

オフライン動作

データの複製とバックアップ

プライバシー保護

権限委譲

2011/12/26 5 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 6: ICHIGAN データアーキテクチャ

データ管理に関する ConOps の場合分け

2011/12/26 6 Copyright(C) 2011 Project ICHIGAN. All rights reserved

ConOps モード 最小: 復旧可能条件

制限(応急期): ネットワーク分断(役所内)

縮退(応急/復旧期): サプライチェイン障害

代替(応急/復旧期): 代替の組織、サプライチェイン

通常

メタデータ(同期複製) ○ ○ 非複製あり ○ ○ ○

基本データ(同期複製) 住民記録、固定資産税

⼀ ○ 非複製あり ○ ○ ○

周辺データ(非同期複製) ⼀ 古い ○ ○ ○

バックアップ(非同期) 古い 古い

古い 古い 古い

サプライチェイン ⼀ 古い 古い ○ 切り替え

監査ログ(非同期複製) ⼀ ○ 非複製あり ○ ○ ○

Page 7: ICHIGAN データアーキテクチャ

2011/12/26 7 Copyright(C) 2011 Project ICHIGAN. All rights reserved

データ保管場所の variation サービス進化 地域プラットフォーム基本説明書 V6.0

フェーズ1

–自治体内の one stop service

フェーズ2

–自治体間の連携

フェーズ3

–自治体と民間の連携

Page 8: ICHIGAN データアーキテクチャ

物理配置

物理配置の選択肢 –on-premise のローカル –on-premise と on-premise –on-premise と cloud(と on-premise) –cloud と cloud

複製 –on-premise 内 –on-premise と on-premise –on-premise と cloud –cloud(rack内*、DC 内、DC 間、cloud 間) * rack-aware なファイルシステムの場合

物理分割による低レベル暗号化の利用

2011/12/26 8 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 9: ICHIGAN データアーキテクチャ

ログ蓄積型のデータ管理

2011/12/26 9 Copyright(C) 2011 Project ICHIGAN. All rights reserved

異なるインスタンス形式

ヌル

追加、変更の順序

Page 10: ICHIGAN データアーキテクチャ

データ管理の条件

データ入力の制約条件 – 未入力項目、データ型などのチェックを緩める – 入力データ間での一貫性のチェックはしない

初期ロード時の支援機能 – 通常業務データからの転記を可能とする(メタ定義で実行) – そのために通常業務データの定期的なバックアップが必要 – export した業務データへのアクセス権限の設定

入力順と順序制約 – データは時間順序に挿入、タイムスタンプを添付 – 監査上、できるだけ挿入後の改ざんができないこと(変更は新たな挿入とする)

復旧期への移行でのクレンジング – 入力データの型のチェック – 入力データ間の名寄せ、通常期データとの整合性のチェック(メタ定義で実行) – データの精度、時間順序が不明なものは、人によるチェックを促す

テキスト転送 – 応急期システムとのデータ転送はテキストで行う – データ転送に関する export/import 機能(データ解釈)が必要

バックアップ – 応急期システムのデータのバックアップ(複数のストレージへの書き込み機能を持つこと)は自動が望ましい

– バックアップデータへのアクセス権限の設定

2011/12/26 10 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 11: ICHIGAN データアーキテクチャ

その他のデータ管理の機能

データ操作性 –追加、変更の入力時にデータ種別の選択、ID の自動生成 (変更時は検索後に同一の ID を使用して) –読み取り時に既存データを ID でマージし、見やすく可視化 –検索条件でのマッチング機能

周辺データ(公開データなど)、サプライチェインなどの定期的バックアップ

セキュリティ要求 –入力済みデータの改ざん防止、監査、テキスト転送の暗号化 –データ操作権限の管理と実施(ローカルでは PC 自体のログインでの最低限の管理)

メタデータ – ID、種別、入力時間、入力端末とユーザアカウント、入力場所 GIS –その他、監査ログ

2011/12/26 11 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 12: ICHIGAN データアーキテクチャ

論理モデル 応急期データの要件(案)

2011/12/26 12 Copyright(C) 2011 Project ICHIGAN. All rights reserved

データ種別 データ項目

入力支援データ

A-1 住所データ 住所コード、住所名(市区、町村)、センサスロケーションコード

A-2 住民データ 氏名、よみ、性別、生年月日、住所

A-3 外国人登録データ 氏名、外国人登録番号、登録年月日、生年月日、性別、国籍、出生地

A-4 防災施設・避難所データ 施設名、よみ、住所、電話番号、施設情報、収容人数、センサスロケーションコード

入力データ

B-1 避難所データ 避難所名、場所、避難者数(合計人数、負傷者数、疾病者数、要介護者数、乳幼児数)

B-2 支援要望データ 支援内容、場所、緊急度

B-3 安否確認データ 氏名、よみ、年齢、性別、住所、避難場所等、確認日

B-4 犠牲者データ (身元判明者)

氏名、よみ、年齢、性別、住所、発見場所、発見日時、安置場所

B-5 犠牲者データ (身元不明者)

性別、年齢(推定)、身長、体格、血液型、頭髪(長さ・色)、着衣(上衣・下衣)、所持品、その他特徴、発見場所、発見日時、安置場所

B-6 被災証明書発行記録データ(住民)

氏名、よみ、性別、住所、生年月日、発行日、発行場所、発行者

B-7 被災証明書発行記録データ(外国人)

氏名、性別、住所、生年月日、外国人登録番号、発行日、発行場所、発行者

Page 13: ICHIGAN データアーキテクチャ

メタ定義

応急期 –通常業務データを応急期データ形式へ変換 –データ属性(カラム)の選択、値の桁数、必要な属性値の追加などをメタ定義で指定

–例、テキスト形式のデータをデータ属性(カラム)毎にファイルに圧縮して永続化し、参照用データベースを作成

復旧期 –応急期データ形式を復旧期のシステムへ import –データ属性、挿入日時の選択、重複データの整合性、ヌルの処理や日時やデータ型、のチェックの有無などをメタ定義で指定

–チェック結果をログに残す –import 後に復旧システム上での名寄せ、突き合わせによる整合性をチェック

2011/12/26 13 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 14: ICHIGAN データアーキテクチャ

整合性検証 テスト項目

応急期 – 業務データの定期的なバックアップ – 周辺データ、サプライチェインの定期的なバックアップ – 業務データから応急期データ形式への変換(メタ定義による)

• 通常業務データのテキスト形式による export • 操作権限 • 転送テキストの暗号化と復号化

– 応急期データ • メタデータの ID 、入力時間、入力端末とユーザアカウント、入力場所 GISの生成、種別の選択 • データ属性による検索 • 挿入、変更における入力時の制約チェックをしないこと • 重複 ID のマージ操作 • 監査ログの生成

– 業務データ、応急期データへのアクセス制御 – 応急期データの改ざん防止 – 応急期データの(自動)バックアップとそのアクセス制御 – 監査ログのバックアップとそのアクセス制御

復旧期 – 応急期データを復旧期システムへ import (メタ定義による)

– import テキストの暗号化と復号化 – 操作権限 – 監査ログの import

– チェック結果をログに残す – import 後に復旧システム上での名寄せ、突き合わせによる整合性をチェック

整合性検証実行の権限

2011/12/26 14 Copyright(C) 2011 Project ICHIGAN. All rights reserved

Page 15: ICHIGAN データアーキテクチャ

全体計画

2011/12/26 15 Copyright(C) 2011 Project ICHIGAN. All rights reserved

作業項目 項目の詳細 特徴 優先度

期限

Design for Failure

ConOps モード。応急期と復旧期の切り替え。ローカル動作。

ローカル、クラウド対応。

1 2011/12

データ定義 物理配置の定義。応急期のメタデータ定義、論理データ定義。転送テキスト形式。メタ定義。複製やバックアップ手順。

データベース非依存。

2 2011/12

セキュリティ 操作権限。監査機構。 3 2012/3

保守性 整合性検証テスト項目。 4 -

Page 16: ICHIGAN データアーキテクチャ

【著作権表記について】

Project ICHIGANでは最終的には利用者の皆さん

が無償で利用可能な形式・ライセンスでの資料公開を予定していますが、現時点で詳細な議論が完了しておりません。

よって、本資料はAll Rights Reservedでの公開としております。

ご理解いただきますようによろしくお願いいたします。