複雑なシステムのための新たな安全性解析手法 -...

All rights reserved, Copyright © IPA 2015

複雑なシステムのための新たな安全性解析手法

1

２０１５．１１．１8，２０

(独)情報処理推進機構技術本部ソフトウェア高信頼化センター

石井正悟

～ IPAによるSTAMP/STPA分析例～


活動の背景：Sec-Seminar(2015.6.18) Lecture by Nancy Leveson

現代の複雑システムは、複雑性、不確実性が増加人間系が密接に含まれるソフトウェアが安全性とセキュリティをコントロール

→従来のツリーでの安全性解析ではカバーしきれない→どうすればソフトウェアの信頼性を担保できるか？→新しいシステム安全・セキュリティ解析法が必要

IoTの進展により，一層顕著に


複雑システムにおける安全性とセキュリティの創発的特性

システム全体の安全制約

コンポーネントの安全制約

想定外事象による安全制約の乱れ

創発的特性コンポーネントの安全制約の和≠ システム全体の安全制約

サブシステム

サブシステム

サブシステム

人

組織

Process

創発的特性への対応

想定外を排除する安全性解析が必要


新しい事故モデルSTAMPの目標

• 旧来のコンポーネント故障の解析を越えて、複雑なソフトウェアや人間の役割まで扱える新しいハザード解析とリスク評価法を提供する

• ヒューマンエラーを事故の直接原因として責任追及をするのではなく、ヒューマンエラーを作り出すメカニズム（行動形成要因）に焦点を当てる

• 運転員、管理者、規制などの様々な視点から、事故に至るプロセスの欠陥を分析する。

• 事故に至る直接的なイベント（事象）や条件だけでなく、時間の経過とともに起こる変化や適応の履歴に着目して、事故原因を追求する

☆ コンポーネントや人を含めた全体をひとつのシステムと捉え、コンポーネント間の相互作用に着目して安全性評価するところに大きな特徴がある

☆ その特徴とする考え方は、学問として先行する物理学においては100年前には既に体系的な理論として確立された考え方であって、新しい考え方ではない。逆に、自然な考え方と言える。それを体系的にまとめているところが新しい、ということ。


STAMPとは

STAMP （システム理論に基づく事故モデル）：Explanatory Model System-Theoretic Accident Model and Processes Three basic constructs: (1) Safety constraints, (2) hierarchical safety

control structure, (3) process models

STPA （STAMPによる安全解析法） System-Theoretic Process Analysis

CAST （STAMPによる事故分析法） Causal Analysis based on STAMP

現在の複雑な組込みシステムでは、ソフトウェアや人間・組織を含むサブシステムやコンポーネントで構成されており、そこに不具合がなくとも，サブシステムやコンポーネントの相互作用によってハザードが発生する。従って、従来型のリスク分析手法では限界がある。

対象システムを抽象化、階層化した制御構造図と安全制約で、その安全制御構造を理解する


STAMPの利点・注意点

STAMPの利点

抽象的、階層的な制御構造図による、安全制御ロジックの可視化

安全制約（システム及びコンポーネント）の明示化

より少ない専門知識での分析（抽象的・定性的機能の理解による分析が可能）、第三者検証に有利

安全制御ロジックをトップにした分析法

四つのUCA(不安全制御行動）ガイドとハザード誘発要因ガイドによるハザードシナリオの作成の容易化

STAMPの注意点

定量的判断の不足

抽象化による具体的欠陥の見逃しの可能性

環境依存の複雑な制御行動の分析の難しさ

⇒ 議論だけではなく、具体例による検証が大切


STAMP/STPAの手順

Step-0：制御構造のモデル化とアクシデント・ハザード・安全制約の定義。抽象的な機能に着目してトップダウンで階層的な制御モデル、プロセスモデルを作成

Step-1：四つのガイドワードを用いて非安全制御行為（UCA：Unsafe Control Action)を抽出。

(1)Not Provided、(2)Incorrectly Provided、(3)Provided Too Early, Too Late, or Out of Sequence、(4)Stopped Too Soon, Too Late

Step-2：Control Loopのガイドワードを用いて、UCAごとに、ハザード誘発要因（HCF:Hazard Causal Factor)を分析し、ハザードシナリオを導出

Step-3：安全制約の識別：HCFを制御・除去するためのコンポーネント安全制約を明示化する


STAMP適用事例

安全解析対象システム単線の駅中間踏切制御システム

A警報開始センサー B警報開始センサー C警報終止センサー警報終止センサーは踏切の直近に一つある。

要求仕様（基本的な動き）i. 警報開始センサー(A,B)で列車を検知すると踏切鳴動を開始させるii. 警報終止センサー(C)で列車を検知すると一定時間後に鳴動を終止させるiii. AからCに向かうとき、Bをマスクするiv. BからCに向かうとき、Aをマスクする

踏切制御装置

駅駅

A BC

最初はシンプルなシステム事例でSTPA実践。続いて、本格的で複雑なシステムでSTPA実践


前提条件：警報鳴動開始・停止指示の機能仕様

鳴動開始、停止は独立したものではない鳴動指示が出ている間、鳴動する。鳴動指示の停止が鳴動停止指

示になる。∴両方が同時に出ることはないマスク開始、解除も同じ

鳴動指示

鳴動停止指示

マスク開始指示

マスク解除指示

開始センサAに到達

終止センサCに到達

開始センサBに到達

開始センサAを通過

終止センサCを通過

開始センサBを通過

列車が在線中

【課題】STAMPの教科書には書かれていないが必要と考える手順。仕様に記載されていないが、決めなければ評価できなくなる事柄を、前提条件として整理しながら分析すべき。


Step0：コントロールストラクチャの構築

• フィードバックがないので、コントロールループがない

開始センサーA

終止センサーC

開始センサーB

踏切制御装置

警報機、遮断機

警報機に対するControl Action・鳴動開始（鳴れ）・鳴動終了（鳴り止め）・マスク開始（鳴るな）・マスク解除（鳴ってよし）

レール上の物体（列車に限らない）

・不在を通知・通過中を通知

・到達・通過中・通過

【課題】誰がやっても、こういう構造になる、というものではない。

何らか（手法、ツール）の支援が欲しい


STEP0：アクシデント、ハザード、安全制約の識別

アクシデント(Loss) ハザード（Hazard）安全制約（SaftyConstraints）

(A1)列車と人・車が踏切内で衝突する

(H1)列車が在線中に踏切が閉まらない（警報が鳴らない）

（SC1)列車が在線中は踏切が閉まらなければならない

(A1)列車と人・車が踏切内で衝突する

(H2)踏切遮断後、列車が在線中に踏切が開く（警報が鳴り止む）

（SC2）列車が在線中は踏切が開いてはならない

踏切が開かず、交通が渋滞する

列車が不在なのに踏切が閉まる（警報が鳴りだす）

列車が不在ならば踏切を閉じない

踏切が開かず、交通が渋滞する

列車が通過したのに踏切が開かない（警報が鳴り止まない）

列車が通過したら踏切を開ける

在線の定義：AからC、BからCの間に列車がいる


Step1：UCA（不安全制御動作）の識別

# コントロールアクション

Not Providing Incorrectly Providing Too early /Too Late

Stop too soon / Applying too long

1 鳴動指示 (UCA1)警報が鳴らずに列車が踏切を通過する（踏切が閉まらない）SC1違反

列車が来ないのに警報が鳴る

(UCA2) 警報開始する前に列車が踏切に到達する（閉まるのが遅くて間に合わない）SC1違反

(UCA3）列車が踏切を通過する前に鳴動停止する（閉めた後、開くのが早すぎる）SC2違反

2 鳴動停止指示(鳴動指示の停止)

列車が通過後も警報が鳴りっ放し

(UCA3)不正に鳴動停止指示がでるのは、Too early/Too lateと同じ。単独で発出されることはない

(UCA3)列車が通過する前に鳴動停止SC2違反

(UCA2)鳴動開始指示のToo early/Toolateと同じ

3 マスク開始指示 A,Cを通過した列車がBに到達して再鳴動する

(UCA4)Aにマスク開始指示が出て、列車がAに到達しても警報鳴動しないSC1違反

Cを通過した後マスク指示が遅く、列車がBに到達して再鳴動する

Too Late（Bを通過後）の場合、警報が再鳴動し、(UCA6)マスク状態が残り、対向から2本続くと鳴動しない

4 マスク解除指示 (UCA5)Bに解除指示が出ず、反対から列車がBに到達しても鳴動せずSC1違反

警報が再鳴動する (UCA5)（次の対抗列車が来るほど）あまりに遅過ぎるのはNot Providingと同じ SC1違反

マスク開始指示のToo early/Too lateと同じ

【課題】分類（ガイドワード）の

排他性に問題がある


Step2:HCF（誘発要因）の特定

• 5つのガイドワードを制御構造に対応させて誘発要因を特定する

開始センサーA

終止センサーC

開始センサーB

踏切制御装置

警報機、遮断機

警報機に対するControl Action・鳴動開始（鳴れ）・鳴動終了（鳴り止め）・マスク開始（鳴るな）・マスク解除（鳴ってよし）

レール上の物体（列車に限らない）

②Control actionが不適切・無効・欠落

①上位からの指示や外部情報の誤り・欠落

③″動作の遅れ

④プロセスへの入力の誤り・欠落

⑤意図しない、または範囲外の外乱

・不在を通知・通過中を通知

・到達・通過中・通過

③動作の遅れ

③´動作の遅れ

【課題】人が関わる場合

のガイドワードが必要



• (UCA1)警報が鳴らずに列車が踏切を通過する（踏切が閉まらない）安全制約1に違反– シナリオ1-1「④プロセスへの入力の誤り・欠落」センサーAが故障して

Aから踏切制御装置への通知が全く届かない•新たな安全制約：開始センサーからの信号が途絶えたら警報を鳴らす

– シナリオ1-2「②control actionが無効」 Aから来た列車がCを通過した後、A方向に引き返す。または、連結を切り離して、後部車両がA方向に引き返す。

– シナリオ1-3「②control actionが無効」 Aから来た列車がCを通過してBをマスクした後、BとCの中間で停止。救援列車が反対方向から侵入してセンサーBを通過。A方向に進行する。

Aから進行した列車がCを通過したところで停止

救援列車がBを通過したが警報が鳴らない。A方向に進むと開いている踏切を通る

駅駅

A BC



•(UCA4)Aにマスク開始指示が出て、列車がAに到達しても警報鳴動しない安全制約1に違反– シナリオ4-1「②コントロールアクションが不適切」列車がB,Cを

通過してAに到達前に引き返した。Aがマスクされたままになる。

•（踏切制御装置は在線中列車数をカウントして、）Aに到達前にCが短絡したら引き返したと判断し、Aのマスクを解除する

Aに到達するが、マスク指示が出ているため警報がならない

鳴動指示

鳴動停止指示

マスク開始指示

マスク解除指示開始センサAに到達

終止センサCに到達

開始センサBに到達

開始センサAを通過

終止センサCを通過

開始センサBを通過

駅駅

A BC

俗人的ではあるが、発想を強制するツールとしての有効性を確認できた。

【課題】俗人性が高い。人が関わる場合のガイドワードが必要


課題整理：UCA抽出の4つのガイドワード

1. Not providing causes hazard安全のためのコントロールアクションが実行されない

2. Incorrectly Providing (Providing causes hazard)ハザードにつながる恐れのある、安全ではないコントロールアクションが実行される

3. Too early / too Late , wrong order causes hazardコントロールアクションのタイミングが遅すぎる、早すぎる、または定められた順序に実行されない

4. Stopping too soon / applying too long causes hazardコントロールアクションがすぐに止まる、もしくは適用が長すぎる

16


Safe Control Action

Provided

Not Provided

Correct Control

Incorrect Control

Success

StopToo Soon

StopProperlyOccurred

ProperTiming

Fail

FailOccurredToo Early, or,Too Delayed

Fail

Fail

有無正誤開始タイミング終了タイミング

Unsafe Control Actionsの分類を整理網羅性・排他性の検討

17


Unsafe Control Actionsの分類を整理網羅性・排他性の検討

No

実施されたか

Not providing causes hazard：制御行動が行われない

正しいか

タイミングは

持続時間は

Incorrectly providing(Providing causes hazard)正しくない制御行動が行われる

Incorrect timing/order causes hazard：タイミングや順序が正しくない

Stopping too soon/applying too long causes hazard：早く止め過ぎるか長く続き過ぎる

providing：適切な制御行動を提供

No

incorrect

incorrect

制御行動が

抜けのないハザードシナリオの発想のために、直観的で誤解のないガイドワードであるべき

Yes

Yes

Correct

Correct


Controlled Process

Computer

Human operator

人間系も含めたHCF（誘発要因）導出ガイドワード提案

①不適切な外部指示、条件②不適切な制御指示・不十分な制御ロジック・不完全なプロセスモデル・複数の指示の優先度ミス・コンピュータの故障・操作者の介入を受け付けない

③操作器の不具合・不動作、遅れ、受信エラー・制御対象とのミスマッチ

④不十分なフィードバック・センサ不動作、遅れ、送信エラー・計測プロセス不具合・不正確な計測

⑤プロセスへの入力の誤り、欠落

⑥意図しない、または、範囲外の外乱

⑧プロセスからの出力の誤り

⑦プロセスの不具合、劣化

⑩不適切なフィードバック・不適切な情報提示による間違い・情報なし、認識遅れ・他のタスクに気を取られ気づかない・コンピュータの誤動作に気づかない

⑨不適切な指示・間違った指示、指示遅れ・別の機器を操作・操作方法がわからない

⑪不適切な操作・対象機器の取り違え・間違った操作・直接操作できない設計

⑫不適切な状況把握・対象機器の取り違え・状況認識の間違い

⑬不適切な指示、プレッシャー・過負荷、ノルマの要求・安全文化の欠如

19

Actuator Sensor


今後の展開

• 課題解決策の検討、実証

– 分析実施手順の明確化

• 各StepのInput/Output明確化など

– ツール支援

• SysML記述からSTPA分析へ。制御構造図の自動生成

– ガイドワードの改善

• UCA抽出ガイドワードの網羅性・排他性・理解容易性確保

• HCF導出における、機械ー人間、組織ー組織間のコミュニケーションエラーのガイドワード追加

• 分析事例の積み上げ

– 人間系を含む本格的システム事例での分析

STAMPの具体的検証を通じ，適用上の留意点や課題等が明らかに．

MIT等との継続的な議論


ご清聴、ありがとうございました

ＩＰＡセミナー【第４部】

「大規模・複雑化した組込みシステムのための障害原因診断手法」～組込みシステムの安全解析と障害原因診断分析の統合アプローチ/ＳＴＡＭＰ～

１１月１９日（木）１５：２０～１６：２０

アネックスホール２階Ｆ２０３

をどうぞ


「ｉパス」は、ITを利活用するすべての社会人・学生が備えておくべきITに関する基礎的な知識が証明できる国家試験です。

ITパスポート公式キャラクター上峰亜衣（うえみねあい）

【プロフィール：マンガ】 https://www3.jitec.ipa.go.jp/JitesCbt/html/uemine/profile.html


Windows Server 2003のサポートが2015年7月15日に終了しました。

サポート終了後は修正プログラムが提供されなくなり、脆弱性を悪用した攻撃が成功する可能性が高まります。

周辺ソフトウェアもサポートが順次終了していくため、あわせて対策が必要です。

サポートが継続しているOSへの移行検討とOS移行に伴う周辺ソフトウェアの影響調査や改修等について迅速な対応をお願いします。

会社の事業に悪影響を及ぼす被害を受ける可能性があります

IPA win2003 検索詳しくは

なおWindowsXPを利用されている方はサポートが継続しているOSへの移行検討をお願いします

脆弱性が未解決なサーバ

脆弱性を悪用した攻撃

ホームページの改ざん

重要な情報の漏えい

他のシステムへの攻撃に悪用

業務システム・サービスの停止・破壊

データ消去

Windows Server 2003のサポート終了に伴う注意喚起


IPA ソフトウェア高信頼化センター(SEC)Software Reliability Enhancement Center , Information-technology Promotion Agency , Japan

で、

IPA/SECの事業内容やセミナー動画をCheck！

●SEC事業紹介http://www.ipa.go.jp/sec/about/index.html

●SECセミナーオンデマンドhttp://sec.ipa.go.jp/seminar/ondemand/

Twitterで、

IPA/SECの最新情報をCatch！

https://twitter.com/IPA_SEC

アカウント名：＠IPA_SEC

SWE iPediaで、

IPA/SECの事業成果をSearch！

探したい情報を

分類やキーワードで検索！

http://sec.ipa.go.jp/sweipedia/

IPA/SECウェブサイトで利用者登録！

IPA/SECウェブサイトから利用者登録（無料）をすると、

メルマガ・DMの購読や、セミナーの参加申込み、ツールの

利用などができます。

是非、ご登録ください！

https://sec.ipa.go.jp/entry/index.html

↓詳しくは、SECウェブサイトをClick！

ソフトウェア高信頼化センター検索ソフトウェア高信頼化センター検索

複雑なシステムのための 新たな安全性解析手法 -...

Documents

複雑なシステムのための新たな安全性解析手法 -...