事例から見るテスト自動化のポイント

事例から見るテスト自動化のポイント

TABOK関西 → 検証コレクション（検これ）

前川博志

森田誠

川口慎一郎

発表諸元

•検これについて

•テスト事例をまとめてみた

•さらに具体的な事例紹介

2013/12/1 システムテスト自動化カンファレンス

2

検これについて

前川博志

検これって何?

• Validation / Verificationに関する、現実・現場の課題や解決を共有する場所

•共有のやり方として…•参加者の経験・知識をコレクション•それらを元にディスカッションすることで新たな知見を獲得！

•みたいなやり方で進めているので・・・


4

今の活動は?

•レビューとテスト（自動化）が主な対象

•レビュー•テスト設計コンテストを集団レビューし、レビュー技法を習得する

•テスト•自動テストパターンをあつめて、色々整理。


誰がやってるの?

•前身は「TABOK関西勉強会」で、その中心となる人たちが引き続きやってます。

•つまり・・・•ソフトウェアテストに関心がある、関西のちょっと怖いお兄さんたちが集まってきています。

•活動地域は「関西」(大阪周辺)です。


7

現状は? ーレビューの部

•レビューの対象：テスト設計コンテストの資料

•現在は関心事に応じて2チームに• レビューを反復して知識・経験をつむ• 資料などから、レビュー手法を学習する


8

現状は? ーテストの部

•テスト自動化の事例をコレクション中。•成功事例を知り、自分の仕事に取り入れる•失敗事例を知り、そうならないように気を付ける

•今回は、その成果を発表します！


9

…の前に身近な自動化のパターンを見てみましょう

10

【①部分的な自動化】自動化を手動で動かしてる、手動が増える

俺気付いたんだけど！？あれもこれも自動化できちゃうじゃん

豪華すぎ？２００万円なり。３万円なり。

ノズルの調整ってマジ手動？ノズル誰が掃除すんの？？

【②ｼｽﾃﾑ肥大化】雪だるま式に巨大化、エンドレス改造の道へ

【③ｼｽﾃﾑの不適合】効率・用途・特性が合わなくて、むりくり

なーんか、どう見ても、無理やりじゃね？

アンチ自動化、いっちょあがり！

【④過剰な自動化】目的の喪失と投資対効果意識の欠如

トイレの歴史に学ぶ自動化パターン


アンチ

自動化事例をまとめてみた

森田誠


12

背景

•TABOK勉強会にて、自動化の失敗事例・成功事例が見つかった

•試しに書き出してみると・・・


13

テスト自動化マップ


14

組織導入構築保守・運用

自動テスト史上主義

こっそり導入

インディジョーンズ

3分クッキング

やり易い所から自動化

シルシルミシル

技術

導入運用・保守

ビッグバン自動化

管理者不在

メトリクスの見える化割れ窓を塞ぐ

自動化システムの品質指標

原住民蜂起

文明の曙

エラーレポート最適化

自動化前提のテスト設計

自動テストのインフラ化

堂々と導入

自動化前提のテスト計画

自動化ハイ

建て増し旅館

自動化レトロスペクティブ

ゴールデンハンマー

強くてニューゲーム

武蔵運用

組織

テスト自動化マップ

•導入~運用の時間軸と、組織-技術視点の軸で整理

•今回は、その中から面白そうなものだけをピックアップ


15

事例① 導入のパターン

•自動化の導入時、技術的なハードルで踏み出せないことが多い

•事前に自分で自動化環境をある程度用意しておき、紹介と同時に一気に運用まで持っていった


16

導入組織

3分クッキング技術


事例① 導入のパターン

-3分クッキング-


17

事例② 構築時のアンチパターン

•「自動化すごいじゃん！！」みんなが自動化を推進し始める

•数々の自動化システムが構築されるが、評価項目が被っているものなどが散見し始める

•結果的に管理コストが増大していく。。。


18

導入構築

3分クッキング

技術


組織

管理者不在

自動化ハイ

建て増し旅館

事例② 構築時のアンチパターン-自動化ハイ、建て増し旅館-


19

事例③ 運用時のアンチパターン

•管理コストが増大した自動テストの維持がしんどくなってくる•そんなときに、主に管理していたエンジニアが配置転換。•落ちまくるテスト。どんどん自動テスト環境が閉じられていく。。。

•最終的に、元に戻る。


20

導入構築保守・運用

3分クッキング

技術


管理者不在

自動化ハイ

建て増し旅館

原住民蜂起

事例③ 運用時のアンチパターン-原住民蜂起～そしてマニュアルへ-


21

組織

そして、時は流れ・・・


22

事例④ 導入時のパターン

•「自動テストってすごいなー。やってみたいなー。」

•ある時、不思議なバッチを発見する。「あれ？なんだこのバッチ。だれも使ってないけど」

•見るとびっくり！主なシステムテストが実施されるバッチだった。よし、これで自動化してみよう！


23

導入構築保守・運用

3分クッキング

技術


管理者不在

原住民蜂起

自動化ハイ

建て増し旅館

組織


事例④ 導入時のパターン

-インディ・ジョーンズ-


24

続いて、事例紹介です


25

組織導入構築保守・運用

自動テスト史上主義

こっそり導入


3分クッキング

やり易い所から自動化


技術



管理者不在

メトリクスの見える化割れ窓を塞ぐ

自動化システムの品質指標

原住民蜂起

文明の曙

エラーレポート最適化

自動化前提のテスト設計

自動テストのインフラ化

堂々と導入

自動化前提のテスト計画

自動化ハイ

建て増し旅館

自動化レトロスペクティブ

ゴールデンハンマー

強くてニューゲーム

武蔵運用



管理者不在

原住民蜂起

自動化ハイ

建て増し旅館

武蔵運用

強調した部分を中心に、実際の事例を交えてポイントを紹介します

組織

事例紹介

川口慎一郎


事例からみるテスト自動化のポイント

ファクトリーオートメーションにおける

システムテスト自動化事例

ファクトリ―オートメーション機器の開発

テスト専門部隊所属

川口慎一郎

目次

はじめに

ファクトリーオートメーションとは？

事例

システムテスト「自動化」の歩み。

システムテスト自動化改めて振り返る。

ひとつの解釈

ファクトリーオートメーションで自動化を紐解く。

ファクトリーオートメーションから見る自動化の本質。

現在の取り組み。

最後に

私たちにとっての自動化とは？

ファクトリーオートメーションとは

簡単な事例要求される品質

作って運んで

検査して品質管理したり

段取り決めたり

製造工程を自動化したのがFactory Automation（FA）

人間による作業ミスの削減/作業効率/人間に対する安全性の向上（ウィキペディアより）

要求される品質

信頼性私たちの作っているモノは、FA制御用の汎用機器。さまざまな、利用条件・環境条件にさらされる。誤動作は絶対しない/ひとの安全性は絶対に守る。

テストの実施の量・保証項目数はすごく多い。プロダクト単体システムテスト～システム統合テスト信頼性の向上を目指して自動化も頑張ってます。

システムテスト「自動化」の歩み

自動化システム事例自動化の効果

フェーズ2フェーズ1

初めての自動化自動化の加速

信頼性検証：自動化システム初号機

「最大・競合・高負荷・云々・・・全部入り。いかなる条件でも絶対止まりません！」

自動負荷制動

自動資源変動

自動全機能確認ランダム例外発生

その名は TITAN

結果モニタ＆表示

自動で結果判定ノイズばり乗り

初めてのシステムテスト自動化TITANは、良い子？悪い子？

・何をされても止まらないことは確認できた。・稼働までにかかる期間・労力…半端なし。・デバッグ/改造/システム調整・・・半端なし。

TITANマインドマップイメージ図

しかし、自動化の効果は検証している。経験を活かし、次のフェーズへ！

効果を実証するつもりがないなら、やらない方が良い。

自動化の量

仕事が楽しくなった感

期待値楽しい

苦行

思ったほど仕事が楽しくなってないぞ。プラマイしたたら、マイナスじゃないか？投資回収出来るの、だいぶ先だぞ？

フェーズ１期待値

フェーズ2

テスト設計の観点/テストスイート多品種大量生産

観点注射テストタイプ投与既存システム強化

複製・コピー

ATEHAシリーズ

四神

新システムの展開

四神シリーズ

ごめん、、もう無理。。

相変わらず、自動化の効果は検証している。

効果を実証するつもりがないなら、やらない方が良い。

自動化の量

仕事が楽しくなった感

楽しい

苦行

フェーズ１

期待値

フェーズ2

システムテスト自動化「2点観察」で「診る」

各フェーズの傾向分析

一撃必殺

英雄型

波状攻撃

軍団型

フェーズ２フェーズ１

今までを振り返ってみた。システムテスト自動化の変遷

自動化の前に、テストとして健全な認識を持つことから始める。不衛生な数値目標はやめたし、どう考えてもテスト設計が先だし。

自動化の目的はコストと納期だ。

早くものを動かしたくってしょうがない。

Low Levelから一気にHigh Levelに行くことを“効率“と呼んでいた。

自分の勘を信じることが、安心につながる。

テスト設計する前に、テストの環境が決まっている。

自動化したが、仕事が楽になっていない気がする。

建て増し旅館、ビックバン自動化

手順をまとめて、テストスイートづくりが楽しかった。

テストシステムの数と種類が半端ない。

お蔵入りのテストシステム・機材がたくさんある。

自動化率向上と言い出した。自動化できるところを探し始めた。

無人化された反動で、探索テストが無いと落ち着かない。

自動化したが、仕事が増えている気がする。

建て増し旅館自動化ハイ２号館別館新館

もっと上手くできないもんか？俺たち、Factory Automation の仕事してんだぜ。

ファクトリーオートメーション自動化を紐解く

自動化の難しさの源成功の秘訣私たちのパラダイムシフト

昔は手渡しでした

ひとが作業順番考えてました

工程間の申し送りは朝礼でした。

大量にモノをつくってないから管理もいらないし

結果は紙に書いてました

ひとが目で見て検査してました

熟練者の勘でOK/NGつけてました

昔は手で組み立ててました

一人の熟練者（職人）がいれば全てを分かってました。

色々、目で見てました。

俺たち何を自動化してたっけ？-FAシステムと捉えて逆アセンブル-

製造工程のトラブルが発生しても、ひとに聞けば、だいたい原因判りました。

表面上に見えていた行為と、ホントは人がやってた仕事の差。

自動化の難しさの根っこに気づく。

従来、ひと（手作業・あたま・経験/勘）でやってた仕事って、実はすごく賢いし、情報流れとか簡単には見えてこない。

無意識でやっている事は、見えるようにすることすら、とても難しい。

目に見えているところだけの自動化をやってしまうと、さらに、“やってること”が、隠ぺいされて行くことにつながる。

自動化の成功の秘訣に気づく。

FAでは、ひとがやっていること（5感）を機械化する技術がすごく発達している。

それぞれの技術が嵌るように、生産システムは構造化設計されている。

さらに、技術を嵌めた時、プロセス全体の流れが最適になるように計算されている。

そして、そこ（生産現場）には、必ずと言っていいほど、効果の計測・振り返りをベースとした、たゆまぬ改善がある。

Manufacturing ＝人の知恵と技術の結集

Testing ＝人の知恵と技術の結集

automate

そして僕らに、パラダイムシフトが起こる。

人間の役割を自動化することの難しさを理解する。

無意識を意識化し、人のやっていることを表面化・形式化させることが第一歩である。

それを（人の思考・行為）を自動化するには、高度な専門知識・技術獲得・体系化が必要となる。

獲得する技術をより明らかにし、かつ適用可能にするために、システムの構造化は必須。

現在の取り組み

テストプロセス全体を通して

無意識の意識化（振り返り中）

テスト自動化に必要な技術を整理（最中）

獲得技術の適応性を考慮に入れた、テストシステムとしての最適化・構造化（始めた）

狙うは“テストに必要なアクティビティ”が“最適に”自動化されたテストシステム。

FAを越えろ！テスト工程の自動化を考えたい！

自動化

自動化作って

運んで

検査して管理して

睨み利かして

自動化自動化

自動化自動化

自動化

一撃必殺

英雄型

波状攻撃

軍団型

そして覚醒

フェーズ２フェーズ１フェーズ３

そして、新たな一歩を進む。

自動化とは？

[オムロンの事例]自動化の背景にある概念と文化

私たちの自動化の根っこにある概念と文化

「機械にできることは機械に任せ、人間はより創造的な分野で

活動を楽しむべきである」オムロン株式会社創業者立石一真氏

自動化の「その先にあるもの」を考えてみませんか？それが、魅力ある風景に映るなら、諦めずに進みましょう。

自動化は、とても創造的で楽しい仕事に変わるかもしれません。平社員川口慎一郎

まとめ

•検これ、関西で絶賛開催中•レビューとテスト自動化に分かれて活動中

•今回はテスト自動化チームの成果を報告•テスト自動化マップ•現場での導入・改善事例

•関西にご旅行の際は、是非検これに！


ご清聴ありがとうございました。

事例から見るテスト自動化のポイント

Technology