開発データマイニングのススメ：「見える化」の次のステップ ·...

開発データマイニングのススメ：「見える化」の次のステップ

和歌山大学・システム工学部・情報通信システム学科准教授

大平雅雄

開発データマイニングのススメ：「見える化」の次のステップ2015/10/30

•出身：大阪府 •学位：博士（工学） •学歴 • 1998.3　京都工芸繊維大学・電子情報工学科卒業 • 2000.3　奈良先端科学技術大学院大学・博士前期課程修了 • 2003.3　奈良先端科学技術大学院大学・博士後期課程修了 •職歴 • 2003.04-2003.9 科学技術振興事業団さきがけ研究「協調と制御」領域　グループメンバ（ポスドク） • 2003.10-2004.9 奈良先端科学技術大学院大学・EASEプロジェクト　産官学連携研究員（ポスドク） • 2004.10-2012.3 奈良先端科学技術大学院大学・情報科学研究科　助手（2007年より助教） • 2012.04-現在和歌山大学・システム工学部・情報通信システム学科講師（2014年より准教授） •研究分野 (Research Area) • ソフトウェア工学 (Software Engineering) • エンピリカル（実証的）アプローチ (Empirical Approach) • リポジトリマイニング (Mining Software Repository) • オープンソースソフトウェア (Open Source Software)

2

自己紹介


エンピリカルプロジェクトモニタ：EPM

3


本日の内容•リポジトリマイニング技術の概要紹介 •最新の研究動向の紹介 •リポジトリマイニングプラグイン（EPM-Xのプラグイン）の紹介

4

ソフトウェアリポジトリマイニング（MSR: MINING SOFTWARE REPOSITORIES）


ソフトウェアリポジトリマイニング (MSR)

•蓄積された開発ログデータからソフトウェア開発に有用な知見を導き出すための技術の総称

•Software Intelligence (SI) の実現手段 • Business Intelligence (BI) にちなんだ造語 • SW開発における意思決定プロセスを強力に支援（したい）

6

CVS/SVNGit

Crashes

Bugs

Stacktraces

Mailinglist

開発者開発履歴の記録

知見


これまでのSW開発支援技術との違い•伝統的アプローチ • 例）CASE (Computer Aided Software Engineering）ツール

•MSR的アプローチ • 前提：蓄積された開発ログデータには開発者の創意工夫が埋もれている

• 隠されたパターンや傾向を掘り起こし，SW開発を自動的に支援したい • 開発者には知的作業にのみ集中してもらいたい

7

CVS/SVNGit

Crashes

Bugs

Stack traces

Mailinglist

開発者開発履歴の記録

知見


リポジトリマイニングでできること•プログラミング支援 • SW部品検索，コードクロン分析，ライブラリの安定バージョンの分析など •テスト支援 • Fault-prone module 予測（不具合含有モジュール予測）， Fault-localization（不具合箇所特定），テスト工数予測など

•保守・デバッグ支援 • バグトリアージ（不具合毎のエキスパート推薦），Automated Repair（不具合箇所の自動修正），バグ要因分析など

•管理支援 • 組織構造・コミュニケーション構造の可視化，ライセンス管理支援など •OSS利用ベンダ支援 • 品質・成熟度評価，不具合修正時間予測など

8

門田暁人，ソフトウェアリポジトリマイニングの技術動向とその応用，ソフトウェアジャパン2013，ITフォーラムセッション，2013年2月

詳細な解説：www.ipa.go.jp/files/000030061.pdf

http://www.ipa.go.jp/files/000030061.pdf


TECHNIQUES BEHIND MSR

9

ソフトウェア（コード）解析

統計解析平均，最頻値，中央値，分散，標準偏差，共分散，相関係数，誤差，偏差値，無作為抽出（ランダムサンプリング）期待値，不偏分散，有意差，尤度関数，回帰分析，重回帰分析因子分析，主成分分析，判別分析，共分散構造分析

静的／動的解析，形式手法，ソフトウェアメトリクス

データマイニング頻出パターン（相関ルール分析），判別分析（単純ベイズ分類器, 決定木, サポートベクターマシン），回帰分析（線形回帰、ロジスティック回帰），クラスタリング

テキストマイニング形態素解析，N-gram, 共起関係，tf-idf, LSA (LSI), LDA, 主成分分析，クラスター分析

ソーシャルネットワーク分析グラフ理論，次数分布，平均経路長，クラスタ係数，スケールフリー，次数中心性，近接性，媒介性


リポジトリマイニングの手順

10

Xie, T., Thummalapenta, S., Lo, D. and Liu, C.: Data Mining for Software Engineering, Computer, Vol. 42, No. 8, pp. 55‒62 (2009).


MSR技術の特徴•EPM-Xと同様，余分なデータ収集コストを発生させない •蓄積されるデータが増えれば増える程，一般的には予測精度が向上する • EPM-X等のリポジトリをいち早く導入することが将来的に大きな価値をもたらす

•日進月歩で進歩しており，今後も技術発展が見込める • とはいえ，実務者のニーズを研究者が正しく理解できている訳ではありません • 皆様の問題意識や実際に生じている問題等について，（特に大学の）研究者に教えて下さい

11

最新の研究動向の紹介


WORKING CONFERENCE ON MINING SOFTWARE REPOSITORIES (MSR)

•ICSE併設の会議として2004年から続くリポジトリマイニング専門の国際会議 • MSR2013での主なセッション

• Bug Triaging：不具合修正担当者の推薦 • MSR Goes Mobile：モバイルアプリ開発のためのMSR技術 • Changes and Fixes：変更／不具合修正の支援 • Ecosystems, Big Data：SWエコシステム／大規模リポジトリの分析 • Bug Classification：不具合箇所の分類と特定 • Social Mining：SW開発における社会的関係／コミュニケーションの分析 • Search-Driven Dev：SWコンポーネント検索エンジン • Mining Unstructured Data：非構造データ（テキスト）マイニング • Predictor Models：工数見積／バグモジュール検出のための予測モデル

13



•ICSE併設の会議として2004年から続くリポジトリマイニング専門の国際会議 • MSR2014での主なセッション • Green mining：省電力システム開発 • Code Clones and Origin Analysis：コードクローン分析 • Mining Repos and QA sites：開発者のニーズ調査 • Bug Characterizing：不具合の特徴分析（重大不具合の検出） • Mining Applications：プログラム／ソースコード解析 • Defect Prediction：不具合予測 • Mining Mix：混合データのマイニング • Code Review and Code Search：コードレビュー／コード検索 • Effort Estimation and Reuse：工数予測／再利用

14



•ICSE併設の会議として2004年から続くリポジトリマイニング専門の国際会議 • MSR2015での主なセッション

• Practice Papers：企業における実践報告 • Everything Changes (or Stays the Same)：影響波及分析 • Interaction Data and App Mining：モバイルアプリ分析 • Data Papers：マイニング用データ公開 • Code Review (that Passed Peer Review)：コードレビュー • Ecosystems, APIs, and Architecture：エコシステム／API／アーキテクチャ • Scary stuff: Bugs, Risks, and Vulnerabilities：重大不具合の分析／検出 • Computer Musicians Bullied for Using Gists：断片コード共有 • Licenses, Deep Learning, and Process Mining：ライセンス分析／深層学習／プロセス分析

15

リポジトリマイニングプラグイン（EPM-Xのプラグイン）の紹介


EPM-Xプラグイン•IPA/SEC 2013年度ソフトウェア工学分野の先導的研究支援事業」の支援を受けて開発 • ソフトウェア工学分野で評判の高いリポジトリマイニング技術を実装 • Redmin版/Trac版それぞれ7種類

• Bug Triage：適任の開発者推薦 • Fault-prone module：不具合箇所の特定 • Bug Fix Time Prediction：修正時間予測 • Bug Tossing Graph：再割当ての回避 • Code Clone Detection：重複コードの検出 • Delayed Correlation：遅延相関検出 • Change Point Detection：変化点検出 • Impact Analysis：影響波及分析

17


動作環境•EPM-Xがインストールされている環境 •動作確認環境

• OS Windows7 Professional 32bit • CPU Intel Core i5 2.70GHz • メモリ 4GB • HDD 500GB • Webブラウザ Google Chrome 30，FireFox 20

18


リポジトリマイニング支援環境•ツール公開・デモサイト • http://oss.sys.wakayama-u.ac.jp/msr/

19


BUG TRIAGE：適任開発者の推薦

•過去の不具合票（テキストデータ）を機械学習し，新規不具合に適任の開発者を推薦するアルゴリズム[Anvik@ICSE'06] •不具合修正効率の改善に寄与する技術

20

SVM

??

?



21

チケット一覧から割当てたいタスクを選択する



22

過去の実績からタスクに適した開発者が上位3名まで推薦される


BUG TOSSING GRAPH：再割当ての回避

•マルコフモデルに基づいて不具合の再割当ての状態遷移を可視化 [Jeong@FSE'08] •頻発する不具合修正タスクの再割当てを回避するための技術

23


BUG TOSSING GRAPH：再割当ての回避

24

チーム内のタスク割当ての状態遷移を可視化（誰から誰にタスクの再割当てが起きやすいかをあらかじめ把握できる）


FAULT MODULE PREDICTION：不具合箇所の予測

•ソースコードの計測値に基づき不具合を含んでいる確率を算出する [Kim@TSE'08] •テスト工数の割当てを効率化するための技術

25

��

�� public'void'

main(){'

��

public'void'

main(){'

��

public'void'

main(){'

��

100��100��

10�� 10��


FAULT MODULE PREDICTION：不具合箇所の予測

26

どのモジュール（ファイル）がバグを含みやすいかを確率で表現する


BUG FIX TIME PREDICTION：修正時間予測

•過去の不具合票を機械学習し，新規不具合の修正にかかる時間を予測するアルゴリズム[Weiss@MSR'07] •不具合修正効率の改善に寄与する技術

27

��&�� '�� !�"#%$(�

��

��

��



28

修正時間（タスク完了時間）を予測したいタスクを選択する



29

選択したタスクの予想完了時間が表示される


CODE CLONE DETECTOR：重複コード検出

•重複するコードの増加により，ソフトウェア保守が困難になる •ソースコード中に含まれる重複箇所の特定を行う •リファクタリングを効率化する技術

30

��

��

��


CODE CLONE DETECTOR：重複コード検出

31

コードの部分重複を検出したファイルセットと重複部分を表示する


DELAYED CORRELATION：遅延相関検出

•時間的遅延を伴う事象（２変数間の関係）を網羅的に抽出するアルゴリズム[竹内]

•ソフトウェアメトリクスの遅延相関を学習し，過去の傾向と異なる事象（外れ値）の検出を支援する[山谷]

32

public'void'

main(){ �public'void'

main(){ �

public'void'

main(){ �

public'void'

main(){ �

public'void'

main(){ �

��



33

解析期間を設定



34

2つのメトリクス間の遅延相関が表示される（現行プロジェクトでこれらの関係に従わない場合は，何らかの対処が必要かもしれない）



•検証実験 • Eclipse Platformプロジェクトに適用 • 山谷らの論文[1]： 131種類のメトリクス -> 17,030の組合わせ • 本プラグイン： 9種類のメトリクス -> 72の組合わせ

35

 



•検証実験 • 遅延相関が検出される理由を確かめた • 「不具合修正時間が長くなると3か月後に優先度（高）の不具合数が増加する傾向にある」

36


CHANGE POINT DETECTION：変化点検出

•時系列データの性質が急激に変化する時点（＝変化点）を明らかにする山西らのアルゴリズム[2] •ソフトウェアメトリクスの変化点を検出 •プロジェクトの状態変化を把握するための技術

37

��

� � � �

�� LOC ��

��!!�

 



38

時系列に計測したメトリクス（赤色）を入力として変化点スコア（青色）を算出して表



•検証実験 • Eclipse Platform プロジェクトに適用 • 入力：修正待ち不具合数の時系列データ • 結果 • 修正待ち不具合数の急激な減少時に高い変化点スコアを検出

39


IMPACT ANALYSIS：影響波及分析

•ソースコードの変更履歴からファイル変更の影響範囲を特定するためのZimmermannらのアルゴリズム[3] •従来のファイル変更パターンと違うパターンの検出 •不具合の誘発を未然に防ぐための技術

40

A� B� A� C�

��

��

��

��

 



41

構成管理システム内のディレクトリを表示



42

選択したファイルと同時に変更される可能性のあるファイルの発生確率と，同時変更に必要な作業時間が表示される



•検証実験 • Apache Qpidプロジェクトに適用 • コミットログおよび不具合票から結果の妥当性を確認

43

��%10.0%��%647.844��

��

#!"$��

� ��)��


発表済みの論文等•招待講演：２件 •表彰・受賞：４件 •学術論文：３件（査読付き） • 柏祐太郎, 大平雅雄, 阿萬裕久, 亀井靖高, 大規模OSS開発における不具合修正時間の短縮化を目的としたバグトリアージ手法, 情報処理学会論文誌（採録済） • 吉行勇人, 大平雅雄, 戸田航史, OSS開発における管理者と修正者の社会的関係を考慮した不具合修正時間予測, コンピュータソフトウェア（採録済） • 山谷陽亮, 大平雅雄, Passakorn Phannachitta, 伊原彰紀, OSSシステムとコミュニティの共進化の理解を目的としたデータマイニング手法, 情報処理学会論文誌, volume 56, number 1, pages 59―71, 2015年1月.

•国際会議：３件（査読付き） • Yosuke Yamatani and Masao Ohira, An Exploratory Analysis for Studying Software Evolution: Time-Delayed Correlation Analysis, In Proceedings of 6th International Workshop on Empirical Software Engineering in Practice (IWESEP 2014), pages 13―18, November 2014. • Yutaro Kashiwa, Hayato Yoshiyuki, Yusuke Kukita, and Masao Ohira, A Pilot Study of Diversity in High Impact Bugs, In Proceedings of 30th International Conference on Software Maintenance and Evolution (ICSME2014), pages 536―540, 2014. • Masao Ohira and Hayato Yoshiyuki, A New Perspective on the Socialness in Bug Triaging: a Case Study of the Eclipse Platform Project, In Proceedings of 5th International Workshop on Social Software Engineering, pages 29―32, August 2013.

•国内会議：１５件（査読付き１０件，査読なし５件） • 金城清史, 大平雅雄 , Blocking Bugの早期修正支援に向けた特徴分析, ソフトウェア信頼性研究会　第10回ワークショップ, 2014年12月，など．

44


リポジトリマイニング支援環境：ツール公開・デモサイト

•http://oss.sys.wakayama-u.ac.jp/msr/

45




46

オープンソースとして公開中




47

お試しデモも公開中

http://oss.sys.wakayama-u.ac.jp/msr/


今後の見通し•産業界への貢献 • EPM-Xとの相乗効果による定量的プロジェクト管理ツールの普及 • ある程度まとまった数のプラグインを具体的な形で提供できた • 現場ニーズのさらなる獲得 • 共同研究等の促進

•学術界への貢献 • プラグインの提供による先端技術利用の容易化 • 次世代リポジトリマイニング研究基盤 • 新規手法をプラグイン化することで，既存手法（プラグイン）との比較が容易になる

48


共同・受託研究等々のお誘い•本当に役立つ技術を開発するためには，現場ニーズに沿った研究開発が必須です •大学には，共同研究，受託研究，技術研修等々，企業の問題解決に資する制度がありますので，ぜひお気軽にご相談ください

49

開発データマイニングのススメ： 「見える化」の次のステップ ·...

Documents

開発データマイニングのススメ：「見える化」の次のステップ ·...