“Why should I Trust You?” Explaining the Predictions of Any Classifier

神嶌 敏弘 KDD2016勉強会，2016/10/01

1

概要

2

説明 (explanation)：複雑な分類器の判断基準を，人間にも解釈可能 (interpretable) になるように提示する

人間が見て分かるほど単純なモデルでは予測精度に難 カーネルや深層ネットなど複雑なモデルでは解釈不可能

↓ 内部構造がブラックボックスの任意の分類器に適用可能

ある事例の分類結果に，各特徴がどれくらい影響を与えているかを調べて説明とする いくつかの事例についての説明を見せることで，モデル全体への説明とする

↓ クラウドソーシングを使った被験者実験で説明の有効性を確認

クラウドワーカーで，特徴の前処理ができた

個別の予測についての説明

3

ホールドアウトデータでの予測指標は過大評価になりやすい leakage や，訓練とテストで分布が違うデータ集合シフトへの対策

個別の予測についての説明 事例の構成要素（テキスト中の語や画像の一部）とモデルの予測の関係を定性的に理解できるようにテキストや可視化

20Newsgroup文書の分類

元の文書

アルゴリズム を比較

分類結果と 正解・不正解

分類に影響 した特徴

とその影響度

説明に必要な要素

4

解釈可能性：入力変数と応答との間の定性的理解を与える 人間の理解力の限界，理解の容易さ：数100個の特徴は無理 対象利用者：専門家 or 非専門家

局所的忠実性：モデル全体を詳細に述べることができなくても，予測対象の事例に関連した部分だけでも最低限は説明できる

局所的忠実性は大域的忠実性を含意しない：大域的に重要な特徴が局所的にはそうでない場合がある

モデル不可知性：任意のモデルを説明可能で，モデル自体をブラックボックスとして扱う

多くの分類器は解釈不能であり，将来出てくる分類器も扱えるように

大域的観点：モデル全体を代表するような事例を選んでモデルを説明

Local Interpretable Model-agnostic Explanations (LIME)

5

ブラックボックスな分類器に局所的に忠実 ＆ 利用者に解釈可能 ↓

事例 x の周辺からサンプリングした事例で解釈可能な分類器を訓練

サンプルは x への類似度 πx(z) で， z を重み付けしているので頑健 サンプリングした事例 z を説明する分類器に与えてラベル f(z) を得る

説明用 分類器

負ラベル の事例

正ラベル の事例

説明する の事例

Local Interpretable Model-agnostic Explanations (LIME)

6

⇠(x) = argmingÀG

L(f , g,⇡x

) +⌦(g)

疎な線形説明 g(z’) = wg・z’

事例の類似度 πx(z) = exp(−D(x, z)2 / σ2)

損失 Σz πx( f(z) − g(z) )2

最適化問題を解いて事例 x についての説明を得る

説明する分類器 f(z)

説明 g の複雑さ 利用する特徴がたかだか K 個

K-lasso：正則化パスを用いて K 個を選ぶ

例：20NewsgroupをSVMで分類

7

キリスト教徒と無神論者の投稿を分類する問題 Algorithm2の予測精度は一見94%と高く，一見すると信頼できそう

NetNewsのヘッダ情報が有力な特徴となっていて他の文書でキリスト教徒・無神論者を分類するには使えなさそう

分類した文書

深層ネットで分類した画像

8

Google の Inception NN で分類した結果 上位三つのクラスラベルについて，その説明となる領域を示した

アコギをエレキと間違えたのは fretboard の存在が大きい

エレキギター アコースティックギター ラブラドール

元画像

モデルの説明 (SP-LIME)

9

複数の事例に対する説明を示すことでモデルの説明とする ↓

モデルをうまく説明できる事例の集合を選ぶ

f1 f2 f3 f4 f5

できるだけ多くの重要な特徴を被覆するように，B個の事例を選ぶ

↓ 集合の最大被覆なので，劣モジュラ

性を使い貪欲法で解く

事例の分類にとって重要な特徴

人工的な利用者実験

10

評判分析用ベンチマークを用いたオフライン実験 LIME（提案），parzen，greedy，random

説明はモデルに対して忠実か？ 元分類器で最も重要な10個の特徴を説明で復元させた random ＜ parzen ＜ greedy ＜ LIME（90%以上）

説明によって個々の予測への信頼は高まるか？ 信頼できない特徴を決めておいて，それを使わないと予測が変化する場合は信用できないとして，信用できないことに対する識別率 F1尺度で評価して，LIMEは他より有意に良かった

説明はモデル全体の評価に有用か？ 信頼できない特徴を埋め込んで，それが説明に取り上げられたらモデルから除外して，最終モデルを作って，その予測精度で評価 ランダムに事例を選ぶより劣モジュラに基づく選択がよかった

被験者による評価

11

AMT で 20Newsgroup とわざと作った背景が雪原だったら狼と判別する狼・ハスキー分類器 を使い被験者実験

利用者が最良の分類器を選択できるか？ 説明をみてまともなモデルを選ぶ割合 → LIMEで劣モ選択がよい

非専門家が分類器を改良できるか？ 説明を見て，無関係と思う特徴（単語）を段階的に除去して分類器を再構築し，新たなキリスト教・無神論データで評価 被験者は分類器の性能を向上させることができた

説明は洞察を与えるのか？ 狼識別器で説明を見せる前後で，実際に使ってみてうまくいきそうかどうか，またその理由を尋ねてみた 背景に依存しているため，この分類器はダメだと被験者は認識した