論 文

表情識別に対す るMTS法 の適用

非会員　 長 尾 光 悦(北 海 道 大 学)

非会員　 山 本 雅 人(北 海 道 大 学)

非会員　 鈴 木 恵 二(は こだて未来大学)

正 員　 大 内 東(北 海 道 大 学)

Application of the MTS Method for Facial Expression Recognition

Nagao Mitsuyoshi, Non-member, Yamamoto Masahito, Non-member (Hokkaido University), Suzuki

Keiji, Non-member (Future University - Hakodate), Ohuchi Azuma, Member (Hokkaido University)

It is clear that facial expressions are important on face-to-face communication. Humans can not only guess

other person's psychological state from facial expressions but can also give own intentions to other persons

by using them. If users can use facial expressions to a computer and the computer can correctly recognize

them, an effective human interface can be constructed. Therefore, it is necessary to establish an effective

facial expression recognition technique from facial image data. In this paper, we propose an application of

the MTS (Mahalanobis-Taguchi-System) method for facial expression recognition. Especially, we treat the facial expression recognition from stationary facial image data. The NITS method is a statistical pattern

recognition method using the Mahalanobis distance. This method can consider the correlation among each

attribute in the recognition, and can optimize the number of attributes based on the results of recognition.

We also propose an optimization method with the genetic algorithms. We construct the recognition system

based on the MTS method, and then evaluate the effectiveness of the proposed methods through practical

experiments. The experimental results revealed that our proposed methods could correctly recognize the

facial expressions and could effectively optimize the number of attributes.

キー ワー ド:顔 画像,表 情 識 別, MTS法,微 分積 分 特性,仮 想 的参 照 パ ター ン,遺 伝 的 ア ルゴ リズ ム

1.ま え が き

人間 同士 の対面 コ ミユニ ケー シ ョンにお いて,表 情が 重

要な役割 を果 た して いる ことは 明 らか であ る。我 々は 表情

か ら相手の感 情や 状態 を推測 す るばか りで な く,自 らの意

図など を表情 を用 いて伝 達す る。 また,表 情 は非常 に 多 く

の情報を含ん でい る と考 え られ,計 算機が 表 情か ら人 間に

関する情報 を抽 出可 能で ある な らば,よ りイン タラ クテ ィ

ブな計 算機環境 の構 築が 可能 に なる と考 え られ る。 このた

め,計 算機 と人 間のface-to-faceコ ミュ ニケ ー シ ョンを実

現する ヒュー マ ン インター フェ ースの基 礎技術 の 一つ と し

て顔画像 か らの 表情 識別 の実現 が望 まれ てい る(1)(2)。

表情 識別に おけ る基本 的課題 としては,各 表 情 に共通 し

て存在 する表情 パ ター ンを的確 に抽 出 し,こ の表情 パ ター

ンに基づ く表情 識別 を実 現す る ことが 挙げ られ る。 しか し

なが ら,表 情 に は個 人差,更 には曖 昧性 とい った要 素が 関

係するため に十 分な識 別 能力 を実現 で きてい ないのが 現状

で あ る(3)(4)。

一方,マ ハ ラ ノビス ・タグチ ・システム法(以 下, MTS

法)は,近 年,品 質工学 の分 野で盛 んに研 究 され て いるパ

ター ン認識手 法の一 つであ る。MTS法 は,学 習デ ー タ集合

に内在 す る特 徴量 間の相 関関 係 を抽 出 し,抽 出 され た相関

関係 を考慮 した仮 想的参 照パ ターンを生 成す るこ とが 可能

で あ り,こ の 参照バ ター ンか らのマ ハ ラノ ビス距離 に基づ

いてパ ターン認識 を行 う手法で ある。また,学 習デー タに ノ

イズ を与 える ことに よって ロバ ス ト性の あ る識 別が可 能 と

な り,更 には識別結 果に基づ いた特徴量 の最適化 を行 うこと

に よ り識別 に対 して有効 な特 徴量 の再抽 出が 可能 な手 法で

あ る(5)。これ らの特徴 か らMTS法 は不 特定 多数の 手書 き

文 字認 識や音 声認 識 に対 す る適用が 提案 され てい る(6)(7)。

本論 文 では,静 止 顔 画像 か らの 表情 識別 に対 す るMTS

法 の適 用 を提 案す る。 表情 は 目や 口 とい った顔 表面 の 内的

特 徴 の1つ か ら形 成 され るので はな く,顔 面 筋の影 響 に よ

り幾 つか の 内的特 徴が 連 動 す るこ とに よって形 成 され る。

電学論C, 120巻8/9号,平 成12年1157

MTS法 は特 徴量間の 相関関係 を考慮 した仮想 的参 照パ ター

ンの生 成が 可能で あ るため,顔 の 内的特 徴の連 動 によ って

形 成 され る表 情 の識 別に対 して有 効で あ る と考 えられ る。

更 に, MTS法 は 多様 な学 習デ ー タ集合 内に 共通 して 存在

す る特 徴量 間の相 関関係 を 自動的 に獲得す る ことが 可 能で

あるた めに,表 情 に共通 して存在す る表情 パ ター ンを考慮

した識 別 を行 うことが 可 能で ある と考 え られ る。

従来,表 情 識別 にお いては ニュ ーラル ネ ッ トワー クを用

いた表 情識 別に関 す る研 究が 多 く行 われ てお り,こ れ まで

表 情識 別に対 す るMTS法 の適用 は行 われ てい ない。 しか

しなが ら, MTS法 は ニュ ー ラルネ ットワー クを用 いた 表

情 識別 に比べ,トL一 ニ ングに要す る計算 時 間が 短 く,更

には識 別す る表 情 の増 加 に伴 う再 トレーニ ング を必 要 と し

ない。 これ ら利点 か らMTS法 を馬い た表情 識別 はニ ュー

ラル ネ ッ トワー クを用い た場 合に比べ 有効で あ る と考 え ら

れ る。

また,表 情識 別は 人 間との コ ミュニ ケー シ ョンの 促進が

目的で あ るため 実時 間 性は 一つ の重 要 な要素 とな り得 る。

MTS法 は識 別結 果 に基づ き特 徴量 の 最適化 を行 うこ とが

可能 であ る。す なわ ち,識 別 に要す る処 理時 間の短 縮 を図

るこ とが 可能 とな る。従 来のNITS法 で は,多 大 な特 徴量

を扱 う場 合には特 徴量 を幾 つかの グル ープに 分割 し,各 グ

ル ープ にお いて 特徴 量 の最 適化 を行 う(8)。しか しなが ら,

グル ープ を分割 す るこ とに よリグループ 間の 関係 を考慮 し

ない 最適化が 行 われ る可能性 があ る。 この こ とか ら,本 研

究 で は,特 徴量 の最適 化に 対 して 遺伝的 アル ゴ リズ ム を用

いた 最適化 手法 の提案 も行 う。本論 文で は,提 案手法 の有

効 性 を検証 する ため に被 験者 を用 いた識 別実験 を行 う。

本論 文の構成 は,以 下2章 では 使用す る顔画 像デ ー タ及

び 識別の ための顔画像処 理方法 につ いて示 し,次 いで, 3章

で は表情 識別 に婦 す るMTS法 の適用 法を提案 す る。4, 5,

6章 では 提案 手法 の有効 性 を被験 者 を用い た識 別実験 を通

して検 討 し,最 後 に今後 の課 題 を議 論す る。

2.顔 画 像 処 理

以下 に本論 文で 用い る顔画像 及び 顔画像 処理 方法 につい

て示 す。

<2・1>顔 画 像 本論 文では識 別対象画像 と して静止

顔 画像 を扱 うもの と した。従 来の表 情識 別では動 画像 を扱

う研究 もあ るが(3)(4)特 殊 な装置や 多大 な画像 処理 時間 を

要す る ことか ら本研 究に おけ るアプ ローチ としては静止 顔

画像か らの表情 識別 を試 み る。

識 別 に用い る顔 画像 は正面 顔画 像で あ る。 顔画像 は300

×300画 素,階 調数 は256階 調で ある。 また,表 情識 別に

おい ては 多様 な撮 影 変動 に対す る ロバ ス トネ スの実現が ー

つ の課 題 と して存 在 するが,本 論 文 にお いては撮 影変動 に

対 す る ロバ ス トネ スの課 題は扱 わな いため,こ れ らの 変動

を排除 した画像 を扱 う。す なわ ち,背 景 は 白色 であ り,頭

髪 及び 眼鏡 を含 まな い顔画像 で あ る。更 に,撮 影に際 して

は 各顔 画像 の眼 と口の 間隔 及び鼻 の位 置が ほぼ 一定 とな る

よ う撮 影 を行 う。

本論 文で扱 う表 情 は, 6基 本表 情(怒 り,嫌 悪,悲 しみ,

幸福,恐 怖,驚 き)及 び無表 情の 計7表 情 であ る。6基 本表

情は,表 情に個 人差 はあ るが 共通 の表情パ ター ンが 存在する

ことが 報告 され て お り(5),表 情 識別 に おい て頻繁 に用い ら

れ る表情で あ る。各表情の顔画 像は心 理学 の分野 にお いて用

い られ るFACS(Facial Action Coding System)に 基づ い

た もの を用 い る(10)。FACSは, Ekmanら に よって提 案さ

れた顔 表面 に現 われ る顔 面筋 の 動 きを44個 のAU(Action

Unit)と 呼 ばれ る基本 単位 に 分 類 し, AUの 組 み 合わせに

よ り任 意の 表情 を形 成す る こ とを可 能 とす るシ ステ ムであ

る。本論 文 では1枚 の静 止顔 画像 か らの 表情 識別 を行 うた

め,表 情 の表 出のみ にFACSを 用 い る もの とし,識 別のた

めの特 徴量 と してAUを 扱 うもので は ない。FACSを 用い

るこ とに よ り,表 情表 出の 簡 単化 及び あ る程度 の個 人差を

吸 収す る こ とが可 能で あ る。

<2・2>2値 化 静止 顔面像 か らの表情識 別において

は,眉,鼻,口 とい った顔 の 内的特 徴 の位 置及 び形状情報

が 有効 と考 える。 この 位置,形 状情 報 を抽 出す るため顔画

像 の2値 化,す なわ ち,顔 画 像 か らのエ ッジ抽 出 を行 う。

エ ッジ抽出 に際 してはGlobal Ranbe Edge Detection法

を用い る(11)。Global Range Edge Detection法 は画像 内

におけ る階調 値の 偏差 に基づ きエ ッジ抽 出 を行 う手法で あ

る。Global Range Edge Dection法 を用い たエ ッジ抽 出は

以 下の式 に よって 行われ る。

1∂ij│=max(1∂1ij│,…, 1∂4ij│)… … … … …(6)

│∂ij│≧ μ+σ … … … … … … … … … …(7)

1158 T.IEE Japan, Vol.120-C , No.8/9, 2000

表情識別に対 するMTS法 の適用

図1エ ッジ抽 出画 像例

Fig. 1. An example of the edge extracted image

pi, j: 画素(i, j)に おけ る階調 値

Iij: 画素(i, j)の 近傍 画素 におけ る絶対 値平均

∂ij: 画素(i, j)の 近傍 画素 におけ る階調 値偏差

μ: 画像 全体 におけ る偏差 パ ター ンの平均 値

σ: 画像 全体 におけ る偏差 パ ター ンの標準 偏差

M: 画像 の幅

N: 画像 の高 さ

Global Range Edge Detection法 で は,任 意 の画 素 の

エ ッジ判定 にお いて,式(1)か ら(4)で 表 され る近 傍画 素

におけ る4種 類 の階調 値の 偏差 を調査 し,最 大の偏 差が 画

像全体の偏 差の平均 と標準 偏差の和 を超 え た場合 にそ の画

素をエ ッジ と判 定す る。図1に エ ッジ抽 出画像 の例 を示す。

3.表 情 識 別 に 対 す るMTS法 の 適 用

以下に,表 情識 別 に対す るMTS法 の適用 方法 を示す 。

<3・1>識 別プ ロセス 本提案 手法に よる表 情識別 プロ

セスは以下 の通 りで ある。

(1)各 表情 に対す る顔 画像 の収集

(2)収 集 した顔 画 像の エ ッジ抽 出

(3)エ ッジ抽 出画 像か らの特 徴量抽 出

(4)各 表情 に対 す る仮 想的参 照パ ター ンの生 成

(5)マ ハ ラノビス距 離に基づ いた未知顔画像の表 情識別

(6)識 別結果 に基づ い た特徴 量の 最適化

提案手法 におけ る識 別プ ロセ スは,2章 で 述べた よ うに各

表情 の顔画 像 を収 集 し,収 集画像 のエ ッジ抽出 を行 う。次

に,エ ッジ抽 出画 像か らの 特徴量 の抽 出 を行 う。抽 出 され

た特徴量 を用い て各表 情毎 に仮想 的参 照パ ター ンの生 成 を

行 う。生 成 され た仮 想 的参照パ ター ンに対す るマ ハ ラ ノビ

ス距離 を用 いて未 知顔 画像 の識 別を行 う。最 後 に識別結 果

を用 いて識 別に有効 な特 徴 量 を再 抽出 し,識 別速 度の 向上

を図 る。 以下,各 過 程 の詳細 につ いて 述べ る。

<3・2>特 徴 量表現MTS法 の応用研 究 と して手書 き

文字認 識及び音 声認識 手法が提 案 され てい る(6)(7)。これ ら

のパ ター ン認識 では特 徴量 として微分特 性 及び積 分特性 に

基づ く特徴量が 用い られ る。微 分特性 に基づ く特徴量 はデ ー

タ内 の要素 の変 化頻度 に関 する情 報 を有 し,積 分特 性 に基

づ く特徴量 はデ ー タ内にお け る要 素の 距離情 報 を保 持す る

ことが 可 能な特 徴量 であ る。 これ ら両特 徴量 を組 み合わせ

て用 い るこ とに よ り有 効 なパ ター ン認識 が行 え るこ とが 報

告 されて いる(8)。本論 文で の表情識 別に おいて もこれ ら特

徴量 を用い るこ とに よ り,顔 表面 の内 的特徴の 位置,形 状,

分布,顔 画 像内 の変化 頻度 に関す る情報 を含 む有効 な特徴

量 とな るこ とが期 待 され る。 また,微 分積分特 性 に基づ い

た特 徴量 は従来 の顔画 像識 別に おいて提 案 されて いる,モ

ザ イク化,KL展 開等 に基づ い た特徴 量 と比 較 し簡 素な処

理で 抽出 す るこ とが可 能で ある ために処 理の 高速化 も可 能

で ある(12)。以下,各 特性 に基づ く特徴 量の算 出方 法の詳細

を示 す。

(1)微 分特性: 微 分特性 に基づ いた特徴量は,図2に 示

す ように画像上 に ん本 の ライン を設定 す る。この 各

ラ イン上 での 画素値 の変化 数が微 分特性 に基づ い た

ー つの特 徴量 となる。 画像が 図2に 示 され る ような

完 全 な一 本の線 か ら構 成 され る もの と仮定す るな ら

ば,微 分 特性 に基づ く特徴 量は ラ イン との交 点数 と

なる。図2及 び式(10)は 画像 におけ る横方 向の微 分

特性 に基 づ く特 徴量 の算 出方法 を示 してい るが,画

像 の横方 向 と同様 に画像 の縦方 向で も特 徴量 を算 出

す る。 また,ラ インは,両 方向 におけ る全画 素列 に

対 して設 定す る ことが 理想 では あるが,計 算 量の 問

題 か ら識 別対 象 に応 じて ラ イン数 を削 減す る ことが

可 能で あ る。

Pi, j=

1 if pi, j≠pi, j+1

0 otherwise

図2微 分積分特性の算出例

Fig. 2. An example of the attributes based on the

differential and the integral charactaristic

電学論C, 120巻8/9号,平 成12年 1159

DFh: ラ インhに おけ る微分 特性 に基づ く特

徴量

pi,j: エ ッジ抽 出画像 におけ るラ インhに 対

応 した画素(i, j)の 画素 値

M: 画像 の幅

(2)積 分特性: 微分特 性 に基づ いた特 徴量 と同様 に画

像上 にh本 の ラ イン及び 画像 におけ る中心線 を設 定

す る。 中心 線 は画像 の幅 または高 さを等分す る線 で

あ るが,ラ インの設定 状態 に よ り移動 す るこ とも可

能 であ る。積分特性 に基づ く特 徴量 は ラ インh上 で

画 素が存 在す る個所か ら中心 線 まで のユ ーク リッド

距 離 を算出 し,こ の 距離 の0計 を特徴 量 とす るもの

で あ る。積分特性 におい て も画 像の縦横 の両 方 向で

特 徴量 を算 出す る。 画像 の横方 向に おけ る積分特 性

に基づ く特徴量 は 以下の 式に よって算 出 され る。

INh: ラ イ ンhに お け る積 分 特 性 に 基 づ く

特 徴 量

pi,j: {0,1}

c: 画 像 の 中 心 線(c=M/2)

<3・3>仮 想 的参照パ ターンの生成 微分積 分特 性に基

づ いて算 出した特徴量か ら仮想 的参照パ ター ンを生 成す る。

MTS法 に基づ く識別 は,学 習デ ー タ集 合か ら仮想 的参照

パ ター ン を生 成 し,生 成 した 参照パ ター ンに対 す るマハ ラ

ノビス距離 を用い て未知 デ ー タが仮 想的 参照パ ター ンに帰

属 す るか否か を判 別す る もの であ る。本論 文 におい ては複

数 の表 情 を識 別す る必 要が あ るため に,各 表情 毎 に仮想 的

参 照パ ター ン を生 成す る もの とす る。仮 想的参 照パ ターン

は以下 の手順 に よ り生 成 され る。

(1)学 習 デ ータ集合 の基準 化: ここで,学 習デ ー タの

次元数 をk,学 習デ ー タ集 念の要素 数 をnと す る時,

以下 の式 に よ り平均 値mjと 標 準偏 差δｊを用 い て学

習デ ー タ集合 を変換 し, Xijを 算 出す る。この操 作 を

基準化, Xijを 基準 化値 と呼ぶ 。

(2)相 関行列 の算 出: 基 準化 され た学習デ ー タ集 合か

ら相 関行列Rを 算出す る。

(3)逆 行列 計算: 相 関行 列Rの 逆行 列Aを 算 出す る。

この逆行 列 を仮想 的参 照パ ター ン として用 い るもの

とす る 。

識 別婦 象 をy(次 元 数k)と した時 の 仮想 的 参照 パ ター

ンか らのマハ ラ ノビス距 離D2は,参 照 パ ター ン生 成時に

使用 した平均 値mj及 び標準 偏差 δjに基づ きyを 基準化 した

Yを 用い,以 下の式 に よ り算 出す る 。

Y={Y1, Y2,…, Yk}… … … … … … …(16)

4.実 験 方 法

本提 案手 法の評 価 を行 うため,被 験者 を用い た識 別実験

を行 った。 以下 に実験 方法 を示 す。

実験 では表情撮 影のた めの被験 者 として男子 大学生10名

を採用 し,学 習用 顔画 像デ ー タとして5名,未 知顔 画像用

として5名 か らそれぞ れ 撮影 した顔画 像 を用 いた 。被験者

に対 して まず 表情 の 種類 を指定 しEkmanの 文献(13)に 掲

載 されて い る表情写 真 を見本 として提 示 した 後,そ の表情

に おけ るAUと 顔表面 の 変化 につ いて説 明 を行 った。次 い

で,鏡 を用 いて表 情表 出の練 習 を行 わせ,被 験者が 納得 の

い った時 点か ら撮 影 を開始 した。撮 影時 に は鏡 は使用 しな

いが,表 出 して い る表 情がFAGSに 基づ く表情 と著 し く異

な る場 合に は,再 度教 示 を与 え表情 表 出の練 習 を させ 撮影

し直 した。 表情識 別 におけ る基本 的課 題 と して各表情 に存

在 す る表情 パ ター ンを的確 に抽 出 し,こ の パ ター ンに基づ

いた識 別 を実現 す るこ とが 挙 げ られ る。本 実験 で はFAGS

に基づ く表 情 を採用 してい る。 す なわ ち,予 め各 表情 に共

通す る表情 パ ター ンが 存 在 する こ と となる。 実用 的 な表情

識別 シ ステ ムを考慮 した場 合,ユ ーザが何 ら制約 を受 けず

表 出 した表情 の識 別 を行 うこ とが 理想 で あ る。 しか し なが

ら,ユ ーザ に制約 を与 えな い場 合,個 人差が 大 きす ぎ 共通

1160 T.IEE Japan, Vol.120-C, No.8/4, 2000

表情識別に対 するMTS法 の適用

図3各 表情における顔画像例

Fig. 3. An example of the face expression images

の表情 パ ターンが存 在 しない場 合が 考え られ るため,現 在

の多 くの表情識 別に関す る研究がFACSに 基づ く表情 を採

用 してい るのが 現状 であ る。 しか しなが ら,FACSに 基づ

いた表 情 を用 いた場 合 におい て も各ユーザ の顔 の内 的特徴

の形状 等は異 な り,そ の 中か ら共通 する表 情パ ター ンを抽

出す るこ と も表情識 別の 一つ の重要 な課題 と考 える。 この

よ うなこ とか ら本 実験で はFACSに 基づ く表情 を採 用 して

いる。

また,ー 表情 にお いて 一被 験者 あ た り20枚 の 顔画 像 を

撮影 した。 よって,一 表情 の仮 想的参 照パ ター ンは5名 の

被験者 か ら20枚 つ つ 収集 され た計100枚 の顔画 像か ら生

成す ることとな る。更 に,未 知顔画像 の識別 は, 7表 情 ×5

名 ×20枚 の計700枚 の顔 画像 を識別 した。図3に 学 習デー

タとして用い た各表 情に おけ る顔画像 の 一例 を示す。

実験 で用い た微分 積分特 性 に基づ く特徴 量は,特 徴 量数

の増大 を防 ぐため顔画像 の縦横方 向で各12画 素ご とに ラ イ

ンを設定 し特徴 量抽 出 を行 っ た。 よって,顔 画像 の横 方向

において24ラ イン×2特 性の48個 の特 徴量,縦 方 向にお

いて も48個 の計96個 の特徴 量 を用いて 仮想的 参照 パ ター

ンを生 成した 。

更に,比 較の ため以 下の2種 類の手 法 を用い た表情 識別

を行 った。

(1)モ ザ イク化 特徴量 に基 づ く識別: 顔画 像 に100×

100の モザ イク化処 理 を施 した後,各 表情 にお け る

顔画 像群 の階調 値の 平均 値に基づ き平均 顔 を生 成す

る。この平均 顔 か らのユ ー ク リッ ド距離 に基づ き未

知顔 画像 の識別 を行 う。

(2)微 分積分特 性 に基 づ く特徴 量 を用 い た識 別: 各表

情 におけ る顔画 像で 微分 積分特 性 に基づ く特徴 量 を

抽 出し,こ の特 徴量 の平均 値か らのユ ー クリ ッド距

離 を用 い て識別 を行 う。 これ はMTS法 にお け る特

徴量 間の相 関関係 の考慮が 識別 にお いて有効 であ る

こ とを検 証す るた めに行 うもの であ る。

5.実 験 結 果

以 下,表1,図4に 実験 結果 を示す。表1は 未知 顔画像 の

識別結果 であ る。表1の 識 別結果で は, MTS法 を用い た場

合に は,未 知 顔画像 の各 仮想的 参照パ ター ン まで のマハ ラ

ノビス距離 を算 出し,最 小距離 を示 した参照 パ ターン に未

知顔画 像が属 す る もの と した。 また,モ ザ イク及び微分 積

分特性 に基づ い た識 別の 場合 も,各 平均 顔 または 平均 値 に

対 し最小 のユ ー ク リ ッド距離 を示 した もの をその 表情 に属

す る もの と した 。

モ ザ イ ク化特徴 量に よる識 別では幸 福,驚 きを除い て識

別率が低い 。幸福 と驚 きは顔表面 におけ る変化が著 し く,他

の表情 との差 異が 大 きいためユ ー ク リッ ド距離 を用 いた場

合に おい て も識 別が 可能 であ った と思われ る。 しか しなが

ら,無 表情,嫌 悪,怒 り,悲 しみ,恐 怖 の表情は顔 表面の変

化が部 分 的に他 の表情 と類似 す る可能性が あ り,顔 の 内的

特 徴 にお ける相 関関 係 を考 慮す る ことが困 難なユ ー ク リ ッ

ド距 離で は識別が 困難 なため に低 い識 別率に な った と考 え

られ る。 これ に対 しMTS法 を用い た場 合には,各 表情 に

おい て有効 な識 別が 可 能で ある こ とが示 され た。 これは微

分積 分特性 に基づ く特 徴量 を用 いたユ ー ク リッド距 離 に よ

表1識 別結果(%)

Table 1. Recognization results (%)

電学論C, 120巻8/9号,平 成12年 1161

Recognition based on

Euclidean Distance

Recognition based on

Mahalanobis Distance

A: Anger D: Disgust F: Fear H: Happiness N: Neutral Sd: Sadness Sp: Surprise

図4識 別パ ターン まで の距 離

Fig. 4. Distance to the recgnized pattern

る識 別結 果 か ら も示 唆 され る よ うに, MTS法 が 多次 元特

徴量 間の相 関 関係 を考 慮 した識 別 を行 うこ とが可 能で あ る

ため に有効 な識別が 可能で あ った と考え られ る。す なわ ち,

本論 文で は顔 の表現 方法 と して エ ッジ抽 出画像 を用 い,識

別 に用い る特徴 量 と してエ ッジ抽 出画 像 におけ る微分 積分

特性 に基づ く特 徴量 を採用 して い る。微分 積分特 性 に基づ

く特 微量 は画像 にお け る形 状情 報 を考 慮す る こ とが 可能で

あ る。 これ ら相 関関 係の考 慮,エ ッジ抽 出画像,微 分 積分

特性 に基づ く特 徴量 の 点か らMTS法 に基づ く表情識 別で

は,顔 表 面 におけ る内的特 徴 間の 関係 を考 慮可 能で あ った

ため に有効 な識別が 可能 であ った と考 えられ る。

また,図4に モザ イク化特 徴量 と本提 案 手法 の各 々に よ

り適 切 に識別 され た各407枚, 700枚 の 未知顔 画像 の平均

顔 及び識 別 パ ター ンに対 す る距離 を示 す。図4左 のユ ー ク

リッド距 離 を用 いた識 別に おいて は,平 均 顔 に対 する 各未

知顔 画像 のユ ー ク リッド距離が 各顔 画像 及び 表情 にお いて

広 く分布 してい る。一 方,提 案手 法に よる識 別に おい ては

識 別パ ター ン まで の金 未知顔 画像 のマハ ラノビ ス距離が 約

1.1以 下 とな るこ とが示 され, MTS法 に基づ い た識別 にお

いては 各表情 に おいて 閾値 を容易 に設 定可能 であ る こ とが

示 され た。

6.特 徴 量 の 最 適化

上記 の実験 で は96個 の特 徴量 を用 いて識 別 を行 ったが,

識 別処理 時 間の軽 減 を意図 し,識 別 に有効 な特徴 量 の再抽

出を行 う。従 来のMTS法 におけ る特徴 量の最適 化では多大

な特 徴量 数 を扱 う場 合には特 徴量 をグル ープに 分割 し,各

グル ープ 毎 に直交表 とSN比 を用 いて最 適化 を行 う(8)。し

か しなが ら,特 徴量 をグル ープ 化す る ことに よ り各 グル ー

プ問 の関 係 を考慮 しな い最適 化 が行 わ れ る可 能性が あ る。

この ことか ら,本 論文 ではSN比 と遺伝 的アル ゴ リズ ム(14)

を用 いた特 徴量 の最適 化手 法 を提 案 し,提 案手 法 に基づ く

最適化 を行 う。本論 文 にお け る特 徴量 の最 適化 手順 を以下

に示 す。

(1)最 適化 対象 と なる仮想 的 参照 パ ター ンに属 さない

顔画像 の 収集: 本論 文で は,各 表情 に対 す る仮想 的

参 照パ ター ン毎 に最適 化 を行 う。 よ って,各 表情 に

対 す る仮 想的 参照 パ ター ンに帰 属 しな い顔 画像 とし

て は,例 えば,幸 福 の 表情 の仮 想 的参照 パ ター ンの

最 適化 を行 う際 には参 照パ ター ンに属 さない顔画像

と して,他 の仮想 的参 照パ ター ンの生 成 に用い た顔

画 像600枚 及び幸福 の仮 想的 参照 パ ター ンに属 さな

い と識別 され た来知 顔画 像600枚 の計1200枚 の顔

画 像 を用 いる。

(2)集 団の生成: 集 団は,特 徴量 列 に対 して,「特 徴量

を用 いな い」 を0,「 特徴 量 を用 い る」 を1と して割

り当 てた遺伝子 長96の 個体 か ら成 る。 また本論文に

お いては 集団数 を50と した 。

(3)個 体に基 づい た仮想 的参 照パ ターンの 再生成: 最

適 化の対 象で あ る仮 想 的参 照パ ター ンを生 成す るた

め に用 いた学 習デ ー タ集合 に おい て個 体の遺 伝子型

に対応 した特 徴量 を用 い,新 たに仮 想 的参 照パ ター

ンを生 成す る。

(4)個 体 の 適応 度 の 算 出: 個 体 に基づ き生 成 した仮

想 的 参照 パ ター ン に対 して,(1)に お いて 収集 した

1200枚 の顔画 像 の各 マハ ラ ノビ ス距離 を算 出す る。

次 に,算 出 され たマ ハ ラ ノビ ス距 離 に基 づ いてSN

比 を計算 す る。SN比 とは仮 想 的参 照 パ ター ンと識

別デ ー タの 分 離性 を示 す 尺 度で あ り, SN比 が 増 大

す る とい うこ とは 参照 パ ター ンに 属 さな いデ ー タ集

合 を的確 に 識別 可能 で あ るこ と を示 す。 こ のSN比

を個体 の適 応 度 と して扱 う もの とす る。SN比 は以

下 の式 に よ り算 出 され る。

1162 T.IEE Japan, Vol.120-C, No.8/9, 2000

表情識別に対するMTS法 の適用

B: Differential & Integral characteristics

D: Differential characteristic

I: Integral characteristic

図5最 適化後の特徴量

Fig. 5. The optimized attributes

η: SN比

d: (1)に お いて収 集 した顔画 像数

(5)淘 汰: 算 出 され た適 応度 に基づ き次世代 の親 とな

る個体 を決定 する。 淘汰 には適 応度比 例戦 略 を用い

重 複 を許 す もの とした。

(6)交 叉: 交叉 オペ レー タと しては 一点 交叉 を用 い,

交 叉率は0.1と した。

(7)突 然変異: 個 体にお け る遺 伝子座 の値 を確率 的に

反転 す る。突然 変異 率は0.01を 用 いた 。

以上の操作 を50世 代 繰 り返 し行 い,最 大の適応 度,す な

わ ちSN比 を持 つ個 体 を最適特 徴量 とした。

表2は 上 記の操 作 に基づ き最 適化 した各表情 に おけ る特

徴量数で あ る。表2か ら各 表情 にお い て有効 な特 徴量 数が

50前 後 とい う結 果が得 られ た。 これ に よ り,識 別に用 い る

特徴量数 を約1/2に 軽減 す るこ とが 可能で あ るこ とが 示 さ

れ,本 論 文で提 案す る遺伝 的 アルゴ リズ ム とSN比 を用い

た最適化 手法が 有効 で あ るこ とが 示 され た。 また,図5に

最適化後 の特 徴量 の配置 図 を示 す。D5か ら顔 の 内的特 徴

が 存在す るラ インだけ で な く存在 しない ラ イン も識別 に有

表2最 適化された特徴量数

Table 2. The optimized number of the attributes

効 な特徴 量 として再抽 出 され る こ とが示 され た。更 に 各表

情 毎 に識 別に 有効 な特 徴量が 異 なる こ とが 確 認 され た。

7.あ と が き

本論文 では,表 情 識別 に対す るMTS法 の適 用を提案 し,

被 験者 を用い た識 別実験 を通 して提案 手法 の有効性 を検 討

した 。実験結 果か ら本論 文で提 案す るMTS法 を適用 した

表 情識 別手法が ユ ー ク リッド距 離 を用 いた表 情識 別に 比べ

有 効で あ るこ とが示 され,学 習 デー タ集合 か らの特徴量 問

の相 関関係 の抽 出,ロ バ ス ト性 とい ったMTS法 の特 徴が

表 情 識別 に対 して有効で あ るこ とが示 され た。 また,識 別

結 果 に基づ く特徴量 の最 適化 におい ては,提 案 す る遺 伝的

アル ゴ リズ ム を用 いた最 適化手 法が 有効 に働 き,特 徴 量 を

約半数 に まで低 減す るこ とが 可能 であ るこ とが示 されたが,

更 なる効率 化 を意 図 し,遺 伝 的 アル ゴ リズ ムに よって再抽

出 された特徴 量 に対 して直行表 を用 い た最適化 を行 うこ と

に よ り,よ り詳細 な最適 化が行 え る可能性 が あ ると考 え ら

れ る。

また,本 論文 では6基 本表情 及び無 表情の みを扱 ったが,

人 間の表情 は幾 つか の表情が 混在 した ものや 微細 な表情 な

ど多様 に 存在す る。 この よ うな 表情 に対 しての識 別が 可能

となるな らば,よ り有効 な ヒューマ ン イン ター フェ ースの

構築 が 可 能 となるた め,本 提案 手法 の拡張 を行 う必要 が あ

る と考 える。更 に,撮 影時 の変 動に対 す る ロバ ス ト性 の実

現 も表情 識別 システ ムに必 要で あ る。これ らは 今後 の課 題

で ある 。

電学論C, 120巻8/9号, 平成12年 1163

謝辞 本研 究 の一部は,(財)電 気通信普 及財団 の援 助に よ

る もので ある 。

(平 成11年3月18日 受付,同12年2月4日 再受付)

文 献

(1) 長 尾確: イン タラ クテ ィブ な環境 をつ くる,共 立出版(1996)

(2) 森 島繁 生: 表情 認識 ・合 成の技術課 題,信 学技報. HIP97-22, pp.83-

92 (1997)

(3) Zdenek Prochazka,伊 藤 崇 之,岡 本 敏雄: 顔の 動 き特徴 量 を用 い

た 表情 認識 シ ステム,信 学 技 報, HIP96-42, pp.19-24 (1997)

(4) 安 藤泰 之,米 倉達広: 表情 を入 力に用 いた感 情対 話シ ステムの 試み,

信 学技 報, MVE96-72, pp.29-36 (1997)

(5) 田口玄 一: 品質工 学の数理,品 質工学 会誌, VoL6, NQ.6, pp.5-10

(1998)

(6) 田口 玄一: パ ター ン認識 と品質 工学,品 質工 学会 誌, Vol.3, No.

4, pp.2-5 (1995)

(7) 田 口玄 一: 音 声の パ ター ン認 識,品 質工 学 会誌, Vol.3, No.5,

pp.3-7 (1995)

(8) 手島昌一,坂 東 友則,金 丹: マハ ラ ノビ ス・タグチ ・シ ステム法 を適 用

した外 観検 査技術 の研 究,品 質工学 会誌, VoL5, No.5, pp.38-45

(1997)

(9) 山 田寛:顔 面表情 認 識の 心理 学 モデ ル,計 測 と制御,第33巻,第

12号, pp.1063-1069 (1994)

(10) Paul Ekman, Wallace V. Friesen: Facial Action Coding Sys-tem, Consulting Psychologists Press (1978)

(11) Yihong Gong: INTELLIGENT IMAGE DATABASES To-wards Advanced Image Retrieval, KLUWER ACADEMIC PUBLISHERS (1998)

(12) 尾 田政臣,赤 松 茂,深 町映 夫: あい まい顔 イメージの 検索 に対す る

KL展 開の適用性,電 子情報通 信学 会論 文誌, A. Vo1.J79-A, No.2,

pp288-297 (1996)

(13) P.エ クマ ン, W.フ リーセ ン著,工 藤 力 訳編: 表情 分析 入門,誠 信

出版(1987)

14) Goldberg David: Genetic Algorithms in Search, Optimiza-tion, and Machine Learning., Addison-Wesley (1989)

長 尾 光 悦　 (非 会員)1973年2月6日 生 。1995年3月 北

海道 工業大学工 学部電気工 学科卒業。1998年3

月 北 海道大学 工学研 究科 修士課程 システム情報

工学専 攻修了,同 年4月 同大 学院博士後期課程

入学,現 在 に至 る。主 としてヒューマン イン ター

フェース,感 性工学 に関する研 究に従事。入工 知

能学 会,電 子情 報通信学会,情 報処理学会,品 質

工学 会学生会員。

山 本 雅 人 　(非 会員)1968年7月30日 生 。1991年3月

北 海道大学工学部情報工学科卒業 。1993年 同大

学 院工学研 究科修士 課程情報工学専攻 修了。1996

年 同博士後期 課程修了 。博 士(工 学)。1996年

日本学術 振興 会特別研 究員(PD)。1997年 北

海道大学大学 院工学研究 科複雑系工 学講座助手 。

自動推 論,ゲ ノム情報処理などに関す る研究 に従

事 。入工知能学会,情 報処理学会,電 子情報通信

学会,計 測 自動制御学会,日 本 オペ レー ションズ ・リサーチ学会会員。

鈴 木 恵 二　 (非 会員)1965年2月22日 生。1988年3月

北 海道大学工学 部精密工学 科卒業 。1990年 同大

学 院工学研 究科修士課程精密工 学専攻修了。1993

年 同博士後期 課程 修了。博 士(工 学)。 同年 北海

道大 学工学部助手 。1996年 同大学 院工 学研 究科

複雑系 工学講座助 教授。2000年 公立 はこだて未

来大 学助教授。 ニュー ラル ネ ッ トワーク,遺 伝的

アルゴ リズ ム,マ ルチ エージ ェン トなどに関する

研究に従事。人工知能学会,情 報処理学会,日 本機械学会会員。

大 内 東　 (正員)1945年8月19日 生 。1974年 北海道大

学大学 院工学研究科博士 課程修了 。博士(工 学〉。

北海道大学大学院工 学研究科複雑系工 学講座教授。

システム情報工学,応 用 人工 知能 システム,医 療

システムの研究に従事 。情報処理学 会,人 工知能

学会,計 測 自動制 御学会,日 本OR学 会,医 療情

報学会,病 院管理学会,品 質工学会,IEEE-SMC

会員。

1164　 T.IEE　 Japan,　 Vol.120-C,　 No .8/9, 2000