顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … ·...
TRANSCRIPT
![Page 1: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/1.jpg)
2016.12.13千葉大学大学院融合科学研究科
津村 徳道
顔画像のヘモグロビン色素分離による非接触心拍変動計測と
ストレスモニタリングへの応用
![Page 2: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/2.jpg)
先生の圧力
研究背景
1
ストレスの増加 体への影響
山積みの仕事 上司の圧力 蕁麻疹,鬱など
ストレスゲージ
ストレスの計測 対処法
ストレスの計測によって体調不良への事前対処が可能となる.
![Page 3: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/3.jpg)
研究背景
2
ポリグラフ
<日本光電>
心電図0.85s 0.79s 0.72s
心拍変動
血圧変動
呼吸変動
0.15 ~ 0.4
交感神経活性
副交感神経活性
心拍変動スペクトログラム
0
0.2
0.40
0.2
0.4
0.05 ~ 0.15
(Hz)
(Hz)変動周波数
時間0 60(H
z)(s)
呼吸
血圧
血圧
時間 (s)
電圧
(mV
)
![Page 4: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/4.jpg)
先行研究
3
通常のRGBカメラにシアンとオレンジの周波数帯域センサを追加
5バンドカメラ
ポリグラフ
5バンドカメラによる心拍計測 700400波長(nm)
感度
0
500
3m
RB
GC O
[McDuff , D et al., 2014]
0
0.2
0.4
5バンドカメラ(GCO)
変動周波数
(Hz)
0 60(s)時間
RGBの3バンドのみでは十分な精度を得られていない.
0
0.2
0.4
0 60(s)時間
変動周波数
(Hz)
RGBカメラ
0
0.2
0.4
0 60
ポリグラフ(正解値)
(s)時間
変動周波数
(Hz)
![Page 5: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/5.jpg)
研究目的
4
RGBカメラを用いた新たな心拍変動検出手法の提案
5バンドカメラを用いた脈波検出 RGBカメラを用いた脈波検出
G C O
時間軸の独立成分分析 色素成分分離
RGB画像
従来手法 提案手法
![Page 6: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/6.jpg)
Skin color analysis and synthesis(Tsumura et al., SIGGRAPH2003)
Surface reflection
Body reflection
AnalysisProcess
Original image
Synthesis
Synthesized image
Shading
Hemoglobin
Melanin
can be used for skin appearance control: Colour, Texture, Translucency
![Page 7: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/7.jpg)
Bias
-log(B)
-log(G)
C log1
C log2
-log(R)
C log
q2
q1
melanin
hemoglobin
Image based skin color analysis/synthesis
C (x,y)
Clog(x,y)
=log{C (x,y) }
Independent component analysis
(Tsumura et al. , 1999)
![Page 8: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/8.jpg)
Melanin
Hem
oglo
bin
![Page 9: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/9.jpg)
Original image Melanin Hemoglobin
Influence of shading in analysis
![Page 10: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/10.jpg)
C log1
-log(B)
-log(G)
C log2
-log(R)
New imaging model and color vector space analysis
1=(1,1,1)
Cs (x,y)=s(x,y)C(x,y)
log{Cs (x,y) }=log{s(x,y)C(x,y)}
=log{s(x,y)}1+Clog(x,y)
Density space
Shading factor
Cs log
C log
![Page 11: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/11.jpg)
Original image Melanin HemoglobinConventional technique
Original image Melanin HemoglobinProposed technique
![Page 12: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/12.jpg)
研究目的
11
RGBカメラを用いた新たな心拍変動検出手法の提案
5バンドカメラを用いた脈波検出 RGBカメラを用いた脈波検出
G C O
時間軸の独立成分分析 色素成分分離
RGB画像
従来手法 提案手法
![Page 13: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/13.jpg)
実験方法
12
対象:20代男子学生4名撮影:120秒 (30枚/秒)
RGBカメラを用いて顔画像を連続撮影し,ポリグラフと同時に計測を行った.
照明:人工太陽灯
カメラ:RGBデジタル一眼レフカメラ実験環境
1回目:安静状態
各被験者に対して計測は 2 回行った.
2回目:ストレス状態
リラックスして静止暗算(4000, 3993, 3986, …)
偏光板
-7 -7 -7
![Page 14: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/14.jpg)
色素成分分離
13
カメラで撮影されたRGBカラー画像をヘモグロビン成分,メラニン成分,陰影成分に分離する.
元画像 ヘモグロビン メラニン 陰影
特徴点抽出 ヘモグロビン平均画素値の時間変化
0 30(s)時間
平均画素値
5840
5940
[Tsumura , N et al., 2003]
![Page 15: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/15.jpg)
脈波検出
14
画素平均値の時間変化
心拍を45bpm~180bpmと仮定
傾き除去後
バンドパスフィルタ適用後
0.75Hz ~ 3Hz
30(s)時間
平均
画素値
5840
5940
0
30(s)時間平均画素値
(正規化
)
-100
100
0
30(s)時間
フィルタ
処理後の値
-100
100
0
![Page 16: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/16.jpg)
0
0.2
0.4
0
0.2
0.4
0
0.4
0
0.4
0 60 600
ポリグラフ(正解値)
時間時間
変動周波数
(Hz)
変動周波数
(Hz)
(s)(s)
0 60 600 時間時間 (s)(s)
変動周波数
(Hz)
変動周波数
(Hz)
カメラ計測(RGBカメラ)
提案手法とポリグラフの比較
心拍変動スペクトログラムの比較
15
従来手法とポリグラフの比較
RGBカメラを用いてポリグラフに近い精度を得られた.
0.2
0.2
![Page 17: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/17.jpg)
心拍変動スペクトログラムの比較
0
0.2
0.4
0
0.2
0.4
0
0.2
0.4
0
0.2
0.4
0 60 600
ヘモグロビン色素分離による心拍変動計測によりストレス計測ができた.
時間時間
変動周波数
(Hz)
変動周波数
(Hz)
(s)(s)
0 60 600 時間時間 (s)(s)
変動周波数
(Hz)
変動周波数
(Hz)
ポリグラフ(正解値)
カメラ計測(RGBカメラ)
ಯ૾ଙ
५ॺঞ५૾ଙ
血圧
呼吸血圧
実験結果1 実験結果2
![Page 18: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/18.jpg)
まとめ(途中)と今後の課題
まとめ
今後の課題
ヘモグロビン色素の分離によって脈波を取得することが出来た.
RGBカメラを用いてポリグラフに近い精度で心拍変動スペクトログラムを再現できた.
リアルタイム処理を目指し,プログラムの高速化を行う.
室内照明や,屋外でも同様の精度を得られるようにする.
0
0.2
0.4
0 60時間変動周波数
(Hz)
少子化対策のための魅力研究への応用を検討する.
![Page 19: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/19.jpg)
撮影手法
被験者
20代男性7名
どのような情動を感じたか,どの場面で最も感じたか評価
撮影環境
カメラ顎台
蛍光灯下
撮影手順
映像刺激6つの情動を喚起
[Gross & Levenson, 1995]
×6情動映像視聴前
40秒間
映像視聴中
80~260秒間
情動を感じた前後から特徴量の変化量を取得する.
楽しさ
怒り
嫌悪
恐怖 驚き
悲しみ
![Page 20: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/20.jpg)
0時間 (s) 12010 20 40
特徴量~血流量~
30700
ヘモグロビン画像の平均画素値の時間変化
額と頬の血流量を特徴量として取得
ヘモグロビン
原画像
30450色素成分分離
:視聴開始
:情動のピーク (最も強く情動を感じた瞬間)
:平常状態 :情動状態
平均画素値
10秒間の平均画素値の平均値=血流量
![Page 21: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/21.jpg)
特徴量~脈波間隔~
31060
ヘモグロビン
0時間 (s) 12010 20 40
平均画素値の時間変化
平均画素値
:視聴開始 :情動のピーク :平常状態 :情動状態
0 30時間 (s)
フィルタ処理
ピーク検出0 30時間 (s)
31260
平常状態
![Page 22: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/22.jpg)
特徴量~脈波間隔~
額と頬の血流量を加えた計27種類の特徴量の変化量を取得
ピーク検出後
脈波間隔
...
時間 (s)300
ピーク間の
長さ
(s)
0.8
1.20.83 0.94 1.00
時間領域解析9種類
周波数領域解析14種類
非線形解析2種類
25種類の特徴量を取得
0 7時間 (s)
![Page 23: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/23.jpg)
実験手法の流れ
分類特徴量選択
撮影 特徴量取得
個別最適化法
全データの7割を教師データにランダム設定27種類 9種類
特徴量の数
k近傍法
1 2
3 4
0 時間 (s) 120
平均画素値
![Page 24: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/24.jpg)
分類結果
100
0
分類精度
(%)
楽しさ
怒り嫌悪恐怖悲しみ
驚き
6情動
全特徴量による分類精度
特徴選択により恐怖を除く5情動を94%の精度で分類できた.
10回分類した際の平均分類成功率を分類精度として算出
50
特徴選択後の分類精度(恐怖を除外)
楽しさ
怒り
嫌悪
悲しみ
驚き
5情動
100
0
50
分類精度
(%)
![Page 25: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/25.jpg)
ご清聴ありがとうございました.
まとめと今後の課題
まとめ
今後の課題
・リアルタイム処理を目指す.
・異なる分類器や情動喚起刺激を用いて恐怖の分類精度を向上させる.
・被験者が6つの情動を感じた際の顔動画像を解析して特徴量を取得した.
・選択された特徴量を用いて情動分類を行った.
・個別最適化法により特徴量を選択した.
ヘモグロビン色素画像
分類精度
(%)
特徴選択後の分類精度(恐怖を除外)
楽しさ
怒り
嫌悪
悲しみ
驚き
5情動
100
0
50
![Page 26: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/26.jpg)
企業への期待
• 本発明の応用分野は多岐にわたるため,各応用分野において,各企業との共同研究を希望。
• 既に接触型による計測方法を開発中の企業が非接触型の分野への展開を考えている企業には、本技術の導入が有効と思われる。
![Page 27: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/27.jpg)
本技術に関する知的財産権
• 発明の名称:ストレスモニタリング用
画像処理方法及びそのプログラム
• 出願番号 :特願2015-151245• 出願人 :千葉大学
• 発明者 :津村徳道,栗田幸樹,米澤拓
![Page 28: 顔画像のヘモグロビン色素分離による 非接触心拍変動計測と ス … · 2016.12.13 千葉大学大学院融合科学研究科 津村 徳道 顔画像のヘモグロビン色素分離による](https://reader033.vdocuments.mx/reader033/viewer/2022041614/5e39db6b587aff0b155251b5/html5/thumbnails/28.jpg)
お問い合わせ先
千葉大学学術研究推進機構 産業連携研究推進ステーション特任教授 小柏 猛(コーディネーター)
TEL:043-290-3565FAX:043-290-3519E-mail:[email protected]