s10 p1 mitsuyoshi-sama_2
TRANSCRIPT
音声による病態分析学
2015
東京大学医学部音声病態分析学講座
大学院医学系研究科 特任講師Ph D. Shunji Mitsuyoshi,
博士（工学）光吉俊二
会社説明
感情の規格化
感情認識
音声病態分析
Q１ 感情研究を定量工学研究にするためには？
A1 感情の工業規格化が要求されます。
ターニングポイント①
2015
会社説明
感情の規格化
2
感情・心理規格化のアウトライン
1. 感情表現の調査更新2. 感情項目の確定 （同義語・同意語の収束）
3. 感情項目の生理反応調査、マトリックス更新 （心的身体的作用と生体物質の関係マトリックス）
4. 感情項目の関係メカニズム更新5. 感情項目の規格化
①感情辞書
②感情項目
③感情マトリックス
④感情メカニズム
感情の工業規格化へ
→ 感情って幾つあるの？
→ どういう内容属性？
生理とどう関係あるの？「感情って何グラム？」→
どういう構造しているの？→
2015
会社説明
感情の規格化
3
感情表現の調査感情って、いったいいくつあるの？
By 光吉 (1999~2006)
4,500語
日本語 英語 Emotional RGBY
4,500語を英訳し
223語にグルーピング
２２３語を４つの色のグループに
分別
緑色の感情
黄色の感情
赤色の感情
青色の感情
辞書・心理学書等から感情単語を
ピックアップ
2015
会社説明
感情の規格化
心理学辞典・広辞苑・日本語大辞典・Oxford English Dictionary 臨床精神分析学辞典
4
大脳辺縁系
視床下部
自律神経下垂体
ACTH
副腎皮質
コルチゾール副腎髄質
カテコラミン心臓血管
免疫系
脳波（α波）光トポグラフィー（脳血流）
心拍数加速度脈波
免疫グロブリンナチュラルキラー細胞活性サイトカインヒトヘルペスウイルス免疫能
エピネフリンノルエピネフリンカテコラミン代謝物質ドーパミン
コルチゾールクロモグラニンA
アミラーゼセロトニン黄体刺激ホルモン成長ホルモン副腎皮質刺激ホルモン副腎男性ホルモン
脳由来神経栄養因子(BDNF)
声帯声の変化
ここに注目
2015
医学での調査
会社説明
感情の規格化
5
matter 興奮 ストレス 不安 嫌悪 闘争 恐怖 うつ 快不快 安定 陶酔 期待 心拍 瞳孔 交感神経 発汗 体温 血圧 周期 免疫
CRH 覚醒 ○ACTH○ ◎ ◎ ◎ ○ ◎ ◎ 日周
NPY 沈静 ○CRH ◎ ○× NA×
Cortisol ○
VP ○恒常性 ◎ ◎ 活性 ◎ 日周
ACTH ○ ◎× ×
CCK-4 前◎ ○ ◎強 ○ ◎強 ○ ○
CCK-8 全◎前× ○
Melatonin ○× 幸福 ○ × 忘却機能 日周季節 活性
endorphin 沈静 NA× NA× 快感 ○ 運動快感 NK活性
βEnd CRH× ◎ ◎
ACh CRH◎ ◎
NA ◎ CRH◎△ ◎ ◎ ◎ ◎ ◎ ◎ 拡大 緊張記憶
Adrenaline CRH◎△ ◎ ◎ J◎ ◎ 拡大 緊張
DA ◎ CRH◎ ◎ 低◎ 記憶
5-HT CRH◎ ◎× 低◎ ◎ ◎
Ang- CRH◎
Garanin CRH◎ ×
SRIF CRH×
αーMSH CRH× ×
GABA CRH× NA× NA×
BZD × ◎
Diazepam NA× NA× ○
Ethanol NA× NA×
cnk
β-carboline ○◎
Isoprenaline ◎
Yohimbine ◎
Fenfluramine ◎
Sodium lactate ◎
CO２ ◎強 ◎強
Caffeine 覚醒 ◎
Galanin ×？
Oxytocin × × ×？ 母性行動
FMRF Amide × ◎？
Testosterone × ◎強
Androgen × ◎
Estrogen × ×
Progesterone ×
Corticoid ○
感情や精神状態（横軸）、および身体反応（縦軸）に影響するという確認が学会誌や論文などの治験にある、生体物質やホルモンなどを調べ、対批表マトリックスにした。
目的：脳の活動と伝達物質・ホルモンから導かれる情動の発生メカニズムの推定
○は合成/分泌，○×は分泌して抑制，◎は促進，CRH ◎はCRH 合成・分泌促進，前◎は前頭葉皮質で促進，全◎は脳全体で促進，前×は前頭葉皮質で抑制，低◎は低下したら促進，×は抑制，○恒常は分泌により恒常性を維持，CRH ×は，CRH合成・分泌抑制，◎×で制御，△は調整，NK はナチュラルキラー細胞，活性は免疫機能の活性，機能は免疫機能，日周はバイオリズム，?は報告情報，- は文献[9] に記載なし
表を見てわかるように- が多く，心と感情と分泌物質の関係では不明な部分が多い．CCK 系統と5-HT, GABA, DA は複雑にお互い影響しあって情動に作用するようである．また，性ホルモンは闘争と深く結びついているようである．これらの分泌物や物質は脳神経活動に制御され，大脳辺縁系と情動と記憶は密接に連携している
表１：心的身体的作用と生体物質の関係
情動反応・身体反応と物質の関係調査
2015
会社説明
感情の規格化
6
感情モデルの推定
目的：
生理・臨床系の論文を調べ、感情反応と脳の関係から情動や行動のメカニズムを再現する
作業：
感情マトリックスから脳の構造、伝達物質を対比軸にして物質量の関係から構造化を行う
モデル化：
「作業」から同じ物質や脳機能から来る効果を対角線上に配置して、円形のダイアグラムに置き換えた
（博士論文・日本機械学会編集「感覚・感情とロボット」より）2015
会社説明
感情の規格化
7
感情の色彩化＜単純化＞
（博士論文・日本機械学会編集「感覚・感情とロボット」より）
感情モデルの中心部を色で表現
言語依存なく感覚で把握できる
国際規格化へ
緑色の感情
黄色の感情
赤色の感情
青色の感情
倒錯錯乱反応
医療介入分野
人の気持ちはいつも揺れ動いている
感情の恒常性の維持ホメオスタシスとした
健常者は常に「緑」の位置を保とうとする。しかし、「うつ病診断を受けた被験者」では長期間「青」に偏りやがて、感情の消失を伴う傾向があった
2015
会社説明
感情の規格化
8
エンドルフィンの強い影響エリア
ポジネガ
感情出力
負のフィードバック強記憶
正のフィードバック
いつもここに戻ろうとする
homeostasis
うつ状態ではこちらに戻りとどまる
欲動
感情のhomeostasis
2015
会社説明
感情の規格化
9
（博士論文・日本機械学会編集「感覚・感情とロボット」より）
感情の規格化
④平静
①快活
②主張・不快
③落ち込み
この感情地図を英訳することは、対応する単語の不足（日本語の心境単語４５００語に対して英語２２３語程度）からきわめて困難
感情のMIL規格STE
工業規格番号化
みんなで世界中の技術者が自由にemotionを扱えるようにしよう！
①
②
③
④
STY <P> -L -L
STR <N>-D -Ag
STB <N>-U -Ax
STG <P>-S
Regulation1st
circle
2nd
circle5th 6th 7th 8th3rd
circle
4th
circle
「空気を読む」 「せつない」 という表現を英語にできない場合
「せつない」＝STB <N>-U –Ax- 22015
会社説明
感情の規格化
10
Q２ 感情の工業規格に準じて動くもの作れ
A２ 感情を色で可視化、情動の強さを量で出力する手段（構造体）を講じる
ターニングポイント②
2015
会社説明
感情の規格化
感情認識
11
人体原理の工学発想
本音
建前
音声
話者
声帯情報(F0)
声が固まる、震える緊張するなどの影響がでる
声道情報（F1,F2,F3・・・）言語生成
視床下部中脳
扁桃体
運動野
情動部位
声は心のプリンタ
情動を抑えようとする部位
不随意
随意
随意的（意図的）に言語を生成するから嘘がつける
不随意（自然）に情動が出る（扁桃体⇔視床下部・中脳）
feedback
前頭葉
2015
会社説明
感情の規格化
感情認識
12
人の感情発話の評価2800名
100名以上の主観でラベルされた音声試料50,000発話（2800名）×100主観１名１時間で300発話評価の作業=11年間かかりました。
自然感情発話データ： 自然な感情が出易い映像を見せながら会話を収録した。
演技感情発話データ： シナリオにそって感情をこめて発話させた。
評価ツール手法： 男女年齢を平均化した１００名の評価者を使い、音声を無意識に評価できる専用ツールでランダムに組み合わされた音声セットを聞き、発話者の感情を判定させた。
人の主観の標準化 ＜学習データ（2800名の発話）、テストデータ（1100名の発話）＞
2015
会社説明
感情の規格化
感情認識
13
ST/PST の構造特徴2800名の主観再現メカニズム
etc
固定された200以上のパラメータで解析する
全員共通の主観分離規則性を見つけ出す
主観学習データ 解析パラメータ 解析結果 主観分析 主観再現ロジック
実はとても大変、普通の研究者は気が変になります！
学習データ（2800名の発話）１００名の主観評価つき
人の主観を判定ロジック
ルールに置き換える
各種分析手法 （HMM / NN / SVM など） を試したが、手作業とルールベース分析で実用レベルまでに到達した。
A A∩B B
本人評価 他者評価
学習データ
特許取得済み
2015
会社説明
感情の規格化
感情認識
14
話者
情動
ST/PSTの構造と出力
怒り度合い
喜び度合い
悲しみ度合い
興奮度合い
平静度合い
STの内部構造
情動と呼吸は密接な関係があるとされるため、発話単位（ブレスの間）で感情を分析する
一番強い感情を第一候補に判定ロジックの多数決システムで選定し、その他の様相も色や成分割合として表示する
抑制影響（主観フラグ分析）
情動影響
人の感じ方（主観）のパターンを再現（パラメタ閾値セット）各感情判定ロジックがある
特許取得済み
呼吸単位で感情を分析呼吸と感情の関係レセプタ解明され、また深呼吸では、ネガティヴ感情は想起できない
抑制された複雑な感情状態もそのまま可視化するため
脳神経由来の隠せない情動を可視化するため
2015
会社説明
感情の規格化
感情認識
情動に関係する神経パラメタ
（音響特性など）
15
話者
視床下部中脳
扁桃体
情動エリア
STの出力仕様
神経レベル脳情動
の賦活状態＜本音＞
＜建前＞抑制された結果
もしかして？深層情動
興奮要素のバランス（赤・青・緑・黄の属性バランス）
エリア
脳の情動パワー＝興奮
特許取得済み
緑の感情黄色い感情
赤い感情
青い感情
感情のバランス
2015
会社説明
感情の規格化
感情認識
16
Q３ 感情分析の精度を示せ
A３ 人の主観と人体の反応（3TfMRI脳計測）、市場投入での成果を示す
ターニングポイント③
2015
会社説明
感情の規格化
感情認識
17
判定ロジックのオープン試験1100名
etc
他者評価と本人主観でラベルされた感情音声オープン・テストデータ（１１００名）
固定されたパラメータと判定ロジックで人の主観と同じように分離できるか？試験する
学習用と異なる主観テストデータ
主観分析再現パラメータ・ロジック・ルールセット
人の主観と同じように色で分離できればロジックは人の主観を再現出来たといえる。
A： 発話者が発話直後に、自分の感情がどうであったか上記の評価ツールを使って確認した。
B： 他者による発話者の感情判定を上記の評価ツールを使って実施した。
A∩B ： AとBで同じ評価 （1/100程度） だった音声を学習用とテストデータとした。A A∩B B
本人評価 他者評価
テストデータ
2015
会社説明
感情の規格化
感情認識
18
人の感情判定の主観の再現はできたが、認識率までには至らない
STの主観再現性能試験（オープンテスト）
結果
光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表から
＜実施＞日本ＳＧＩ社
縦軸・横軸は各種パラメータセットBならば、怒りと喜びを分離するセット構成
2015
会社説明
感情の規格化
感情認識
19
ST Ver2.0 ST Emotion
発話単位で、情動および感情を色でリアルタイムに表示する可視化ツール 市販化
１と２で会話をする４０名
ST判定ロジックの人主観の一致試験
etc
判定ロジックルール
人の主観で作られたＳＴで、本人の自然な発話感情も認識できるのか？
＜実施＞日本ＳＧＩ社
2015
会社説明
感情の規格化
感情認識
20
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
感情 情動
本人主張 (日本人・正解) vs聞き手 (日本語を知らない外国人・比較)本人主張 (日本人・正解) vs聞き手 (日本人・比較)
本人主張 (日本人・正解) vsST (機械・比較）
本人評価
外国人
ST70%
外国人
ST86%
STの主観一致率（直感テスト）
科学的には人の主観の一致率が低すぎることが判明= 感情認識100％を標榜するのは嘘とわかる → ライバル技術壊滅(日本撤退)
結果
人の感情認識能力とSTの認識率の比較実験
考察：情動は自動システムであると世界の科学者は考えている.＝ＳＴも人も人種を超えて一致率が高い（認知・文系研究者の意見として、感情は文化や風俗・環境などの認知影響を受け一致しにくいので基準が低い可能性がある）.
日本人日本人
*ＳＴ SDK Ver2.0時のテスト結果
怒り・喜び・悲しみ・平静 興奮
本人正解
本人正解
評価限界（主観限界）
本人でも自分の気持ちが解らない
光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表から
＜実施＞日本ＳＧＩ社
2015
会社説明
感情の規格化
感情認識
21
ST/PST脳生理システムでの脳情動計測装置
利点：揺らぎ、不確実な対象を固定した基準を利用してどの程度揺らいでいるかを知る.
問題：fMRIでは騒音が大きすぎて、音声分析できない.
パラメータ
パラメータ・ロジック構造なので、生理とSTの関係が一対一で
確認できる！
揺らがない固定基準
何度やっても同じ結果を保証
純粋な科学実験を可能にさせる.
この解決がポイント
光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から
脳との比較
身体との比較
2015
会社説明
感情の規格化
感情認識
22
STがネガティヴと判別した時だけ発話者の脳がどうなっていた？を調べる
▲（ネガティヴ情動あり）の部分と空白（情動なし）の部分を比較して、▲（ネガティヴ情動あり）の時だけの脳活動を調べるために全脳活動の比較で▲と空白の脳活動の ｔ 検定をした。ボジティヴの感情は研究されていないので、使えない。
認識してない
ＳＴがネガティヴ情動ありと認識した
•ＮＩＣＴバイオＩＣＴグループ田中研究員提供
光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から
2015
会社説明
感情の規格化
感情認識
23
STは発話者のネガティヴ（怒り＋興奮） な脳の情動活動をその時だけ、しっかり検出した！
活動領域:(t-test, p<0.001, 危険率0.1％で非修正)3Tのシーメンス社製 fMRIを使用
1．Left and right frontal BA44,45
＜L: 会話発言, R: 共感 ＞2．Left dorsofrontal BA12
＜ホルモン制御, 抑圧情動＞3．Left amygdalate complex
＜ネガティヴ情動＞4．L/R inferotemporal
＜画像イメージング, 身体イメージ ＞
なぜ、画像イメージが動いた?被験者は相手の顔を思い出していた
と供述していた.
R L L R
R L
R
R
L
L
(2005-2008)•ＮＩＣＴバイオＩＣＴグループ田中研究員提供
光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から
2015
会社説明
感情の規格化
感情認識
24
sadness
calm
joy
anger
Emotion
Recognition
Engine
Environment
Sensors
+
Softbank 感情ロボットへ導入光吉俊二 「TEDx TOKYO」 より
2015
会社説明
感情の規格化
感情認識
25
Q４ 本当に感情がわかるなら、ストレスや気分障害の病態もわかるはず、やってみろ
A４ 主観と生体計測、血液検査と医師との比較からスタートしてみる＜現状＞
ターニングポイント④
2015
会社説明
感情の規格化
感情認識
音声病態分析
26
音声病態分析学
2015
会社説明
感情の規格化
感情認識
音声病態分析
音声には神経により影響を受ける成分が含まれている。
• 声帯：反回神経支配
副交感神経・運動神経
• 経験豊富な医師
→声で患者の病状を判断
• 友人・家族
→声で体調を理解
これまで、あまり省みられなかった音声という生体情報を用いて病気を見える化する技術
27
研究開発の現状
• ヘルスケア向け– うつ度評価ソフト（Psycho Analyzer）のプロトタイプに
よる検証• 東日本大震災に参加した自衛隊員１０００名と恒常業務に
就く自衛隊員５００名
• 自記式心理テスト（GHQ-30）と同程度の感度
• Reporting bias の克服
• コンシューマー向け– 心の健康計測ソフト（MIMOSYS)の評価版発表
– ストレスレジリエンス向上プログラムの有効性確認
2015
会社説明
感情の規格化
感情認識
音声病態分析
28
ストレスの解釈医学用語と工学用語の統一
•語源は工学用語であるストレス（金属ストレスなど）を人間的要素に還元している
•そこで、工学者でもストレスを把握しやすい定義が必要になる
2015
会社説明
感情の規格化
感情認識
音声病態分析
岩２ｔ
岩をストレッサーといいます。岩の重さ（２ｔ）をストレスといいます。
健康だと、耐えられます。
発病や障害はこうなります。
29
ストレスによる感情の変化
2015
ハイチ地震の災害派遣に従事した自衛官のうち、研究協力の同意を得た9名を対象
とした。その派遣期間により長期派遣群（Group L）と短期派遣群（Group S）とに分けて比較した。
会社説明
感情の規格化
感情認識
音声病態分析
30
ストレスによる感情の変化
2015
怒り 喜び
哀しみ
平常
興奮
会社説明
感情の規格化
感情認識
音声病態分析
どうやら、感情の変化の特徴がある。
31
防衛省・防衛医科大学校共同研究
ストレス研究の予備実験
自衛隊・富士学校生徒
被験者群 通常群
自衛隊・レンジャー部隊
自衛隊・海外派遣隊員
自衛隊・震災派遣隊員
強度肉体的ストレス群
中等度精神的ストレス群
過酷ストレス群
STと血液検査による分別に成功
軽度精神的ストレス群
軽度肉体的ストレス群
2009～2011年 防衛省防衛医学推進研究「PTSDに関する研究」
2012～2014年 防衛省防衛医学推進研究「ストレス関連障害に関する包括的研究」
2012～2014年 文部科学省科学研究費助成事業（基盤Ｂ）「音声分析を用いたストレス評価および精神疾患スクリーニング技術の開発」
2015
会社説明
感情の規格化
感情認識
音声病態分析
32
東日本大震災における検討
2015
会社説明
感情の規格化
感情認識
音声病態分析
恒常任務につく自衛官444名と東日本大震災に派遣された自衛官1004名に対して自記式心理テスト（GHQ30）と血液検査（サイトカインの計測）、音声ストレス自動評価を実施。
心理テストまたは血液検査で異常と判断された被験者のうち、医師による面接の同意を得た223名に対して音声ストレス自動評価を面接の結果と比較した。
災害派遣1004名
恒常任務444名
心理テスト血液検査
223名
医師の面接
医療介入カウンセリング（必須者）カウンセリング（希望者）処置不要防衛省 防衛医学推進研究「PTSDに関する研究」（音声ストレス評価）、防衛医科大学校
徳野慎一医師 医学博士2014 より 33
Reporting bias の克服
2015
会社説明
感情の規格化
感情認識
音声病態分析
感度： 0.897+ - 特異度： 0.173
50≦ 26 162 188 陽性的中率： 0.13850＞ 3 34 37 陰性的中率： 0.919
29 196
感度： 0.724+ - 特異度： 0.332
60≦ 21 131 152 陽性的中率： 0.13860＞ 8 65 73 陰性的中率： 0.890
29 196
感度： 0.931+ - 特異度： 0.372
7≦ 27 123 150 陽性的中率： 0.1807＞ 2 73 75 陰性的中率： 0.973
29 196
うつ度
カウンセリング等
GHQ30
うつ度
カウンセリング等
カウンセリング等
感度： 0.897+ - 特異度： 0.173
50≦ 26 162 188 陽性的中率： 0.13850＞ 3 34 37 陰性的中率： 0.919
29 196
感度： 0.724+ - 特異度： 0.332
60≦ 21 131 152 陽性的中率： 0.13860＞ 8 65 73 陰性的中率： 0.890
29 196
感度： 0.931+ - 特異度： 0.372
7≦ 27 123 150 陽性的中率： 0.1807＞ 2 73 75 陰性的中率： 0.973
29 196
うつ度
カウンセリング等
GHQ30
うつ度
カウンセリング等
カウンセリング等
感度： 0.897+ - 特異度： 0.173
50≦ 26 162 188 陽性的中率： 0.13850＞ 3 34 37 陰性的中率： 0.919
29 196
感度： 0.724+ - 特異度： 0.332
60≦ 21 131 152 陽性的中率： 0.13860＞ 8 65 73 陰性的中率： 0.890
29 196
感度： 0.931+ - 特異度： 0.372
7≦ 27 123 150 陽性的中率： 0.1807＞ 2 73 75 陰性的中率： 0.973
29 196
うつ度
カウンセリング等
GHQ30
うつ度
カウンセリング等
カウンセリング等
感度： 0.897+ - 特異度： 0.173
50≦ 26 162 188 陽性的中率： 0.13850＞ 3 34 37 陰性的中率： 0.919
29 196
感度： 0.724+ - 特異度： 0.332
60≦ 21 131 152 陽性的中率： 0.13860＞ 8 65 73 陰性的中率： 0.890
29 196
感度： 0.931+ - 特異度： 0.372
7≦ 27 123 150 陽性的中率： 0.1807＞ 2 73 75 陰性的中率： 0.973
29 196
うつ度
カウンセリング等
GHQ30
うつ度
カウンセリング等
カウンセリング等
34
音声によるストレス自動評価の精度
音声感情認識によるストレス特徴分析の評価は広く一般に使われている自記式の心理テスト（GHQ30）と比較して、これと同程度の精度を短時間で負荷かけずに実施できた。
特に、自記式心理テスト（GHQ30など）のスクリーニングではピックアック不可能なreporting
biasを完全に克服できた。
今後の改題は、より高い精度（特異度）が求められる
防衛省 防衛医学推進研究「PTSDに関する研究」（音声ストレス評価）、防衛医科大学校 徳野慎一医師 医学博士2014 より
カウンセリング等
＋ ー
うつ度５０≦ ２６ １６２ １８８
５０＞ ３ ３４ ３７
２９ １９６
カウンセリング等
＋ ー
うつ度６０≦ ２１ １３１ １５２
６０＞ ８ ６５ ７３
２９ １９６
カウンセリング等
＋ ー
GHQ30
７≦ ２７ １２３ １５０
７＞ ２ ７３ ７５
２９ １９６
reporting bias （嘘を記述したり、回答を拒否したり、模範解答で満点を取る不正行為）
感度： 0.897
特異度： 0.173
陽性的中率： 0.138
陰性的中率： 0.919
感度： 0.724
特異度： 0.332
陽性的中率： 0.138
陰性的中率： 0.890
感度： 0.931
特異度： 0.372
陽性的中率： 0.180
陰性的中率： 0.973
感度 ： 抑うつと判定されるべきものを正しく判定する確率特異度 ： 抑うつでない人と判定されるべきものを正しく判定する確率
2015
会社説明
感情の規格化
感情認識
音声病態分析
35
防衛省・防衛医科大学校共同研究
ストレス研究の結果報告
結果以下のストレス指標との比較を確認• 医師の診断結果との整合性• GHQ30（標準的心理テスト）と同等• その後の病態変化との相関
共同研究者の徳野准教授（MD&PhD）はカロリンスカ医科学研究所の出身
• 9th International Conference on Early Psychosis (Tokyo) 2014.11
• XVI World Congress of Psychiatry (Madrid) 2014.9.18.
• 第110回日本精神神経学会学術総会（横浜）2014.6.26.
• 第59回防衛衛生学会（東京）2014.2.26.
• 40th ICMM World Congress on Military Medicine（Saudi Arabia）2013.12.7-12
• 第33回 精神科診断学会（滋賀） 2013.11.7-8
• 防衛技術シンポジウム2013（東京）2013.10.29-30
• 第1回 看護理工学会（東京）2013.10.4-5
• 第11回トラウマティックストレス学会（福岡）2012.6.6-9
• 2011 DSR/IEEE Defence Science & Research (DSR 2011) Conference , 2011.
2015
会社説明
感情の規格化
感情認識
音声病態分析
36
東大ＣＯＩ参加時点での成果と課題
2015
会社説明
感情の規格化
感情認識
音声病態分析
音声感情認識によるストレス評価は広く一般に使われている自記式の心理テスト(GHQ30)と比較して、スクリーニング能力としては満足のいく結果であった。
特に、自記式スクリーニング問題となるreporting biasを完全に克服できた。
しかしながら、より精度（特異度）を高めるための改善が必要と考えられた。
37
ＭＩＭＯＳＹＳMind Monitoring System
2015
会社説明
感情の規格化
感情認識
音声病態分析
レンジャー訓練＜映画「野生の証明」のような＞の前・中・後で、自記式アンケート（GHQ30）、音声（MIMOSYS）、血液バイオマーカー（BDNF）で比較
元気圧：一回の会話での評価「うつ」ではない程度
＝１－うつ度
男女差を解消させた。
不安
ストレスピーク（高）特徴検出
解放安心
不安
ストレスピーク（低）特徴検出
解放安心
不安
ストレスピーク（低）特徴検出
解放安心
アンケート 音声分析 血液
訓練前
訓練中
終了直後
38
健常人と患者で有意な差p<0.01 (ｔ検定)
2015
会社説明
感情の規格化
感情認識
音声病態分析
患者９名
健常人２１名
学際的には評価されるが、ヒゲの領域が重なっているので、実用化には改善の余地があった。そこで、二週間の変化分析を行ってみた。
39
ＭＩＭＯＳＹＳMind Monitoring System
2015
会社説明
感情の規格化
感情認識
音声病態分析
活量値：２週間の状態を評価元気圧の２週間の平均とばらつきの程度による評価
患者 ： 通院患者（精神科外来）入院患者（脳血管疾患後のリハビリ）
うつ病患者 ： 大うつ病患者（精神科外来）健常者 ： 某大学の学生、PST社員
そこで、改善版を作りました。
40
心の活量値計測ソフト（MIMOSYS)
感情認識STからの感情評価の出現特性を時制をもって算出＜アルゴリズムは現在論文執筆中につき省略＞
活量値とは？「感情に含まれる成分の相対的割合、および長期的変動具合から算出される心の活発さを表す指標」
PST株式会社博士（理学）篠原氏より提供Android端末用画面
2015
会社説明
感情の規格化
感情認識
音声病態分析
41
心の活量値の分類結果
0.12
0.14
0.16
0.18
0.2
0.22
0.24
0.26
精神疾患患者群 脳疾患患者群 一般群
心の活量値
最大値
最小値
1/4分位数
3/4分位数
中央値（2/4分位数）
カットオフポイント0.186
患者 一般人
2015
会社説明
感情の規格化
感情認識
音声病態分析
PST株式会社 博士（理学）篠原氏より提供
病気の人と健常者をきれいに分離できた。42
心の活量値 分類性能
感度 ： 患者＝心の活量値が低い（陽性）と判定されるべきものを正しく判定する確率特異度 ： 患者でない人（一般人）＝心の活量値が高い（陰性）と判定されるべきものを正しく判定する確率陽性適中率 ： 心の活量値が低い人（陽性者）が正しく患者であった確立陰性適中率 ： 心の活量値が高い人（陰性者）が正しく一般人であった確立正診率 ： 総数（患者と一般人）のうち、正しく判定された確立
状態
患者患者でない（一般人）
検査
心の活量値
低<0.186（陽性）
A:真陽性
25B:偽陽性
1陽性数
26陽性適中率
25/26＝96.2％
陽性率
26/48=54.2％心の活量値
高>0.186（陰性）
C:偽陰性
2D:真陰性
20陰性数
22陰性適中率
20/22＝90.9％
患者数＝27 非患者数＝21 N=48感度
25/27＝92.6％
特異度20/21＝95.2％
正診率
(25+20)/48=93.8％
有病率27/48＝56.3％
PST株式会社 博士（理学）篠原氏より提供
2015
会社説明
感情の規格化
感情認識
音声病態分析
43
これまでの成果（１）
2015
学術論文 （２件）
Stress Evaluation by Voice: From Prevention to Treatment in Mental Health Care, S Tokuno, ESMSJ (Econophysics, Sociophysics & other Multidisciplinary Sciences Journal) 5 (1) 2015; 30-35
Development of Verbal Analysis Pathophysiology, S Mitsuyoshi, ESMSJ (Econophysics, Sociophysics & other Multidisciplinary Sciences Journal) 5 (1) 2015; 11-16
会社説明
感情の規格化
感情認識
音声病態分析
44
これまでの成果（２）
2015
会社説明
感情の規格化
感情認識
音声病態分析
学会発表 （国際学会 ６件、 国内学会 ３件）
Snoring-based screening for sleep apnea syndrome，M Nakamura, S Shinohara, Y Omiya, S Mitsuyoshi, Y Oshima, H Danno, T Yamakawa, S Tanaka, S Tokuno, 生体医工学シンポジウム2015 (岡山)，2015.9.24-25
Validity of a voice-based evaluation method for effectiveness of behavioural therapy, S Shinohara, S Mitsuyoshi, M Nakamura, Y Omiya, Y Tsumatori, S Tokuno. 5th International Symposium on Pervasive Computing Paradigms for Mental Health; MINDCARE 2015 (Milan), 2015.9.23-25
Stress Evaluation by Voice: a novel stress evaluation technology, S Tokuno. Annual Bilateral Behavioral Health Conference (Kanagawa), 2015.6.23
Stress Evaluation by Voice: From Prevention to Treatment in Mental Health Care, S. Tokuno, International Workshop EDEN (Exploratory Domains of Econophysics News) - VII (Pitesity), 2015.6.6
45
これまでの成果（３）
2015
会社説明
感情の規格化
感情認識
音声病態分析
学会発表 （国際学会 ６件、 国内学会 ３件）
Development of Verbal Analysis Pathophysiology, S Mitsuyoshi, International Workshop EDEN (Exploratory Domains of Econophysics News) - VII (Pitesity), 2015.6.6
音声から病気の早期発見を可能にする技術 音声病態分析, 光吉俊二, 電子情報通信学会2015年総合大会（滋賀）2015.3.12
防衛医学研究の過去・現在・未来, 徳野慎一, 第60回 防衛衛生学会（東京）2015.2.6
STRESS EVALUATION BY VOICE: a novel stress evaluation technology, S. Tokuno, S. Mitsuyoshi, G. Suzuki, G. Tsumatori, 9th International Conference on Early Psychosis (Tokyo), 2014.11.17-19[abstract]
Stress Evaluation Using Voice Emotion Recognition Technology: A Novel Stress Evaluation Technology for Disaster Responders. Tokuno S, Mitsuyoshi S, Suzuki G, Tsumatori G: XVI World Congress of Psychiatry (Madrid), 2014.9.14-18
46
これまでの成果（４）
2015
会社説明
感情の規格化
感情認識
音声病態分析
その他 （商業雑誌 １件、 著書 １件）
ナースにとってのストレスチェックの最新技術, 徳野慎一, 月刊ナーシング, 35(9): 2015
進化するヒトと機械の音声コミュニケーション （第2編 第4章 感情の認識 ～音声による感情と病態の分析（「音声病態分析学」からの視点）～），光吉俊二，株式会社エヌ・ティー・エス，2015
47
課題と今後の展望
2015
会社説明
感情の規格化
感情認識
音声病態分析
長期使用時の有用性の検討（前向き研究）
産業衛生現場への導入
予防・治療への応用
他言語での検証
多施設での再現性の検討
ストレス・うつ病以外の疾患への応用
→疾患に特徴的な新しいパラメータの導出
医療機器認定
48
前向き公開研究
2015
会社説明
感情の規格化
感情認識
音声病態分析
【目的】
アンドロイド版の健康状態のモニタリングアプリケーションを用いて、その有用性を探るべく、前向き研究を行うことを目的とする。【対象】主として看護師を対象とした１６歳以上の男女【内容】
１年間の音声によるモニタリングと３か月おきのアンケート（鬱度調査、発症、内服歴等）と比較。
49
前向き公開研究
2015
会社説明
感情の規格化
感情認識
音声病態分析
初期登録 通話（解析） 単位（人）
男性 研究参加者 ○ ○ 161283
350572
女性 研究参加者 ○ ○ 122
登録未完了、通話あり × ○ 36
登録後通話なし/アンインスト ○ × 31
ダウンロードのみ × × 222
0
5
10
15
20
25
30
35
40
45
50
人数
（人
）
年齢
研究参加登録者数（年齢・性別）
女性
男性
50
前向き公開研究
2015
会社説明
感情の規格化
感情認識
音声病態分析
0
50
100
150
200
250
300
350
400
頻度
データ区間
元気圧（正規化）ヒストグラム
（全319データ）（全17,453通話）
51
産業衛生現場への導入
2015
会社説明
感情の規格化
感情認識
音声病態分析
事業所でのストレスチェックが義務化（平成27年12月）
「職業性ストレス簡易調査票(57項目)」を推奨
音声による持続的なモニタリングでよりタイムリーな支援が可能となる
複数の自治体・企業において試験的導入を準備中
労働安全衛生法の一部を改正する法律（平成26年6月25日公布）により、ストレスチェックと面接指導の実施等を義務づける制度が創設。
52
予防・治療への応用前向き研究・産業衛生の現場で検証
2015
会社説明
感情の規格化
感情認識
音声病態分析
毎日の心の健康状態を見える化
→ ライフスタイルの変革が自然と生起
元気な声を出すような訓練
→ バイオフィードバック
遠隔治療（認知行動療法・
ストレスレジリエンス）との併用
53
他言語での検証
2015
会社説明
感情の規格化
感情認識
音声病態分析
海外（ルーマニア）との共同研究
トランシルバニア大学
心理学
カロル ダビラ・ブカレスト医科薬科大学
循環器スタッフおよび患者のストレス
ピテシュティ大学
留学生による他言語比較
法務省・内務省
公務員・警察官・服役者のストレス
54
多施設共同研究（精神科領域）
2015
会社説明
感情の規格化
感情認識
音声病態分析
【参加機関】防衛医大（主幹）航空自衛隊東京大学北海道大学大阪医科大学神戸大学
複数の施設で様々な指標と比較
評価情報
入院患者 外来患者
健常者
入院時
入院中 退院後エントリー時
任意の時期
寛解時
６ヶ月後
１２ヶ月後
毎
週
任意の時期
退院時
６ヶ月後
１２ヶ月後
患者背景情報 〇 〇 〇
MINI 〇 〇 〇
血液採取 〇 〇 〇 〇 〇 〇 〇 〇 〇
Sca
le
HAM-D 〇 〇 〇 〇 〇 〇 〇 〇 〇
YMRS 〇 〇 〇 〇 〇 〇 〇 〇 〇CRDPSS 〇 〇 〇 〇 〇 〇 〇 〇
自記式質問紙
PHQ-9 〇 〇 〇 〇 〇 〇 〇 〇 〇
CATS 〇 〇 〇 〇 〇TEMPS-A 〇 〇 〇 〇 〇
LES 〇 〇 〇 〇 〇 〇 〇 〇 〇STAI 〇 〇 〇 〇 〇 〇 〇 〇 〇
音声記録 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇
BACS 〇 〇 〇 〇 〇 〇 〇
MRI △ △ △
rsfMRI △ △ △
NIRS △ △ △事象関連電位 △ △ △DEX/CRH test △ △ △ △ △
55
音声病態分析技術を用いた医療相談支援システム
訪問看護・介護
カウンセリング
クリニック
救急病院・専門病院
スマートフォン等
対話型自動車（カーナビ等）
救急車
医療相談（コールセンター）
音声データ（サーバー）
日常
緊急時119
音声病態分析支援・感情・鬱度・重症度・緊急度
経時的変化（日常との比較）
音声データの蓄積
診断・医療介入のフィードバック データの解析
システムの更新分析能力の向上
他分野への応用災害派遣時のストレス管理車両運転時の疲労管理ストレスレジリエンスプログラム
音声データの蓄積
2015
会社説明
感情の規格化
感情認識
音声病態分析
56
音声の病態分析を用いた治療効果のフォローアップ
初回外来次回外来
自宅での様子がわからない
携帯端末を通常に使用することで音声による病状の変化を記録
処方の変更など
創薬2015
会社説明
感情の規格化
感情認識
音声病態分析
57
特殊環境での利用
2015
会社説明
感情の規格化
感情認識
音声病態分析
宇宙航空研究開発機構（JAXA） 宇宙医学生物学研究「長期閉鎖環境（宇宙居住環境模擬）におけるストレス蓄積評価法に関する研究」
58
何に寄与するのか
• 「家庭で健康に」
– 未病状態の超早期に医療介入が可能となる。
• 「外来を家庭に」
– 家庭での病状の変化を知ることで、より適切な治療（処方内容等）が可能となる。
• 「入院を外来に」
– 入院による診断を外来（家庭）で実施が可能となる。
家庭で健康状態を計測・記録することが可能。
主観評価を客観評価に
• 治療の効率化による入院期間の短縮（リハビリなど）
• 創薬の効率化、医師の負担軽減（経験の補完）2015
会社説明
感情の規格化
感情認識
音声病態分析
59
視床下部中脳
扁桃体情動エリア
脳の情動活動と状態感情（主観影響）ストレス抑うつ状態行動予測
etc
Reproduction of subjective analysisParameter and logic-rule set
より高精度な脳の情動活動と状態感情のメカニズムストレスのメカニズム
精神の状態神経系の動き脳活動の動き身体状態睡眠の状態ホルモンなど
病態分析へ
脳や神経、身体の影響を受ける音声パラメタ
研究中脳情動（fMRI）と主観 脳神経活動（臨床）と病態
医療用専用機器
声帯（脳） 主観ラベル
2015
会社説明
感情の規格化
感情認識
音声病態分析
60
頭部を開いて、
脳に電極を刺して、発話させる脳外科手術での音声取得により、音声と脳神経の関係パラメタを取得する。
患者
脳外科手術臨床からの音響パラメタ取得①
北原国際病院倫理規定に従い、患者同意のもと実施
2015
会社説明
感情の規格化
感情認識
音声病態分析
61
和田テスト
左右の脳を薬で交互に停止させ、発話してその影響を分析する脳外科検査で音声分析する
MRI 和田テスト
患者
脳外科手術臨床からの音響パラメタ取得②
北原国際病院倫理規定に従い、患者同意のもと実施
2015
会社説明
感情の規格化
感情認識
音声病態分析
62
前項の脳外科臨床音響パラメタ①②から、脳や神経由来の原因か？心因性か？分別する研究精神科医と患者の会話分析
精神疾患の患者と精神科医との会話から、前項の２つのパラメタを基本として、心理的要素と神経要素の影響度合いを導出するパラメタとロジックセットを導出する
PST技師
患者
カウンセリング
北原国際病院倫理規定に従い、患者同意のもと実施
2015
会社説明
感情の規格化
感情認識
音声病態分析
63
PSTの製品とは？
• 心の体温計（ST）
1. 世界中誰でも声から
2. ストレスや感情の変化がわかる
• 心のレントゲン（PST）1. 医療専用機器として
2. 脳や神経の状態、ホルモンや病気の状態がMRIレベルで分析可能へ
3. 治療への応用
国際特許取出願済み
国際特許取得済み
声から脳を分析して簡単に気持ちの動きが見える
そこから、ストレスや心理の分析すでに一部商品化している
東大＋防衛省で実証済み
特許取得済み北原国際病院倫理規定に従い、患者同意のもと実施
2015
会社説明
感情の規格化
感情認識
音声病態分析
64
世界で唯一 ・ 医療音声技術による世界資本・研究者への研究支援
① 医療用音声研究に必要な完璧な音場を再現する施設を神奈川県に作る
② 次年度で専用の外来問診ブースと音声問診システムを作る
世界初の音声
自動問診外来端末
受付モニター
世界初の専用機
2015
会社説明
感情の規格化
感情認識
音声病態分析
65
ST/PSTの性能評価まとめ
主観とSTの比較：人の主観（感情の感じ方）とSTの比較でA:人の感情の感じ方と同様の区分化がSTシステムにて再現できているB:発話者本人との一致は同じ日本人の他者（第三者評価）より高い
脳とSTの比較：人の脳活動（感情反応）とSTの比較でC:fMRIとSTとは高い相関を持っていた
ストレス（抑うつ状態など）とPSTの比較：以下のストレス指標とPSTの比較でD:自記式アンケート診断GHQ30(世界標準)とほぼ同程度の精度E:専門家の面接結果との整合性F:アンケート診断GHQ30では検出できなかった患者を検出した（1500名中2名の隠れていた患者を発見）
科学検証の実例
行動とSTの比較：消費者金融返済コールセンタでのSTを使った返済予測実験事故率50%（返済しない確率50%）での環境にて返済するかしないかを予測する音声を聞かないで自動的に80%を正答した。（一週間後では90%）
社会実装（守秘義務により非公開）
2015
会社説明
感情の規格化
感情認識
音声病態分析
66
Ｔｈａｎｋ ｙｏｕ！
67