食事レシピ情報を利用した食事画像からのカロリー...

味噌汁

60 kcal

食材情報

調理手順情報

Faster

R-CNN

物体検出

カロリー量推定

Multi-

task

CNN

M

2011年, 宮崎ら[1]による食事画像からのカロリー量直接推定SURF特徴量やカラーヒストグラムなどの従来の特徴量の使用高精度のカロリー量推定は実現できなかった

カロリー量付き食事画像セットの構築

商用レシピサイトのカロリー量付きレシピを収集

食事レシピ情報を利用した食事画像からのカロリー量推定

背景と目的

手法補助情報を用いたマルチタスク推定

mi

mi

mi

ピラフカレーライス炒飯焼きそばスパゲッティ

グラタン味噌汁シチュー肉じゃがハンバーグ

冷奴ちらし寿司オムライスポテトサラダ炊き込みご飯

UEC food-100[5]の食事100

カテゴリをアノテーション

ノイズ除去

サンプル数100以下の食事カテゴリを除去

約83,000レシピを収集

食事 15 カテゴリ

合計 4877 枚

Single-task CNN (baseline)

相関係数 (カロリー推定) 0.78

相対誤差20%以内 (カロリー推定) 46 %

カテゴリ認識精度 (カテゴリ認識) 81 %

相関係数 (カロリー推定) 0.82

相対誤差20%以内 (カロリー推定) 50 %

カテゴリ認識精度 (カテゴリ認識) 84 %

相乗効果によりカロリー量・カテゴリ推定の精度が向上

+0.04

+4 %

+3 %

追加実験物体検出による複数品カロリー推定

カロリー量付き料理カードを撮影した画像での実験

まとめと今後の課題

ポテトサラダ : 169 kcal

味噌汁 : 74 kcal

肉じゃが : 352 kcal


ハンバーグ : 405 kcal

炒飯 : 695 kcal

正解値シチュー : 382 kcal

スパゲッティ: 518 kcal

焼きそば : 539 kcal

ピラフ : 475 kcal

[1] T. Miyazaki, G. Chaminda, D. Silva, and K. Aizawa. Image ‐ based calorie content estimation for dietary assessment. In Proc. of IEEE ISM Workshop on Multimedia for Cooking and Eating Activities, 2011.

[2] J. J. Chen and C. W. Ngo. Deep-based ingredient recognition for cooking recipe retrival. In Proc. of ACM International Conference Multimedia, 2016.

[3] H. A. Abrar, W. Gang, L. Jiwen, and J. Kui. Multi-task CNN model for attribute prediction. IEEE Transactions on Multimedia, Vol. 17, No. 11, pp. 1949–1959, 2015.

[4] K. Simonyan and A Zisserman. Very deep convolutional networks for large-scale image recognition. In arXiv preprint arXiv:1409.1556, 2014.

[5] Y. Matsuda, H. Hajime, and K. Yanai. Recognition of multiple-food images by detecting candidate regions. In Proc. of IEEE International Conference on Multimedia and Expo, 2012.

• CNNによる食事画像からのカロリー量直接推定• マルチタスク学習により各タスクの精度が向上• カロリー量情報付き食事画像データセットの構築

• 領域分割などによる食品の量を考慮したカロリー量推定• データセットの構築

推定結果

會下拓実, 柳井啓司 (電気通信大学情報理工学部総合情報学科)

Web上のレシピサイトから収集

カロリー量

食事画像

食材情報調理手順情報

さんまの塩焼き 221kcal

ごはん 168kcal

豆腐 42kcal

サラダ 35kcal

味噌汁 60kcal

食事画像からの全自動カロリー量推定

相乗効果によりカロリー量推定の精度向上が期待できる

CNN 550 kcal550 kcal

550 kcal

肉じゃが

食材情報調理手順情報

CNN

R=0.78

R=0.82

243 kcal味噌汁

58 kcal味噌汁

+185 kcal

520 kcalスパゲッティ

228 kcalポテトサラダ

+292 kcal

243 kcal味噌汁

575 kcalシチュー

-332 kcal

486 kcalカレーライス


-458 kcal

推定値

正解値

誤差

35 kcal味噌汁

32 kcal味噌汁

+3 kcal



-53 kcal



+3 kcal

184 kcal味噌汁

214 kcal味噌汁

-30 kcal

推定値

正解値

誤差

味噌汁カテゴリ分類失敗

カロリー量情報付きカレーライス : 761 kcal


Multi-task CNN (提案手法)

近年, 食事管理アプリでのカロリー量記録が可能に, しかし….

料理名や量のユーザによる手入力が必要

人手によるサービスで料金が発生

食事画像からの自動カロリー量推定は実現されていない

実験シングルタスクとの比較

2016年, Chenら[2]による画像からの食材&食事カテゴリ同時推定Multi-task CNN[3]による食材&食事カテゴリのマルチタスク学習マルチタスク学習により両タスクの精度が向上した

本研究ではCNNによる食事画像からのカロリー量直接推定

本研究ではカロリー, 食事カテゴリ, 食材, 調理手順のマルチタスク学習

関連研究①

関連研究②

(VGG16 [4])

成功例

失敗例

0.75

0.76

0.77

0.78

0.79

0.8

0.81

0.82

カロリー量

+

食事カテゴリ

++

食材

++

+

調理手順

相関係数

43

44

45

46

47

48

49

50

51

カロリー量

+

食事カテゴリ

++

食材

++

+

調理手順

相対誤差20%以内

79

80

81

82

83

84

85

86

食事カテゴリ

+

カロリー量

++

食材

++

+

調理手順

カテゴリ認識精度(%) (%)

推定対象

補助情報

食事レシピ情報を利用した 食事画像からのカロリー...

Documents

食事レシピ情報を利用した食事画像からのカロリー...