コンテンツを見ないコンテンツ内容理解人間行動か …...pinterest...

Copyright©2014 NTT corp. All Rights Reserved.

コンテンツを見ないコンテンツ内容理解－人間行動から読み解くコンテンツ

木村昭悟（きむらあきさと） NTTコミュニケーション科学基礎研究所 E-mail: [email protected], @_akisato

1 Copyright©2014 NTT corp. All Rights Reserved.

コンテンツを見ないで内容理解？


周辺情報で変容するコンテンツの意味

日光の持つ力を取り込め．Solar Oven Societyは，非営利団体です．太陽光オーブン Sportは，

燃料資源が乏しく，それ故に調理法に制限がある地域のQoLや栄養状態を向上させる…（略 http://www.pinterest.com/pin/22166223138906789/ https://twitter.com/BarackObama/status/266031293945503744


コンテンツに基づく内容理解の限界

• どんなに言葉を尽くしても説明しきれない画像． • 背景知識に大きく左右される，画像が伝える意味．

Borth+ “Large-scale visual sentiment ontology and detectors using adjective noun pairs,” Proc. ACMMM2013.


Slaney “Web-scale multimedia analysis: Does content matter?” IEEE Multimedia, 2011.


Does content matter? - 1

音楽の類似度を測る • Yahoo! Music： 1000曲 • ある曲をクエリとして与え，

所定の類似度に基づき類似曲を50曲提示．

• Ratings: 全ユーザのratingを特徴とするコサイン距離

• Content: 当時のstate-of-the-art (GenreGram)

Slaney and White “Similarity based on rating data” Proc. ISMIR2007.



Koren “BellKor solution to the Netflix Grand Prize,” 2009. http://bit.ly/P6wyHW

映画を推薦する • 1.8万本，48万ユーザのrating (99% sparse) を当てる，

典型的な協調フィルタリングの設定． • Ratingの日付・映画公開からの日数が重要素性．



Mahajan and Slaney “Image annotation with the web graph,” Proc. ACMMM2010.

不適切画像をフィルタリングする • Text：周辺テキストをLSAでモデル化 • Image： Auto-encoder DBN + PCA • Web：リンク関係に基づくグラフ正則化半教師付

学習を行って獲得した特徴量（1次元）


教訓として何を学ぶべきか

1. 対象コンテンツだけを解析することの危うさ

• 現代のコンテンツは，大量かつ多様なメタ情報と共に生成・表示・伝搬・消費される．

• コンテンツと共にあるいずれのメタ情報も，コンテンツと何らかの文脈を持っている．

• タスクによっては，コンテンツよりもメタ情報の方がはるかに有用である．


教訓として何を学ぶべきか

2. コンテンツが当てならないのはどんなときか • 感性・感情・趣味嗜好など，

曖昧で個人差が大きい対象を扱うとき．

3. 何を頼りにすれば良いのか • 人間の行動に着目しよう

– 公開から日数が経ってもレビューするのは良いから – 不適切コンテンツは相互リンクされやすい

• 人間が行動する場の構造に着目しよう – UI変更後にレビュー入力が容易になった – 相互リンクを行うとpage rankが上がり，検索で上位に．


コンテンツを見ない内容理解のススメ

システムを利用する人間の行動を観察しよう • 難しく考える必要はない

人間の行動を解析して付加情報を獲得しよう • コンテンツ間の関連性・類似性・補助情報

獲得した付加情報をコンテンツ解析に使おう • コンテンツを深く解析するための弱い教師情報 • Human computationに通ずる考え方


行動経済学との接点

(In conjunction with ICDM2013)

Lewis “The intersection of behavioral economics and machine learning to understand Big Data,” http://bit.ly/1fYU0eZ


以降の目次

実際の研究例から，人間の行動をどのように利用するかを考える．

1. 画像検索でのユーザ行動を画像アノテーションに活かす

2. 「まとめ」られるプロセスを画像の注目度の推定に活かす

3. SNS上での画像伝搬の過程を画像の意味の可視化に活かす


画像検索でのユーザ行動を画像アノテーションに活かす

木村他 “画像検索でのユーザ行動を利用した大規模画像アノテーション,” 信学論D, 2013年.


研究の概要

画像検索サーバへのアクセスログのみから，画像にテキストラベルを付与する．

画像検索サービス

本技術

Web画像 + テキストタグ

生物多様性，折り紙

ダッカ，中心街，喧噪

クワガタ，珍しい

アクセスログ

時刻，hash化IP，ユーザ行動（クエリ，クリック，ページ遷移），検索方法，クエリ語句，クリック画像URL，検索ランキング etc.

ユーザ



クリックを利用したアノテーション

画像クリック = 非明示的な適合フィードバック

Hua+ “Clickage: Towards bridging semantic and intent gaps via mining click logs of search engines,” Proc. ACMMM2013. Wu+ “Search-based relevance association with auxiliary contextual cues,” Proc. ACMMM2013.


クリックだけでは不十分

クリック以外のユーザ行動にこそ滲み出るクリックの重要性やユーザの意図を汲み取る．

行動クエリA 画像α

クリッククエリB 次の結果→ 画像β

クリック画像γ クリック

意図

これら３つのクリックの重要性は同じではない．

次の結果→

Aの画像欲しい．

これかな？今イチだ，クエリ変える．ないなぁ．ないなぁ…

あー，これだよこれ．



提案手法のポイント

クリック前後のユーザ行動から特徴量を算出．


ログ情報

クエリクリッククエリ次へ次へクリック次へ

行動

第１クリックの行動特徴ベクトル第２クリックの行動特徴ベクトル

時刻（深夜・朝・昼・夜の別），滞留時間（秒），検索行動（クエリ投入，ページ遷移，クリック，類似検索，検索開始，クエリ変更），検索順位，以前・以後の累積クリック数，系列内総クリック数


選択された素性の傾向

クリック前後のエントリからの素性が有用．

クリック直前の滞在時間が有用性判定に寄与．

クエリ語句変更は有用性判定に負のバイアス．

クリック数は少ない方が有用性判定にはプラス．



有効性の検証

正解データ：手動正誤判定した画像・クエリ対2000組

E@1 （サンプル調査）

E@2 （サンプル調査）

有用画像数（全数調査）

ベースライン（全クリック画像を有用とみなす）

11.81 17.47 213万枚

技術主要素の導入 9.64 16.02 169万枚マイナーチェンジ（クエリ数正規化） 12.07 16.81 213万枚

提案手法（主要素＋正規化） 8.88 15.27 169万枚



「まとめ」られるプロセスを画像の注目度の推定に活かす

Ishiguro+ “Towards automatic image understanding mining via social curation,” Proc. ICDM2012


研究の概要

画像の注目度を「まとめ」だけから予測



先に検証結果

• 画像の注目度は「まとめ」から概ね予測可能． • 画像の注目度は画像特徴量では全く予測不可能．



「まとめ」 = キュレーションの仕組み

キュレーター（まとめを作る人）の行動により，コンテンツが選択され，まとめが作られる．

Duh “Creating stories from socially curated microblog messages,” IEICE Trans, 2014.


なぜ「まとめ」が有用か？

Kimura “Large-scale cross-media analysis and mining from socially curated contents,” Progress in Informatics, 2014.

1. 伝えたい内容が明確で先鋭化されている． 2. 伝えたい内容に関連するコンテンツしか残らない．


なぜ「まとめ」が有用か？

Kimura “Large-scale cross-media analysis and mining from socially curated contents,” Progress in Informatics, 2014.

1. 伝えたい内容が明確で先鋭化されている． 2. 伝えたい内容に関連するコンテンツしか残らない． 3. 数多くの画像・映像を掲載．


「まとめ」をコーパスとするマイニング

画像閲覧数＝注目度とする回帰で定式化


𝑦𝑦𝑖𝑖 = 𝑓𝑓 𝒙𝒙𝑖𝑖 ,𝒘𝒘

内容の的確さ

投稿者の人気

まとめの注目度


SNS上での画像伝搬の過程を画像の意味の可視化に活かす

Kimura+ “Image context discovery from socially curated contents,” Proc. ACMMM2013.


研究の概要

SNSでの画像の伝搬を用いることで，意味・内容を共有する画像群を検出・可視化．

Kimura+ “Image context discovery from socially curated contents,” Proc. ACMMM2013


Pinterest

スクラップブックに写真・雑誌の切り抜きを張る感覚で利用できる，画像共有に特化したSNS．

comScore Inc. “Pinterest ranked #42 among all the web services in Dec 2012 with 30M visitors,” http://bit.ly/11cxwAX

User page ユーザが所有するboardを一覧表示

Wall フォローしている人がpinした（＝自分のものとして登録した）画像を表示するトップページ

Board ユーザが作成した画像グループ，数多くのpinで構成される．

Pin ユーザがpinした画像の詳細情報，画像だけでなく，board名・説明文・

repin元・repin先・like数なども閲覧可能．


解析の手がかりを探す

典型的なユーザ行動から利用シーンを考察仮説：各boardが特定のテーマを持っている．事実：画像が様々なboardを伝搬していく．

帰結：共有画像数が多いboard対は，類似したテーマを持つ． Kimura+ “Image context discovery from socially curated contents,” Proc. ACMMM2013


手法の具体的な処理

1. 画像伝搬をグラフ表現として獲得



手法の具体的な処理

2. 画像伝搬グラフをクラスタリング • 同じクラスタに入ったboardは，

画像伝搬を介して数多くの画像を共有している． • つまり，意味・内容が類似しているboardが

クラスタリングによって得られることになる．



結果をコーパスとして利用

ユーザ行動から獲得した画像集合の類似関係を，画像特徴量学習のためのコーパスとして利用．

New images as queries (No network info required)

Marcos Alvarez+ “Exploiting socially generated side information in dimensionality reduction,” Proc. IWSAM2013


検証結果

Marcos Alvarez+ “Exploiting socially generated side information in dimensionality reduction,” Proc. IWSAM2013


発表の終わりに



Does content matter?

コンテンツそのものを無視するべきではない．

しかし，周辺情報を無視することも得策ではない．人間が産み出すシグナルに耳を傾ける，それが重要．


As a content-analysis person, I would never argue that we should ignore the content. Yet there are many ways to solve a problem. We shouldn’t overlook the rich metadata that surrounds a multimedia content.

But the real world is not this simple. Every object comes with a context, and those who ignore this signal harm science and their chance of success.

Representing and manipulating this extra data is difficult. Yet, in the end, the signals provided directly by humans tell us more about the content. We should all be asking ourselves how we can take advantages of human signals to understand multimedia more effectively.


参考文献

• comScore Inc. “comScore Media Metrix Ranks Top 50 U.S. Web Properties for December 2012,” http://bit.ly/11cxwAX

• Borth, Ji, Chen, Breuel, Chang “Large-scale visual sentiment ontology and detectors using adjective noun pairs,” Proc. ACMMM2013.

• Duh, Kimura, Hirao, Ishiguro, Iwata, Au Yeung “Creating stories from socially curated microblog messages,” IEICE Transactions on Information and Systems, 2014.

• Hua, Yang, Wang, Wang “Clickage: Towards bridging semantic and intent gaps via mining click logs of search engines,” Proc. ACMMM2013.

• Ishiguro, Kimura, Takeuchi “Towards automatic image understanding mining via social curation,” Proc. ICDM2012.

• 木村，数原，高橋，横山 “画像検索でのユーザ行動を利用した大規模画像アノテーション,” 信学論D，2013年．

• Kimura, Ishiguro, Marcos Alvarez, Ishiguro, Kataoka, Murasaki, Yamada “Image context discovery from socially curated contents,” Proc. ACMMM2013.

• Koren “BellKor solution to the Netflix Grand Prize,” 2009. http://bit.ly/P6wyHW • Lewis “The intersection of behavioral economics and machine learning to understand Big Data,”

http://bit.ly/1fYU0eZ • Mahajan and Slaney “Image annotation with the web graph,” Proc. ACMMM2010. • Marcos Alvarez, Yamada, Kimura “Exploiting socially generated side information in dimensionality

reduction,” Proc. IWSAM2013 (in conjunction with ACMMM2013). • Slaney “Web-scale multimedia analysis: Does content matter?” IEEE Multimedia, 2011. • Slaney and White “Similarity based on rating data” Proc. ISMIR2007. • Wu, Chu, Kuo, Chen, Lee, Hsu “Search-based relevance association with auxiliary contextual cues,”

Proc. ACMMM2013

コンテンツを見ないコンテンツ内容理解 人間行動か …...pinterest...

Documents

コンテンツを見ないコンテンツ内容理解人間行動か …...pinterest...