次世代型情報取得システムの構築技法　～ cruse開発を通じて

Developers Summit 2010

伊藤純一アイエニウエア・ソリューションズ株式会社

デジマビジネスユニット

シニアエンジニア

19-4-C

次世代型情報取得システムの構築技法～ CRUSE開発を通じて


アジェンダ

背景

課題と解決方法

システムの紹介

デモンストレーション

まとめ


背景

情報インフラ発達により移動時に豊富な情報を得る環境が整いつつある

クラウドの発達

企業内データ整備

モバイルPC

携帯端末

WiFiやWiMAXによる高速通信

移動時の情報活用が進んでいるとはいえない

通信インフラ端末インフラデータインフラ


情報活用の課題①

携帯端末での情報取得

画面が広くない

情報を一度に閲覧できない

入力手段が乏しい

欲しい情報を的確に指示するのが大変

「キーワード入力⇒結果一覧」というPCの検索方法をそのまま適用は無理


情報活用の課題②

システム提供側の都合

既存webアプリの携帯端末上での課題

PC向けにできている、表示が重い、動かない

携帯端末向けアプリの課題

メニュー階層の深い使いにくいアプリ

構築ノウハウの不足

携帯端末での情報活用に対するネガティブ


課題に立ち向かう技術

RIA

Flash, HTML5...

マルチタッチ・インターフェース

加速度センサ

音声認識／音声合成

GPS

カメラ


課題をどう解決するか？

情報を得ようとする人間の行動プロセス

操作：ユーザー意図をシステムに伝える

認知：提示されたデータを認知する

判断：認知をもとに何をするか決める

認知操作判断


課題解決：操作

ユーザー意図をシステムに伝える方法の検討

その場で使える手段を自由に組み合わせる

音声

キー入力

タッチ入力

なるべく少ない手数でシステムを操作する

ここまでにシステムに与えられた入力を活用する

ユーザーの環境情報を利用する⇒明示的に指定しなかった場合に暗黙情報として利用（例：現在位置）

原則：シンプルに使えるもの


課題解決：認知

データ表示方法の検討

瞬時に全体把握が可能な方法を使う

図形を効果的に使う

詳細はユーザーが必要なときに提示

複数種類の出力を活用

音声ガイダンス

振動による通知

ジャンル場所店名

イタリアン東区1-2-3 Italiana

フレンチ東区3-2-3 Le Royale

フレンチ千種区3-2 Bourgogne

イタリアン千種区2-1 Chao

フレンチ東区3-2-3 Louis XIV

：：：

地図上への図示例

＋


課題解決：判断

データ参照の視点を変える方法の検討

システムが視点の変え方をナビゲートする

データが多すぎるときは視点を狭く（例：絞り込む条件候補提示）

データがないときは視点を変える（例：変更するとデータが得られる条件の提示）

ナビゲートにユーザー嗜好を反映させる

ユーザーの試行錯誤を無くす

過去の操作履歴から嗜好を抽出

原則：主導はユーザー、あくまでオプションという位置づけ


文脈指向マルチモーダルシステム

この考えをもとにした文脈指向マルチモーダル

意図をシステムに伝える各種手段

ユーザーの環境情報

ユーザーの欲しいもの

システムによるナビゲート

入力手段を自由に組み合わせデータ抽出条件を指示

操作文脈からの入力補完

環境情報を暗黙情報として利用

データ抽出状況とパーソナライズで次操作を提示

ナビゲーションを音声出力

データの図示

音声

キー入力

タッチ入力

位置情報

結果表示

音声通知

操作提示

データ

これはいい！！

モバイルユーザークラウド

データ

データ

利用するデータを自動で選択


データ取得部UI部

語彙の辞書、概念定義をもとに検索条件に変換

確定できない内容は対話で確認

得られた条件でデータ抽出・結果取得

次操作のヒントを追加

個人プロファイル

データ

音声認識

音声合成（次操作ヒント）

音声

地図表示（結果を図示）

キー入力

画面タッチ

音声通知

結果一覧

不足情報を文脈から補完

対象データの概念定義

位置情報

操作提示

入力を文字列に一元化することで処理を共通化

概念定義をメタデータとしてもちデータの変更や拡張に強くする

ユーザー操作の支援

認知を支援パーソナライズ

文脈指向マルチモーダル内部の仕組み検討

データ

データ

RDB,XMLWeb対応


データ取得部

内部のデータの流れ①

UI部






音声認識


音声


キー入力

画面タッチ

音声通知

結果一覧



位置情報

操作提示

日光で露天風呂に入りたい

「施設種類を選んでください。ホテル、ペンション、民宿・・・」

場所＝日光属性＝露天風呂あり

場所＝日光属性＝露天風呂あり

例：宿泊検索

データ

データ

データ


データ取得部

内部のデータの流れ②

UI部






音声認識


音声


キー入力

画面タッチ

音声通知

結果一覧



位置情報

操作提示

民宿がいいです

次の条件候補・卓球あり・カード可

施設の一覧

タイプ＝民宿

卓球あり score=0.9

カード可 score=0.8

ペット可 score=0.3

...

タイプ＝民宿文脈からの継続＋場所＝日光＋属性＝露天風呂あり

例：宿泊検索

データ

データ

データ

http://../?場所=日光&属性=露天風呂あり&タイプ=民宿


データ取得部の要素技術

以下の処理を１つのエンジン上で処理できるエージェント・ネットワーク(Answers Anywhere)を利用

語彙の辞書、概念定義をもとに入力文を解析

文脈を追跡して不足情報を補完する

解析結果よりSQLやXML Webからデータを取得

データの概念定義、過去の操作履歴、データの取得結果から次操作を提示

複数ユーザーの同時アクセス、履歴記録に対応


エージェント・ネットワーク自然言語より意味を抽出し対話と処理を実行するエンジン対象データの概念定義をネットワークで記述するビジュアル・プログラミングモデル視覚的に編集できわかりやすい概念定義がデータと１対１になり習得しやすいコンパイル不要で作りながら動作確認でき、プロトタイプ開発容易ネットワークの結合により拡張が容易 JavaAPIで動作をカスタマイズ可能反復テスト可能なテストツール付属

エージェントを配置、キーワードを定義し線で結ぶ

Command(操作)

Field(カラム)

Object(テーブル)

Relation

(ジョイン)

エージェントとデータの列が１対１で対応


デモ：iCRUSEコンセプト「電話で人と話をしているかのように検索する」

ボイス検索

店舗情報を持つ外部Webサービス

言葉の解析

音声フィードバック

対話の生成

検索結果と共にパーソナライズされた条件候補を返します

自然文を解析し、文脈を理解して検索します

Juliusで音声を認識

中華が食べたい

他に・・・

HotPepper グルメサーチAPI


デモ：iCRUSE


適用可能性

文脈指向マルチモーダルが適する領域

属性の種類が多い構造化されたデータ

個体の抽出を目的とし図示が有効なデータ

エンタープライズ向け

営業員向け顧客情報検索システム

社内文書検索システム

コンシューマー向け

多種コンテンツの串刺し検索

twitter・Googleバズをトリガで動く情報端末


おわりに

本日のまとめ

移動時における情報活用のためのシステムに文脈指向マルチモーダルが有効

Answers Anywhereによる文脈指向マルチモーダルの構築

謝辞

株式会社モンスター・ラボ様

iCRUSEの共同開発


お知らせ

iCRUSE無償版

AppStoreにて近日公開予定

Answers Anywhere情報

無償評価用SDK

http://www.ianywhere.jp/dl/dl_evl.html

開発者向けCodeZine連載記事

http://codezine.jp/article/corner/309

セミナーのお知らせ

Answers Anywhere技術セミナー（3/18開催）

次世代型情報取得システムの構築技法　～ cruse開発を通じて

Technology

answers

次世代型情報取得システムの構築技法 ～ cruse開発を通じて

Technology

answers

次世代型情報取得システムの構築技法　～ cruse開発を通じて