appleの先を行くポストタッチインターフェース
DESCRIPTION
ヤフー vs クラスメソッド勉強会で発表した「Appleの先を行くポストタッチインターフェース」です。TRANSCRIPT
Appleの先を行くポストタッチインターフ
ェース
@issay
今までにないアプリを作りたい
加速度センサー、ジャイロスコープ、磁力センサー、近接センサー、カメラ、
GPS、etc...
Core Image、Core Motion、iBeacon、Core Location、etc...
AppStoreのアプリ数100万本以上
既存のAPIをそのまま使うアイディアは他の誰かに実
現されている!
「普通のやつらの上を行け」by Paul Graham
Appleが未だ実現できていない機能を先に作れ
それが世界初のアプリを作る道
iPhoneのフロントカメラ
自然な体制で常に顔を捉えている
顔の情報を活用しきれていない
Core Imageの顔検出
• 顔検出• 目、口の位置• 笑顔かどうか• まばたきをしているか• 頭のx軸方向の回転(リアルタイムは難しい)• 遅い(頑張ってもiPhone5で5fpsぐらい)
顔の細かい表情はとらえられない
Core Imageでできないこと
• 視線• 頭のy軸、z軸方向の回転• 眉の形、位置• 目の形• 鼻の形、位置• 口の形• 輪郭の形、位置
仕方ない、作るか
顔情報はUIに活用できる
例えば• リモコンを使わずにテレビの制御• Google GlassなどARメガネの制御• サイネージディスプレイの制御• 料理中のiPadの制御• フライトゲーム• 障害者のためのインターフェース• etc...
しくみ
Face Tracking• 多くの顔の特徴点をトラッキングするライブラリを独自開発
• スマホでもリアルタイムで動作するのが特徴(iPhone5で20fps以上)
• 顔画像とあらかじめ正解の特徴点を与えたデータから、学習させる
Face Tracking
• はじめにiOSのAPIとOpenCVで顔検出、トラッキング
• ブースティングという手法を使って、だんだんと実際の顔に特徴点をフィッティングさせていく
• 顔画像の任意の2点のピクセルの値の差分を元に計算しているので高速
特徴点に合わせて
画像を合成
以上