si2008 rt-middleware contest

2008年12月5日 RTミドルウェアコンテスト2008 1

RTミドルウェアを用いた 名刺受け機能付きマスコット

ロボットの開発

○菅　佑樹（早大） 坂本義弘（ナレッジサービス）

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 2

開発概要

•  名刺受け機能付きマスコットロボット –  各種展示会などで使用 –  頭部カメラで首動作 –  口蓋内スキャナで名刺認識 –  名刺画像からお客様の芳名認識 –  お客様の芳名読み上げ＆挨拶 –  RTミドルウェア使用

•  ソフトウェアの再利用性向上 •  顧客の要望に応じてシステムを増設

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 3

ハードウェア

•  Laptop PCに各種I/OボードをUSB接続 –  小型カメラ –  RCサーボモータ制御

•  首フリ動作

–  小型スキャナ •  名刺受け

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 4

＊WinXP + VC++2008

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 5

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 6

USBカメラ＆画像処理コンポーネント

•  USBカメラコンポーネント –  OpenRTM-aist付属の

Exampleを流用 –  OpenCVを利用

使用したカメラ

■出力ポート • TimedOctetSeq型 • OpenCV形式の画像

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 7

USBカメラ＆画像処理コンポーネント

•  画像処理コンポーネント –  OpenCVを利用した画像処理

コンポーネント •  大阪大学　田窪氏のものを改変

■入力ポート • TimedOctetSeq型 • OpenCV形式画像

■出力ポート • TimedDouble型 • 画像内の動領域 　　　　重心座標（X）

■出力ポート • TimedDouble型 • 画像内の動領域 　　　　重心座標（Y）

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 8

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 9

サーボモータ制御コンポーネント

•  RCサーボドライバ「iMCs04」 –  iXs Research製 –  超小型（45[mm] x 30[mm] ） –  USB接続 –  4chのRCサーボモータを制御 –  4chのA/Dコンバータ

iMCs04

■入力ポート • TimedInt型 • RCサーボモータへの 　　　指令値（パルス幅）

■出力ポート • TimedFloat型 • A/D変換の出力

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 10

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 11

スキャナ画像取得コンポーネント

•  TWAIN対応スキャナ用画像取得コンポーネント –  今回は名刺読み取り用小型

スキャナを使用 •  102(L)×48(W)×26(H) •  70[g] •  600dpi ■出力ポート

• TimedOctetSeq型 • BitMap形式画像データ

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 12

名刺読み取りコンポーネント

•  芳名認識コンポーネント –  名刺からフォントの大きな文字領域を抽出 –  データベースと照合し，漢字認識 –  氏名漢字読み仮名データベースと照合し，読み仮名をひ

らがなで出力

■出力ポート • TimedString型 • 名刺画像から読み込んだお客様のお名前 　（ひらがな）

■入力ポート • TimedOctetSeq型 • Bitmap形式画像

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 13

音声合成コンポーネント

•  テキスト音声合成ライブラリ「AquesTalk」を使用した音声合成コンポーネント –  テキスト情報を表音文字として，音声合成

■入力ポート • TimedString型 • 表音文字列

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 14

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 15

全体統合コンポーネント

•  全体の動きの制御 – 情報の流れを統制

•  画像処理後の情報→首フリ動作 •  名刺認識情報→音声合成

– 同期（首フリしていると名刺を口に入れづらい） •  GUIを提供 •  ボタン操作で首フリ動作を停止

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 16

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 17

動領域追従動作

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 18

名刺認識動作

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 19

今後の課題等 •  名刺認識ライブラリの改善

–  認識時間の短縮 –  認識精度の改善（多種フォントへの対応）

•  コンポーネントの再利用性向上 –  画像形式の統一

•  OpenCV形式が有力か –  RCサーボコントローラの完成度向上

•  指令値の形式（パルス幅 or 角度） •  出力ポートの同期出力

–  出力ポートに接続されている入力ポートにreadが呼ばれたときに，同期して出力ポートから画像を転送

•  名刺スキャナのGUIが必要なくなる

RTミドルウェアを用いた名刺受け機能付きマスコット・ロボットの開発

2008年12月5日 RTミドルウェアコンテスト2008 20

名刺受け機能付きマスコットロボット用コンポーネント群 　菅佑樹（早大）　坂本義弘（ナレッジサービス(株)）

連絡先：　 　作成者代表：　菅　佑樹　（早稲田大学） 　　URL: http://www.ysuga.net/robot/ 　　E-mail: ysuga [at] ysuga.net 　著作権等問い合わせ：　ナレッジサービス株式会社 　　URL：http://kserv.jp/ 　　E-mail：info [at] kserv.jp

概要： u  RTミドルウェア(以下RTM）を用い，名刺受け機能搭載型マス

コット・ロボット・システムを開発いたしました． u  本ロボットは頚部に2つの自由度を持ち，カメラから取得した画

像を用いて首振り・うなずき動作が可能なほか，口蓋内に備え

た名刺スキャナと，独自に開発した芳名認識ソフトウェアによって，お客様の御氏名を抽出・認識し，音声合成によって読み上

げを行うことができます． u  RTミドルウェアにより，顧客の要望に応じたシステムの追加等

を迅速に行うことができます．

特徴： u  頭部カメラ画像内の動領域に追従する首動作 u  口蓋内の名刺スキャナを使用した名刺受け機能 u  受け取った名刺からお客様の御名前を読み取り機能 u  音声合成エンジンを使った御名前読み上げ機能

開発したコンポーネント群 ： (RTM ver.0.4.2 　Windows版) 1.  USBカメラコンポーネント（RTM付属サンプルを使用） 2.  動領域抽出コンポーネント 3.  iMCs04(サーボモータ制御ボード)コンポーネント 4.  TWAIN対応スキャナ制御コンポーネント 5.  芳名認識コンポーネント 6.  AquesTalkを用いた音声合成コンポーネント 7.  全体制御コンポーネント

RTミドルウエアコンテスト2008

マスコットロボット外観

マスコットロボット　システム図

2008年12月5日 RTミドルウェアコンテスト2008 21

御静聴ありがとうございました

Thank you for your attention!

早大　菅：ysuga@suou.waseda.jp ナレッジサービス㈱：info@kserv.jp