pj…±通基盤開発pj事後評価運動音声画像開発物...

1/37

（６）-1 画像認識用デバイス

及びモジュールの開発

平成２０年８月１９日

富士通株式会社

経済産業省21世紀ロボットチャレンジプログラム

第１回「次世代ロボット知能化技術開発プロジェクト」（事後評価）分科会

資料6-1

「次世代ロボット共通基盤開発プロジェクト」事後評価分科会資料

ープロジェクトの詳細説明（公開）ー

2/37

Rob共通基盤開発PJ事後評価

運動

音声

画像

ロボットによる有効性検証開発物

事業概要

音声認識モジュール

運動制御モジュール

画像認識モジュール

５種類のロボットによる有効性検証

６種類のロボットによる有効性検証

５種類のロボットによる有効性検証

３種類のロボットモジュールを開発し各々５種類以上のロボットで有効性検証

3/37


目次

1. 画像認識用モジュールの特徴

2. 研究開発の終目標、目標値の設定理由

3. 画像認識用モジュールの概要

4. 画像認識用モジュールの成果

5. 有効性検証ロボットの概要

6. 有効性検証ロボットの研究開発成果

7. 実用化の見通し

8. まとめ

4/37


画像認識モジュールの開発体制ＮＥＤＯ

技術開発機構

東京大学研究項目：ヒューマノイドロボットによる実証研究

電気通信大学研究項目：マルチモーダル情報の統合に基づくロボットとユーザとのアクティブインタラクションにおける実証研究

富士通株式会社研究項目：・画像認識デバイス開発・画像認識モジュール開発・サービスロボットによる

実証実験

株式会社ビジネスデザイン研究所研究項目：ifbotによる実証実験

首都大学東京研究項目：ジェスチャコミュニケーションロボットによる実証研究

株式会社セック研究項目：・RTミドルウェア開発・画像認識ソフトウエア

開発・応用ソフトウエア開発

委託

5/37


１．画像認識用モジュールの特徴

高速処理専用画像処理LSIを開発

• ２カメラ同時入力

• 相関マッチング専用回路

正規化相関演算を全てハード処理

• 特徴抽出専用回路

以下の処理をリアルタイム実行(1/30秒)

• オプティカルフロー

• パターンマッチング

• ステレオ計測

小型低消費電力150 mm × 100 mm × 70 mm+5V，9W

事業原簿 i-1～

ASIC化

世界初

ASIC化

世界初

6/37


２．研究開発の目標

研究開発の必要性高性能の次世代ロボットを実環境で安全に稼働させる上で必要となる認識処理のうち、特にリアルタイムでのロボット周辺の物体の把握や追跡等に必要な視覚には高速なデータ処理や高度な認識能力が必要となり、大きな負荷がかかっている。ロボットの画像認識処理を効率化・高性能化するデバイスを開発することで、さまざまなタイプの次世代ロボットの信頼性、安全性の向上及び消費エネルギー削減が期待できる。

研究開発の具体的内容次世代ロボットに必要とされる画像認識用デバイスの開発を行う。さらに、本プロジェクトで開発するデバイスに各種ソフトウェアを搭載して次世代ロボット用要素モジュールを開発した上で実証ロボットに組み込んで有効性を検証することとする。

事業原簿 i-1

7/37


２．研究開発の目標

次世代ロボットの新しい作り方の実例を広く示す開発したRT コンポーネントとしてのモジュールを、５種類以上のロボットに搭載し性能を検証すること実証ロボットでの検証

自律移動機能の高度化への適用性

部屋内を移動することで、部屋の3次元マップを構築可能であること

照明条件への適応やノイズ除去階調補正及びフィルタリング処理の適用が可能であること

ヒューマンインタフェース・コミュニケーションの高度化への適用性

人物の検出及び顔の登録・照合を行うことが可能であること

人のジェスチャを認識する機能を有すること

部屋のマップと現在のセンサ入力情報から、自己位置を同定可能であること

実ロボットへの搭載の容易性

モータ制御系との共存における安定性

小型ロボットへの搭載を想定

バッテリで駆動するロボットへの搭載を想定

次世代ロボット用共通基盤として不可欠

2m先の対象物を10cm以下の精度で検出可能であること

各計測データについての信頼性評価値の出力が可能であること

モジュールをRTミドルウエアの仕様に基づくRTコンポーネントとして提供できること

RTコンポーネントとしての動作

ピーク動作に必要な消費電力が20W以下であること低消費電力・低発熱量

面積150cm2以下、質量250g以下であること小型軽量化

強電系と共存して安定に動作すること耐ノイズ性

組立工数を削減し、スペースの制約を満たし、高信頼性を実現できること

付加的機能

シーン内の1000箇所以上の特徴的な領域（8×8画素以上）について、ステレオ計測と動き計測を100ms以下で実行可能であること

カメラ画像の入力と画像処理を毎フレーム実行可能であること生活空間等の実環境で稼働するロボットのステレオカメラの画像を処理し、ロボットの自己位置同定、環境の３次元マップ取得をリアルタイムで実行するための基本機能

2系統以上のカメラ画像をフレームレート30fps以上、16ビット以上のカラー解像度で同時入力・処理可能であること

基本性能の確立

設定理由目標研究項目

事業原簿 i-1,i-2

8/37


画像処理に特化した高速・低消費電力LSI、周辺回路、RTミドルウェア、応用ソフトウェアを開発することにより、次の機能を有する汎用画像認識モジュールを開発する。

三次元地図生成のための周囲環境のリアルタ

イム三次元計測

顔認識と個人特定のための顔特徴の検出

人の向き推定のためのカラー処理

ジェスチャ理解のためのモーションキャプチャ

LSIの開発富士通

モジュール化富士通

RTM化(RTM-light 構成)セック

実証実験5社

画像認識モジュールの開発内容

事業原簿 i-2,i-3

9/37


画像認識モジュールの開発推移

平成19年度平成18年度

実証実験

（富士通、東京大学、電気通信大学、首都大学東京、ビジネスデザイン研究所）

ＲＴミドルウェア

（セック）


（富士通）

画像認識デバイス

（富士通）

平成17年度

ｱｰｷﾃｸﾁｬ/論理設計

検証ボード開発

画像認識ソフトウエア開発

ＲＴミドルウェア実装

実証実験実証実験システム構築アルゴリズム開発

応用ソフトウエア開発

論理設計、論理検証実装設計、製作

仕様設計、詳細設計試作、評価

10/37


３．画像認識用モジュールの概要

画像認識用デバイス（ＬＳＩ）


・並列演算回路による高速処理ステレオ計測，動き計測etc.

・CMOS ASIC（0.13μm）最大 200 MHz, 約 3 W

・画像認識用LSI, DSP, ネットワークI/Fを搭載した小型ハードウェア

・画像認識用RTミドルウェアを搭載

Ethernet

DSP

RTミドルウェア

画像認識ソフトウェア

画像処理ドライバ

画像認識ＬＳＩ画像処理専用回路

・ステレオ３Ｄ計測

・動き計測

・階調補正

・フィルタリング

・カラー処理

画像入力，

画像メモリ管理，

CCIR656

ステレオカメラ

画像メモリ

画像認識モジュールネットワークI/F

デジタル画像I/F

次世代ロボットに要求される３次元認識機能を高速化する専用デバイス

事業原簿 i-4～i-14

11/37


４．画像認識用モジュールの成果

・8×8アレイ演算器×4

（パターンマッチング，

空間フィルタ）

・濃淡/カラー変換

・アフィン変換

・特徴抽出（線分/コーナー）

0.13μm CMOS

大200 MHz

676ピンTEBGA (27×27mm)

テクノロジ

動作周波数

パッケージ

画像演算回路

電源 1.2 V，3.3 V (約3.0 W)

動作温度 0～70℃

画像入力 YUV16ﾋﾞｯﾄ（4:2:2）×２

画像認識用デバイスDSP

FIFO

動作制御回路

画像演算回路

画像I/O・ﾒﾓﾘ制御回路

画像処理ﾗｲﾌﾞﾗﾘ

画像認識用デバイス

画像ﾒﾓﾘ

並列演算回路（ｼｽﾄﾘｯｸｱﾚｲ）

後処理回路

演算結果ﾒﾓﾘ

内部ﾒﾓﾘ(画像/演算ﾊﾟﾗﾒｰﾀ)

画像入出力

前処理回路

FIFOプロセッサ

I/F


12/37



画像認識用モジュール


DSPボード画像処理ASICボード

NTSCカメラ入力ボード IEEE1394カメラ入力ボードカメラI/Fボード

画像処理ASICボード

DSPボード

EthernetPHY SDRAM

(64Mbyte)

FlashMemory(2Mbyte)

DSP(TMS320DM642,

600MHz)

ビデオI/O 制御

＆ＯＳＤメモリ（ＦＰＧＡ）

ビデオデコーダ#1

ビデオデコーダ#2

ビデオエンコーダ

画像処理ASIC(MB87Q0530,

200MHz)

SDRAM(64Mbyte)

TMS320DM642, 600MHz

SDRAM：64MB，フラッシュメモリ：2MB

DSP

DSPメモリ

画像メモリ 64MB (1024×1024×16ビット×32面）

画像入力I/FNTSCアナログ×2 (16ビットカラー／VGA／30 fps)

または、IEEE1394×2 (16ビットカラー／VGA／30 fps)

外形寸法 150 mm×100 mm×70 mm

重量 360 g

+5 V，約 9 W電源


13/37



画像認識用モジュールの処理性能


画像処理画像サイズ探索範囲処理時間

8×8 水平：16，垂直：16 4.7μ秒パターンマッチング

（SAD/SSD 相関） 16×16 水平：16，垂直：16 7.5μ秒

パターンマッチング

（SAD/SSD 相関、4並列） 8×8 水平：16，垂直：16 1.9μ秒

パターンマッチング

（正規化相関） 8×8 水平：16，垂直：16 5.0μ秒

8×8カーネル水平：32，垂直：32 10.1μ秒空間フィルタ

16×16 カーネル水平：32，垂直：32 12.8μ秒

コーナー抽出 8×8 水平：16，垂直：16 5.8μ秒

線分抽出 8×8 水平：16，垂直：16 8.9μ秒

デスクトップ用CPU(Core2Extreme X6800 2.93GHz)によるソフトウェア処理(OpenCVライブラリ)との比較では

ＳＳＤ相関：18.4倍正規化相関： 9.1倍

の性能を実現

14/37



コーナー検出: 14 ms

線分抽出（位置・傾き）： 29 ms

コーナー検出＋ステレオマッチング（視差：0～63画素）：28 ms

3次元計測： 50ms

画像認識用モジュールによる画像処理例


15/37


４．画像認識モジュールの成果

画像認識用RTミドルウェア

実施項目(1) RTミドルウェアの実装

(2) 画像認識ソフトウェアの開発

(3) 開発支援ツールの実装

目標の達成状況(1)画像認識モジュール向けとして、画像処理に特化したRTミドル

ウェアと、高い開発効率を実現する.NETフレームワーク対応のRTミドルウェアを構築した。

(2)画像認識ソフトウェアの枠組みを提供することで、画像認識の機

能を簡便に利用、および開発することを可能とした。

(3)開発支援ツールを整備し、コンポーネントの開発を効率化した。


16/37



RTミドルウェアの構成

ステレオカメラ

Windows PC

DSP

画像認識用デバイス (LSI)

画像処理ASIC用基本API(デバイスドライバ)

画像処理API

RTミドルウェア（VisionRTM）RTミドルウェア(OpenRTM.NET)

ProxyRTC

ProxyRTC

画像処理RTC

画像処理RTC

モニタリングツール

GUIコンポーネント


Ethernet

画像メモリ

画像認識モジュール向けRTミドルウェア(VisionRTM)

画像処理に特化

高速な画像データ送信

リアルタイム動作可能なRTコンポーネント

OMG仕様準拠(OpenRTM-aist-0.4.0相当)

.NETフレームワーク対応RTミドルウェア(OpenRTM.NET)

高い開発効率を実現

ユーザビリティの向上を実現

マルチプラットフォーム対応

複数プログラミング言語に対応

事業原簿 i-1,2事業原簿 i-15～i-21

17/37


４．画像認識モジュールの成果

RTコンポーネントの動作例

開発支援ツール

ツールからDSP上の画像処理RTコン

ポーネントを起動／停止することが可能。

動的にRTコンポーネントを組み替えて、

画像認識システムを構築することが可能。

画像処理RTコンポーネントのソースコー

ドの雛形を自動生成することが可能。

画像認識ソフトウェアの開発

オプティカルフローやエッジ抽出、3Dステレオ計測など、汎用的で再利用が可能な画像処理RTコンポーネント

を実現。

PC上のアプリケーションで、画像処

理結果を確認することが可能。


18/37


５．有効性検証ロボットの概要

・ジェスチャコミュニケーションロボット（首都大学東京山口研究室）

・すれ違い，縦走／並走切替え，視界推定ロボット

（電気通信大学金子研究室）

・ifbotによる入退室管理システム

の実証実験（株式会社ビジネスデザイン研究所）

自律動作制御（ナビゲーションetc.)高度化

・サービスロボットの自律制御（富士通）

・ヒューマノイドロボットの自律制御（東京大学稲葉研究室）

ヒューマンインタラクション高度化

コミュニケーション高度化

富士通東京大学

首都大学東京電気通信大学

事業原簿 i-22,23

ビジネスデザイン研究所

19/37


５．有効性検証ロボットの概要検証ロボット検証項目

ヒューマノイドロボットの自律制御（東京大学）

・画像認識モジュールのサイズが等身大ヒューマノイドプラットフォームに搭載可能なレベルで小型であること

・モジュールの発熱量、省電力性ノイズ耐性が実ロボットの組み込み可能なレベルであること

ヒューマンインタラクションに必要な画像処理を従来（ＰＣのみ）よりも高速に実現

・人間の位置や状態の認識，移動方向の予測・周囲環境の認識

すれ違い，縦走／並走切替え，視界推定ロボット（電気通信大学）

ジェスチャコミュニケー

ションロボット（首都大学東京）

ジェスチャー認識に必要な画像処理を従来手法（ＰＣ上でのソフトウェア処理）よりも高速・高精度で実現

・指差し認識・顔の動きによる肯定・否定の認識

ifbotによる入退室管理シ

ステムの実証実験(ビジネスデザイン研究所)

・顔検出/認証の高速性の検証

・サイズ面での検証（小型ロボットifbotへの内蔵)

サービスロボットの自律制御（富士通）

・サイズや消費電力の面で自律移動ロボットに搭載可能なレベルであること・人との衝突を回避して安全に走行するために必要となる画像処理を高速で実現

事業原簿 i-1,2事業原簿 i-22,23

20/37


６．有効性検証ロボットの研究開発成果サービスロボットの自律制御（富士通株式会社）

検証の目的

サイズや消費電力の面で画像認識モジュールが自律移動ロボットに搭載可能なレベルであること

ステレオ処理／パターン処理の総合処理の高速性を確認

実証実験

対人環境下での自律移動

オフィス内等の廊下において、人との衝突を避けて目的地まで自律走行

サービスロボット「enon」


21/37


６．有効性検証ロボットの研究開発成果

450 ms合計

100 ms自己位置同定／経路生成

80 ms人物検知

270 msステレオ画像入力(３方向)

処理時間

サービスロボットに画像認識モジュールを組み込み

以下を確認した

・サイズ面でロボットに搭載可能

・大電流は2A(5V)以下であり、

バッテリからの電源供給で動作可能

視覚ナビゲーションによる自律移動では状況に応じて

回避または停止を判断して、目的地まで移動する機能を実現。

処理サイクルが短いことにより、判断が早くなり安全性が向上


我々が以前に開発したFPGAベースの画像処理システムの約1.5倍の性能

22/37



画像認識モジュールの小型軽量性を活かして、ＨＲＰロボットの頭部に内蔵

カメラで取得した映像を基に環境認識を行い、障害物や床面を把握し，進むことの出来るエリアを確認して歩行

画像認識モジュールで計算された３Ｄ特徴点を用いた平面検出結果

等身大ヒューマノイドによる障害物（人間）回避移動実験


組み込み用ヘッド

ヒューマノイドロボットの自律制御（東京大学稲葉研究室）


23/37



画像認識モジュールと汎用ＰＣを組み合わせたシステム構成

汎用ＰＣのみのシステム構成

CPU 画像処理LSI Xeon 3.0GHz

消費電力/発熱量 5V3A(15W) 80W***

計算速度* 28msec** 48msec*三次元特徴点計算，

平面検出，行動計画・

生成を含めた処理速度

**三次元特徴点計算を画像認識モジュー

ルで計算，他は外部ＰＣを利用

**ＣＰＵ本体の消費電力

画像認識モジュール組み込み用頭部を設計・開発しHRP2ヒューマノイドプラットフォーム

に搭載し以下の３点を確認した

1. 画像認識モジュールのサイズが十分に小型であること

2. モジュールの発熱量、省電力性ノイズ耐性が実ロボットの組み込み可能なレベルであること

3. 本モジュールが高速計算処理機能を有すること

従来の汎用ＰＣのみの認識行動システムと，画像処理モジュールと汎用ＰＣを組み合わせたシステムとの比較表

（従来PC上で行っていた視覚処理計算の一部を画像認識モジュール処理に置き換え，システム全体の計算速度が向上．汎用ＰＣに比べて同等以上の高速計算処理機能を有する）

→ 画像認識モジュールを用いることで約20%の消費電力にも関わらず、計算速度で倍以上の

性能を持っている


24/37



人と人とのインタラクションと同様の動作で利用できる，直感的に理解できるシステムが必要であると考えた．

画像認識モジュールを利用し，人の動作をリアルタイムに取得し，手・頭の3次元座標からジェスチャーを認識する．従来のジェス

チャー認識ではセンサグローブやマーカトラッキングなど特殊なセンサを身に付ける必要があった．画像認識モジュールを利用することで，センサやマーカを身につけないジェスチャー認識を可能にした．

動作の対象物（指差された物や場所）を考慮することで，持ち運び可能な物であればアーム付きロボットがその運搬を行う，照明であればOn/Offを行うというように，対象物によって適したアク

ションを返すことが可能である．

対象物をユーザ自身の身体を利用して操作することが可能であり，家電操作など従来のリモコンに代わる新たな操作ツールとして応用が可能である．


ジェスチャコミュニケーションロボット（首都大学東京山口研究室）


25/37



高速性およびジェスチャー認識精度の検証を行った．

画像認識モジュールを利用することにより，サンサやマーカを身につけずにジェスチャー動作を認識することができた．

ソフトウェア処理にくらべ，処理時間が1/4となり，より自然な早い動きにまで認識可能になった．

実証実験の結果，指差し認識の精度がソフトウェア処理に比べ平均誤差が約3cm減少した．

顔の動きによる肯定（うなずき）・否定（首を横に振る）の認識率100％であり，目標の90%以上の認

識率を達成した．


ソフトウェア処理画像認識モジュール

処理時間 5Hz周期 20Hz周期

指差し認識精度 16.3cm 13.4cm

認識率顔の動きによる肯定・否定の認識

―従来は帽子（頭）手袋（手）の色をソフトウェアで認識処理したため、上記処理時間より高速な通常の動きは：認識不能0％（ただし、ゆっくりとした無理な動きに限り100％近い認識率）

100%

モジュールの消費電力・大きさ

PC上（参考値VAIO-U (VGN -UX92NS)使用電源：16V，2.2A サイズ：約幅150.2mm×95mm×38.2mm）

使用電源：5V ，1.8Aサイズ：150mm×100mm×70mm）


26/37


有効性検証の目標• 円滑なヒューマンインタラクションの実現

に必要な画像処理を従来よりも高速に実現

検証方法画像認識モジュールを３つのインタラクションに適用

従来手法（ＰＣのみ）と処理速度について比較

• ユーザとのすれ違い

• 並走／縦走の自律的切替え

• ユーザ／ロボットの視界推定


Robovie-R ver.2

すれ違い，縦走／並走切替え，視界推定ロボット（電気通信大学金子研究室）


27/37



0.8 m/s0.5 m/sロボット移動速度（並走／縦走）

111.3 ms（1.53倍高速化）170.7 ms視界推定

133.0 ms（4.85倍高速化）644.8 ms並走／縦走

150 mm × 100 mm × 70 mm,

340 g （１台）

ロボット内部に搭載可能

－大きさ・重量

（左欄）＋ 9.0 W（１台）65 W（情報処理用ＰＣ）消費電力

100.0 ms（1.88倍高速化）188.0 msすれ違い１フレーム当たり

の平均処理時間

モジュールを使用ＰＣのみ

画像処理の高速化を達成（大4.85倍）

それに伴い，実時間でのインタラクションが可能に！


28/37



入室管理ifbot 退室管理ifbot

退室者情報

Ｅｔｈｅｒｎｅｔ

入退室管理システム

画像認識モジュールを内蔵した ifbot は、正面

に来た複数の人を検知し、知っている人の顔があるとその人の名前を呼んで時間帯などの状況に応じた挨拶をします。画像認識モジュールの出力を表示するモニタでは検出した人の画像を確認することが出来ます。また、検知した人の情報は管理システムのモニタで確認できます。

画像認識モジュールを内蔵した ifbot は、正面

に来た複数の人を検知し、知っている人の顔があるとその人の名前を呼んで時間帯などの状況に応じた挨拶をします。画像認識モジュールの出力を表示するモニタでは検出した人の画像を確認することが出来ます。また、検知した人の情報は管理システムのモニタで確認できます。


ifbotによる入退室管理システムの実証実験（株式会社ビジネスデザイン研究所）


29/37



295146.5計

8095距離計算処理

20017ガボールフィルタ処理

00顔切り出し処理

515９セグメントフィルタ

0.51.5平均濃度フィルタ

917肌色検出処理

0.50間引き処理

ペンティアム４画像認識モジュール

ペンティアム４ 3.4GHzの２倍の高速性を検証（単位ms）

３０人の顔登録時に５ｆｐｓ以上での顔検出/認証の高速性を検証

ifbotの後部ドックに内蔵し

サイズ面での検証を行った


30/37


６．有効性検証ロボットの研究開発成果（まとめ）

検証ロボット性能

ヒューマノイドロボットの自律制御（東京大学）

ＰＣのみのシステムと比較して、約20%の消費電力で処理速度が2倍以上

ＰＣと比較して処理速度が1.53倍～4.85倍

すれ違い，縦走／並走切替え，視界推定ロボット（電気通信大学）

ジェスチャコミュニケー

ションロボット（首都大学東京）

ＰＣでのソフトウェア処理と比較して，処理速度が4倍

ifbotによる入退室管理シ

ステムの実証実験(ビジネスデザイン研究所)

PC（ペンティアム４ 3.4GHz）と比較して、処理速度が2倍

サービスロボットの自律制御（富士通）

FPGAベースの画像処理システムと比較して、処理速度が1.5倍


31/37


目標の達成度

事業原簿 i-50

○５種のロボットに搭載して性能検証を実施開発したRT コンポーネントとしてのモジュールを、５種類以上のロボットに搭載し性能を検証すること

ロボットによる有効性の検証

△重量360gだが目標達成の目処は立っている質量250g以下であること

小型ロボットへの搭載を実証

実証実験において、サービスロボットの自律移動への適用として実証

実証実験において、ジェスチャ認識、顔検出・認識への適用を実証

デバイスに専用回路を搭載

ヒューマノイドロボット頭部への搭載を実証

面積150cm2を達成

消費電力９Wを達成

RTミドルウェアを実装し、コンポーネントとしての動作を実証した

・2系統のカメラ画像をフレームレート30fps、16bitカラー、 VGAの解像度で入力可能NTSC/IEEE1394フォーマットに対応

・画像入力と画像処理を毎フレーム実行可能・2852の領域のステレオマッチングと動き計測を合計40msで処理

・サブピクセル精度のピーク抽出機能を実装しており約0.5cm精度で検出可能

・第1ピークと第2ピークの相関値を抽出／評価する機能があり、信頼性評価値を算出可能

成果

○

部屋内を移動することで、部屋の3次元マップを構築可能であること

○階調補正及びフィルタリング処理の適用が可能であること

○

人物の検出及び顔の登録・照合を行うことが可能であること

人のジェスチャを認識する機能を有すること

部屋のマップと現在のセンサ入力情報から、自己位置を同定可能であること

○

○

○

◎

○

2m先の対象物を10cm以下の精度で検出可能であること

各計測データについての信頼性評価値の出力が可能であること

モジュールをRTミドルウエアの仕様に基づくRTコンポーネントとして提供できること

RTコンポーネントとしての動作

ピーク動作に必要な消費電力が20W以下であること低消費電力・低発熱量

面積150cm2以下であること

小型軽量化

強電系と共存して安定に動作すること耐ノイズ性

組立工数を削減し、スペースの制約を満たし、高信頼性を実現できること

付加的機能

シーン内の1000箇所以上の特徴的な領域（8×8画素以上）について、ステレオ計測と動き計測を100ms以下で実行可能であること

カメラ画像の入力と画像処理を毎フレーム実行可能であること

◎

2系統以上のカメラ画像をフレームレート30fps以上、16ビット以上のカラー解像度で同時入力・処理可能であること

基本性能の確立

達成度目標研究項目

32/37


論文・特許数

受賞：１件（SI2006優秀講演賞 NET Frameworkを利用したRTミドルウェア:OpenRTM.NET ）

国際学会：９件

国内学会：１７件

特許：２件

成果展示：４件

プレス発表：１件

事業原簿 i-51

33/37


活用の可能性

事業原簿 i-51

処理性能、サイズ、消費電力の面では目標値を達成

（モジュールを改版することで更なる小型軽量化を実現する目処は立っている）

実証実験により、自律移動ロボット、ヒューマノイドロボット、小型ロボットに搭載可能であり、各ロボットの画像認識能力を向上できることを示した。

画像認識機能の開発を効率的に行うための画像認識モジュール用RTミドルウエアを開発し、次世代ロボットを開発するためのソフトウエア基盤を構築

従来より小型／低消費電力のモジュールで高い画像認識能力を実現しており、今後開発される次世代ロボットの画像認識性能の向上が期待される。

画像認識モジュールの機能を汎用的に利用可能にするソフトウエア基盤を実現しており、

次世代ロボット開発の効率化に貢献。

次世代ロボットの画像認識性能の向上、開発の効率化するための共通基盤の確立により、

今後のロボット開発を活性化して市場の拡大に貢献すると期待される。

34/37


７．実用化の見通し

本事業で開発した画像認識モジュールを「次世代ロボット知能化技術開発

プロジェクト」で使用を推奨し、共通基盤としてのモジュールの普及を推進する。

更にソフトウエアの蓄積を行い、次世代ロボット開発の効率化を目指す。

本事業でＲＴミドルウエア技術を蓄積することができており、「次世代ロボット知能化技術開発プロジェクト」でも活用している。今後もＲＴミドルウェア領域の発展を目指していく。

事業原簿 i-51

次世代ロボット共通基盤開発プロジェクト

次世代ロボット知能化技術開発

プロジェクト

RT共通コンポーネン

としてビジネス化を目指す

モジュール改良ソフトウエアの蓄積

デバイス開発モジュール開発ミドルウエア開発

第一ステップ第二ステップ

技術の活用・普及推進

35/37


７．実用化の見通し

本事業で開発した画像認識デバイスの設計データは、半導体プロセスに

依存しないRTLの形となっており、今後の開発に活かすことが可能。

本事業で明らかになった課題

JTAGエミュレータ、DSP開発環境などの開発機器が高価であり、

普及の障害となっている。

→対処：画像認識モジュールのLinux化により、安価な開発環境の提供を目指す。

事業原簿 i-51

JTAGエミュレータ

画像認識モジュール DSP開発環境

開発用PC

Linux化により不要

36/37


８．まとめ

次世代ロボットに要求される３次元認識機能を高速化する

画像認識デバイスを開発

画像認識デバイス、DSP、ネットワークI/Fを搭載した

小型、低消費電力である画像認識モジュールを開発

画像認識用RTミドルウエアを開発し、画像認識機能を

開発するためのソフトウエア基盤を構築

5機関による実証実験により、画像認識モジュールが各種ロボット（自

律移動、ヒューマノイド、小型）に搭載可能であり、高い画像処理性能を有していることを示した

事業原簿 i-52

37/37


以上

pj…±通基盤開発pj事後評価 運動 音声 画像 開発物...

Documents

pj…±通基盤開発pj事後評価運動音声画像開発物...