Новые интерфейсы на основе Kinect

Екатерина Лажинцева, Microsoft Россия

Alice laughed. - There's not use trying, - she said: - one CAN'T believe impossible things.

- I daresay you haven't had much practice, - said the Queen. - Sometimes I've believed as many as six impossible things before breakfast.

Проект "Natal"

Кодовое название: Project Natal

• В честь бразильского города, означает “относящийся к рождению”

• “Рождение следующего поколения устройств для развлечения “

• Не просто устройство. Сенсор "глаза и уши", но при этом, с мозгами

• Сырые данные от сенсоров, "шум, который надо взять и переработать в сигнал" (a whole bunch

of noise that someone needs to take and turn into signal)

Это как раз то, что делает ПО: находит сигнал

Алекс Кипман, Директор XBox

Incubation

Natal -> Kinect

• Десятилетия исследований в области компьютерного зрения…

• Анонс – 1 июня 2009 на конференции E3 Запуск в США 4 июня 2010, в России – 1 ноября (во время визита Стива Балмера)

• 10 миллионов продано (на март 2011)

• Вошел в книгу мировых рекордов Гиннеса: самое быстро-продаваемое устройство для потребителей

Проблема

Проблемы

Background segmentation Player separation

Body Part Classifier 16

Depth map Sensor

Body Part Identification

Skeleton

В реальной жизни

• Сбор данных – тысячи визитов в семьи (WW), видеозаписи пользователей, Голливуд (студии генерировали миллиарды образов)

• "state-of-the-art" исследования по распознаванию объектов

• "state-of-the-art" семантическая сегментация в режиме реального времени

• Построение обучающей выборки– классифицировать вероятность для каждого пиксела быть в каком-то из 32 сегментов тела. Определение кластера наиболее вероятных конфигураций тела, представление наиболее вероятного

• Миллионы обучающих образов -> Миллионы параметров

• Трудно распараллелить -> Новый алгоритм для распределенного обучения на основе дерева решений

• Использование DryadLINQ (инструмент для распределенных вычислений)

Как это устроено?

19

Внутренности

Source: iFixit 20

Система камер

Source: iFixit 21

IR laser projector

IR camera

RGB camera

Аудио-сенсоры

22

• 4 суперкардиоидных микрофона • Time-locked with console to remove game audio

Хотите узнать больше про аудио?

• См. презентацию с MIX Ивана Ташева

• http://channel9.msdn.com/events/MIX/MIX11/RES01

• “The talk will cover the overall architecture and algorithmic building blocks of the Kinect device, especially the audio pipeline. We will present the opportunities it opens for building better human-machine interfaces, new user experiences, and other potential applications. No specialized signal processing background is required. The presenter is the creator of most of the audio algorithms in the Kinect pipeline.“

И еще немного истории о Kinect SDK

• Разговоры о SDK начались в 2010 • Запуск в ритейле – ноябрь 2010 • Заявление о разработке SDK – 21 февраля, 2011, Дон

Маттик и Крейг Манди: – “Будет доступен весной 2011” – “Некоммерческое использование” – исследования,

образование, энтузиасты – “Скачать бесплатно”

• Создан SDK-вебсайт “Coming Spring 2011”, MIX & Paris, апрель 2011

• Запуск, 16 июня, 2011 – http://[rmc]/kinectsdk

Что входит в SDK ? Raw sensor streams

• Access to raw data streams from the depth sensor, color camera sensor, and four-element microphone array enables developers to build upon the low-level streams that are generated by the Kinect sensor.

Skeletal tracking

• The capability to track the skeleton image of one or two people moving within the Kinect field of view make it easy to create gesture-driven applications.

Advanced audio capabilities

• Audio processing capabilities include sophisticated acoustic noise suppression and echo cancellation, beam formation to identify the current sound source, and integration with the Windows speech recognition API.

Sample code and documentation

• The SDK includes more than 100 pages of technical documentation. In addition to built-in help files, the documentation includes detailed walkthroughs for most samples provided with the SDK.

Easy installation

• The SDK installs quickly, requires no complex configuration, and the complete installer size is less than 100 MB. Developers can get up and running in just a few minutes with a standard standalone Kinect sensor unit (widely available at retail outlets).

• Designed for non-commercial purposes; a commercial version is expected later.

• Windows 7 – C++, C#, or Visual Basic in Microsoft Visual Studio 2010.

http://channel9.msdn.com/series/KinectSDKQuickstarts/

http://channel9.msdn.com/coding4fun/kinect

Несколько примеров