CIGALECapture & Interaction

avec des Gestes Artistiques, Langagiers & Expressifs

4 years (2012-2015)

5axis platform1. Motion capture2. Motion analysis3. Generating gestures4. Graphical rendering5. Interaction

1. Motion capture

2. Motion analysis

MarkerSet

and Degrees of Freedom

Automatic

gesture segmentation

2. Caractérisation des gestes

FP = False Positive, FN= False Negative, TP= TruePositive and FS=outside segmentation

Case 1 : Segmentation auto. comparée annot. manuel 1 (vérité-terrain)Case 2 : Segmentation auto. comparée annot. manuel 2 (vérité-terrain)Case 3 : Les 2 annotateurs manuels sont comparés entre eux

-Renna, Ilaria, Sébastien Delacroix, Fanny Catteau, Coralie Vincent, et Dominique Boutet. « Caractérisation d’unités gestuelles en vue d’une interaction humain-avatar ». In Actes du Workshop Affects, Compagnons Artificiels, Interaction (WACAI 2014), 107-13, 2014. http://halshs.archives-ouvertes.fr/halshs-01060289.-(à paraître) Renna, Ilaria, Sébastien Delacroix, Fanny Catteau, Coralie Vincent, et Dominique Boutet. Characterisation of gestural units in light of human-avatar interaction, ICST review

2. Schémas d’action

1er Manipulation d’entités (personnes, objets, concepts)

2e Positionnement/choses | Considérations/jugement

2e Implication | Intérêt

3e Négation | Affirmation 3e Relation à l’autre | Positionnement du locuteur

4e Unités Gestuelles 4e Unités Gestuelles

1er Interaction avec l’autre

3. Generating gestures

A-Generation

B-Selection

C-Crossover

D-Mutations

Parent 1 Parent 2

Child

2 parents = 1 child

4. Graphical rendering

5. InteractionContinuous perception analysis in real-time+ Final State Machine

Perceptions Perceptions

Comparison

Behavior

Mirror Generate new gestureIdle Gesture from DB

Activity timeUnrecognizePresent / absentProxemyRythmCinematics / no activityDialogue axisMessage axis

…

2011-14 Conferences / Creation

1. InterACTEThe avatar can mime orimprovise through a dialoguemade of meaning orexpressivity

2. InterACTE’inThe perception of the self isexplored through the virtualbody of avatar superimposed tothe body of the user.

3. Poésie sourdeinteractiveArtistic installation for youngand general public and thatgathers deaf and non-deafpeople together

2015 Creations

CIGALEhttp://cigale.labex-arts-h2h.fr/

Amélie Gabriel Clara Chabalier Guillaume Metais Judith Guez Michel ThionAnne-Maris Parisot Coralie Vincent Ilaria Renna Jules Turlet Patrice GuyotAriel Alonso Dimitrios Batras Isaac Partouche Julie Chateauvert Philippe PasquierBrigitte Baumié Dominique Boutet Isabelle Lemaux Julien Lubek Sébastien DelacroixChen-Wei Hsieh Fanny Catteau Jean-François Jégo Marie-Hélène Tramus Sébastien LengletChu-Yin Chen Florine Fouquart Jean-Francois Szlapka Marie-Thérèse L'Huillier Thecla Schiphorst

Marion Blondel Xavier Maurel