http://www.pharos-audiovisual-search.eu

Michel PLU, FRANE TELECOM ORANGE LABS

PHAROS Innovation Director

PHAROS – Platform for search of audiovisual resources across online spaces

http://www.pharos-audiovisual-search.eu

PHAROS EN BREF

13 partenaires de 9 pays

Industries:• Engineering, Spa• Fast Search & Transfer ASA• Sail Labs Technology AG• Metaware, Spa• Webmodels, Srl

Fournisseurs de Contenus et de services :• France Telecom• Circom Regional

Academiques:• L3S Research Centre• Fraunhofer IDMT• EPF Lausanne• Open University, KMI• University Pompeu Fabra• VTT Research Centre

Economie :• Start January 2007• Duration 36 months•1er Démonstrateur: Juin 2008• Total budget: €14.2m• EC contribution: €8.5m•Efforts : 1328 h.m

http://www.pharos-audiovisual-search.eu

Objectifs

• Offrir une meilleur expérience de recherche et de découverte de contenus audio-visuels en ligne

• Passer du paradigme moteur de recherche à une plate forme intégrée d'accès aux contenus multimedia

• Cette plate-forme sera construite avec une architecture innovante, ouverte et distribuée qui permettra à chaque organisation d'exploiter la valeur de ses contenus ou de ses technologies

http://www.pharos-audiovisual-search.eu

Une meilleure expérience utilisateur quelque soit le mode d'accès

(Marcia J. Bates . "Toward an integrated model of Information seeking and

searching" )

http://www.pharos-audiovisual-search.eu

Une expérience plus simple

Cacher la complexité des• Formats• Des DRMs ( des players ) • Contrôle d'accès au services ( login/mdp )

Accès en tout lieu à tout moment sur de multiples terminaux

Accès contextuel : Filtrage des réponses en fonctions des privilèges de l'utilisateur, et des capacités de ses terminaux

Gestion des multiples terminaux de l'utilisateur : profils dans le réseau

http://www.pharos-audiovisual-search.eu

Une expérience plus efficace

• Trouver les meilleures réponses– y compris en fonction de préférences

• Aider à la formulation de requêtes– Y compris la recherche par similarité de contenus et par

valeur de propriété

• Aider au "tagging" utilisateur et à la recommandation• Filtrer ou agréger les doublons

– exactes ou proches

• Filtrer le spam

http://www.pharos-audiovisual-search.eu

Une plate-forme distribuée

http://www.pharos-audiovisual-search.eu

Offline models analysis

Content providerMultimedia

Une Plate-forme ouverte

Connector Content Capture and Refinement

Publish andSubscribe

XML and content basedSearch Engines

Query and ResultRefinement

User behaviour models

Multimedia Read Access

System-generatedmultimedia

Content StatusMonitoring U

ser

Inte

rfac

e

Interface avec les gestionnaires de

contenus

Lit les contenus et les programme

pour être analysés

L'utilisateur soumet une requête, s'y abonne ou

navigue dans les contenus indexés

La requête est analysée et les réponses sont personnalisées

Fournisseur de méta-donnée

(critiques, EPG...)

Gestionnaire de reférences de

contenus

Annotateurs déclarés comme

web-services

Metadonnées de présentations:

thumbmail, preview , legal

copy ...

Les résultats sont adaptés et

présentés au terminal

Content anaysis Content indexation

Analyse et enrichi les contenus

Indexe les descriptions XML et les traits bas

niveaux des contenus

Publication Souscription

filtrée à des flux RSS audio-visuels

http://www.pharos-audiovisual-search.eu

Pharos: Une plate forme ouverte et flexible

• Flexible– Intégration à chaud de nouveaux moteurs d'annotations– Intégration de nouveaux flux de méta données

• Gestion de schémas multiples au sein du gestionnaire de souscription et publication

– Architecture web-services

• Ouverte– API publiques – Format d'échanges de données standardisés ( AV-RSS ,

MPEG 7 , TV-Anytime , ODRL …)

http://www.pharos-audiovisual-search.eu

La plate forme Pharos: L'excellence opérationnelle

• Performance pour de grands volumes de contenus

http://www.pharos-audiovisual-search.eu

La plate forme Pharos: L'excellence opérationnelle

• Meilleure réactivité– Sur disponibilité , disparition , modification de contenus ou

de méta données

• Basée sur un protocole pub / sub– Pas de crawling – ni de polling

• Crawling impossible pour des contenus audiovisuels volumineux et/ou protégés

http://www.pharos-audiovisual-search.eu

Compétences clés

• Connaissances des usagers et des usages:

– General public (France Telecom)

– Professional broadcasters (Circom Regional members)

• Moteur de recherche multimedia

– XML and content based (FAST, KMI, …)

http://www.pharos-audiovisual-search.eu

http://www.pharos-audiovisual-search.eu

Compétences clés

• Speech-to-text– European and Arabic languages, speaker

recognition (Sail Labs)

• Analyse Audio et musicale– Music/noise/sound classification (VTT) ,

melody/rhythm/instrument recognition (UPF), duplicate detection (Fraunhofer)

• Analyse Video et image– Duplicate detection ( Fraunhofer) , semantic

concept recognition , search by similarity, shot segmentation, key frame extraction (KMi, EPFL…)

• Annotation Multimodale– Metadata fusion (UPF…)

http://www.pharos-audiovisual-search.eu

Compétences clés

• Social media analysis– Opinion mining, community building,

tags and folksonomy, spam trust and reputation management (L3S, VTT, France Telecom,UPF)

• Gestion de contenus– Near-duplicate detection , copy and

DRM management (Fraunhofer)…

• Ingénierie Logicielle – Service Oriented Architecture

(Engineering…), CASE for web services (Web models) , Software integration and delivery (Engineering)

http://www.pharos-audiovisual-search.eu

Conclusions

• PHAROS : Un projet collaboratif européen pour la définition d'une plate forme innovante , ouverte et distribuée pour faciliter l'accès à des contenus audio visuels en ligne

• PHAROS : Un consortium composé d'industriels et d'académiques leaders dans leur technologie respective et représentatifs des besoins professionnels et grand publics

• Rendez vous en Juin 2008 pour le premier démonstrateur

• Des nouvelles sur : http://www.pharos-audiovisual-search.eu/