Andreas Walter . Forschungszentrum Informatik, 76131 Karlsruhe, awalter@fzi.de

www.imagenotion.com

effiziente Bildverwaltung mit Intelligenz

Kollaborative Bildverwaltungmit semantischen Techniken

Social Software @ Work 2009

2

Suche nach Bildern (bei Bildagenturen)

www.imagenotion.com

Bildkäufer Bildsuchmaschinen Bildbeschriftung erforderlich

3

Community: Bildredakteure in Bildagenturen

Unser Fokus: Bildredakteure in Bildagentur• Kleine Gruppe, meist 2 bis 6 Personen• Aufgabe: Beschriftung der Bilder mit hoher Qualität

Kollaboration• Iterative Überarbeitung der Bilder• Ausarbeitung gemeinsamer Beschriftungsregeln

Bildbeschriftung• Standard: Textbasiert mittels Bildverwaltungssoftware• Stichwörter werden als Text zu einzelnen Bildern hinzugefügt• Oft sehr umfangreich, ca. 30 Stichwörter …

www.imagenotion.com

4

Textbasierte Bildbeschriftung: Homonyme

„Paris Hilton“ vs. „Paris Hilton“

www.imagenotion.com

Ortssuche: Paris Hilton im Hotel Hilton-> Suche: Paris Hilton

5

Textbasierte Bildbeschriftung: Synonyme

„Bauwerk“ vs. „Gebäude“: fehlende Ergebnisse

Einzahl vs. Mehrzahl (oft: gemeint Mehrzahl, gesucht Einzahl)

www.imagenotion.com

6

Mehrsprachigkeit

„dog“ vs. „chien“ vs. „Hund“ vs. …

! Automatische Übersetzung: stark fehleranfällig -> manuell

www.imagenotion.com

7

Verwandte Bilder

„Flugzeug“ vs. „Doppeldecker“ (speziellere Anfrage)

www.imagenotion.com

8

Verwandte Bilder: Schauspieler

„Nicole Kidman“ vs. „Schauspieler aus Australien“

www.imagenotion.com

9

Probleme

Textbasierte Beschriftung• Sehr zeitaufwendig, somit kostenintensiv• Tagging Ansätze: nicht gewollt: eigene Kontrolle über Bilder• Kein Hintergrundwissen über verwendete Begriffe

Automatische Bilderkennung• Bisher kaum Automatisierung für Erkennung von Bildteilen

- Gesichter- Personen- Objekte

www.imagenotion.com

10

Ziel: Zeitersparnis bei Bildbeschriftung

Lösungsansatz• Nutzung von semantischen Technologien• Nutzung und Kombination einer Vielzahl von automatischen

Techniken

www.imagenotion.com

11

Einsatz semantischer Technologien

Semantische Technologien• Erstellung von semantischen Elementen „Nicole Kidman“• Elemente in Beziehung setzen „Nicole Kidman“ ‚hat Beruf“

„Schauspieler“• Ergebnis: Ontologien

Semantische Technologien ermöglichen• Hintergrundwissen: System kennt Bedeutung von Beschriftungen

- „Jaguar E-Type“ ist ein Auto- „Nicole Kidman“ ist Schauspielerin aus Australien

• Unterscheidung von Homonymen- „Jaguar“ ist eine Automarke != „Jaguar“ ist ein Tier

• Unterstützung für Synonyme: Unterschiedliche Begriffe hinzufügbar• Mehrsprachigkeit: Nutzung mehrere Sprachen für semantische

Elemente• Vorschlag von verwandten Bildern: Flugzeug -> Doppeldecker

www.imagenotion.com

12

Probleme mit semantischen Techniken

Bisher: getrennte Arbeitsabläufe• Ontologien: werden erstellt durch Experten

- Erstellung von Ontologie vor Nutzung- Integration in ein semantisches Bildverwaltungssystem

• Beschriftung: durch Bildredakteure- Nutzen vorhandene Ontologien

– Oft schwer verständlich für Nutzer

- Fehlende Elemente: müssen an Experten gemeldet werden– Kein kollaboratives Erstellen durch Nutzer selbst möglich

– Wartezeit, bis aktualisiert

Ablehnung bei Bildredakteuren Semantische Technologien so nicht einsetzbar

Geschwindigkeit• Semantische Suche oft deutlich langsamer als textbasierte

Suche

www.imagenotion.com

13

Anforderungen

Anforderungen für praktisch nutzbarer Einsatz semantischer Technologien

Verständlichkeit• Vorhandene Ontologien müssen durch Bildredakteur

verständlich sein

Nutzbarkeit• Ein Workflow: Fehlende semantische Elemente müssen durch

Bildredakteure selbst eingefügt werden können

Kollaboration• Gruppe von Bildredakteuren soll Ontologie gemeinsam erstellen

und pflegen können

Geschwindigkeit• Suchergebnisse müssen schnell erscheinen

www.imagenotion.com

14

Einsatz automatischer Techniken

Problem bei textueller Beschriftung• Ergebnisse nicht kombinierbar, z.B. „Ergebnis

Personenerkenner“ und „Ergebnis Gesichtserkenner“- Mit Kombination: deutlich höhere Qualität des Ergebnisses

Lösungsansatz• Kombination von semantischen und automatischen Techniken • Dann Kombination von Ergebnissen möglich

www.imagenotion.com

15

ImageNotion

Das Bildverwaltungssystem ImageNotion Ergebnis aus dem EU Projekt IMAGINATION Verwendet semantischen Bildbeschriftungen Basiert auf der kollaborativen Erstellung von Ontologien Integriert und kombiniert Vielzahl von automatischen Prozessen

www.imagenotion.com

16

Imagenotions: visuelle semantische Elemente

Imagenotions: visuelle Repräsentierung von semantischen Elementen durch Bilder

Konkrete Elemente (z.B. Personen, Filmtitel)

Abstrakte Elemente (e.g. gender, profession)

www.imagenotion.com

17

Erstellung von Ontologien

ImageNotion Methode• Umsetzung des „Ontology Maturing Process Model“ (FZI)• Idee: Ontologien reifen kollaborativ in mehreren Phasen• Erstellung integriert in die Arbeit der Bildbeschriftung

www.imagenotion.com

Usage of imagenotions for semantic image annotation

• Imagenotion

• Imagenotion

• 2. Consolidation in communities

• Descriptive• Textual

- Label text• - Synonyms• Date information• Links

• VisualAssociate an image

• 3. Formalization: Rules and relations

• 1. Create imagenotionsEmergence of new ideas

18

Erstellung von semantischen Elementen

Beispiel “Kevin Costner”

1, 2) Textuelle Informationen kollaborativ hinzufügen Label, Beschreibung, Synonyme, …

www.imagenotion.com

19

Erstellung von Beziehungen

3) Kollaborativ Beziehungen erstellen: Semantik!

Relationen: is-a Person, has-gender Mann, has-profession Schauspieler

www.imagenotion.com

20

Semantische Beschriftung von Bildern

Beispiel: Beschriftung von Bildteil

www.imagenotion.com

21

Ergebnis: ein integrierter Arbeitsablauf

www.imagenotion.com

22

Kombination von automatischen Prozessen

Automatische Prozesse in ImageNotion• Gesichtsdetektion und Erkennung• Erkennung von Geschlecht und Gemütszuständen (glücklich,

traurig, …)• Personenerkennung• Erkennung von Objekten, z.B. Autos und Flugzeuge• Erkennung von Text in bestehenden, textbasierten

Beschriftungen

www.imagenotion.com

23

Beispiel

www.imagenotion.com

Caption „Prof. Dr. Bernd Raffelhächen unterrichtet Finanzwissenschaft an der Universitä Freiburg; Prof. Dr. Bernd Raffelhäschen an der Uni Freiburg”

24

Zusammenfassung

ImageNotion Ergebnis aus Benutzerstudien:

• semantische Technologien leicht verständlich in ImageNotion• Praktische Nutzbarkeit von Ontologien mit ImageNotion

Methode

Automatische Prozesse• Vielzahl von Prozessen, miteinander kombinierbar!

=> Gewünschte Zeitersparnis umgesetzt• Durchgeführte Messungen ergaben Zeitersparnis von ca. 30

Prozent bei Bildbeschriftung mit ImageNotion (vergleich zu textbasierter Beschriftung)

www.imagenotion.com

25

Aktuelle Arbeit : Unsere Vision

Aktuell ImageNotion als Software-as-a-Service

Vision Große Menge an Benutzern, beschriften Bilder

• Kollaborative Erstellung von semantischen Elementen• Kollaboratives Training von automatischen Prozessen

- Training von Objekten- Training von Gesichtern

Kollaborative Erstellung von Trainingsdaten Wiederverwendbarkeit auf großer Wissensbasis

www.imagenotion.com

26

Screen Video

www.imagenotion.com

27www.imagenotion.com

ImageNotion: Kontakt

Andreas Walter• Tel: 0721 / 9654 724• E-Mail: awalter@fzi.de

Webseite: www.imagenotion.com