d affodil zugangssystem zu digitalen informatik-bibliotheken claus-peter klas norbert fuhr andre...

DAFFODILZugangssystem zu digitalen

Informatik-Bibliotheken

Claus-Peter KlasNorbert Fuhr

Andre Schaefer

Universität of Duisburg-Essen

30.09.2004 Universität Duisburg-Essen

Inhalt Motivation Konzepte Evaluation Ausblick Demo

30.09.2004 Universität Duisburg-Essen

Motivation Zur Befriedigung eines

Informationsbedürfnisses ist Suche in mehreren Digitalen Bibliotheken nötig

Unterschiedliche Funktionalitäten, Oberflächen und Anfragesprachen

Fehlende strategische Unterstützung Fehlende Verbindungen zwischen

Objekten aus verschiedenen DLs Fehlende Kollaborationsmöglichkeiten

30.09.2004 Universität Duisburg-Essen

Motivation aus Sicht des IR Die ersten IR Modelle gingen von

einem festgelegten Informationsbedürfnis aus.

Mittlerweile ist aber Interaktives Information Retrieval State-Of-The-Art Während der Suche verschiebt sich der

ASK Informationsbedürfnis ändert

30.09.2004 Universität Duisburg-Essen

DAFFOFIL ist eine virtuelle Digitale Bibliothek

mit strategischer Unterstützung gegeben durch höhere Such- und Browse Funktionen

ist ein kollaboratives Werkzeug mit Awarenessfunktionalität

besteht aus integriertes Werkzeugen in einer benutzerfreundlichen Oberfläche

30.09.2004 Universität Duisburg-Essen

30.09.2004 Universität Duisburg-Essen

DAFFODIL: Konzepte Strategische Unterstützung Scientific Workflow Personalisierung

Persönliche Handbibliothek Kollaboration Awareness & Annotationen

Recommendation Proaktivität

30.09.2004 Universität Duisburg-Essen

Strategische Unterstützung ist gegeben durch höhere

Suchfunktionen wie Suche in verteilten und heterogenen

Digitalen Bibliotheken Referenz- und Zitations Suche Koautorenbrowser Blättern in Journalen und Konzerenzen

30.09.2004 Universität Duisburg-Essen

Strategische Unterstütung:Suche in Digitalen Bibliotheken

Einheitliche Anfrageformulierung zur Suche in DLs

Spezifikation der Suchdomäne

Aktive Werkzeuge bieten Hilfe bei Anfrageformulierung

30.09.2004 Universität Duisburg-Essen

Strategische Unterstützung:Suche in Digitalen Bibliotheken

Duplikate werden eliminiert

Sortierung der Ergebnisse

Metaebene durch Extraktion

Hervorhebung der Anfrageterme

Icons WWW-Search

30.09.2004 Universität Duisburg-Essen

Strategische Unterstützung Beziehungs-Netzwerke: Koautoren

30.09.2004 Universität Duisburg-Essen

Strategische Unterstützung Referenzen und Zitationen

Drag & Drop eines relevanten Dokumentes auf das Referenzwerkzeug

Zitierte und zitierende Dokumente

Detailansicht und iterative Suche

30.09.2004 Universität Duisburg-Essen

Wissenschaftliches Arbeiten

Auswahl von Wissensquellen

strukturierte

Ablage

Bewertung der Ergebnisse

Erzeugung von Wissen

Bergungvon Wissen

30.09.2004 Universität Duisburg-Essen

Personalisierung:Persönliche Handbibliothek

StrukturierteAblage von Dokumente Autoren Konferenzen Journale Webseiten Anfragen

Personalisierung Gruppenunterstützu

ng

30.09.2004 Universität Duisburg-Essen

Personalisierung: Awareness & Annotationen

Handbibliothek automatisch füllen: Anfrage-Profile: regelmäßige

Prozessierung Autoren: neue Veröffentlichung Zeitschriften, Konferenz: neue Ausgaben

Ein Auge auf alles Neue werfen: Benachrichtigung per Email, Fax, SMS, ...

30.09.2004 Universität Duisburg-Essen

DEMO

30.09.2004 Universität Duisburg-Essen

Recommendation:Vorschlagswesen Vorschläge durch

Kollaboration Persönliche Handbibliothek Event Logs (Pfade der Benutzer)

System BINGO! – Deep Web Crawler

30.09.2004 Universität Duisburg-Essen

Recommendation:Kollaboration

Persönlicher Handbibliothek Ähnliche Dokumente Experten / Gruppen auf

einem Gebiet Pfade

Wie haben andere gesucht ?

Wie soll ich in meiner Situation vorgehen ?

30.09.2004 Universität Duisburg-Essen

Recommendation: BINGO!Bookmark-Induced Gathering of Information

Inhalt eines Folder der PLib als Startmenge um neue Objekte in WWW-Portalen zu crawlen

Analyzer extrahiert Features der Dokumente Feature Auswahl SVM classifier: Test, ob ein Dokument zu einem

Topic (Folder) gehört Iteratives Training der Classifier (während des

Crawling) Link Analyse für Hubs & Authorities Ergebnis: PDF Dokumente und HTML-

Seiten

30.09.2004 Universität Duisburg-Essen

Proaktivität

Kontextuelle Beobachtung des Benutzers und des Systems

Direkte Aktionen Rechtsschreibung Autornamen Vervollständigung Verwandte Begriffe

30.09.2004 Universität Duisburg-Essen

DAFFODIL Evaluation Effektives und Effizientes Information Retrieval

durch Hypo I: ... strategische Unterstützung Hypo II: ... das proaktive System Hypo III: ... Personalisierung und Kollaboration Kriterien

Effektivität Effizienz

Bewertungsmaße Zeit Relevanz Benutzerzufriedenheit

30.09.2004 Universität Duisburg-Essen

Evaluation Phasen 1. Phase

14 Studenten in parallelen Sitzungen Systemeffizienz & Fehlerfindung

2. Phase 8 Wissenschaftliche Mitarbeiter Fokus auf Benutzer: Effizienz und

Effektivität 3. Phase (Expertenphase)

3 Bibliothekare und 3 Professoren Kommentare, Kritk und Tips

30.09.2004 Universität Duisburg-Essen

Evaluation: Komplexitätsstufen

Aufgabenkomplexität Vorwissen

Unvollständiges Wissen (Neues Gebiet) Vollständiges Wissen

Informationsbedürfnis Ein Objekt (z.B. Known-Item-Search) Eine Menge heterogener Objekte

5 Aufgaben aus verschiedenen Stufen

30.09.2004 Universität Duisburg-Essen

Evaluation: Vergleich mit WWW

Je komplexer die Aufgabe, um so effizienter sind die Benutzer mit DAFFODIL

Task1 D

Task1 W

Task2 D

Task2 W

Task3 D

Task3 W

Avg.

0

50

100

150

200

250

300

Durchschnittliche Zeit (sek) pro Task

Task 1 D

Task 1 W

Task 2 D

Task 2 W

Task 3 D

Task 3 W

30.09.2004 Universität Duisburg-Essen

Task 2: Known item instantiation (L2) Finde Dokument mit Titel

„Methods of automated reasoning“

24

11743

0

20

40

60

80

100

120

sec.

DAFFODIL WWW DAFFODIL T1

Task 2Cognition time in sec.

Search time in sec.

24

117

0

20

40

60

80

100

120

sec.

DAFFODIL WWW

Task 2Cognition time in sec.

Search time in sec.

30.09.2004 Universität Duisburg-Essen

Ausblick Multi-Level Hypertext

Cluster zur besseren kognitiven Erfassung großer Resultatlisten

Situationsbedingtes Recommendation

Event basiertes Systemlog Direkte Hilfe bei Anfrageformulierung

Rechtschreibung bekannter Term- und Autoren-Raum

30.09.2004 Universität Duisburg-Essen

Fazit Konzepte von DAFFODIL Evaluation von DAFFODIL Langzeit Evaluation

Eine Aufgabe vom Anfang bis zum Ende neues Papier neuer Projektantrag

Freiwillige sind Willkommen!

Try it outhttp://www.daffodil.de

30.09.2004 Universität Duisburg-Essen

Sammeln der Evaluationsdaten

Aufgaben auf Fragebogen 1. Phase: Protokolle Andere Phases: Videoaufnahme

Benutzung Reaktionen Kommentare

11h Videodaten

30.09.2004 Universität Duisburg-Essen

Real world task classified 5 Tasks (4 presented) on 4 levels, classified by a

„information need typology matrix“ work task information need

no knowledge

full knowledge

one object

heterogenousset of objects

1L

2L 3L

4L

30.09.2004 Universität Duisburg-Essen

Result (1st Phase)

Phase 1: 14 students Error hunting, system efficiency Outcome:

speed up 5-7 times Find a lot of bugs

Comment: „Even so slow when searching, i want to use it, since it saves much time, handling the found knowledge“

30.09.2004 Universität Duisburg-Essen

Main Hypotheses more effective and efficient IR

through strategic support given with DAFFODIL compared to other (DL) information system

more effective, because user can cognitivly process and interpret information more easily

more efficient, because user needs to invest less time

30.09.2004 Universität Duisburg-Essen

Result (2nd phase) Task 1: Known item instantiation (L1) Find document by given title (precise)

„Search strategies in content-based image retrieval“

43

43

0

10

20

30

40

50

60

70

80

sec.

DAFFODIL WWW

Task 1Cognition time in sec.

Search time in sec.

30.09.2004 Universität Duisburg-Essen

ResultTask 3: A real search (L3) Find articles by author X in the area

of digital libraries within the last 4 years.

Results All participants found with Daffodil at

least 12-19 relevant articles. With Google only two persons found

articles any articles, the other gave up. Actually, user said, it will be hard with

google prior to search.

30.09.2004 Universität Duisburg-Essen

Result Task 5: New area (L4) find literature about a specific subject:

interactive information retrieval;information searching; information seeking

not known by any participant prior to the evaluation

Explorative Search Scanning result lists; related terms feature

Results: Participants at least found a couple of entry

points, to further search Got very soon an idea, what they don‘t want.

30.09.2004 Universität Duisburg-Essen

Result (3th phase)Experts: Free Search Three librarians and three professors Free Search with own theme Results:

input for improving satisfied

Comments: librarian

„rich functionality“ „D. mediates the knowledge about the tactics to the

user“ professor

„D. seems in a state that it can be used“ „I will propose it to my assistents“

30.09.2004 Universität Duisburg-Essen

Summary of evaluation Evaluation with 28 participants

showed, that a user is more effective when searching for scientific literature with the strategic support, here given by the DAFFODIL system, but not always more efficient (task1).

But, as the tasks become more complex,the hypotheses hold.

30.09.2004 Universität Duisburg-Essen

Outlook Continue Evaluation

other systems Long-Term Evaluation

One task from start to end new paper for ECDL 2005

Participants are welcome

Try it outhttp://www.daffodil.de

30.09.2004 Universität Duisburg-Essen

30.09.2004 Universität Duisburg-Essen

30.09.2004 Universität Duisburg-Essen

30.09.2004 Universität Duisburg-Essen

agentenbasiertes System mit über 35 unterschiedlichen Agenten die low-level and high-level Funktionen zur Verfügung stellen

verbindet zur Zeit ca. ~15 verschiedenste Datenquellen aus der Informatik

30.09.2004 Universität Duisburg-Essen

Evaluation framework

Formal bases given by [Saracevic&Covi] Why to evaluate ? What to evaluate ? How to evaluate ?