impact demo dag intro hildelies balk
DESCRIPTION
Presentation given on the KB IMPACT Demo Day on 16 February 2011 in The Hague.TRANSCRIPT
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Demo Dag KB 16 februari 2011
Twitter: #impactdemo
Hildelies Balk, Project Director
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 2
Introductie
De uitdaging en het ontstaan van het project
Het IMPACT Consortium
De IMPACT Visie
De IMPACT oplossingen
KB in IMPACT
Overzicht van de Demo dag
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 3
Achtergrond: Massadigitalisering in de KB
Uit beleidsplan: KB IN 2013:
– 10% van alle Nederlandse boeken, kranten en tijdschriften gedigitaliseerd (75 miljoen pagina’s)
– Full text collecties zo aangeboden dat zij direct gebruikt kunnen worden door onderzoekers– 20 miljoen gebruikers per jaar komen bij zoekactie uit op KB-informatie
Uitdaging – Groot deel van de gedigitaliseerde collectie voor 1900– Gedrukte tekst wordt omgezet naar een werkelijk digitale tekst door middel van OCR (optical
character recognition) – Huidige software voor OCR geeft geen goed resultaat voor historische tekst – soms al voor
1950– Heel veel problemen, varierend van oude lettertypen en beschadigd materiaal tot complexe
structuur en spellingsvarianten
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 4
Uitdaging: OCR van historische tekst voldoet niet
VVt Venetien den 1.Junij, Anno 1618.DJgn i f paffato te S' aö'Jifeert mo?üen/bah .)etgi'uotbciraetail)i.r/JtmelchontDecht te /sbnbe bele btr felbrr geiufttceert baer bnber eeniglje jprant o^fen/bie ftcb .metbeSpaenfcbeu enbeeemgljen bifet Cbeiiupcen berbonbru befe
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 5
Uitdaging: scans van historische documenten
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 6
Uitdaging: Spellingsvarianten, historische verbuigingen, en nog veel meer..
Historical variants of the Dutch word ‘wereld’ (world):werelt weerelt wereld weerelds wereldt werelden weereld werrelts waerelds weerlyt wereldts vveerelts waereld weerelden waerelden weerlt werlt werelds sweerels zwerlys swarels swerelts werelts swerrels weirelts tsweerelds werret vverelt werlts werrelt worreld werlden wareld weirelt weireld waerelt werreld werld vvereld weerelts werlde tswerels werreldts weereldt wereldje waereldje weurlt wald weëled
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 7
Uitdaging voor de instelling: gebrek aan kennis en ervaring het wiel wordt steeds weer uitgevonden
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 8
Ontstaan van het project in 2007
Problemen gelden voor alle collectiehouders die historische tekst digitaliseren
Internationale samenwerking bij oplossing ligt voor de hand
2007: EU lanceert Zevende Kaderprogramma voor Research & Development
– met visie op Europese Digital Library: alle erfgoed digitaal online– Subsidie voor projecten die hieraan bijdragen
Groep van bibliotheken, universiteiten en bedrijven vormt consortium en dient voorstel in
Gehonoreerd door EU
Start 1 januari 2008
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 9
Ontstaan van het project in 2007
BRAINSTORM in KB FEBRUARI 2007
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 1010
Het IMPACT Consortium
8 bibliotheken– National Library of the Netherlands (KB)– The British Library (BL)– Bibliothèque nationale de France (BNF)– German National Library (DNB)– Bavarian State Library (BSB)– Göttingen State and University Library
(UGOE) – Austrian National Library (ONB)– University of Innsbruck Library (UIBK)*
6 Universiteiten & Onderzoekcentra– Dutch Institute for Lexicology (INL)– National Centre for Scientific Research –
Demokritos (NCSR)– University of Salford (USAL)– University of Munich (CIS group)– University of Innsbruck (InfMath group)– University of Bath (UKOLN)
2 Bedrijven– IBM (Haifa Research Lab)– ABBYY (Moscow)
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 11
IMPACT Consortium – uitbreiding 2010
Bibliotheken– National Library of Spain (BNE)– National Library of Bulgaria (NLB)– National and University Library of Slovenia
(NUK)– National Library of the Czech Republic
(NKC)– Biblioteca Virtual Miguel de Cervantes
(BVC)
Universiteiten & Onderzoekcentra– ATILF / University of Nancy (ATILF)– University of Alicante (UA)– Poznan Supercomputing Centre (PSNC)– University of Warsaw (UW DFL)– Bulgarian Academy of Sciences (BAS)– Jožef Stefan Institute (JSI)– Charles University Prague (CUP)
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 12
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 13
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 14
IMPACT visie
• Digitalisering van historische tekst beter, sneller, goedkoper
• Innovatie van software en methoden voor verbetering van tekstherkenning
Producten worden GEBRUIKT en VERDER ONTWIKKELD minstens drie jaar na afloop project
Vijf resultaten van het project om deze visie te realiseren
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 15
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 16
Op 1 januari 2012 levert IMPACT
Een Centre of Competence voor digitalisering van tekst met een business model dat zich 3 jaar kan bedruipen
De strategische middelen om digitisalisering van historische tekst in Europa beter, sneller, goedkoper te maken
Software, services en bronnen om tekstherkenning in te verbeteren in massaproductie
Innovatieve software die de State of the Art op dit gebied vooruit brengt
Een gratis en Open Source Interoperability Framework voor doorgaande innovatie van digitalisering
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 17
Verbeterde tekstherkenning in massaproductie
ABBYY Finereader (IMPACT versie)
IBM Adaptive OCR
CONCERT (correctie mbv crowdsourcing)
Functional Extension Parser (structurele metadata)
Lexical Resources (bronnen voor herkenning historische tekst in 9 talen)
Post Correction Modules (na-correctie)
Wordspotting (alternatief voor OCR)
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 18
Innovatieve software
Image Enhancement Toolkit (beeldverbetering)
Segmentation Toolkit (segmentatie)
Experimental Prototypes (alternatieve OCR en OCR voor getypte tekst)
Tools for Lexicon Building (voor computerlinguisten, om lexica te bouwen in andere talen )
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 19
Interoperability Framework
Maakt web services van alle tools
Koppelt deze aan elkaar
Research dataset en Evaluation tools om oplossingen te testen - ook van buiten IMPACT
Vruchtbare samenwerking met MyGrid-project in UK
Workflow management systeem voor evaluatie
Ook te gebruiken voor productie in digitalisering en duurzame opslag van bestanden
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 20
Rol KB in IMPACT
Coördinatie van het hele project en verspreiding resultaten
Aanspreekpunt EU
Technische architectuur en integratie
Deelname in werkpakketten:- Klankbordgroep bibliotheken- Strategische hulpmiddelen (o.a. handleidingen, case studies)- Collaborative Correction: correctie met crowdsourcing CONCERT- Demonstration: testen en demonstreren van oplossingen met eigen materiaal- Centre of Competence: duurzame exploitatie van de resultaten
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 21
KB IMPACT teamHildelies Balk, project director
Clemens Neudecker, technisch project manager, Framework en integratie
Lieke Ploeger, manager Project Office, regelt communicatie over IMPACT
Lotte Wilms, werkt aan de demonstratie & documentatie van projectresultaten
Astrid Verheusen, lid van de klankbordgroep van IMPACT bibliotheken, werkt aan de gebruikerseisen en richtlijnen
Hans Jansen, voorzitter van deIMPACT General Assembly (stuurgroep)
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 22
En nu: demonstratie van oplossingen voor elk onderdeel van de workflow
kennisbankscan beeld
verbeterd OCR
correctie lexica correctie structuur
evaluatie framework