Download - Impact demo dag intro hildelies balk

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

IMPACT Demo Dag KB 16 februari 2011

Twitter: #impactdemo

Hildelies Balk, Project Director


Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 2

Introductie

De uitdaging en het ontstaan van het project

Het IMPACT Consortium

De IMPACT Visie

De IMPACT oplossingen

KB in IMPACT

Overzicht van de Demo dag



Achtergrond: Massadigitalisering in de KB

Uit beleidsplan: KB IN 2013:

– 10% van alle Nederlandse boeken, kranten en tijdschriften gedigitaliseerd (75 miljoen pagina’s)

– Full text collecties zo aangeboden dat zij direct gebruikt kunnen worden door onderzoekers– 20 miljoen gebruikers per jaar komen bij zoekactie uit op KB-informatie

Uitdaging – Groot deel van de gedigitaliseerde collectie voor 1900– Gedrukte tekst wordt omgezet naar een werkelijk digitale tekst door middel van OCR (optical

character recognition) – Huidige software voor OCR geeft geen goed resultaat voor historische tekst – soms al voor

1950– Heel veel problemen, varierend van oude lettertypen en beschadigd materiaal tot complexe

structuur en spellingsvarianten



Uitdaging: OCR van historische tekst voldoet niet

VVt Venetien den 1.Junij, Anno 1618.DJgn i f paffato te S' aö'Jifeert mo?üen/bah .)etgi'uotbciraetail)i.r/JtmelchontDecht te /sbnbe bele btr felbrr geiufttceert baer bnber eeniglje jprant o^fen/bie ftcb .metbeSpaenfcbeu enbeeemgljen bifet Cbeiiupcen berbonbru befe



Uitdaging: scans van historische documenten



Uitdaging: Spellingsvarianten, historische verbuigingen, en nog veel meer..

Historical variants of the Dutch word ‘wereld’ (world):werelt weerelt wereld weerelds wereldt werelden weereld werrelts waerelds weerlyt wereldts vveerelts waereld weerelden waerelden weerlt werlt werelds sweerels zwerlys swarels swerelts werelts swerrels weirelts tsweerelds werret vverelt werlts werrelt worreld werlden wareld weirelt weireld waerelt werreld werld vvereld weerelts werlde tswerels werreldts weereldt wereldje waereldje weurlt wald weëled



Uitdaging voor de instelling: gebrek aan kennis en ervaring het wiel wordt steeds weer uitgevonden



Ontstaan van het project in 2007

Problemen gelden voor alle collectiehouders die historische tekst digitaliseren

Internationale samenwerking bij oplossing ligt voor de hand

2007: EU lanceert Zevende Kaderprogramma voor Research & Development

– met visie op Europese Digital Library: alle erfgoed digitaal online– Subsidie voor projecten die hieraan bijdragen

Groep van bibliotheken, universiteiten en bedrijven vormt consortium en dient voorstel in

Gehonoreerd door EU

Start 1 januari 2008



Ontstaan van het project in 2007

BRAINSTORM in KB FEBRUARI 2007



Het IMPACT Consortium

8 bibliotheken– National Library of the Netherlands (KB)– The British Library (BL)– Bibliothèque nationale de France (BNF)– German National Library (DNB)– Bavarian State Library (BSB)– Göttingen State and University Library

(UGOE) – Austrian National Library (ONB)– University of Innsbruck Library (UIBK)*

6 Universiteiten & Onderzoekcentra– Dutch Institute for Lexicology (INL)– National Centre for Scientific Research –

Demokritos (NCSR)– University of Salford (USAL)– University of Munich (CIS group)– University of Innsbruck (InfMath group)– University of Bath (UKOLN)

2 Bedrijven– IBM (Haifa Research Lab)– ABBYY (Moscow)



IMPACT Consortium – uitbreiding 2010

Bibliotheken– National Library of Spain (BNE)– National Library of Bulgaria (NLB)– National and University Library of Slovenia

(NUK)– National Library of the Czech Republic

(NKC)– Biblioteca Virtual Miguel de Cervantes

(BVC)

Universiteiten & Onderzoekcentra– ATILF / University of Nancy (ATILF)– University of Alicante (UA)– Poznan Supercomputing Centre (PSNC)– University of Warsaw (UW DFL)– Bulgarian Academy of Sciences (BAS)– Jožef Stefan Institute (JSI)– Charles University Prague (CUP)



IMPACT visie

• Digitalisering van historische tekst beter, sneller, goedkoper

• Innovatie van software en methoden voor verbetering van tekstherkenning

Producten worden GEBRUIKT en VERDER ONTWIKKELD minstens drie jaar na afloop project

Vijf resultaten van het project om deze visie te realiseren



Op 1 januari 2012 levert IMPACT

Een Centre of Competence voor digitalisering van tekst met een business model dat zich 3 jaar kan bedruipen

De strategische middelen om digitisalisering van historische tekst in Europa beter, sneller, goedkoper te maken

Software, services en bronnen om tekstherkenning in te verbeteren in massaproductie

Innovatieve software die de State of the Art op dit gebied vooruit brengt

Een gratis en Open Source Interoperability Framework voor doorgaande innovatie van digitalisering



Verbeterde tekstherkenning in massaproductie

ABBYY Finereader (IMPACT versie)

IBM Adaptive OCR

CONCERT (correctie mbv crowdsourcing)

Functional Extension Parser (structurele metadata)

Lexical Resources (bronnen voor herkenning historische tekst in 9 talen)

Post Correction Modules (na-correctie)

Wordspotting (alternatief voor OCR)



Innovatieve software

Image Enhancement Toolkit (beeldverbetering)

Segmentation Toolkit (segmentatie)

Experimental Prototypes (alternatieve OCR en OCR voor getypte tekst)

Tools for Lexicon Building (voor computerlinguisten, om lexica te bouwen in andere talen )



Interoperability Framework

Maakt web services van alle tools

Koppelt deze aan elkaar

Research dataset en Evaluation tools om oplossingen te testen - ook van buiten IMPACT

Vruchtbare samenwerking met MyGrid-project in UK

Workflow management systeem voor evaluatie

Ook te gebruiken voor productie in digitalisering en duurzame opslag van bestanden



Rol KB in IMPACT

Coördinatie van het hele project en verspreiding resultaten

Aanspreekpunt EU

Technische architectuur en integratie

Deelname in werkpakketten:- Klankbordgroep bibliotheken- Strategische hulpmiddelen (o.a. handleidingen, case studies)- Collaborative Correction: correctie met crowdsourcing CONCERT- Demonstration: testen en demonstreren van oplossingen met eigen materiaal- Centre of Competence: duurzame exploitatie van de resultaten



KB IMPACT teamHildelies Balk, project director

Clemens Neudecker, technisch project manager, Framework en integratie

Lieke Ploeger, manager Project Office, regelt communicatie over IMPACT

Lotte Wilms, werkt aan de demonstratie & documentatie van projectresultaten

Astrid Verheusen, lid van de klankbordgroep van IMPACT bibliotheken, werkt aan de gebruikerseisen en richtlijnen

Hans Jansen, voorzitter van deIMPACT General Assembly (stuurgroep)

http://www.myexperiment.org/users/9758/pictures



En nu: demonstratie van oplossingen voor elk onderdeel van de workflow

kennisbankscan beeld

verbeterd OCR

correctie lexica correctie structuur

evaluatie framework

Download - Impact demo dag intro hildelies balk

Top Related