duurzaam archiveren door gezamenlijk beheer van ...duurzaam archiveren door gezamenlijk beheer van...
TRANSCRIPT
![Page 1: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/1.jpg)
17-02-12
Challenge the future Delft University of Technology
Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving
Peter van Oosterom, TU Delft, OTB Research Institute for the Built Environment, GIS technology Geonovum-DANS studiedag: 'Digitale duurzaamheid van Geodata', Donderdagmiddag 16 februari 2012, Java Gebouw, NOW, Den Haag
![Page 2: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/2.jpg)
2 Duurzame geo-data
Inhoud
• Duurzame geo-data, een technisch probleem?
• (Deel)oplossing: actuele & historische data samen
• Identifiers en temporele attributen
• Maps4Science
• Conclusie
![Page 3: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/3.jpg)
3 Duurzame geo-data
Duurzame geo-data, een technisch probleem?
• Duurzaam digitaal archiveren heeft vele aspecten: juridisch, sociaal, organisatorisch, financieel, technisch,..
• Deze aspecten zijn met elkaar verweven • Perspectief in presentatie is vanuit techniek
![Page 4: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/4.jpg)
4 Duurzame geo-data
Vraagstukken duurzame archivering
• Blijft formaat van data wel ondersteund door leverancier? (in geo-land vele formaten zowel open als gesloten)
• Digitale gegevensdragers bestand tegen tand des tijds? (media leesbaar, geen omgevallen bits)
• Archieven bestand tegen calamiteiten zoals brand? (voldoende back-up’s)
• Goede ontsluiting, wie wel/niet toegang? (standaard web-services)
![Page 5: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/5.jpg)
5 Duurzame geo-data
Inhoud
• Duurzame geo-data, een technisch probleem?
• (Deel)oplossing: actuele & historische data samen
• Identifiers en temporele attributen
• Maps4Science
• Conclusie
![Page 6: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/6.jpg)
6 Duurzame geo-data
Informatiesystemen t.b.v. productietaken
• Deze hebben zelfde uitdagingen (back-up, toegang,…) • Zijn door dagelijks gebruik systemen levend • Vergaande maatregelen genomen voor geval van calamiteiten:
• redundante systeemoplossingen • uitgebreide back-up schema’s
• Storingen worden snel geconstateerd • Storingen worden ook snel verholpen i.v.m. operationele taak
• Kosten niet gering, maar te rechtvaardigen gezien de noodzaak
![Page 7: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/7.jpg)
7 Duurzame geo-data
(Deel)oplossing: actuele & historische data samen beheren
• Vroeger alleen de meest recente toestand in (geo-)database à massale kopieën (ter archivering)
• Kadaster gebruikte deze voor produceren mutatiebestanden à opsporen verschillen historische kopie - huidige database (bewerkelijke actie gezien data omvang en aantal klanten)
• Introductie temporele informatiemodel (versie tijdstempels) à zowel historische als actuele data in dezelfde omgeving
• Mogelijk om efficiënt: à inhoud op willekeurig moment in verleden te vragen (archief) à veranderingen tussen 2 tijdstippen te leveren (mutaties)
![Page 8: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/8.jpg)
8 Duurzame geo-data
Voordelen gezamenlijk beheer
• Archief even efficiënt als productiesysteem à door goede (ruimtelijk-temporele) data clustering & indexering
• Steeds groter wordende opslagcapaciteit en hardware versnellingen à historische en actuele data in één geïntegreerd haalbaar
• Door combinatie archief + productiesysteem kosten bespaard (met voorzieningen als redundante systemen en back-up’s)
• Kwaliteit en beschikbaarheid archief gaat omhoog!
![Page 9: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/9.jpg)
9 Duurzame geo-data
Inhoud
• Duurzame geo-data, een technisch probleem?
• (Deel)oplossing: actuele & historische data samen
• Identifiers en temporele attributen
• Maps4Science
• Conclusie
![Page 10: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/10.jpg)
10 Duurzame geo-data
Ruimte-tijd-thema driehoek
Object-id (OID)
Ruimte (2D, 3D)
Tijd Thema
2D space + time à 3D 3D space + time à 4D
![Page 11: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/11.jpg)
11 Duurzame geo-data
Data granulariteit m.b.t. tijd
• Kaart (hele data set) klassieke topografische kaart (elke 6-jaar), luchtfoto
• Object klasse huidige topografische kaart (wegen elke 2-jaar)
• Object instantie kadastrale kaart
• Attribuut niveau grondwaterstand op locatie
Fijn, minder redundant
Grof, meer redundant
![Page 12: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/12.jpg)
12 Duurzame geo-data
Tijd op object instantie (record) niveau
• Meest voorkomende vorm temporeel model • Goed te implementeren
• Elk object uitgebreid met temporele attributen (tmin, tmax)
• Nieuw object: tmin = check-in tijd, tmax = max_val • Verwijder object: tmax = check-in tijd • Update object: ànieuwe versie tmin = check_in tijd, tmax = max_val àoude versie tmax = check_in tijd (dezelfde waarde!)
• Belangrijkste functionaliteit is ondersteunden vragen: • Geef kaart op moment t • Geef de veranderingen in periode t1-t2
![Page 13: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/13.jpg)
13 Duurzame geo-data
Leveren veranderingen in periode (inclusief tijdelijke versies)
select * from line l where t_beg < l.tmax and l.tmax <= t_end; select * from line l where t_beg < l.tmin and l.tmin <= t_end;
vervallen
nieuw
![Page 14: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/14.jpg)
14 Duurzame geo-data
Vervallen topo lijnen Juli 1998- Juli 1999
Tellen veranderingen GBKN
![Page 15: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/15.jpg)
15 Duurzame geo-data
Unieke object (versie) identificatie
• Normaal gesproken heeft elk object heeft unieke object-id (OID) • Temporeel systeem: verschillende versies van hetzelfde object
(met dezelfde OID)
• Om object-versie te identificeren in tijd: key = OID + tmin • Merk op deze key veranderd niet (i.t.t. alt_key = OID + tmax)
• Bij de verwijzing van het ene object naar het andere, alleen gebruik maken van OID-deel van key
![Page 16: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/16.jpg)
16 Duurzame geo-data
Permanente object identificatie
• In NL operationeel binnen LKI (kadastrale kaart, GBKN) sinds 1997 à mogelijk opschalen naar alle geo-data (en ook buiten NL)
• In VK voorstel URI (http://location.defra.gov.uk/wp-content/ uploads/2010/04/Designing_URI_Sets_for_Location-Ver0.5.pdf) • Template http://{sector}.data.gov.uk/id/{concept}/{reference}[/
{version}] • Voorbeelden
http://land.data.gov.uk/id/title-plan/cph-de15-27 http://reference.data.gov.uk/id/postcode/SO164GU
• Noodzakelijk voor Geoweb (GII), verwijzingen tussen datasets
![Page 17: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/17.jpg)
17 Duurzame geo-data
P1
P2 P3
P5
P4
t2
t1
t0
tijd
y
x
Alternatief aparte temporele attributen 2D+tijd = 3D geometrie
![Page 18: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/18.jpg)
18 Duurzame geo-data
t2
t1
t0
tijd
y
x P2
P1
Bewegende objecten à niet verticaal
![Page 19: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/19.jpg)
19 Duurzame geo-data
Aparte ruimte en tijd attributen of een enkel geïntegreerd attribuut?
• Voordelen aparte attributen: 1. In staat om alle gevallen te representeren 2. Ondersteund door huidige technologie 3. Tijdsaspect is meer dan alleen een enkele dimensie
• Voordelen geïntegreerd hoger dimensionaal data type:
1. Optimale efficiënte bij zoeken ruimte-tijd queries 2. Ouder-kind relatie wordt topologie buur query in tijd 3. Op basis van volledige partitie: geen overlap of hiaat in de
ruimte/tijd representatie van objecten 4. Dynamische analyse: twee bewegende objecten zouden
geen ruimtelijk-temporele overlap moeten hebben (botsing)
![Page 20: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/20.jpg)
20 Duurzame geo-data
Inhoud
• Duurzame geo-data, een technisch probleem?
• (Deel)oplossing: actuele & historische data samen
• Identifiers en temporele attributen
• Maps4Science
• Conclusie
![Page 21: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/21.jpg)
21 Duurzame geo-data
NWO GOF Voorstel grootschalige onderzoeksfaciliteit
31 augustus 2011: ingediend bij NWO sept/okt 2011: goede expert review 10 januari 2012: interview
Voor zomer 2012: besluit door minister OCW
spatial data for all of science
![Page 22: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/22.jpg)
22 Duurzame geo-data
Onderzoekers anders dan ‘normale’ gebruikers? (PDOK/Google Earth)
1. Zoeken onverwachte verbanden à meer vreemde data combi's 2. Ook geïnteresseerd in bron metingen (herinterpretaties) 3. Grote gebieden, meer gegevens à ontdekken van patronen 4. Produceren meer eigen gegevens (uit metingen, berekeningen) 5. Meer eisen t.a.v. 3D en tijd (niet alleen 'nu') ondersteuning 6. Tijdseries voor valideren van (proces)modellen 7. Behoefte aan delen geo-processing ketens (analyses, simulaties) 8. Niet geo-informatie professionals (geneeskunde, geschiedenis,
economie, enz.)
à Antwoord: ja (en nee) à Zelfde gebruiksgemak, maar …
veel meer soorten data/diensten à enorme uitdaging
![Page 23: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/23.jpg)
23 Duurzame geo-data
• (nagenoeg) alle wetenschappers hebben behoefte aan geo-info, niet alleen de geo-wetenschappers maar ook archeologie, epidemiologie, technologie, sociologie, etc.) à data intensief onderzoek
• Voorstel GOF: Maps4Science
(2+5 jaar project, 22.8 meuro) • NL geo-sector steunt met data • Knoop in internationaal netwerk • Beste GII: 3D/tijd/schaal,
semantiek, upload, zeer veel data, remote processing, data policy à www.maps4science.nl
“Doctor, take your own medicine…”
![Page 24: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/24.jpg)
24 Duurzame geo-data
Inhoud
• Duurzame geo-data, een technisch probleem?
• (Deel)oplossing: actuele & historische data samen
• Identifiers en temporele attributen
• Maps4Science
• Conclusie
![Page 25: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/25.jpg)
25 Duurzame geo-data
Conclusie
• Integraal beheer historische en actuele geo-data is realistische optie voor zowel archief als operationele taak
• Hierbij data en metadata ook gelijk behandelen
• Unieke permanente object identificatie alle NL geo-data à wie neemt initiatief (DANS, Geonovum,…)?
• Er blijven nog voldoende aardige vraagstukken over… zoals het niet stabiel zijn van de geografische referenties: • Geografische namen zijn niet stabiel, in historische data komt Batavia
in Nederlands-Indië voor (nu bekend als Jakarta in Indonesië) • Coördinaten zijn niet stabiel door de tijd (ook Nederland
beweegt zowel horizontaal als verticaal: schuift en kantelt) ànog een reden voor x,y,z,t coördinaten
![Page 26: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/26.jpg)
26 Duurzame geo-data
Verschillen oude en nieuwe hoogten NAP (4e–5e NWP, ong. 25 jaar)
• Brand et al. AGI/GAP-04/004 Rijkswaterstaat AGI augustus 2004
![Page 27: Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft,](https://reader036.vdocuments.mx/reader036/viewer/2022062607/60454413e47e464805437d1a/html5/thumbnails/27.jpg)
27 Duurzame geo-data
www.maps4science.nl http://maps4science.nl/documents/Maps4Science_high.mp4
Maps4Science, korte video