nederland ontsloten! osgeo.nl dag 2014
TRANSCRIPT
![Page 1: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/1.jpg)
Nederland Ontsloten!
Just van den Broecke OSGeo.nl Dag - Den Bosch - 25 nov 2014
![Page 2: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/2.jpg)
DRIE PETTEN
Onafhankelijk Open Geo-ICT Professional
justobjects.nl
Lid van de OpenGeoGroep (NL) www.opengeogroep.nl
Secretaris OSGeo.nl
1. Intro
![Page 3: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/3.jpg)
Nederland Ontsloten ?
![Page 4: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/4.jpg)
Van Bron Naar Toepassing
met Open Geo Data
![Page 5: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/5.jpg)
Nuttige Dingen Doen Met Open Geo Data
![Page 6: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/6.jpg)
![Page 7: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/7.jpg)
1/1/2012 Basisregistraties
Worden Open Data!
![Page 8: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/8.jpg)
We kunnen Downloaden bij
PDOK!!
![Page 9: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/9.jpg)
Bijvoorbeeld Top10 NL en BAG
Binnenhalen....
![Page 10: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/10.jpg)
Maar Wat Dan?
![Page 11: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/11.jpg)
Bakken met XML/GML......
![Page 12: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/12.jpg)
?GML
XML
Hoe maken we daar een kaart mee?
![Page 13: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/13.jpg)
?
Of bijv een adres-zoeker?
GML
XML
![Page 14: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/14.jpg)
?
Eerst inlezen in PostGIS....
GML
XML
![Page 15: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/15.jpg)
GML
XML
NLExtract
Met NLExtract Dus!!
![Page 16: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/16.jpg)
Wat is NLExtract ?
![Page 17: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/17.jpg)
Tools om vrije Nederlandse
overheids-geodata te converteren en te visualiseren
Open Source
![Page 18: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/18.jpg)
NLExtract - Welke Datasets ?
BAG - Basis Registratie Adressen en Gebouwen
BRT/Top10NL - Topografische Kaart
BGT - Grootschalige Topografie
AHN - Hoogtebestand
Bonnebladen (historische kaarten)
Top10NL3D !!!
![Page 19: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/19.jpg)
NLExtract Praktijk
Voorbeelden
![Page 20: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/20.jpg)
![Page 21: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/21.jpg)
![Page 22: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/22.jpg)
NLExtract: BAG + Top10NL
+WMS/Tiling + App
![Page 23: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/23.jpg)
BAG in CitySDK
![Page 24: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/24.jpg)
BGT in QGIS
![Page 25: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/25.jpg)
Georefereren + aansluiten Bonnebladen
![Page 27: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/27.jpg)
Meer weten, meedoen en/of
sponsoren ?
![Page 29: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/29.jpg)
![Page 30: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/30.jpg)
NLExtract Plannen
Downloads!Services!
Apps!3D!!
![Page 32: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/32.jpg)
NLExtract Plannen
Downloads Services!
Apps!3D!
![Page 33: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/33.jpg)
OpenTopo Tiles (TMS/WMTS) in Leaflet App
http://app.nlextract.nl
![Page 34: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/34.jpg)
NLExtract Plannen
Downloads Services
Apps
3D!!
![Page 35: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/35.jpg)
![Page 36: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/36.jpg)
![Page 37: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/37.jpg)
What the…FGDB?!
![Page 38: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/38.jpg)
![Page 39: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/39.jpg)
FGDB naar GeoJSON en GML met ogr2ogr
![Page 40: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/40.jpg)
Visualiseren met CesiumJS
![Page 41: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/41.jpg)
Cesium is Cool!
![Page 42: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/42.jpg)
Cesium is Cool (hier letterlijk) !
![Page 43: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/43.jpg)
CesiumJS - SantaTracker
![Page 44: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/44.jpg)
OpenTopo in CesiumJS
![Page 45: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/45.jpg)
Zon in de Zee zien zakken in …
![Page 46: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/46.jpg)
Top103D Gebouwen
![Page 47: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/47.jpg)
Cesium - OpenLayers3 Integratie
![Page 48: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/48.jpg)
Doorbraak 3D? Er kan nog veel meer met
3D Open Source en NL Open Geo-Data
Vector3D Tiles?
AHN2 Terrain Server?
![Page 49: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/49.jpg)
Samengevat
• Ruwe data verwerking met NLExtract (en Stetl)
• Opslaan in PostGIS (vector) en GeoTIFF (raster)
• Serveren met GeoServer/MapServer/Tiling etc
• Visualiseren: QGIS, Leaflet, OpenLayers, CesiumJS etc
• 3D mogelijkheden te over!
![Page 50: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/50.jpg)
Dank U
![Page 51: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/51.jpg)
Stetl Indien tijd over ;-)
![Page 52: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/52.jpg)
Programma per Dataset?
![Page 53: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/53.jpg)
Inlezen
Omzetten
Wegschrijven
![Page 54: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/54.jpg)
Extract
Transform
Load
![Page 55: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/55.jpg)
ETL
![Page 56: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/56.jpg)
FOSS ETL - High Level
![Page 57: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/57.jpg)
FOSS ETL - Lower Level
Individueel krachtig maar kan vaak slechts deel van ETL uitvoeren
ogr2ogr
![Page 58: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/58.jpg)
FOSS ETL - Hoe Combineren?
=+ + ?ogr2ogr
![Page 59: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/59.jpg)
FOSS ETL - Add Python to Equation
=+ + ?( )ogr2ogr
![Page 60: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/60.jpg)
=+ +
Stetl
( )ogr2ogr
![Page 61: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/61.jpg)
Stetl =
Simple Streaming
Spatial Speedy
ETL
![Page 63: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/63.jpg)
Stetl Concepten
![Page 64: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/64.jpg)
Processing Keten
Input Filter OutputFilter
Stetl concepten
Bron Doel
![Page 65: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/65.jpg)
Input Filter Outputgml
Filter
Processing Keten
Stetl concepten
![Page 66: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/66.jpg)
XML Input
XSLT Filter
ogr2ogr Output
Voorbeeld - XML naar Shapefile
XML GML
![Page 67: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/67.jpg)
Any Input
My!Filter
Any Output
Voorbeeld - Eigen Component
![Page 68: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/68.jpg)
Stetl Configuratie File
Process Chain
XML InputXSLT
Filter
ogr2ogr Output
Voorbeeld - XML naar Shapefile
![Page 69: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/69.jpg)
Example Components
Input Filters Output
Stetl concepten
File (XML, GML, CSV) XSLT (Multi)File (GML, GeoJSON,..)GDAL/OGR XMLAssembler GDAL/OGRLineStream XMLValidator WFS-TSQLite FormatConverter HTTPWFS FeatureExtractor SOS-TPostGIS Jinja2Filter PostGISYourInput YourFilter YourOutput
![Page 70: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/70.jpg)
Speed: Streaming
Input Filter Output
gml
Stetl concepts
![Page 71: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/71.jpg)
Speed: Going Native
Input Filter Output
gml
ogr2ogr StetlStetl
Native C Libs/Progs
Calls
Stetl concepts
![Page 72: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/72.jpg)
Stetl Uitvoeren
stetl -c etl.cfg
![Page 73: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/73.jpg)
Stetl Installeren
via PyPi
Deps •GDAL+Python bindings!•lxml (xml proc)!•psycopg2 (Postgres)
sudo pip install stetl
![Page 74: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/74.jpg)
Stetl - Praktijk!
• Basisregistraties GML to PostGIS: Top10NL, BGT • INSPIRE transformatie BAG naar Addresses • RIVM Luchtmetingen naar WMS-Time en SOS EU Air Quality/INSPIRE Reporting • UK Ordance Survey Mastermap
![Page 75: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/75.jpg)
BGT - Dutch Large Scale Topo
![Page 76: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/76.jpg)
2. Data Transformation (ETL)
Stetl
RIVM AQ
Stetl
Stetl
Stetl
![Page 77: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/77.jpg)
RIVM Luchtkwaliteit via WMS-Time
4. Clients
![Page 78: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/78.jpg)
Clients - SOS - SOS.js - 52N
4. Clients
![Page 79: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/79.jpg)
Samengevat
• Ruwe data verwerking met NLExtract en Stetl
• Opslaan in PostGIS (vector) en GeoTIFF (raster)
• Serveren met GeoServer/MapServer/Tiling etc
• Visualiseren met QGIS en Heron
![Page 80: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/80.jpg)
Dank U
![Page 81: Nederland Ontsloten! OSGeo.nl Dag 2014](https://reader034.vdocuments.mx/reader034/viewer/2022042522/55a874821a28ab4e548b463b/html5/thumbnails/81.jpg)
NLExtract Artikel Geo-info 2013 - 8/9