ckan by friedrich lindenberg

Click here to load reader

Post on 29-Jun-2015

819 views

Category:

Technology

0 download

Embed Size (px)

DESCRIPTION

Presentation at the OGD2011 conference taking place in Vienna on the 16th of June 2011 as well as at the LOD2 CKAn workshop on 15th of June 2011: CKAN by Friedrich Lindenberg, Open Knowledge Foundation.(License: CC-BY 3.0)

TRANSCRIPT

  • 1. LOD2 CKAN Workshop Wien - 15.6.2011

2. Warum? 3. Kernfragen Welche Lizenz? Welche Formate? Welche Inhalte? Dann: Aktualitt Vollstndigkeit Bezugsraum, ... 4. Informationsarchitektur 5. Daten-kosystem 6. Beispiel: Ausgaben UK 7. November 2011:Verffentlichung Ausgaben der zentralenRegierung > 25.000, lokal: > 500 8. 7 Monate spter 557 Datenpakete 588 Behrden 3327 Tabellen (CSV, Excel, HTML) 9. Datenbereinigung Abruf per CKAN-API (data.gov.uk) Formatkonvertierung (SQLite) Vereinheitlichung von Ministerien und Behrden (Google Spreadsheet) Verbindung mit OpenCorporates (Unternehmens-Registernummern) Als neues CKAN-Paket bereit gestellt (ckan.net) 10. Weiternutzung 11. Was ist CKAN? (I) Open Source-Projekt, etwa 12Kernentwickler Nutzer: data.gov.uk, data.norge.no, hri.,register.data.overheid.nl, iatiregistry.org ckan.net und ~ 24 Community-Instanzen 12. Was ist CKAN? (II) Datenkatalog, kein Repositorium (Archiv & Speicherung als Erweiterung) exibles Metadatenschema Kernelemente ~ Dublin Core + Ressourcen Versionierung aller Metadaten 13. Was ist CKAN? (III) Ein Wiki fr Metadaten Vision: GitHub/SourceForge frDatenquellen Community von aktiven Datennutzerneinbinden (auch fr Regierungsseiten) Verschiedene Metaphern (CPAN = PerlPacket-Verzeichnis) 14. Beispiel: LOD Cloud 15. Metadaten Kernelemente und Extras anpassbare Formulare imWebfrontend durch data.gov.uk:Konventionen fr Extra-Felder(auch in data.norge.no, hri.,overheid.nl) 16. Theming 17. Content Management Wordpresser-Erweiterungzur Anbindung anWordpress Integration mit Drupal beidata.gov.uk (Open Source) 18. Geodaten (I) 19. Geodaten (II) CSW-Harvester und Endpunkt GEMINI 2.1 (~> INSPIRE) sammelt Kataloge aus England undden anghngten Lndern bergabe via Ordnance Survey an EC Experimentelle Geo-Suche, WMS-Preview 20. Publisher Institutionen-Modell Freischaltung von Behrden Nutzergruppen 21. Moderierte Eingaben 22. Schnittstelle REST-API mit JSON und RDF-Support Bibliotheken fr Python, PHP, Ruby Nutzung: Paketimport (Excel-Sheets) Metadatenanreicherung 23. Metadatenbereinigung 24. publicdata.eu Portal als Forschungs-Prototyp fr data.eu Fderierung von Datenkatalogen ausEuropa Integration & Anreicherung der Metadaten Standardisierung von DCat 25. Scraping 26. DCat Standardisierungsdiskussion luft (WorkshopAnfang Mai) Partner: RPI, CTIC, LOD2, CSI Piemonte etc. RDF mit DC Terms und Ressourcen Gemeinsame Harvesting-API datacatalogs.org GLD WG im W3C neu gestartet SKOS? 27. 430 Teilnehmer aus 23 EU-Staaten Preisvergabe bei der Digital Assembly 28. Apps-Katalog 29. Ressourcen CKAN Projektseite - http://ckan.org CKAN Wiki - http//wiki.ckan.net PublicData.eu-Portal - http://publicdata.eu Open Data Manual - http://www.opendatamanual.org Open Dention - http://opendention.org Allg. Informationen - http://opengovernmentdata.org/Folien: CC-BY, Friedrich Lindenberg, genutzte Bilder: London Trafc Lights (WikimediaCommons); Francis Maude at data.gov.uk Event (Guardian), Screenshots 30. Teil II: Hands-on 31. Technik Python-Anwendung, Pylons MVC-Framework PostgreSQL-Datenbank Apache/mod_wsgi oder uwsgi Optionale Abh.: Apache Solr, RabbitMQ 32. Modularisierung 33. Installation Debian Packages fr Ubuntu LTS Extensions werden als Packages verteilt Solr und RabbitMQ getrennt installieren 34. Anpassung ckanext-exampletheme ableiten Formulare als Python-Modul anpassen Themes sind Template-Overlays HTML-Struktur enspricht Wordpress Lokalisierung via transifex.net 35. Sicherheit Authentizierung via Login, OpenID, API Key Authorisierung via Rollen und Aktionen ACL fr jedes Packet, jede Gruppe globale Defaults sind kongurierbar AuthzGroups fr Nutzergruppen 36. API /api/X/rest - Versioniert /api/2/rest/package - REST Collection (GET,POST), auf Entities: GET, PUT. Beispiele in ckanext-pdeu/scripts 37. Revisionen Copy on Write in Spiegel-Tabelle Revisionen knnen gelscht werden Quelle fr RSS-Feeds 38. Queue Hintergrundverarbeitung durch Queue Solr Index Aktualisierung Triple Store sync Archivierung Webhooks 39. Speicherung Noch im Beta-Stadium Nutzt Dateisystemabstraktion (OFS) S3, Archive.org, Google Storage REST Forward, Pairtree Dateisystem