proc musˇ ´ı shapeﬁle zem ˇr´ıt?! dobry den´ proc musˇ ´ı … · 2016-01-27 · esri...

Proc musı Shapefile zemrıt?!

Jachym Cepicky1

1OOSGeo.cz http://osgeo.cz

GIVS 2015

Proc musı Shapefile zemrıt?!

Jachym Cepicky1

1OOSGeo.cz http://osgeo.cz

GIVS 2015

2015

-05-

03Proc musı Shapefile zemrıt?!

Dobry den

http://osgeo.cz

http://osgeo.cz

Otevıranı geografickych dat – Prıpadova studie

http://opengeolabs.cz/publikace

Otevıranı geografickych dat – Prıpadova studie


2015

-05-


Prıpadova studie otevıranı dat

Otevıranı geografickych dat – Prıpadovastudie

K bulvarnımu nazvu teto prezentace me vedla zkusenost, kterou jsmeudelali pri zpracovanı publikace ”Otevıranı geografickych dat”,zadane IPR Praha.

Mezi cıle studie patrilo jednak navrzenı a zhodnocenı moznostıpublikace prostorovych dat, kde jsme se drzeli linky, jak ji nastavilainiciativa INSPIRE, ale take zhodnocenı formatu prostorovych dat.



Trıdenı standarduTrıdenı standardu

2015

-05-



Trıdenı standardu

Formaty prostorovych dat jsou definovany standardy. Delıme podlezpusobu jejich vzniku a dalsıho zivota na na otevrene a uzavrene,podle autority, ktera je prosazuje na de-facto a de-jure.

Otevrene standardy vznikajı v otevrenem procesu, verejnou diskusı,ktere se muze ucastnit teoreticky kdokoliv. Jsou dokumentovane azadna legislativnı nebo technicka prekazka nebranı jejich dalsımupouzıvanı.

Trıdenı standarduTrıdenı standardu

2015

-05-



Trıdenı standardu

Uzavrene standardy vznikajı v ramci organizace bez verejne diskuse,jejich prakticka implementace je znacne omezena legislativnımia/nebo technickymi prekazkami.

De-jure standardy jsou vyzadovany legislativnım procesem, kdeztode-facto standardy jsou tlaceny silou trznıho podılu.

Teoreticky z pohledu otevıranı dat je idealnı pouzıvat otevrene de-jurestandardy. Jako prıklad muzeme vzıt dokumenty publikovanekonsorciem OGC. Jako prıklad otevreneho, de-facto standardumuzeme vzıt format ESRI Shapefile. Jedna se o zdokumentovanyformat, jehoz implementace technicky ani legislativne nic nebranı. Jesiroce rozsıreny ve vsech softwarech, pouzıvany jako vymennyformat a zda se, ze bez Shapefilu nemuzeme zıt.

ESRI Shapefile

Co je spatneho na ESRI Shapefile?

ESRI Shapefile

Co je spatneho na ESRI Shapefile?

2015

-05-



ESRI Shapefile

Ve zmınene prıpadove studii jsme se snazili preferovat otevrenede-jure standardy a spıse nedoporucovat jine skupiny standardu.Samozrejme jsme se ze strany IPR setkali s otazkou ”co je spatnehona esri shapefile?”, kazdy to zna, pouzıva, softwary to podporujı bezohledu na to, jsou-li open source nebo proprietarnı. Shapefile vypadajako idealnı format.

Nase prakticke zkusenosti ale hovorı jinak a pokusım se vas nynıpresvedcit o pohnout k tomu, abyste se pokusili prekrocit stın tohotoformatu a zacali uvazovat o nejakem modernejsım.

ESRI Shapefile – to dobre

nejrozsırenejsınejpodporovanejsıgood enough


nejrozsırenejsınejpodporovanejsıgood enough

2015

-05-




Abych zacal pozitivne, pokusım se shrnout to, co je na formatu ESRIShapefile dobre:

• Jedna se o pravdepodobne nejrozsırenejsı format pro vektorovadata

• jeho licence nebranı implementaci v software tretıch stran, takeproto je podporovan prakticky vsım, co umı otevrıt data sesouradnicemi x, y

• pro vetsinu prıpadu je proste ”dostatecne dobry”

ESRI Shapefile – to spatneESRI Shapefile – to spatne

2015

-05-



ESRI Shapefile – to spatne

A nynı proc si myslıme, ze se jedna o opravdu spatny format a procbyste meli zacıt uvazovat o jeho nahrade.


vıce-souborovy10 znaku na nazev atributuznakova sada – neznamomax. 2GBbez topologiejeden typ geometrie/souborkomplikovanejsı vazby a stromova struktura nenı mozneulozit



2015

-05-




Zde je plny seznam vlastnostı formatu ESRI Shapefile, kterepovazujeme za problematicke, zkusıme je v rychlosti rozebrat:





2015

-05-




Jedna se o vıce souborovy format. Kdybychom se mohli spolehnoutna to, ze nam budou stacit vzdy 3 soubory, tedy SHP, DBF a SHX,dalo by se s tım jeste zıt, ale ruzne softwary si vytvarı sve vlastnımetasoubory, do kterych ukladajı informace o projekci, prostorove adatabazove indexy nebo dokonce kartografii. Protoze se tak dejemimo specifikaci, jsou tyto formaty uzavrene de-facto standardy, nenımozne je pouzıt v dalsıch softwarech.Vıcesouborovy format take zpusobuje problemy pri komunikaciprostrednictvım webovych sluzeb - shapefile musıte zabalit dojednoho archivu a doufat, ze se vas klient shodne se serverem nakompresnım algoritmu. Popis takoveho hybridu pomocı mimetypespecifikace je prakticky nemozny.





2015

-05-




Deset znaku v nazvu atributu se muze zdast jako dostatecne mnozstıALE nenı. Atribut parcelnı cıslo ma 14 znaku v nazvu, a to zdalekanenı nejextremnejsı prıpad.Softwary se casto chovajı tak, ze pri konverzi z jineho formatu (napr.z databaze PostGIS) nazev atributu natvrdo zkratı. Shapefile je sicevytvoren, ale plna kompatibila formatu opravdu nenı zajistena.





2015

-05-




Dostane-li se vam do rukou ESRI Shapefile, potrebovali byste ho scelym rodkomenem jenom proto, abyste se mohli pokusit odhadnoutznakovou sadu, ve ktere jsou data ulozena. Automaticky to urcitprakticky nejde, coz znacene komplikuje zivot programatorum. Izkuseny datovy analytik se tımto problemem ale musı zabyvat, musıse podıvat na data a uhadnout, v jake znakove sade jsou ulozena.





2015

-05-




Limit velikosti databaze je omezen na dva gigabajty dat. To mohlo bytdost pred jeste deseti lety, dnes ale bezne pracujeme s dalekovetsımi vektorovymi soubory.





2015

-05-




Format nebosahuje topologicke vztahy, coz napr. ja povazuji zanevyhodu. Softwary nic nenutı mıt data topologicky validnı a to castovede k velkym problemum. Ostatne datova sada obce publikovane vregistru RUIAN nenı topologicky validnı a nektere obce se musızacistit - topologie je problem, kterym se vetsina uzivatelu nezabyva,ale mela by.





2015

-05-




Omezenı jednoho typu geometrie na soubor povazuji za dnes jizprezile. Nekdo by mohl rıct, ze to prece stacı, dokonce nam toumoznı zmensit pocet stunu uzivatelske volnosti, coz je vzdyckydobre, nemoznost ulozit parcely a jejich definicnı body do jednohosouboru je ale spatne, abych jmenoval alespon jeden prıpad uzitı.





2015

-05-




V databazi nelze popsat komplikovansı vazby mezi objekty,stromovou strukturu, relacnı vztahy atd. Vse se dohanı az na urovniaplikace, ale prenest tyto vazby mezi softwary je opet spıse problem.

ESRI Shapefile? Radeji . . . ?ESRI Shapefile? Radeji . . . ?

2015

-05-



ESRI Shapefile? Radeji . . . ?

Nynı doufam, ze se mi podarilo vas presvedcit, ze shapefile nenıdobry format.

Pouzitı ESRI Shapefile

vymenny formatuloziste dat


vymenny formatuloziste dat

2015

-05-




Nez se pustıme do hledanı po nahrade za Shapefile, musıme sipolozit otazku, k cemu se vlastne pouzıva?Doufam, ze se mnou budete souhlasit, ze pro vaznou praci, nenıshapefile dobry format. Ve vetsı organizaci se data nahrajı doprostorove databaze a nasledne se s nimi pracuje dale.Shapefile dnes vyuzıvame predevsım jako vymenny format. A pro tenbychom se mohli pokusit najıt nahradu.

Vymenny format

GMLGeodatabazeCSVSQL DumpKMLGeoJSONSpatiaLite

Vymenny format


2015

-05-



Vymenny format

Mohlo by to byt GML? Ne. Je to sice otevreny de-jure standard,zalozeny na XML. Muzeme do nej zapsat stromovou strukturu, ale jeto veskrze upovıdany neprakticky format. Parserovanı XML,obzvlaste u vetsıch datasetu muze narazit na limity hardware.

Vymenny format


Vymenny format


2015

-05-



Vymenny format

Nabızı se moznost jıt podobnou cestou jako sel Shapefile -Geodatabaze je ale uzavreny de-facto standard, nema poradnouimplementaci v softwarech tretıch stran, je svazana pouze s produktyfirmy ESRI, coz prılis pro interoperabilitu nehovorı.

Vymenny format


Vymenny format


2015

-05-



Vymenny format

Jednoduchy format CSV je opravdu prılis primitivnı

Vymenny format


Vymenny format


2015

-05-



Vymenny format

Stejne jako dump databaze ... bohuzel nelze vytvorit univerzalnı SQLdump, ktery bych mohli cıst naprıc databazovymi systemy

Vymenny format


Vymenny format


2015

-05-



Vymenny format

Chvıli to vypadalo, ze vse prevalcuje KML, ale mix geometrie skartografiı, omezenı na jeden souradnicovy system, tezkopadne XML,a tak dale zpusobily, ze se od KML zase v praxi ponekud ustupuje

Vymenny format


Vymenny format


2015

-05-



Vymenny format

Perspektivnım formatem je GeoJSON. Tam kde potrebujeme usetritdatovou linku a zaroven potrebujeme lidsky citelny format jeGeoJSON neprekonatelny. Formalisovat v nem ale datove strukturyje velice obtızne.

Vymenny format


Vymenny format


2015

-05-



Vymenny format

Slibnejsım formatem je dalsı komunitnı standard (tedy otevrenyde-facto standard) SpatialLite. Podobne jako PostGIS je prostoroverozsırenı databaze Postgres, Oracle ma svou prostorovou nadstavbu,je SpatiaLite prostorove rozsırenı souborove SQL databaze SQLite.Slucuje tak vyhody relacnıch databazı s jednoduchou manipulacı sesoubory na urovni operacnıho systemu. Neco tomu ale chybı.

GeoPackage

http://opengeospatial.org/standards/geopackage

Rastry i vektoryZalozeno na SQLiteOGC Simple FeaturesMaximalnı velikost databaze je 140 TBData mohou mıt ruzne typy geometriıPodporovano GDAL (1.11), ArcGIS 10.2.1

GeoPackage


Rastry i vektoryZalozeno na SQLiteOGC Simple FeaturesMaximalnı velikost databaze je 140 TBData mohou mıt ruzne typy geometriıPodporovano GDAL (1.11), ArcGIS 10.2.1

2015

-05-



GeoPackage

Format OGC Geopackage se zatım do povedomı svetovegeoinformatiky neprosadil (kolik lidı ho zna?). Jedna se o otevrenyde-jure standard, produkovany konsorciem OGC castecne jakoodpoved’ na potreby uzivatelu, castecne jako odpoved’ na proprietarnıGeodatabazi.Geopackage umoznuje ulozit libovolna vektorova data spolu srastrovymi (ty mohou byt ve forme dlazdicove cache nebo velkychsouboru, ve formatu GeoTIFF) do prostredı databaze SQLite.Vektorova data jsou pak ulozena v souladu se specifikacı OGCSimple Features.Maximalnı velikost databaze je 140 TB, coz by pro dnesnı praxi melonekolik let stacit.A je jiz podporovan ve vetsine softwaru.



2015

-05-



Takze abych se vratil k titulku prezentace, zbavıme se nekdy formatuESRI Shapefile?Mym cılem nenı zbavit se Shapefilu. Na mnozstvı usecasu je todostatecny format.

2015

-05-



Nepouzıvejme ho ale tam, kde nenı vhodny, pouzıvejte jine formaty,zvazte, jestli pro distribuci vasich prostorovych dat nenı Geopackage,jako otevreny progresivnı format vhodnejsı.

Dotazy?

[email protected]://geosense.cz@jachymc

Dotazy?

[email protected]://geosense.cz@jachymc

2015

-05-


Zaver

proc musˇ ´ı shapeﬁle zem ˇr´ıt?! dobry den´ proc musˇ ´ı … · 2016-01-27 · esri...

Documents