workshop valideringstjänsten

Grundvattenövervakningsdagarna vid SGU 2016

Inrapportering av data genom SGU's valideringstjänst – Workshop

12/4 2016 Datasalen Dalarna, Geocentrum

Denna övning syftar till att förbereda leverantörer av regionala grundvattenövervakningsdata för att

använda vår nya portal för inrapportering. Tjänsten är fortfarande under utveckling men vi bedömer

ändå att vi kan börja använda den och att vi under tiden även kan få feedback på tjänsten i form av

förslag på funktionalitet och önskemål kring valideringssvar etc.

SGU arbetar tillsammans med Metria för att förbättra och förenkla tjänsten. Mallar och websidans

utseende kommer troligtvis att förändras under året och det kommer troligen även att läggas till en

möjlighet att validera nivåmätningar.

Allmänt om övningarna Övningarna tar upp vissa delar av inrapporteringen. Meningen är att få en förståelse för hur

inrapporteringen skall gå till. Övningarna täcker inte upp hur man använder Excel eller andra verktyg

som kan behövas för att formatera de egna formaten till leveransmallens format.

Under eftermiddagen under grundvattenövervakningsdagarnas andra dag kommer ni att ha tillfälle

att diskutera valideringstjänsten. Notera gärna under övningen det ni ser som positivt och negativt

och föreslå förbättringar.

Under övningarna vill vi att ni noterar synpunkter kring tjänsten och vad vi kan göra för att

förenkla och göra leveranserna smidigare.

Detta behövs för övningarna

-MS Excel eller motsvarande, exemplen visar hur det ser ut i excel 2007 men är oberoende av version

-internetuppkoppling och tillgång till din epost från datorn

-övningsdata som finns på mappen valideringstjänsten_övningar

Övningsmappen innehåller följande mappar

dok - här ligger denna övningshandledning - detta dokument

exempel - här ligger analysdata som används i övningarna.

indata - här läggs filer som är färdiga för validering

länkar - länkar till valideringstjänsten

Grundvattenövervakningsdagarna vid SGU 2016 mallar - mallar för leveransfiler och för transponeringsfunktionen (funktion för att

transponera data)

temp - temporär lagring av arbetsmaterial

Allmänt om valideringstjänsten SGU kommer från och med i år endast att ta emot data via valideringstjänsten. Tjänsten skall

säkerställa att alla data kommer in i samma format och är validerade mot ett schema. Det betyder att

tjänsten kontrollerar att alla data som kommer in följer leveranmallen och är rimliga. Under en

inkörsperiod kommer vi att handleda de som rapporterar in data från den regionala

miljöövervakningen. Allteftersom kommer vi att göra förbättringar i tjänsten för att ni skall kunna

rapportera in så smidigt som möjligt.

Valideringstjänsten kontrollerar att :

värden som är obligatoriska finns med i leveransen

värden som är kopplade till en kodlista har ett värde ur för attributet korresponderande

kodlista, dvs att bara tillåtna värden finns med i leveransen

värden har rätt format och är av rätt datatyp

Tilläggsfunktion för transponering

Rapportering av analysdata följer i stort Interlab-formatet, ett standardformat som flera labb kan

leverera data i. Eftersom vi sett att många har data strukturerat i breda tabeller dvs med en

parameter per kolumn har vi som test lagt ut en funktion som kan transponera dessa tabeller till den

interlab-liknande form som leveransmallen kräver. Funktionen utgår från en förenklad mall som körs

igenom transponeringsfunktionen och resultatet skickas tillbaka med mail. Merr om detta under

rubriken transponering.

Inrapporteringen i stora drag:

1. Excelmall med flikar för information om prov, analysresultat och stationsinformation laddas

hem från SGUs hemsida, se nedan.

2. I det fall era data ligger med kemiska parametrar som kolumnrubriker kan en transponering

göras med transponeringsfunktionen.

3. Excelmallen används som grund för leveransfilen som fylls på med analysresultat och övrig

information.

4. Leveransfilen/Excelmallen laddas upp på valideringstjänstens webbplats.

5. Valideringen/kontrollen utförs av tjänsten och felrapport skickas tillbaka med mail

6. Leveransfilen/Excelmallen rättas om detta behövs och laddas upp igen och körs tills allt är

rätt.

7. Valideringstjänsten skickar leveransfilen/Excelmallen vidare när den är godkänd.

Grundvattenövervakningsdagarna vid SGU 2016 Valideringstjänsten hittar du här:

http://gis-services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_validering.html

Figur 1 Valideringstjänstens webbsida



Övning 1. Fylla i mallen Ladda ner mallen från valideringshemsidan. Under menyn Grundvatten-SGU väljer du Mallar och

kodlistor

Figur 2 nedladdning av mallar och kodlistor

1. Ladda ner mallen och öppna den i Excel, alternativt hämta den från mappen ”mallar”.

2. Lägg några minuter på att titta igenom mallen.

3. Spara filen i mappen indata med namnet rmo_XX_2016_04_12.xlsx där XX är två eller flera

bokstäver med länsnr. eller organisation.

OBS: Det viktiga är att filen har ett unikt namn när de körs in i valideringstjänsten eftersom den ännu

inte hanterar konflikter mellan filnamn då flera skickar in filer med samma namn ungefär samtidigt.

Namnet på filen får heller inte innehålla mellanslag.

Excelmallen har tre flikar som skall fyllas

PROVADM information om provet

PROVDAT analysdata

NYA_STATIONER information om stationer som inte finns med i SGU's data sedan tidigare

Förutom dessa finns flikar med beskrivningar.

4. I Excel öppar du nu exemple_kemi_data.xlsx från mappen exempel

5. Kopiera in data från exemplet till din leveransfil den som du nyss sparat.

Spara leveransfilen i mappen indata igen.

Kontroll av befintliga stationer och parametrar i PROVADM och PROVDAT

Stationskontroll i PROVADM

Grundvattenövervakningsdagarna vid SGU 2016 I fliken PROVADM finns en kolumn ProvplatsID (J) och en kolumn Provplatsnamn (K). I de fall

provplatsen redan finns registrerad i SGUs miljöövervakningsdatabas (så småningom i det nationella

stationsregistret) skall SGUs ID användas så att vi kan hantera tidsserier och undvika

sammanblandning av stationer. Så

Om stationen finns registrerad i SGUs miljöövervakningsdatabas - Använd SGUs ID i

kolumnen ProvplatsID (J). Om stationen finns i SGUs databas sedan tidigare kan

kontrolleras via SGUs kartvisare.

Om stationen inte finns med sedan tidigare - ange ert eget ID i kolumnen ProvplatsID i

fliken PROVADM och fyll sedan i fliken NYA_STATIONER.

Fliken NYA_STATIONER skall endast användas när stationen inte finns registrerad i SGUs databas. Det

är viktigt att stationer som redan finns får sitt befintliga stations ID/ProvplatsID, annars skapas en

dubblett.

Vi skall nu gå igenom ett exempel för att kontrollera detta och hitta stationen i exemplet som saknar

ett id. Det kan göras med hjälp av en lista med parametrar från SGUs öppna data. På webbsidan där

du laddade ner excelmallen hittar du även en excelfil med kodlistor att ladda ner.

6. Ladda ner filen med kodlistor från valideringstjänstens webbsida, se Figur 2

7. Öppna filen i Excel. Filen är relativt stor och listar alla koder, identiteter, parmetrar som finns

i SGU's databas för miljöövervakning.

8. -Filtrera ut kommun - Välj fliken "stationer och skapa ett filter, välj kommunkod som

filtreringsfält. Filtrera på kommunkod 1384 och 1315. De stationer som ligger i dessa

kommuner kommer nu fram. Du kan även prova med att filtrera på län om du är osäker på

att du har rätt kommunkod.

Figur 3 filtrera fram tänkbara stationer.

9. Leta efter stationen i det filtrerade resultatet,

Grundvattenövervakningsdagarna vid SGU 2016 om du hittar den använd i så fall det ID som du finner i i kolumnen ”STATIONSID”. Det går även att

titta på stationerna i SGUs kartvisare, då kommer dock inte vattentäkterna att synas. Kartvisare

www.sgu.se – Grundvatten – lista till höger - Miljöövervakning av grundvattenkemi. Länk till

karttjänsten finns under fliken förklaringar_PROVADM.

10. Leta reda på stationen Hyltegård i valideringslistan och sätt in Id nummret för den i fliken

PROVADM under provplatsID

11. För Stankt Olofs källa verkar det inte finnas någon station i SGU' valideringlistor använd

därför ert eget id (redan ifyllt i exemplet).

12. Lägg in stationsinformationen för den station som inte fanns med i SGU's listor från

exempel_kemi_data.xlsx till din mallbaserade leveransfil, (redan gjort i exemplet)

13. Spara excelfilen i mappen indata

Kontroll av övriga parmetrar och kodlistor

Parameternamn och metodnamn mm kan kontrolleras mot kodlistan på samma sätt. Du kan göra

detta innan du skickar in filen via valideringstjänsten alternativt efter att valideringen har körts och

felloggen indikerar vilka parameternamn eller andra koder som var felaktiga.

Övning 2 kör leveransfilen genom valideringstjänsten 1. gå in på valideringtjänstens webbsida:

http://gis-

services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_validering.html

2. följ instruktionerna på sidan

3. tryck på choose file och välj den filen som du redigerat och som ligger i mappen indata.

4. Lägg in din epostadress och ditt namn, lägg även till vilket län eller organisation exvis

Jakob Nisell SGU.

5. På mottagande datavärd skall du normalt lägga en SGU adress, för övningen lägger du

dock din egen epostadress även här.

6. media monitored skall vara water.

7. starta valideringen med knappen Starta validering.

8. ett meddelande kommer upp som du skall bekräfta med OK

9. efter någon minut kan du kolla din epost, Under tiden kan du börja förbereda nästa övning.

Svaret från valideringstjänsten kommer i form av ett mail med länkar till valideringsresultatet. Det

kan ta en stund att få dessa

Svaret från valideringstjänsten kommer att se ut så här med det exempel som laddades upp

--------------------------------------------------------- Den rapport som du laddar upp har felaktigheter i nyckelattribut, "Lablittera". Attributet "Lablittera" och värdet 15180842 på fliken PROVADM förekommer på mer än en rad, vilket

http://www.sgu.se/



Grundvattenövervakningsdagarna vid SGU 2016 inte är tillåtet. Felet måste åtgärdas, sedan kan rapporten laddas upp igen. ------------------------------------------------------------ Detta betyder att det finns dubbletter av lablittera i fliken PROVADM. filen kan innehålla flera fel förutom detta men valideringen går inte vidare förrän detta är åtgärdat.

10. Åtgärda problemet med lablittera dubbletter och gör om uppladdningen och valideringen.

Ett nytt svar från valideringstjänsten kommer nu att mailas till dig igen.

Kontrollera felmeddelanden

I mailet som du fått från valideringstjänsten hittar du en länk till att titta på resultatet i en

webbläsare.

Figur 4 svar från valideringstjänsten

11. Följ länken Webbsida för att komma till valideringsresultatet

12. Läs igenom förklaringarna till felkoder och varningar högst upp på sidan

13. om ni använt exemplet bör det inte finnas några Error, däremot finns några varningar. du

kan titta på dessa genom att klicka på texten

För att visa, gömma Warning, klicka här

Övning 3 hantera felmeddelanden

Validera en leverans som innehåller fel

För denna övning finns en färdigställd leveransfil som innehåller några avvikelser för hur leveransen

skall se ut, denna ligger i mappen exempel

1. öppna exempel \rmo_xx_2016_04_12_med_fel.xlsx


2. spara filen mappen indata som rmo_xx_2016_04_12_med_fel.xlsx där xx är dit län eller

organisation

3. kör den filen genom valideringstjänsten, följ instruktionerna i övning 2

4. När du fått svar från valideringtjänsten via mail öppnar du webbsidan med

felmeddelanden.

Figur 5 exempel på felmeddelande

5. Ta fram excelfilen rmo_xx_2016_04_12_med_fel.xlsx i indata mappen.

6. Gå till fliken "Förklaringar_PROVDAT" och leta upp vad som står om Mätvärdetal inklusive

fotnoter.

7. Felbeskrivningen hänvisar till rad 10 i fliken PROVADM. ändra mätvärde tal så att det blir

korrekt

8. Gå igenom resten av felen och varningarna om det finns sådana, ändra och kör om

valideringen

Övning 4 Transponera tabeller med analysdata. Vissa labb levererar data i breda tabeller där de olika kemiska parametrarna finns angivna i olika

kolumner. I denna övning använder vi en funktion som vi har satt upp för att transponera data till

den form som skall användas vid leveranserna. Det finns naturligtvis andra sätt att transponera

tabeller det kan göras rent programmatiskt in viket programmeringsspråk som helst eller med FME,

SAS , Access eller JMP program som säkert inte alla har tillgång till. Det går även med lite klippande

och klistrande att göra det i Excel. Vi har tagit fram en mall som enklare kan fyllas i och köras genom

tranponeringsfunktionen för att sedan hanteras vidare i Excel.

9. Öppna excelfilen exempel_bred_tabell.xlsx i mappen exempel

10. spara excelfilen i mappen indata som rmo_xx_bredtabell.xslx

11. Titta igenom excelfilen och lägg märke till hur den är uppbyggd.

Excelfilen har en flik analysdata som innehåller alla kemiska analyser.

De gröna fälten är låsta och skall inte utökas eller ändras det är dock fritt att lägga till eller ta

bort kolumner med kemiska parametrar. I mappen mallar finns mallen för hur data skall se ut

för att kunna köras i valideringstjänsten.

12. öppna transponeringsfunktionen:


http://gis-

services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_transponering.html

13. ladda upp filen och klicka på starta validering

14. Invänta mailsvar och öppna filen i Excel

15. öppna en mall som du hämtar från valideringstjänstens webbplats eller från mappen mall

16. Spara mallen som rmo_xx_2016_04_12.xslx där xx är ditt länsnummer eller organisation.

17. Leveransfilen kan nu kompletteras med saknad information i PROVADM och skickas in

genom valideringstjänsten som tidigare uppgift redigera och lägg till den information som

saknas.

18. leverera filen genom valideringstjänsten

Fundera på om transponeringsfunktionen är något ni har behov av och om formen för detta är

tillräcklig. Vi kan ta upp detta under slutliga diskussionerna under dag 2

Övning 5 Extrauppgift. Hantering av många fel eller varningar. I det fall många fel skall hanteras kan det var bra att kunna ta hjälp av felloggen för att

hitta felen. felloggen kommer med tiden att bli mera anpassad för att snabbt identifiera

fel. Denna övning visar bara på ett exempel på hur felhanteringen skulle kunna

underlättas med den utformningen som loggen har idag.

Fundera på hur felhanteringen skulle kunna förbättras

1. öppna arbetsboken exempel_ovning5_xx_lan.xslx

2. spara arbetsboken med samma namn i indata men byt xx till ditt länsnummer

3. kör valideringstjänsten och vänta på svar.

4. Öppna webbsidan där felen och varningarna finns på den filen du nyss skickade in finns.

5. visa varningar för fliken PROVDAT

6. Titta även på varningarna. längst ner finns en varning kring Metodbeteckning.

Några valideringssteg är ännu inte implementerade i den version som ni nu arbetar med. Med tiden

kommer kraven att stramas upp vad gäller överensstämmelser med kodlistor osv.

http://gis-services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_transponering.html

http://gis-services.metria.se/inspire/validering_hav/sidor/grundvatten/grundvatten_transponering.html


7. Skapa en ny arbetsbok i excel Kopiera och klistra in innehållet från PROVADM från

exempel_ovning5_XX som du skall rätta. Spara den i temp katalogen med namnet

rättningar..

8. Markera texten från KOLUMN;RAD;FELMEDDELANDE och nedåt under PROVADM Error på

webbsidan med felrapporten .

Figur 6 markera och kopiera felmeddelanden

9. Klistra in felmeddelandena i den nya arbetsboken rättningar på ett nytt blad.

allt läggs in under en kolumn. nästa steg blir att separera till enskilda kolumner.

10. Markera kolumnen du klistrat in

11. Under data (excel 2007) väljer du Text till kolumner.

12. Välj avgränsande fält

13. Välj semikolon och inget annat som separerare ;

14. Under den sista raden gör en lista med alla radnummer med start på 2 - antalet rader i

PROVDAT fliken se Figur 7.


Figur 7 lägg till raderna 2 till 12 (sista raden i PROVDAT

15. I Excel använd nu Pivottabell som finns under Infoga.

16. markera de tre kolumnerna med kolumn rad och felmeddelande.

17. välj att placera pivottabellen i den flik och efter den sista kolumnen där PROVDAT data

ligger i den nya arbetsboken" rättningar"


Figur 8 skapa en pivottabell som läggs efter analysdata

Figur 9 placering för pivottabellen

18. välj RAD för radettiketter, KOLUMN för kolumnettiketer och Felmeddelande för Värden.

Figur 10 definiera upp pivottabellen


19. markera cellerna i pivottabellen ( M2 - N13) kopiera och klistra sedan in

special i bladet med data som skall rättas. lägg dessa i kolumnen efter

data.

20. Nu kan man välja Autofilter i de blad som du använder för att rätta och på

detta sätt sortera ut de rader som är felaktiga.

21. Leta reda på felen och redigera data så att de följer mallen.

22. Kopiera de redigerade datamängden och klistra in den i den arbetsbok

som skall användas för valideringen.

Kontakt kring valideringstjänsten [email protected]

018-179062

workshop valideringstjänsten

Environment