alojz androvič - centrálny dátový archív v roku 1

TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ

OPIS je spolufinancovaný z ERDFwww.opis.culture.gov.sk

Centrálny dátový archívv roku 1

Ing. Alojz Androvič PhD., Mgr. Lenka Bazalová, Mgr. Helena Boskovičová, Mgr. Ivan Ciglan, Ing. Ondrej Kádár, Mgr. Lucia Kelemenová, Ing. Roman Král, Ing. Stanislav Lichý, Mgr. Peter

Lupták, Mgr. Ivan Martynek, Ing. Milan Rakús, Ing. Juraj Strnisko, Ing. Alena Špániková, Mgr. Bibiána Žigová.



Operačný program IS • Príprava 2007 OPIS – 2011 reštart• Realizácia 2012 ‐ 2014• V rámci projektu sa vybuduje centrálny

dátový archív, ktorý musí v zmysle medzinárodných bezpečnostných štandardov zabezpečiť uloženie minimálne 3 najhodnotnejších kópií digitálnych objektov na minimálne 2 lokalitách, ktoré nesmú byť od seba vzdialené bližšie ako 50 km. Lokality budú dve: Univerzitnáknižnica v Bratislave (primárny sklad) a sklad (sekundárny), ktorý bude zriadený v prenajatých priestoroch. Obidve lokality budú vybavené hardvérom a softvérom a navzájom zosieťované. Celý systém bude mať zároveň zabezpečený servis.

• OPIS 188 mil. €– 7 DP + 3 NP projekty

• CDA 33 mil €



CDA ‐ Východiská • Rámec

– OAIS ISO 14721:2014– TRAC ISO 16363:2013

• Metodiky OPIS– 01, 03 riadenie, SMIB– 17, 18 LTP, identifikácia

• Požiadavky– Systémové (20kap.): 142– Kapacitné: 25 PB+150 TB

NP KO TB TB/7

NP 1 SNK 2 800 000 17 000 93

NP 2 SNG 110 000 500 2

NP 3 SNP 200 000 3 500 30

NP 4 PÚ SR 3 000 500 2

NP 5 SFÚ 60 000 4 000 20

Spolu 3 173 000 25 000 147

0,00

5000,00

10000,00

15000,00

20000,00

25000,00

30000,00

01.2012

04.2012

07.2012

10.2012

01.2013

04.2013

07.2013

10.2013

01.2014

04.2014

07.2014

10.2014

01.2015

04.2015

07.2015

10.2015

DP6 *

NP10

NP5

NP4

NP3

NP2

NP1



CDA ‐ Design• Redundancia

– Lokalitná (A + B + C)– Technologická >>>

• Komponenty– Servery

• IBM Power 770 / 48 proc.• HP DL 320, 360, 380 (11)

– Diskové polia• IBM v 7000 (170 TB)

– Pásková technológia • IBM 3584 25 PB (2 rob. + 12 drive)

• IBM 3500 LTO5 (10) LTO6 (4)



CDA ‐ Network• LAN

– Core switch HP 10504– Firewall HP JG 213A– Router HP JG 311A

• SAN (opt. Switch)– IBM 80B‐4– IBM 24B

• WAN– SANET 2x1 Gbit fibre



CDA ‐ Software • Operačné prostredie

– AIX, RedHat, Windows• Systémový SW (IBM)

– LTFS, GPFS, HSM, TSM • Aplikačný SW (Tempest)

– CDA Aplikačný server– CDA Databázový server– CDA System Directory– CDA Impex (JAVA)– CDA Framework

• Deployment diagram



CDA – Zdroje údajov• Dohoda o vklade

– Volumetria (odhad)• Vklad/výber: SIP, DIP• Veľkosť SIP: max., min.• Objem: celkom, týždeň

– Profil vkladateľa• PUID‐MIME‐ext.

– Certifikáty• garanti• autentifikácia (prístupy)• autorizácia (balíky)

• Určené spoločenstvo

CDA25 PB

Digitálne

múzeum

Digitálna

knižnica a

archív

Digitálna audiovízi

a

Digitálna

galéria

Digitálny pamiatkov

ý fond Dokumentačno-informačné

centrum rómskej kultúry

Dopytové projekty

Alternatívne zdroje

PUID MIME Názov

fmt/43 image/jpeg JPEG FIF v1.01

fmt/96 text/html Hypertext Markup

x‐fmt/111 text/plain Plain text



CDA – Formáty údajov• Profily

• PFI (identita, komunikácia) • Ingest (formáty, procedúry)• Disseminácia (konverzie,..)

• Ingest Profil: • <pfiprofile curator="PUR" type="INGEST"

id="PUR_1"> <properties> <propertyname="metsSignatureVerify"/> <propertyvalue= "fmt/11,fmt/12,fmt/13, fmt/17,fmt/18, fmt/19,fmt/20,fmt/41, fmt/43,fmt/44,fmt/93, fmt/94,fmt/95,fmt/101,fmt/111,fmt/154, fmt/156,fmt/208,fmt/276,fmt/353,x‐fmt/18,x‐fmt/76,x‐fmt/111,x‐fmt/263," name="allowedFormat.list"/>

• Formáty údajov



CDA – Balíky údajov

• METS

• SIP AIP DIP• BagIt• Zip• Tar

• AIP (SFU_01)



CDA – Transport údajov• Ingest LTO, HDD, online• Synchronizácia JAG• Disseminácia LTO 5, online

• Pásky– LTO5 1,5 TB (140 MBit/s) – LTO6 2,5 TB (160 MBit/s)– Jaguar 4 TB (250 MBit/s)

• Disky – HDD 4TB (160 MBit/s)

• Online– Webdav (5T/24 hod.)



CDA ‐ Správa médií• Organizácia médií

– Ingest LTO 5, 6 (LTFS)– Archív A, B (JAG/TSM)– Archív C (JAG/LTFS)– Synchro (JAG/LTFS) Tue

Nov 24 08:00:03 CET 2015 pocet volnychSYNC pasok je 100 pocet volnych C pasok je 45 pocet volnych LTO pasok je 19 Volnemiesto v /impexfs 33 TB Pocet pasok v mediacache jimpex‐lto 4 Pocet pasok v mediacache jimpex‐jagarch 0 Pocet pasok v mediacache jimpex‐jagsync 1

• Páskový kolotočMagnetické pásky LTO5, LTO6,

pevné disky, online vklad DC pásky

DA/DB pásky

LF pásky

Trezor – lokalita C

Pásková knižnica

Do druhej lokalityna synchronizáciu

Po spracovaní naformátovaťa poslať späť do PFI

DA/DB páskyPo spracovaní naformátovať

a zadať znova na novénačítanie dát

Rozdelenie magnetických pások v systéme CDA:LTO5 – vklad, disemináciaLTO6 – vklad,LF – synchronizačné,DC – archivačné DA, DB, DC



CDA – Logistika médií• CDA Modul Logistika

– Transport• 3 lokality (A,B,C)• 4 typy offline médií (LTO5, LTO6, JAG, HDD)

– Kampane• 2 lokality (A,B)

– Označenie• B‐SNP‐LTO5‐20141211‐0915• B‐SNG‐ONL‐20141007‐1045• A‐B‐JAG‐20141220‐0800

• Objednávka prepravy



CDA – Procesy ‐ Ingest• Ingest

Príjem a spracovanie údajov(Ingescia) je podproces, ktorý zvaliduje vstupný Informačný Balík na vklad, zaeviduje Informačný Balík na vklad ako prijatý od žiadateľa o vklad, vytvorí na jeho základe Informačný Balík pre Archiváciu, k nemu Popisné údaje, AIP uloží do úložného priestoru pre archiváciu, Popisné údaje do úložného priestoru pre rýchly prístup, a podľa potreby vytvorí kópiu AIP určenú pre záložnú CDA lokalitu (CDA‐C).



CDA – Procesy ‐ Validácia• Quality Assurance (OAIS)• kontrola kompletnosti súboru (súborov) SIP • rozbalenie adresárovej štruktúry zo súboru (súborov) SIP do

pripraveného pracovného adresára• overenie digitálneho podpisu súboru obsahujúceho

metadátakontrola správnosti súboru obsahujúceho metadáta• kontrola, či názov koreňového adresára zodpovedá identifikátoru

SIPID• kontrola, či poskytnuté metadáta PDI, zodpovedajú formátu

dohodnutému s príslušným PFI (validácia voči XSD)• kontrola, či metadáta referencujú všetky dodané digitálne objekty

(dátové súbory)• kontrola, či podľa Informácie o prístupových právach, má CDA

deklarované dostatočné práva na zamýšľanú manipuláciu s obsahom• kontrola úplnosti jednotlivých rozbalených súborov ‐ checksum, ak

boli dodané kontrolné kódy• overenie digitálneho podpisu pre jednotlivé súbory (ak je dodaný)• antivírová kontrola súborov• iné kontroly podľa špecifík Dohody o zverení obsahu na dlhodobú

archiváciu.



CDA – Pocesy ‐ Disseminácia• Objednávka • Disseminácia



CDA – Používateľské rozhranie• Katalóg

• Objednávka na vklad

• Objednávka na výber

• User management



CDA – Operačné rozhranie• Správa úloh • Manažment médií



CDA – Organizácia• Úsek elektronizácie

– Odbor CDA (12) BA+MT• Odd. informačných technológií

• Odd. informačných systémov

• Odd. informačných procesov

– Externé kapacity• Služby podpory (2 FTE)• Experti (1 FTE/4)

• Organizačná štruktúra



CDA ‐ Certifikácia• ISO 16363

– 2014 Interný audit– 2015 DRAMBORA– 2016 ?

• ISO 27001– 2014 – 2015 recertifikácia– 2016 ...



cda.kultury.sk• Monitoring A, B

– Denný • Ingest• Disseminácia• Synchronizácia

– Kumulatívny• Počet SIP > 1 500 000• Počet SIP / PFI• Objem dát > 2 700 TB• Objem dát / PFI



CDA – Udržateľnosť 2015 ‐ 2020• Služby podpory

„Celý systém bude mať zároveň zabezpečený servis.“– 1 650 000 € / rok

• 750 000 € SW licencie• 650 000 € HW 24x7• 250 000 € apl. podpora

• Investičná obnova 15%– 2 500 000 € / rok

• 2014: 4 649 152• 2015: 7 205 291• 2016: 9 576 119 (+ 5 096 000)

2013 2014 2015 2016 2017CDA 0 0 3067086 5096000 5107307UKB 4261750 4649152 4138205 4480119 4516948

0

2000000

4000000

6000000

8000000

10000000

12000000

Název osy

Rozpočet UKB 2013 ‐ 2017



You are welcome !• alojz.androvic,

lenka.bazalova, helena.boskovicova, ivan.ciglan, ondrej.kadar, lucia.kelemenova, roman.kral, stanislav.lichy, peter.luptak, ivan.martynek, milan.rakus, juraj.strnisko, alena.spanikova, bibiana.zigova

• @ulib.sk

alojz androvič - centrálny dátový archív v roku 1

Technology