oracle enterprise metadata management rövid...
TRANSCRIPT
1 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Oracle Enterprise Metadata Management
Rövid bemutató
Gollnhofer Gábor
Oracle Enterprise Metadata Management
2 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Tartalom
Bevezetés a metaadatokhoz
Oracle Enterprise Metadata Management - OEMM
Összefoglaló
Linkek
Kérdések & válaszok
3 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Bevezetés a metaadatokhoz
Mi is az a metaadat?
A metaadatok forrásai és „búvóhelyei”
Fajtái, típusai, feladatai/felhasználása
Miért kell kezelni a metaadatokat?
4 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Név:
Cím:
Telefonszám:
Ügyfélszám:
Elhasznált köbméter:
Vízóra állás:
Vízdíj (Ft):
Mi a metaadat?
Példa
Metaadat nélkül (csak adatok)
Metaadatokkal együtt
A Válasz a Nagy Kérdésre...
Az Élet, a Mindenség Meg Minden...
...
- Negyvenkettő - mondta Bölcs Elme végtelen méltósággal és hidegvérrel.
...
- Negyvenkettő! - ordította Loonkawl. - Ez minden, amit hét és fél millió év alatt kiagyaltál?
- Viszont gondosan ellenőriztem - mondta a computer - és egész egyértelműen ez a Válasz. Hogy őszinte legyek, a probléma szerintem abban rejlik, hogy magatok sem tudjátok, mi a kérdés.
...
Mihelyst tudjátok, hogy mi a kérdés, érteni fogjátok a választ is.
5 Oracle Enterprise Metadata Management - HOUG konferencia 2015
A metaadat definíciója
A metaadat „adat az adatokról“
Komplett információcsomag, amely pontosan definiálja a szervezet működéséhez szükséges adatokat
A szervezeten, vállalaton belül
közös nyelvet határoz meg,
a munkatársak és rendszerek könnyen kommunikálhatnak
A metaadat beazonosítja a rendszerekben levő adatokat és menedzselésük/irányításuk módját
Üzleti kontextusban mutatja be az adatokat
Specifikálja a rendszer(ek)en belüli helyét
Adatkinyeréseket, betöltéseket, frissítéseket indíthat el
6 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Jellemző metaadat fajták
Üzleti szabályok
Adattérképek, táblák, indexek
Mezőnevek és definíciók
Kiválasztási, szűrési kritériumok
A származtatott adatok számítási szabályai
Adat transzformációk
Adatkinyerés, -töltés ütemezése
Működés statisztikai adatai
Felhasználási adatok
7 Oracle Enterprise Metadata Management - HOUG konferencia 2015
A metaadatok feladatai
Feladat #1: Adatdefiníció
A „Vevő” az „A” rendszerben ugyanaz, mint az „Ügyfél” a „B” rendszerben?
Mit jelent a FEL_ERT? „Felvett érték” vagy az „Ügyfél értéke”? Kitől kell megkérdezni?
A „Bevétel” a termékeket és szolgáltatásokat is tartalmazza vagy csak a termékeket?
A cél: hogy almát almához hasonlítsunk
8 Oracle Enterprise Metadata Management - HOUG konferencia 2015
A metaadatok feladatai
Feladat #2:
az adatok forrásának, transzformációinak leírása
Hogy tudjuk, honnan jön az adat és hová megy
Ez az értékesítési adat rossznak tűnik, honnan jött?
Mely számokat kombinálják a havi adat előállításához?
Ha ezt megváltoztatom, mire lesz hatással?
Milyen gyakran frissítik a jelentéseket?
Kitől kell ezeket megkérdeznem?
9 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Metaadatok típusai és felhasználói:
Üzleti metaadatok
Felhasználói:
Az üzleti felhasználók
Célja:
A metaadat segítség az adatok maximális kihasználásához
Megjelenési formája:
Üzleti definíciók, szabályok, fogalomtárak, hierarchiák
Lekérdezések, nézetek, navigálási szabályok
Az információ használata/elterjedtsége
Help Desk (nevek, szaktudás területei, telefonszám)
10 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Metaadatok típusai és felhasználói:
Technikai metaadatok
Felhasználói:
Rendszertervezők, fejlesztők és adminisztrátorok számára
Célja:
A rendszerek kialakításához, bevezetéséhez és működtetéséhez szükséges adatok teljes leírása, jellemzése
Megjelenési formája
Adatbázisok, táblák, oszlopok, indexek, kapcsolatok
Adatforrás, adat transzformáció és leképezési szabályok
Adat adminisztrációs folyamatok és szabályok
Adat frissítés, használat mérési eredmények
11 Oracle Enterprise Metadata Management - HOUG konferencia 2015
A metaadatok „standard” forrásai
Elérhetőségi sorrendben:
DBMS katalógusok (repository)
Tranzakciós rendszerek adattárai
ETL eszköz repository
Adatmodellezési eszközök
Belső és külső adatszótárak, ontológiák
Szakértők (szakterületi és informatikai szakértők)
12 Oracle Enterprise Metadata Management - HOUG konferencia 2015
A metaadatok „titkos forrásai”
Feldolgozhatóság sorrendben:
Adat- és folyamat modellekben
Szótárakban és katalógusokban
Üzleti folyamatok leírásában, vállalati standardokban
Munkafolyamok/workflow-k és a beágyazott megjegyzéseikben
Fájlszerkezetekben és beágyazott megjegyzéseikben
Alkalmazásprogram logikában, megjegyzésekben
13 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Hol a helye az architektúrában?
Forrás: Oracle Information Management & Big Data Reference Architecture
14 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Tartalom
Bevezetés a metaadatokhoz
Oracle Enterprise Metadata Management – OEMM
Összefoglaló
Linkek
Kérdések & válaszok
15 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Oracle Enterprise Metadata Management - OEMM
Bevezetés, történet
Funkciók
Kapcsolódási lehetőségek, támogatott eszközök
Demo
Előnyök, hátrányok
16 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Oracle Enterprise Metadata Management
Bevezetés, történet
Vállalati metaadat kezelő megoldás
ISO/IEC 11179 szabvány kompatibilis „Information Technology -- Metadata registries (MDR)”
Eredeti gyártó:
Meta Integration Technology, Inc. (MITI)
1997 óta „csak” metaadat kezeléssel foglalkoznak
többen is OEM-ben beépítették („MITI bridge”)
Oracle verzió
Oracle (OEM) branding és módosított webes felület (Oracle Enterprise Metadata Management 12cR1 (12.1.3.0.1))
A legújabb 8.0-ás verzió alapján
17 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Oracle Enterprise Metadata Management
Fontosabb funkciói
Metaadatok importálása és indexelése
Kézzel és ütemezetten is indítható
Glossary (fogalomtár)
Keresés és metaadatok böngészése
Szöveges leírások
Diagramok (adatmodell, ETL folyamat, stb.)
Függőség és hatáselemzés (impact & lineage)
Szöveges formában
Grafikus ábrázolás
Verziókezelés
18 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Oracle Enterprise Metadata Management
Felépítése, elemei
Felhasználói felület
Böngésző alapú (Chrome, Firefox, Safari, IE)
Metadata Manager és Metadata Explorer „alkalmazás”
Web alkalmazás server
Tomcat vagy Oracle WebLogic Server (esetleg Websphere)
Repository
Relációs adatbázisban (pl. Oracle Database12c)
Meta modell „bridge”-ek
A különböző eszközök támogatásához (import)
Kézi és ütemezett „begyűjtés”
19 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Oracle Enterprise Metadata Management
Metaadat források és funkciók
20 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Kapcsolódási lehetőségek, támogatott eszközök
Kb. „a világ összes komolyabb eszközét ismeri”
Oracle termékek
Database (v6-12c), Designer, Data Modeler, Oracle Data Integrator, OWB, OBI, Hyperion
Más gyártók
Adatmodellezés: Erwin, ER/Studio, PowerDesigner, RationalRose
ETL: BODI, DataStage, Informatica, SAS DIS, SSIS, Talend
BI: Business Objects, Cognos, MicroStrategy, QlikView, SAS, Tableau, stb.
Adatbázis: DB2, SQL Server, Netezza, Greenplum, Excel, SSAS, Teradata, különböző Hadoop implementációk, stb.
XMI (CWM és UML)
21 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Környezet: heterogén!!!
OEMM 12.1.3
Repository: SQL Server 2008R2
Metaadat források:
Business Glossary: Excel
Koncepcionális modell: SAP PowerDesigner
Fizikai adatmodell: SQL Developer Data Modeler 4.1.0
Adatbázis: Oracle Database 12.1.0.2 (és Hadoop)
ETL eszköz: ODI 12.1.3
OEMM és repository: Windows
Adatbázis és ETL: Oracle Linux 6.5 Ingyenes virtuális gép: Oracle Big Data Lite VM 4.0.1
22 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Képernyők
Fogalomtár (Glossary)
Metaadat importálás (Excel, SDDM, PDM)
Metaadat keresés, böngészés
Hatás és előzmény elemzés (Impact & lineage analysis)
Adatfolyam diagram
23 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Fogalomtár - Glossary
24 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Adatmodell importálás
25 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Adatmodell importálás – Eredeti modell (részlet)
26 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Adatmodell importálás – OEMM modell (részlet)
27 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Metaadat keresés, böngészés
28 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Metaadat keresés, böngészés
29 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Metaadat keresés, böngészés
30 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Hatás- és előzmény elemzés (Impact & lineage)
31 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Demo
Adatfolyam (Data Flow Overview)
32 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Előnyök
Végre van ilyen a termékpalettán
Nyitottság
Támogatott eszközök, platformok széles köre
Elterjedt (más gyártók eszköziben is beépítve)
Kiegészíthető, bővíthető
Funkcionalitás
Böngésző alapú felhasználói felület
Jó keresési lehetőségek
Impact és Lineage elemzés támogatás
Ütemezett frissítés támogatása
33 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Hátrányok
„Enterprise kategóriájú” árazás
Angol nyelvű felület (üzleti felhasználóknak?)
Viszonylag kevés tapasztalat
34 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Összefoglaló
A metaadat kezelés az egyik „feljövőben lévő” terület
Az adatvagyon kezelés kritikus eleme
Business glossary és impact&lineage analysis
Önkiszolgáló BI („Mit, hol találok?”)
Többféle megoldást is lehet használni
Akár vásárolni, akár fejleszteni is lehet
Az Oracle-nek is van megoldása
Ami heterogén környezetben is jól működik
Mindenkinek foglalkoznia kell vele!
Főleg, aki elosztott rendszerekkel dolgozik
Inkább előbb, mint utóbb
35 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Tisztult a kép?
36 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Kérdések & válaszok
37 Oracle Enterprise Metadata Management - HOUG konferencia 2015
Linkek
Oracle Enterprise Metadata Management (OEMM)
http://www.oracle.com/technetwork/middleware/oemm/overview/index.html - a ”hivatalos” oldal
https://community.oracle.com/community/business_intelligence/system_management_and_integration/enterprise-metadata-management - a ”community” oldal
http://metaintegration.net - az ”eredeti gyártó”
http://metaintegration.net/Products/MIMB/SupportedTools.html
Külső példák:
http://www.rittmanmead.com/2015/01/why-and-how-to-use-oracle-metadata-management-12c-part-1-getting-started/
http://information-asset.com/index.php/integrating-oracle-enterprise-metadata-manager-with-hadoop/