adatbázisok megvalósítása v1 · adatbázisok 2016. 12. 31. mmk-informatikai projekt ellenőr...

ADATBÁZISOKMEGVALÓSÍTÁSA(ADATBÁZISOK,ADATBÁZISKEZELŐK,ADATBÁZISOKFELÉPÍTÉSE,ADATBÁZISOKTERVEZÉSE)

DOMBORA SÁNDOR

2016.12.31. MMK- Informatikaiprojektellenőrképzés

30MB

INFORMATIKAI PROJEKTELLENŐR

Tartalom

2016.12.31. MMK-Informatikaiprojektellenőrképzés 2

• Adatbázisok(relációs,objektumrelációs,NoSQL)• Adatbáziskezelőrendszerek• Adatbázisokfelépítése• Adatbázisoktervezése

Adatbázisok


Adatbáziskezelés Adatbázisok

• Adatbázisonvalamelycélmegvalósításánakérdekébengyűjtött,feldolgozottéstároltadatokacélelérésénekérdekébenmegfelelőenrendszerezettésrendezettstruktúrábantároltváltozatátértjük.

• Azadatokömlesztetttárolásanemtekinthetőadatbázisnak,mivelhiányzikbelőlearendszerezésésastruktúra.

Azadatbázisfogalma

• Papíron,irattárbanrendezett,rendszerezettformában• Elektronikusúton,számítógépesrendszerekben

Adatbázisoktárolásiformája

Adatbázisok



• Bankirendszerek• Vállalatinyilvántartások• Repülőgéphelyfoglalásirendszerek• Könyvtárinyilvántartások• Irattárinyilvántartások

Példák

• Valósidőben(azonnal)• Párhuzamosan(egyszerresokfelhasználó)

Alapvetőhozzáférésiigények

Adattárolás



• Adatokatazótatarolunk,miótalétezikazírás• Azelsőadatbázisokakartotékok,irattárakvoltak• Aszámítógépekmegjelenéseéselterjedéselehetővétetteazadatokelektronikustárolását

• Azelsőszámítógépesadatbázisoktárolásalyukszalagon,lyukkártyántörtént,amelyeknemvoltakdirektmódonelérhetőkaszámítógépekszámára

Történelmiháttér

Adattárolás



• Amágnesesadathordozókmegjelenéseéselterjedéseegyszerűsítetteazadatoktárolásátéshozzáférését

• Ekkormégegyedi,speciálisszoftverekkellettekazadatokkezeléséhez

• Aszámítástechnikagyorsfejlődése(Mooretörvény)lehetővétetteegyrenagyobbmennyiségűadatokfeldolgozásátéstárolását


Adattárolás



• Aszámítógépekfejlődésévelegyüttfejlődtekaprogramozásinyelvekésegyretöbblehetőségnyíltazadatokelektronikusfeldolgozásáraéstárolására

• Azadatokmennyiségéneknövekedésével, azadatokegyedifeldolgozásaéstárolásafárasztóésidőrablófeladattávált

• Megjelentazadatokegységesésáltalánosmódonvalófeldolgozásánakigénye

• EnnekmenténfejlődtekkiazAdatbáziskezelőrendszerek(DBMS)


Adatbáziskezelő rendszerek



• Tegyelehetővétetszőlegesadatbázisok(adatszerkezetek) létrehozását

• Szabványosmódontámogassaazadatoklekérdezésétésmódosítását(egységeslekérdezőnyelv)

• Támogassanagymennyiségűadattárolásátésvisszakereshetőségéthosszútávon

Adatkezelésielvárások

Adatbáziskezelő rendszerek



• Garantáljaazadatokbiztonságátameghibásodássalésilletéktelenhozzáférésselszemben

• Felügyeljeazadatokhozzáférésétazadatokhoz,olyanmódon,hogyazegyesfelhasználókműveleteinelegyenekhatássalatöbbifelhasználómunkájára

• Azegyidejűhozzáférésekneokozhassanakadathibátvagyinkonzisztenciát

Biztonságielvárások

Adatbáziskezelő rendszerek célja



• Afejlesztőneknekelljenfoglalkozniafizikaiszintűadattárolással

• Rejtseelafelhasználóelőlaszámítógépekarchitektúráját

• Azeszközöktípusátólfüggetlenülazalkalmazásugyanúgyhasználhatólegyenazadatbáziskezelőáltaltámogatottmindenplatformon

Absztrakciósréteg




• Azoperációsrendszerekkülönbözőadatelérésimódokattámogatnak

• Rejtseelazadatelérésmódjátafelhasználóvagyfejlesztőelőlakinekalekérdezésmegfogalmazásaésneazadatokelőállításimódjalegyenfeladat

• Többadatelérésimódrendelkezésreállásaeseténazoptimáliskiválasztása

Függetlenségazadatelérésmódjától




• Azadatokszerkezetiváltozásaiminélkevésbébefolyásoljákazalkalmazásokműködését

• Azadatokszerkezetibővítéseneokozzonproblémátazalkalmazásműködésében

Függetlenségazadattárolástól

Adatbázis modellek (napjainkban)



• Azadatoktáblázatosábrázolása,megjelenítése• Egysoregyentitástírle• Atáblázatokatnevezzükrelációknak

Relációsadatbázismodell

• Arelációsadatmodellbővítésévelálltelő• Azobjektumorientáltmegközelítésbenhasználtobjektumésöröklődésimodelltalkalmazzaarelációkatmegvalósítótáblákra

• Támogatjaazadattípusokbővítésétsajátadattípusokkal(objektumok)

Objektum-relációsmodell




• Kétfontosjellemzőamelyekmenténfejlesztik:performancia ésskálázhatóság

• Arelációsadattárolástóleltérőtárolásimódothasznál• kulcs-értékpárok• gráfstruktúra

NoSQL – Not only SQL




• Nagymennyiségűadatkezelése• Agilismódszertanoktámogatása(iterációésgyakorikódpublikálása)

• Dinamikusadatbázisséma(nincselőredefiniáltstruktúra,méretmeghatározás)– pl.újattribútumokhozzáadásaeseténnemkellameglévőadatokatkarbantartani

• Osztottfeldolgozástámogatása– automatikuspartícionálás – azalkalmazásnaknemkelltudniaamögötteállószerverhierarchiáról

• Automatikusadatreplikáció,nemkellezzelfoglalkozniaazalkalmazásnak

NoSQL előnyei

Adatbáziskezelők felépítése



AdatokMetaadatok

Tárkezelő

Feldolgozó

Tranzakció-kezelő

Sémamódosítások Lekérdezések Adatmódosítások

Forrás: Jeffrey D. Ullman – Jenifer Widom: Adatbázisrendszerek

Adatbázis műveletek



• Végrehajtásukhozspeciálisjogosultságravanszükség• DataDefinition Language (DDL)segítségéveltörténik• Műveletekameta-adatokszintjén:• Sémalétrehozás• Sématörlés

• Struktúrák:• Létrehozása• Módosítása• Törlése

Séma(meta-adat)módosítások

Adatbázis műveletek



• DataManipulation Language (DML)segítségéveltörténik

• Elvégezhetőműveletek• Adatoklétrehozása• Adatokmentése• Adatokkeresése• Adatokmódosítása• Adatoktörlése

Adatmanipuláció

Relációs adatbázisok



• Adattáblák(relációk)• Adattábláksorokbólésoszlopokbólállnak• Azoszlopokatattribútumoknakisnevezzük• Asorokazonosítóvalrendelkezhetnek(elsődlegeskulcs)

• Atáblákoszlopai(attribútumai)hivatkozhatnakmásiktáblákelsődlegeskulcsaira– idegenkulcsok

Adatstruktúrákrelációsadatbázisokban




ID Név Beosztás Szervezet Törölt

1 Kiss János Könyvelő 1 Hamis

2 NagyBéla Informatikus 2 Hamis

3 … … … …

ID Név Leírás Törölt

1 Pénzügy Pénzügyiés … Hamis

2 Informatika Informatikai… Hamis

3 … … …

Adatkapcsolatok

Hivatkozások másik tábla elsődleges kulcsára

Szervezetek

Szemelyek

Elsődleges kulcs

Egyedi azonosító




• Adatokgyorshozzáférésétbiztosítják• Különbözőtípusúindexekléteznek,azelterjedtebbek:• B-faindex• Bittérképindex• teljesszövegindexelés

• Amegfelelőindexeklétrehozásafelgyorsítjaazadatokkezelését

• Túlsokindexlétrehozásalassítjaazadatoklétrehozásátésmódosítását(mindenadatotfelkellvenniearendszernekazindexekbeis)

Indexek




B-faindexek

6 27 50

1 2 3 4 5 16 18 22 30 35

7 8 9 11 15




Bittérképindexek

ID Név Osztályzat

1 KissPista 1

2 NagyBéla 5

3 KovácsAndrás 4

4 LazaKati 4

5 ErősPista 5

1 2 3 4 5

1 0 0 0 0

0 0 0 0 1

0 0 0 1 0

0 0 0 1 0

0 0 0 0 1

BittérképekMinden értékhez van egy bittérkép

TáblaOsztályzat oszlop kevés fix (előre rögzített) értékkel




• Gyárifüggvényekéseljárások• Támogatjákafelhasználóttetszőlegeseredményekelőállításában

• Lehetővéteszikazadatbázisbantároltadatoktetszőlegesátalakítását

• Felhasználóiadattípusok• Lehetővéteszikazadatbázis-kezelőrendszerekadattípusainakbővítését

Továbbiadatbázisobjektumok




• Felhasználóáltaldefiniáltprogramcsomagok•Megírásukadatbáziskezelőbeintegráltprogramozásinyelventörténik

• Lehetővéteszikazadatokhelybelifeldolgozásátazadatbáziskezelőrendszerenbelül

• Nemkellazadatokatkiolvasniésátemelniakliensreésvisszaírniazadatbázisba

• Kiválóbatchadatfeldolgozásifeladatokelvégzésére• Alkalmaskomplextriggerek megírására

Tárolteljárásokésfüggvények




• Akülönbözőadatbáziskezelő rendszerekmás-másprogramozásinyelvetkínálnakacélmegvalósítására

• Alkalmazásuknagyobbperformanciát eredményez,főlegnagymennyiségűfeladatfeldolgozásakor– nincsadatmozgatáshálózaton,csakegykontextusváltásaszerverenbelül

• Legismertebbprogramozásinyelvek• Oracle– PL/SQL• MSSQL– Tanzasc-SQL• pgSQL – PL/pgSQL• …

Tárolteljárásokésfüggvények




• Adatokírásaésolvasásaközbenmeghívotteseménykezelőeljárások

• Azadattáblákbabeírtadatokellenőrzésére,kiegészítésére,átalakításárahasználják,példáulüresoszloptartalmánakfeltöltése,adatérvényeségénekellenőrzése,stb.

• Lehetsoronként(for each row)ésutasításonkéntvégrehajtott

• Lehetadatíráselőttvagyutánvégrehajtott(beforeinsert,before update,after insert,after update)

• Megírásukadatbáziskezelőspecifikus

Triggerek




• Primary key (elsődlegeskulcs)• egyediértékazoszloponbelül• Egydei indexkészülhozzá

• Foreign key (idegenkulcs)• Másiktáblaelsődlegeskulcsáravalóhivatkozás• Referenciaintegritáskikényszerítésére• Csakolyankulcsértékszerepelhetatáblában,amelylétezikahivatkozotttáblaelsődlegeskulcsértékeiközött

• Ellenőrzésimegszorítás• Oszlopértékkészleténekamegadása

Megszorítások




• Adatoktárolásánakszegmentálásaazadattáblákbantároltadatokalapján

• Leginkábbnagymennyiségűadatgyorsabblekérdezéseeseténhasználják

• Például:számlákszétosztásatáblapartíciókközöttkiállításihónapvagyévalapján

• Lekérdezésekvégrehajtásánakfelgyorsítása:haapartícionálásban érintettadatmenténkeresünk,arendszercsakazokatapartíciókatveszifigyelembe,amelyekrelevánsadatottartalmazhatnak

• Megvalósításaadatbáziskezelőfüggő

Partícionálás

Adatok lekérdezése (SQL)



• Szabványoslekérdezőnyelv•Mindenrelációsadatbáziskezelőtámogatja• Lehetővétesziazadatokalattiadatbáziskezelőmotorcseréjétaprogramkódcseréjenélkül

• Gyártóikiegészítések• Kényelmesebbéteszikahasználatát• Nagyobbperformanciát nyújtóopciók• Platformfüggővéteszikazalkalmazást

StandardQuery Language




• Insert – adatsorokokbeszúrásaadattáblákba

• Update– adatsorokattribútumainakmódosításaadottfeltételekmentén

• Delete - adatsoroktörléseadottfeltételekmentén

• Select – adatoklekérdezéseadattáblákból

SQLutasítások




• SELECT kifejezés1as oszlop,kifejezés2as oszlop,…• FROM tábla1alias1[INNER|LEFTOUTER|RIGHTOUTER]JOINtábla2alias2ONfeltétel2…[INNER|LEFTOUTER|RIGHTOUTER]JOINtáblaX aliasXONfeltételX

•WHERE feltétel• GROUPBYkifejezések• HAVINGfeltétel• ORDERBY kifejezések• LIMITkezdőadat,adatmennyiség

Select utasítás




• SELECT kifejezés1as oszlop,kifejezés2AS oszlop,…

• Kifejezéseketadhatunkmeg,amelyekaz• adattáblaoszlopainakértékeiből,• konstansokból,• függvényhívásokból(gyáriéssaját)• műveletekbőlállnak

• Azelőállítottértékheztetszőlegeselnevezéstkapcsolhatunk

Select – Elővettadatoklistája




• FROM tábla1alias1[INNER|LEFTOUTER|RIGHTOUTER]JOINtábla2alias2ONfeltételek2…[INNER|LEFTOUTER|RIGHTOUTER]JOINtáblaXaliasX ONfeltételekX

• Egylekérdezésbenegyvagytöbbtáblábólisvehetünkelőadatokat

• DESCARTESszorzatot(mindensor– mindensorral)

• Adhatunkmegösszekapcsolásifeltételeket JOIN

FROM– Honnanvesszükelő




• Kiválogathatjuk:• csakazösszekapcsolásifeltételeknekmegfelelősorokat(INNERJOIN)

• abaloldalitáblasoraithozzákapcsolvaajobboldalitáblasoraitamelyekmegfelelnekazösszekapcsolásifeltételnek(LEFTOUTERJOIN)

• ajobboldalitáblasoraithozzákapcsolvaajobboldalitáblasoraitamelyekmegfelelnekazösszekapcsolásifeltételnek(RIGHTOUTERJOIN)

FROM– Honnan




• WHERE feltétel• Azadattáblákbóltetszőlegesfeltételekmenténválogathatunksorokat

• Afeltétel eredményeegylogikaiérték(igaz/hamis),amelytovábbikifejezésektetszőlegesösszekapcsolásábólállhat

• Például:WHEREtabla1.attributum2=10andtabla2.attributum3>tabla1.attributum2

WHERE– Milyenfeltétleknekmentén




• GROUPBYkifejezések• Összegzések, statisztikákelőállítása• Akövetkezőkérdésekreadottválasz:

• Hányolyansorvan…COUNT• Mennyiazösszegea…SUM• Mennyiazátlaga…AVG• Továbbistatisztikaifüggvények

• Akifejezésekáltalalkotottcsoportonkéntkapjukaválaszt• ASELECT utáncsakstatisztikaifüggvényekésaGROUPBYkifejezési szerepelhetnek

GROUPBY- csoportosítás




• HAVING feltételek• Acsoportosítássoránelőállítottadatokbólválogathatunkafeltételmentén

• Azeredménybenazokacsoportokjelennekmeg,amelyekelegettesznekaHAVINGutánszereplőfeltételeknek

• Afeltételtipikusanacsoportosítássalelőállítottvalamelystatisztikaiértékrevonatkozik

• Példa:Azoncsoportokmegjelenítéseamelytöbbmint5sorbólálltössze:HAVINGCOUNT(ID)>5

HAVING– csoportokszűrése




• ORDERBY kifejezések• Adatoksorbaállításakifejezésekmentén• Azegyeskifejezésekesetébenmegadhatjuk,hogymelyekmenténállítjuknövekvő(ASC)illetvecsökkenő(DESC)sorrendbeazadatokat

• Példa:ORDERBYSZERVEZETASC,FIZETESDESC

ORDERBY– eredménysorbaállítása




• LIMITkezdőadat,adatmennyiség• Gyakranfordulelő,hogyazeredménynagymennyiségűadatottartalmaz,amitegyszerrenemlehetmegjeleníteniaképernyőn,ilyenkorlapozásitechnikátalkalmazunk

• Megadhatjuk,hogyazeredményvalamelysorátóladottsormennyiségettartalmazzonazeredmény

• Adatbáziskezelőszervertőlfüggőenennekszintaktikájaváltozhat(OracleesetébenROWNUM)

LIMIT– szegmentálás




• Nagyadatmennyiségesetébennemmindegy,hogymilyensorrendbenhajtjavégrearendszerazeredményösszeállítását

• Alapvetőenkétféleoptimalizálásimódotkülönböztetünkmeg• Szabályalapú• Költségalapú

• Végrehajtásitervekkészítése,kiértékelése

Lekérdezésekoptimalizálása




• Mindenadatbázisháttérműveletnekmegvanaprioritása• Indexekretámaszkodik(nemkellvégigolvasniatáblákat)• Full table scan (teljestáblaolvasás– nincsmegfelelő index)• Indexscan (indexolvasásmajdcsakazindexbenmegtaláltsorokelővétele)

• Atáblákösszekapcsolásáhoztöbbféletechnikátishasználhat• NESTEDLOOP(összefésüliakéttáblasorait)• SORT-MERGE(atábláksorbaállítottsoraitfésüliössze)• HASHJOIN(kihasználjaaSORT-MERGEalgoritmuskarakterisztikáit,azazonosértékekegymásmelletiségét,csoportosíthatóságát)

Azoptimalizálástechnikákratámaszkodik




• Mindenadatbázisműveletnekmegvaaprioritása

• Alekérdezőmotormeghatározzaazeredményelőállításáhozszükségesfeldolgozásiműveleteket

• Aműveletekprioritásaalapjánazadatokminőségétőlfüggetlenülállítjasorbaakülönbözővégrehajtásiterveket

Szabályalapúoptimalizálás




• Alkalmazásáhozadatminőségistatisztikákravanszükség(mennyiség,eloszlás,stb.)

• Mindenadatbázisműveletnekbecsülhetőaköltségestatisztikákalapján

• Alekérdezőmotormeghatározzaazeredményelőállításáhozszükségesfeldolgozásiműveleteket

• Azoptimalizáló• meghatározzaaműveletekköltségétazadatokminőségétőlfüggően

• összegeziabekerülési költségeketésezalapjánállítjasorbaavégrehajtásiterveket

Költségalapúoptimalizálás

Lekérdezések optimalizálása



Forrás: Oracle.com

Relációs adatbázisok tervezése



Adattáblákmeghatározása

ID Név Beosztás Szervezet Törölt

1 Kiss János Könyvelő 1 Hamis

2 NagyBéla Informatikus 2 Hamis

3 … … … …

ID Név Leírás Törölt

1 Pénzügy Pénzügyiés … Hamis

2 Informatika Informatikai… Hamis

3 … … …

SzervezetekSzemelyek

ID Név Beosztás Szervezet Szervezetleírása

Törölt

1 Kiss János Könyvelő Pénzügy Pénzügyiés … Hamis

2 NagyBéla Informatikus Informatika Informatikai… Hamis

3 … … … …

Szemelyek és szervezetek

Normalizálás Redundanciák kiszűrése

Relációs adatbázisok tervezése



• Azadatlekérdezésiigényekhatározzákmegazalkalmazandóindexeket• adattartalom• csoportosítás• sorbaállítás

• Egyoszloposvagytöbboszloposindex?• Egyadatelővételiműveletesetébenegyindexalkalmazható• Többoszloposindexakkoralkalmazandó,hatöbboszlopratörténikaszűrés

• Hatöbboszlopadataiszerepelnekaszűrésifeltételekben,azoptimalizálóalegmegfelelőbbnektaláltindexetalkalmazza

• Minéltöbbazindexannállassúbbazadatlétrehozásésmódosítás

Indexekmeghatározása


Köszönöm a figyelmet!

adatbázisok megvalósítása v1 · adatbázisok 2016. 12. 31. mmk-informatikai projekt ellenőr...

Documents