az adatkezelés eszközei - fay.sopron.hufay.sopron.hu/info/tetelek/13.pdf · mozgókép....
TRANSCRIPT
Tömörítés története
A tömörítés igénye nem elsődlegesen a számítógépek adattárolása miatt merült fel, hanem a számítógép-hálózatok megjelenése volt az, ami arra sarkallta a kutatókat, hogy a rendelkezésre álló átviteli közegen, egységnyi idő alatt minél több hasznos információt vigyenek át. A matematikusok csakhamar előálltak olyan algoritmusokkal, amelyek segítségével az adatokat tömörítették és a kevesebb byte-ot nyilván hamarabb el is tudták küldeni.
Tömörítés története
Az első publikációt egy tömörítési algoritmusról Shannon és Fano, az 1950-es években tette közzé. Ennek finomított változata a Huffman-kódolás, amit ma is sok tömörítő program használ. Hátránya, hogy az eredeti algoritmus lassú, így további algoritmusokat kerestek.
Az egyik leghíresebb adattömörítéssel foglalkozó páros Ziv és Lempel. Több algoritmust is készítettek, amelyek közül az elsőt 1977-ben publikálták. A legtöbb tömörítő program Ziv és Lempel valamelyik algoritmusát használja. Ilyen tömörítő program például a Pkzip.
Tömörítés fogalma
A tömörítés lényege az, hogy a fájl mérete nem minden esetben azonos az információtartalommal. (redundancia jelenléte) A tömörítés az a folyamat, melynek során egy fájl tartalmát egy algoritmus segítségével egy másik, az eredetinél kisebb méretű állománnyá alakítjuk át. Az algoritmusok az adatállományt végignézve, az ismétlődéseket és az azonosságokat keresik meg így csökkentve a fájl méretét. Fontos, hogy ismert legyen az az algoritmus is, amely a tömörített állományból képes az eredeti visszaállítására vagy kibontására, azaz a folyamat megfordítható legyen.
Tömörítés
Az adattömörítés célja az adatok feldolgozása oly módon, hogy azok minél kevesebb helyet foglaljanak, vagy minél gyorsabban lehessen őket továbbítani. Ez azért lehetséges, mert a valós világ adatai többnyire igen redundánsan és nem a lehető legtömörebb formában reprezentálódnak.
Célja:
◦ Tárolási méret csökkentése
◦ Egy lépésben több állomány továbbításának lehetősége minél gyorsabban
Tömörítés típusai
Veszteségmentes
Veszteséges
Más-más tömörítést követelnek az eltérő típusú adatok:
◦ Szöveg, bináris fájl
◦ Kép
◦ Hang
◦ Mozgókép
Veszteségmentes
A tömörített adatból később egy fordított eljárással pontosan visszanyerhető az eredeti adat. Az olyan adatoknál, mint a szöveges dokumentumok vagy a bináris állományok, követelmény a veszteségmentes tömörítés, hiszen akár egyetlen bit változás is megváltoztathatja a szöveg jelentését.
Ezek az eljárások az eredeti fájlt betömörítve, majd újra kibontva olyan állományt szolgáltatnak, amely bitről bitre megegyeznek az eredetivel.
Veszteségmentes tömörítést számos
program használ. Legnyilvánvalóbb
előfordulási helyük az archív
fájlformátumok, mint például a népszerű
ZIP, a unixos gzip, vagy a 7z formátum.
Tipikus példák a futtatható állományok
vagy a forráskódok. Néhány képformátum,
köztük a PNG veszteségmentes
tömörítést használ.
A veszteségmentes tömörítési
módszereket aszerint csoportosíthatjuk,
hogy milyen jellegű adaton végeznek
tömörítést. A három fő adattípus
tömörítés szempontjából:
◦ szöveg,
◦ kép,
◦ hang.
A veszteségmentesen tömörítő programok általában kétfajta algoritmust használnak: az egyik generál egy statisztikai modellt a bemeneti adatokból, a másik pedig a modell felhasználásával bitsorozatokat rendel a bemeneti adatokhoz oly módon, hogy a „valószínűbb” (tehát gyakrabban előforduló) adatoknak rövidebb bitsorozatot feleltessen meg, mint a „valószínűtlenebb” adatoknak.
Statisztikai modellkészítő algoritmusok szöveges adatokra vagy bináris adatokra:
◦ Burrows-Wheeler transzformáció (blokkos rendezéssel előfeldolgozza a szöveget, ami a tömörítést hatékonyabbá teszi), például a bzip és a bzip2 használja
◦ LZ77 és LZ78
◦ LZW
A bitsorozatokat létrehozó algoritmusok:
◦ Huffman-kódolás
◦ aritmetikai kódolás
Hangtömörítés – veszt.mentes
Apple Lossless – ALAC (Apple Lossless
Audio Codec)
Direct Stream Transfer – DST
Free Lossless Audio Codec – FLAC
Monkey's Audio – Monkey's Audio APE
RealPlayer – RealAudio Lossless
WMA Lossless – Windows Media
Lossless
Veszteséges tömörítés
Nem teszi lehetővé a tömörített
adatból az eredeti adatok pontos
rekonstrukcióját, ám egy „elég jó”
rekonstrukciót igen.
Az interneten leginkább a telefóniás és
streamelési alkalmazásokban használják.
A veszteséges tömörítési módszerek
elnevezésére általában a codec névével
hivatkoznak.
A veszteséges módszerek használatának
az az előnye a veszteségmentes
módszerekhez képest, hogy sok esetben a
veszteséges tömörítés sokkal kisebb
fájlt képes előállítani, mint bármely
veszteségmentes, és még így is kellően jó
minőséget ér el.
A veszteséges módszereket általában a hang-, kép- és videótömörítés során használják. A tömörítési arány (tehát a tömörített fájl mérete a tömörítetlenhez képest) általában a videók esetében a legjobb (akár 300:1 is lehet látható minőségromlás nélkül), hanganyagnál ez az érték 10:1 körül mozog. A veszteségesen tömörített képeknél is gyakori a 10:1-es tömörítési arány, de a minőségromlás itt vehető észre talán a legkönnyebben.
A veszteségesen tömörített fájl bitszinten teljesen különböző lehet az eredetitől, ugyanakkor az emberi szem vagy fül számára nehéz lehet megkülönböztetni őket.
A legtöbb veszteséges tömörítő figyelembe veszi az emberi test anatómiai felépítését: pl.: hogy az emberi szem bizonyos frekvenciájú fényt lát csak. A hangtömörítés során pedig felhasználják az emberi hallás pszichoakusztikus modelljét, ami tartalmazza, hogy az emberi fül milyen hangmagasságokra érzékenyebb, vagy hogy az egyszerre megszólaló frekvenciák hogyan maszkolják egymást.
Bár a harmadik kép minősége nagyon rossz, a
béka még mindig felismerhető. A jó
veszteséges tömörítési algoritmusok (itt
JPEG) képesek arra, hogy a „kevésbé
fontos” információkat kidobják, a
„lényeges” információkat pedig
meghagyják az eredeti fájlból.
Veszteséges tömörítés
Például hangok vagy képek tömörítésénél – csekély, a felhasználó számára nem észrevehető veszteség megengedhető, ilyenkor veszteséges eljárások is alkalmazhatók.
Ebben az esetben a tömörítés hatásosságára széles választékot kínálnak a felhasználónak, attól függően, hogy inkább kevéssé tömörített, jó minőségű, vagy jobban tömörített, de nagyobb veszteséget hagyó tömörítési eljárást kíván alkalmazni.
A veszteséges tömörítéseknél az eredeti
állományt már nem lehet létrehozni az
archív állományból. Nincs is rá feltétlenül
szükség, mert a veszteséges tömörítést
képek és hangok tárolásánál használjuk,
mivel az emberi érzékszervek
hiányosságai az eredetihez közeli
minőséget produkálnak. Ezekre az
algoritmusokra jellemző, hogy kis
minőségromlással képesek tized- vagy
kisebb részre tömöríteni.
Veszteséges képtömörítés
Fraktáltömörítés
JPEG
JPEG2000, a JPEG utódja, ami waveleteket
használ.
Wavelet tömörítés
DjVu
Veszteséges videótömörítés
Flash (JPEG sprite-okat is támogat)
H.264/MPEG-4 AVC
Motion JPEG
MPEG-1 Part 2
MPEG-2 Part 2
MPEG-4 Part 2
Veszteséges hangtömörítés
AAC – például az Apple Computer használja,
.mp4 fájlok hangsávjának tipikus tömörítése
Dolby AC-3
MP2
MP3
Ogg Vorbis
WMA
AMR (GSM cellákban használják, például a T-
Mobile)
Hibajavító kódokkal kombinált
tömörítés Ebben az esetben a tömörítéssel nyert
tárhelyet hibajavító kódok elhelyezésére
használják fel. Ez elsősorban a CD, DVD
és ezek utódjainak számára jelentősek. A
CD-n egy karcolás nem okoz gondot,
mert a fellépő hibák még javíthatók a
hibajavító kódok alapján.
Tömörítő alkalmazások
Op. rendszer által biztosított tömörítés
Fájlkezelő alkalmazások (TC)
Tömörítőprogramok:
◦ WinZip
◦ WinRar
◦ 7Zip
◦ Linux: tar, gzip, bzip
CRC
Digitális ujjlenyomat, ami alkalmas
lehet az adatok tömörítés előtti és
kicsomagolás utáni hibátlanságának
detektálására – nem hibajavító, csak
hibafelismerő ellenőrzőösszeg.
16-32 bites nagyságú ellenőrzőösszeg,
amit a tömörítetett adathoz rendelnek.
Archiválás
Az archiválás egy olyan eljárás, ahol a fontos könyvtárakat és fájlokat egyetlen állományba tesszük tárolás vagy továbbítás céljából. Az archiválás nem jelent feltétlenül tömörítést is.
A fontos információkat célszerű nemcsak egy példányban és egyetlen tárolóeszközön elhelyezni.
Archiválni adatokat és nem programokat kell – utóbbiakat újra lehet telepíteni.
ADATBIZTONSÁG
Az adatok jogosulatlan megszerzése,
módosítása és tönkretétele ellen tett
olyan eljárások, szabályok, műszaki és
szervezési intézkedések együttes rend-
szere, melynek célja az informatikai
rendszerek, és rendszerelemek
működésének biztosításán keresztül az
ezekben tárolt adatok biztonságának
megteremtése.
Adatok védelme
Biztonsági mentés
Archiválás
A berendezés védelme: szünetmentes
tápegység
Illetéktelen használat elleni védelem
Állományok titkosítása, kódolása
Tűzfal, víruskereső használata
RAID
Az adat megsemmisülésének okai:
Emberi hiba ( gondatlanság,
tájékozatlanság)
Szándékos rongálás, visszaélés (vírus, stb.)
Hardverhiba (géphiba, feszültség-
kimaradás, -ingadozás, stb.)
Szoftverhiba (pl. hibás program, stb.)