x13uit - paměť a souborový systém

X13UIT- Paměť a souborový systémIng. Martin Molhanec, CSc.

Paměť

Je rychlá Vykonávají se v ní programy Čím je větší, tím více programů so do

ní vejde současně! Pokud je málo paměti je možné

Využívat programové překrývání (overlay) Virtuální paměť (swap soubor)

To ovšem činnost počítače zpomaluje! Je lepší mít více paměti, než rychlejší

procesor!!!!

Paměť pod MS DOSem MS DOS pracuje v reálném módu

procesoru 8086 Proto je k dispozici pouze 1MB RAM Z toho je pro OS a programy dostupných

pouze 640kB!

Slavná věta Billa Gatese: „Nikdo nebude přeci potřebovat více než 640kB RAM“!

Velice brzy se zjistilo, že je to velice málo!!!

Zde je MS DOS, jeho proměnné a proměnné BIOSu

MS DOS memory map


Zde mohou běžet naše aplikace

MS DOS memory map



MS DOS memory map

Paměťově mapovaná VIDEO RAM



MS DOS memory map


Od karet typu EGA je zde také jejich BIOS



MS DOS memory map



PC XT zde měli HDD BIOS



MS DOS memory map



PC XT zde měli HDD BIOS

Zde je PC BIOS

MS DOS – low memory

Vektory přerušení



IO.SYSnižší vrstva OS




MSDOS.SYSvyšší vrstva OS





COMMAND:COMpříkazový interpreter






COMMAND.COMpříkazový interpreter

dočasná overlay






COMMAND.COMpříkazový interpreter

dočasná overlay

Místo pro programyTPA

Transient Program Area


DEVICE DRIVERS

Device drivers se natahují při zpracování souboru CONFIG.SYS. Umožňují zejména připojení různých nestandardních periferií k MS DOS.

Například CD ROM, SCSI, atp.


TSR

DEVICE DRIVERS



TSR (Terminate State Resident)Jsou prográmky, které zůstávají v paměti

(většinou se natahují při zpracování souboru AUTOEXEC.BAT) a rozšiřují možnosti MSDOS. Například podpora

češtiny, atp.


TSR

DEVICE DRIVERS



TSR (Terminate State Resident)Jsou prográmky, které zůstávají v paměti

(většinou se natahují při zpracování souboru AUTOEXEC.BAT) a rozšiřují možnosti MSDOS. Například podpora

češtiny, atp.

Čím dál méně paměti pro naše aplikace!!!!


Problém s pamětí vznikal zejména V síťovém prostředí

Bylo nutné zavést ovladače síťové karty a OS Novell Netware

Při použití nestandardních periferií CD-ROM, SCSI, …

V českém prostředí Česká klávesnice, české fonty do videokarty,

české ovladače do tiskárny, atp.


Problém s pamětí vznikal zejména V síťovém prostředí

Bylo nutné zavést ovladače síťové karty a OS Novell Netware

Při použití nestandardních periferií CD-ROM, SCSI, …

V českém prostředí Česká klávesnice, české fonty do videokarty,

české ovladače do tiskárny, atp.Použití procesoru 80286, 80386,… toto neřeší,

protože MS DOS pracuje pouze v reálném módu, čili módu procesoru 8086!!!

Expanded Memory - EMS

Paměť expanded, čili rozšířená, také EMS (Expanded Memory

Specifikation) se stránkuje do volného

paměťového prostoru PC mezi 640kB až 1MB.


Paměť expanded, čili rozšířená, také EMS (Expanded Memory

Specifikation) se stránkuje do volného

paměťového prostoru PC mezi 640kB až 1MB.

Stránkují se vždy 4 stránky o 16kB do rámce (frame) o velikosti 64kB.

Většinou od 0xE000.


Specifikace ve verzi 3.2 byla navržena firmami

Lotus, Intel a Microsoft, proto se mluví také o specifikaci EMS LIM.


Specifikace ve verzi 3.2 byla navržena firmami

Lotus, Intel a Microsoft, proto se mluví také o specifikaci EMS LIM.

Je zřejmé, že paměť EMS bylo možné

užívat už u počítačů typu IBM PC s

procesorem 8086, protože se jednalo

HW kartu!!!


Nevýhoda: složité programování!


Nevýhoda: složité programování!

Poznámka:paměť se nazývá

expanded (rozšířená). EMS je označení specifikace jejího

rozhraní!!!


EEMS (Enhanced Expanded Memory

Specifikation)Je vylepšená specifikace firmami AST, Quadram

and Ashton-Tate.

Umožňuje mapovat až 64 stránek

současně do prostoru 0 až 1MB. První čtyři

stránky se ovšem musejí z důvodů

kompatibility mapovat do 64kB okna.


EEMS (Enhanced Expanded Memory

Specifikation)Je vylepšená specifikace firmami AST, Quadram

and Ashton-Tate.

Umožňuje mapovat až 64 stránek

současně do prostoru 0 až 1MB. První čtyři

stránky se ovšem musejí z důvodů

kompatibility mapovat do 64kB okna.

EMS 4.0 je specifikace

od LIM, která

zahrnuje a rozšiřuje EEMS a

EMS.

Paměť EMS Je v MS DOS zpřístupněna pomocí ovladače

zaváděného při zpracování souboru CONFIG.SYS! Nemohou v ní běžet programy! Mohou se v ní ukládat pouze data. Od procesoru 80286 a výše se emuluje softwarově z

paměti prodloužené (extended) dle specifikace XMS!!! Při užití procesoru 80286 se buď:

Kopírovala paměť nad 1MB dolu pod 640kB. Bylo nutné však přepínat do chráněného módu.

Nebo se využíval čipset pro stránkování, podobně jako to umí 80386.

Při užití procesoru 80386 a vyšším se využívala jeho schopnost stránkování paměti.

Dala se také emulovat softwarově z diskové paměti. Toto bylo pouze nouzové řešení, protože paměť na disku je velice pomalá!

Paměť EMS

Extended Memory - XMS

Extended (prodloužená)

paměť existuje u procesorů 80286 a výše. Je to paměť

nad 1MB!




nad 1MB!

V MS DOS však není přímo přístupná!

Protože ten pracuje pouze v reálném módu!




nad 1MB!

V MS DOS však není přímo přístupná!

Protože ten pracuje pouze v reálném módu!

Přístup k paměti je definován pomocí XMS (Extended Memory Specification), která byla vytvořena firmou Microsoft.

Paměť XMS Je v MS DOS zpřístupněna pomocí ovladače

zaváděného při zpracování souboru CONFIG.SYS! Nemohou v ní běžet programy! Mohou se v ní ukládat pouze data. Při užití procesoru 80286 se buď:

Kopírovala paměť nad 1MB dolu pod 640kB. Bylo nutné však přepínat do chráněného módu.

Nebo se využíval čipset pro stránkování, podobně jako to umí 80386.

Při užití procesoru 80386 a vyšším se využívala jeho schopnost stránkování paměti.

Částí paměti XMS je paměť HMA. Z paměti XMS se dá emulovat paměť EMS!

Pak se dá využít na vytváření UMB!

HMA – High Memory Area

HMA paměť je první 64kB blok paměti nad 1MB! Je dostupný v

reálném módu díky chybě procesoru (přetečení adresy).

HMA – High Memory Area

HMA paměť je první 64kB blok paměti nad 1MB! Je dostupný v

reálném módu díky chybě procesoru (přetečení adresy).

Aktivace bitu A20 adresové sběrnice se

děje přes čip klávesnice!!!

UMB – Upper Memory Blocks

UMB (Upper Memory Blocks) nebo také UMA (Upper Memory

Area) je paměť mezi 640kB a 1MB, která se dá v MS DOS využít pro

běh programů.




běh programů.

Dá se získat na mapováním paměti dle specifikace EMS 4.0 nebo EEMS do prázdných míst

mezi 640kB až 1MB!




běh programů.

Dá se získat na mapováním paměti dle specifikace EMS 4.0 nebo EEMS do prázdných míst

mezi 640kB až 1MB!

• 8086 – je nutná HW EEMS karta. • 80286 – je nutný mapovací čipset.• 80386 – využívá stránkování CPU.

16MB and beyond

EXTENDEDMEMORY

Addressable in protected mode, not real mode

1MB + 64kb (-16 bytes if you're picky)

EXTENDED MEMORYHMA

First 64kb of exTENded memoryused by MS-DOS DOS=HIGH or XMSNETX shell

1MB

UPPER MEMORYPC BIOS

Expanded Memory Page Frame

Network Cardsand other RAM/ROM

Video Buffer

LOADHIGH into unused blocks usually F000h-FFFFh, sometimes E000h-FFFFhusually D000h-DFFFh

VariesA000h-BFFFh

640kb segment A000h

CONVENTIONALMEMORY

ApplicationsTSR'sDOS

BIOS data area

0kb (bottom of memory

EMS a XMS poskytovatelé Microsoft

HIMEM.SYS – XMS, HMA EMM386.EXE – EMS, UMB

Quarterdeck (Stealthing) QRAM – EMS, XMS, HMA, UMB pro 80286 QEMM – EMS, XMS, HMA, UMB pro 80386

Qualitas (VGAswap) 386MAX – EMS, XMS, HMA, UMB pro 80386

Helix (Cloaking) Netroom – EMS, XMS, HMA, UMB pro 80386

EMS a XMS poskytovatelé Microsoft

HIMEM.SYS – XMS, HMA EMM386.EXE – EMS, UMB

Quarterdeck (Stealthing) QRAM – EMS, XMS, HMA, UMB pro 80286 QEMM – EMS, XMS, HMA, UMB pro 80386

Qualitas (VGAswap) 386MAX – EMS, XMS, HMA, UMB pro 80386

Helix (Cloaking) Netroom – EMS, XMS, HMA, UMB pro 80386

VIDRAMV textovém režimu se dá jako

paměť pro programy využít paměť grafického adapteru!Místo 640kB je pak 720kB!

MS DOS paměť v OS MS Windows W9x

Velikost paměti v DOS okénku je závislá na velikosti paměti, která byla k dispozici při spouštění Windows!!!

Je tedy stále důvod pro optimalizaci! Na straně druhé, většinu speciálních driverů

můžeme zavést až ve Windows (síť, čeština, atp.).

NT, W2K, XP,… DOS okénko je pouze emulované, všechny

drivery jsou mimo, jsou ve Windowsech.

W9x Velikost paměti v DOS okénku je závislá

na velikosti paměti, která byla k dispozici při spouštění Windows!!!

Je tedy stále důvod pro optimalizaci! Na straně druhé, většinu speciálních driverů

můžeme zavést až ve Windows (síť, čeština, atp.).

NT, W2K, XP,… DOS okénko je pouze emulované, všechny

drivery jsou mimo, jsou ve Windowsech.

MS DOS paměť v OS MS Windows

Windows 95

Díky virtualizaci jsou problémy s málem paměti odstraněny?

Windows 95


Není bohužel pravda. • Existují některá fixní omezení.• Neuvolňování paměti.• Špatná práce přidělování paměti pro programy a cache.

Windows 95, NT, W2K, …


Není bohužel pravda. • Existují některá fixní omezení.• Neuvolňování paměti.• Špatná práce přidělování paměti pro programy a cache.

Tento základní model zachovávají i OS typu NT.

Současný uživatel do přidělování paměti nevidí a nemůže je příliš

snadno ovlivnit.

Souborový systém IBM PCSouborový systém IBM PC

Ing. Martin Molhanec, CSc.Ing. Martin Molhanec, CSc.

Co je to souborový systém?Co je to souborový systém? Je to způsob organizace dat na hromadných Je to způsob organizace dat na hromadných

mediích.mediích.

Základními pojmy jsou:Základními pojmy jsou:• Soubor – označuje jménem určitá data (textová, binární, Soubor – označuje jménem určitá data (textová, binární,

obrázky, programy,…)obrázky, programy,…)• Adresář – označuje jménem množinu souborů a Adresář – označuje jménem množinu souborů a

adresářů.adresářů.

Existuje velké množství souborových systémů – Existuje velké množství souborových systémů – budeme se věnovat přednostně souborovým budeme se věnovat přednostně souborovým systémům FAT a NTFS od firmy Microsoft, které systémům FAT a NTFS od firmy Microsoft, které jsou užívány na osobních počítačích typu IBM PC.jsou užívány na osobních počítačích typu IBM PC.

FAT souborový systémFAT souborový systém((file systemfile system = FS) = FS)

FAT souborový systém vznikl pro OS MS FAT souborový systém vznikl pro OS MS DOS 1.0 firmy Microsoft. Má některé DOS 1.0 firmy Microsoft. Má některé vlastnosti podobné svému předchůdci FS vlastnosti podobné svému předchůdci FS OS CP/M-80, ale je odlišný!OS CP/M-80, ale je odlišný!

Postupně vzniklo několik verzíPostupně vzniklo několik verzí• FAT12FAT12• FAT16 (+VFAT)FAT16 (+VFAT)• FAT32 (+VFAT)FAT32 (+VFAT)

FS FAT12, FAT16, FAT32FS FAT12, FAT16, FAT32

Lineární adresování sektorů

Sektor NSektor 0



Sektor NSektor 0

Boot SektorJe první sektor disku, který se čte BIOSem po

nabootování. Obsahuje zaváděcí kód (program) a popis disku (data).



Sektor NSektor 0

FATJe část disku, která obsahuje obsazení disku

soubory a adresáři. Její formát je tabulka (pole) položek o 12, 16 nebo 32 bitech.



Sektor NSektor 0

FAT 2Je záloha FAT 1. měla by obsahovat totožná data!



Sektor NSektor 0

Root adresář.Je první adresář na disku. Obsahuje

(odkazuje na) soubory a další adresáře. Má pevnou velikost

(FAT12 a FAT16)



Sektor NSektor 0

Zde jsou data = soubory a adresáře!!!

FAT16 - podrobnějiFAT16 - podrobněji

Jedná se o zřetězené seznamy. Obsah buňky je ukazatel na další prvek seznamu! V poslední buňce je hodnota FFFF. Volné buňky mají hodnotu 0000. Na první buňku ukazuje položka adresáře! První dvě buňky (0 a 1)

tabulky mají speciální význam!

FAT16 - podrobnějiFAT16 - podrobněji

Pozor: alokace místa na disku se neděje po sektorech ale clusterech!!!

FS FATFS FAT ClusterCluster

• Aby nebyla tabulka FAT příliš veliká, Aby nebyla tabulka FAT příliš veliká, alokuje se místo na disku nikoliv po alokuje se místo na disku nikoliv po sektorech a po tzv. clusterech. Cluster je sektorech a po tzv. clusterech. Cluster je souvislá skupina sektorů (1 až 64 (128 souvislá skupina sektorů (1 až 64 (128 při instalaci NT)).při instalaci NT)).

• Výhoda: menší FATVýhoda: menší FAT• Nevýhoda: nevyužité místo na diskuNevýhoda: nevyužité místo na disku

Počet sektorů

Velikost clusteru

1 512B

2 1kB

4 2kB

8 4kB

16 8kB

32 16kB

64 32kB

(128) (64kB)

FS FATFS FAT ClusterCluster

• Aby nebyla tabulka FAT příliš veliká, alokuje se místo na disku Aby nebyla tabulka FAT příliš veliká, alokuje se místo na disku nikoliv po sektorech a po tzv. clusterech. Cluster je souvislá nikoliv po sektorech a po tzv. clusterech. Cluster je souvislá skupina sektorů (1 až 64 (128 při instalaci NT)).skupina sektorů (1 až 64 (128 při instalaci NT)).


FS FATFS FAT ClusterCluster• Aby nebyla tabulka FAT příliš veliká, alokuje se místo na disku Aby nebyla tabulka FAT příliš veliká, alokuje se místo na disku

nikoliv po sektorech a po tzv. clusterech. Cluster je souvislá nikoliv po sektorech a po tzv. clusterech. Cluster je souvislá skupina sektorů (1 až 64 (128 při instalaci NT)).skupina sektorů (1 až 64 (128 při instalaci NT)).


FS FATxxFS FATxx VýhodyVýhody

• Jednoduchá implementaceJednoduchá implementace• „„Dá se v něm vyznat“Dá se v něm vyznat“• Velké množství různých nástrojůVelké množství různých nástrojů

NevýhodyNevýhody• Problémy s obnovou souborůProblémy s obnovou souborů• Snadno se poškodíSnadno se poškodí• Není efektivníNení efektivní• Nepodporuje Nepodporuje advancedadvanced možnosti, například možnosti, například

kompresi a kryptování!kompresi a kryptování!

Fragmentace souboru!Fragmentace souboru!

Při smazání souboru je sice ve smazané položce adresáře dočasně uchována informace o tom, kde soubor začíná (například cluster 5), ale samotná FAT je vynulována, a proto nevíme, že soubor pokračuje na clusterech: 3, 9 a 10!!!

Toto znemožňuje normálně obnovu fragmentovaného souboru při jeho

smazání!Týká se MS DOS bez doplňků!!!

Položka adresáře obsahuje:• Jméno souboru nebo adresáře (8+3 znaky)• Atributy

R-pouze ke čtení A-Archiv bit S-Systémový H-neviditelný Název disku Adresář

AdresářAdresář

• Datum a čas vytvoření• Délku souboru v bytech• Číslo prvního obsazeného

clusteru!

Adresář VFAT (Virtual FAT)Adresář VFAT (Virtual FAT)(LFN - Windows 95, MS DOS 7.x)(LFN - Windows 95, MS DOS 7.x)

První položka je kompatibilní se starou strukturou a obsahuje krátký název.

Druhá a další položka obsahují pouze dlouhý název v UNICODE (1 znak=2 bajty)

Pro možnost dlouhých jmen souborů a adresářů zvolil Microsoft poněkud hackerské řešení!!!

Oficiální název je VFAT (Virtual FAT)

Přehled FATPřehled FAT

Boot sektorBoot sektor Je to první sektor na diskuJe to první sektor na disku

• Respektive první sektor na partition!!!Respektive první sektor na partition!!!

Obsahuje tzv. zaváděcí kód = loader.Obsahuje tzv. zaváděcí kód = loader.• Je to program, který načte do paměti počítače Je to program, který načte do paměti počítače

OS a spustí ho.OS a spustí ho.

Obsahuje také data, která popisují Obsahuje také data, která popisují parametry disku = BPB (parametry disku = BPB (Boot Parameter Boot Parameter BlockBlock))• Osahuje například: počet bajtů na sektor, počet Osahuje například: počet bajtů na sektor, počet

sektorů na cluster, počet tabulek FAT, počet sektorů na cluster, počet tabulek FAT, počet položek root adresáře, velikost FAT, atd.položek root adresáře, velikost FAT, atd.

(MBR) Master Boot Record(MBR) Master Boot Record and Disk Partitions and Disk Partitions

MBR Disk 1 Disk 2

Disk je rozdělen na části, které se chovají jako samostatný disk. Jejich interní struktura je stejná jako by se jednalo o skutečný disk. Mají tedy vlastní boot sektor, FAT atd. (pochopitelně pokud se jedná o FAT FS).

Je tedy možné jeden fyzický disk rozdělit na několik logických disků, každý z nich může obsahovat jiný filesystém.

Rozdělení fyzického disku je uloženo v MBR (Master Boot Record), který je fyzicky prvním sektorem na fyzickém disku.


Sektor NSektor 0

Master Boot RecordMaster Boot Record(MBR)(MBR)

Je to první sektor na fyzickém disku.Je to první sektor na fyzickém disku. Obsahuje tzv. zaváděcí kód = loader.Obsahuje tzv. zaváděcí kód = loader.

• Je to program, který načte do paměti počítače Je to program, který načte do paměti počítače boot sektor aktivní partition!!!boot sektor aktivní partition!!!

Obsahuje také data, která popisují Obsahuje také data, která popisují rozdělení fyzického disku na partitionsrozdělení fyzického disku na partitions• Jedná se o tabulku o 4 řádcích,Jedná se o tabulku o 4 řádcích,• která obsahujekterá obsahuje

Typ partitionTyp partition Jestli je partition aktivníJestli je partition aktivní Umístění partition na diskuUmístění partition na disku

MBRMBR

Partition tablePartition table

Disk s jednou primární partitionDisk s jednou primární partition

Disk s jednou primární a jednou extended partitionDisk s jednou primární a jednou extended partition

Disk se dvěma primárními a dvěma logickými partitionDisk se dvěma primárními a dvěma logickými partition

Microsoft partition typesMicrosoft partition types(MS DOS)(MS DOS)

Microsoft partition typesMicrosoft partition typesWindows 95Windows 95

Microsoft partition typesMicrosoft partition typesWindows 95 OSR2Windows 95 OSR2

Některé další typy partitionsNěkteré další typy partitions

Celá tabulka má 0 až 255 hodnot.Není jednotná správa – čili různé méně známe

systémy sdílejí stejná čísla!!!

Souborový systém – NTFS

NTFS = Windows NT file system Souborový systém používaný ve Windows NT, 2000, XP Podporuje kompresi dat Podpora velkých svazků Využití velkokapacitních zařízení typu RAID Kryptování souborů a adresářů Není kompatabilní s FAT systémem Podpora diskových kvót Navržen pro rychlý přístup k souborům


Criteria NTFS5 NTFS FAT32 FAT16

Operting System

Windows 2000Windows XP

Windows NTWindows 2000Windows XP

Windows 98Windows ME


DOSAll versions of

Microsoft Windows

Limitations

Max Volume Size

2 TB 2 TB 2 TB 2 GB

Max Files on Volume

Nearly Unlimited

Nearly Unlimited

Nearly Unlimited

~ 65000

Max File SizeLimit Only by Volume Size

Limit Only by Volume Size

4 GB 2 GB

Max Clusters Number

Nearly Unlimited

Nearly Unlimited

268 435 456 65 535

Max File Name Length

Up to 255 Up to 255 Up to 255Standard - 8.3Extended - up

to 255



Operting System W2k, WXPWNT, W2k

WXPW98, ME, W2k,

WXPDOS

File System Features

Unicode File NamesUnicode

Character SetUnicode Character

SetSystem Character

SetSystem

Character Set

System Records Mirror

MFT Mirror File MFT Mirror File Second Copy of FATSecond Copy of

FAT

Boot Sector LocationFirst and Last

SectorsFirst and Last

SectorsFirst Sector First Sector

File AttributesStandard and

CustomStandard and

CustomStandard Set Standard Set

Alternate Streams Yes Yes No No

Compression Yes Yes No No

Encryption Yes No No No

Object Permissions Yes Yes No No

Disk Quotas Yes No No No

Sparse Files Yes No No No

Reparse Points Yes No No No

Volume Mount Points

Yes No No No



Operting SystemWindows 2000Windows XP

Windows NTWindows 2000Windows XP

Windows 98Windows ME


DOSAll versions of

Microsoft Windows

Overall Performance

Built-In Security Yes Yes No No

Recoverability Yes Yes No No

PerformanceLow on small

volumesHigh on Large

Low on small volumes

High on Large

High on small volumes

Low on large

Highest on small volumes

Low on large

Disk Space Economy

Max Max AverageMinimal on large

volumes

Fault Tolerance Max Max Minimal Average

x13uit - paměť a souborový systém

Documents