unix os - vilniaus universiteto matematikos ir ...rolnas/unix_os/paskaita.4.lt.pdf · r.naujikas...

Unix OS

Vilniaus UniversitetasMatematikos ir Informatikos fakultetas

Rolandas Naujikas

2008

R.Naujikas Unix OS 2

Turinys

● Atminties Valdymo Posistemė (AVP, angl. MMU)– Terminologija– Puslapiavimas– Branduolio atmintis valdymas

● Žemėlapis● išskyrimas/atlaisvinimas


Procesas

Branduolys

Aparat rin rangaū ė į

Aparat ros vald. s sajaū ą

I/O posistemė

Atmintiesvald.

posistemėProcesų

valdymas

Sistemini komand s sajaų ų ą

Procesas

Fail ųposistemė


Terminai

● Atminties valdymas (AVP) (angl. memory management) susijęs:– Pirminė atmintis (main memory)

● Operatyvioji (RAM)– Antrinė atmintis (secondary memory)

● Atsarginė, standusis diskas


AVP: Tikslas● Dalintis atmintimi efektyviai● Optimizuoti veikiančių procesų skaičių ir

atminties sanaudas– Turi įtakos kaip veikia procesų vykdymo

tvarkaraščio sudarymas ● Pagreitinti įvesties/išvesties operacijas antrinei

atminčiai naudojantis podėliu (cache)● Apsaugoti atminties panaudojimą

– keli procesai naudojasi tuo pačiu atminties lopinėliu


Hierarchija


Procesai ir atmintis

● Kiekvienas procesas veikia virtualioje mašinoje● Virtualioji mašina - tai abstrakti, vienodos

sąsajos mašina, kuri paslepia aparatūros veikimo ypatumus

● Virtualioji mašina naudoja virtualiąją atmintį● Virtualioji atmintis – tai adresų erdvės

intervalas, kuris nepriklauso nuo fizinės atminties (tiek pirminės, tiek antrinės atminties adresų ir išsidėstymo)


Procesai ir atmintis II

● Virtualiosios atminties adresas – nuoroda į konkrečią virtualios atminties vietą

● Operacija, kuri virtualios atminties adresą verčia į fizinės atminties adresą vadinama adresų transliacija arba adresų vertimas– Įkelti procesai nepriklauso nuo fiz. adreso– Lengviau balansuoti/optimizuoti sąnaudas– Greičiau atliekamas konteksto persijungimas


Procesai ir atmintis III

● Segmentas– dauguma OS suteikia vientisus atminties regionus,

tačiau jie turi būti fizinėje atmintyje vienalyčiai – be skylių (intel 286, 1984m)

● Mes naudosime terminą segmentas tik jau virtualios atminties segmentavime


Procesai ir atmintis IV

● Virtualioji atmintis daloma į fiksuoto dydžio atminties puslapius (angl. page)

● Virtualiosios atminties adreso transliavimas atliekamas nurodant puslapio numerį pridedant poslinkį nuo puslapio pradžios

● Atminties apsauga atliekama aparatūros ir puslapių lygyje


Procesai ir atmintis V


Puslapiavimas

● Adresų transliavimas įgalina atskirti virtualią nuo fizinės erdvės, kuria naudojasi Procesorius (angl. CPU)

● Kiekvienas puslapis virtualioje atmintyje turi žymę:– Reziduojantis (angl. resident)– Nereziduojantis (angl. nonresident)

● Rezidavimas apibrėžia buvimą fizinėje atmintyje


Puslapiavimas II

● Jei procesas bando pasiekti virtualios atminties adresą, kuris nėra pažymėtas kaip reziduojantis, tai įvyksta puslapio nepataikymo (angl. page fault) įvykis

● AVP (angl. MMU) atlieka puslapių nepataikymų įvykiu aptarnavimą


Puslapiavimas III

● Su puslapiavimu susijusios trys strategijos (angl. policies):– įkrovos (angl. fetch) strategija, kai puslapis įkraunamas į atmintį

– pozicionavimo (angl. placement) strategija, kai puslapis padedamas nurodoma jo pozicija

– atnaujinimo (angl. replacement) strategija, taikoma nustatyt kuris ar kuria tvarka puslapiai privalo būti išimami iš atminties kai to reikia.


Puslapiavimas IV

● Puslapiavimas priklauso nuo:– įkrovos ir atnaujinimo strategijų.

● tai yra tikras pagal reikalavimą grįstas puslapiavimas

● Praktikoje niekas neįgyvendina pagal reikalavimą grindžiamą puslapiavimą, nes sudėtingumas atsiremia į puslapių keitimo greitį atmintyje


Puslapiavimas V

● Praktiškai naudojamas puslapiavimas: išankstinė įkrova (angl. prefetching)– įkrauna visus puslapius, kurie susiję su veikiančiu

procesu, ne vien nepataikytą puslapį– Atnaujinimo strategija naudojama net neužpildytai

atminčiai


Puslapiavimas VI

● Puslapio atnaujinimo algoritmai:– FIFO, pirmas eilėje (angl. First In First Out)– NRU nesenai nenaudotas (angl. Not Recently

Used)– Šansas Nr. 2 (angl. second chance)– LRU, (angl. Least Recently Used)– Random (liet. atsitiktinis)– NFU (Not Frequently Used)– Aging, senstantis


FIFO

● Tiesiog eilė● Lengva įgyvendinti● Mažai informacijos reikia valdyti, kad atlikti

puslapiavimą● Atnaujinimas atliekamas, įvykus puslapio

nepataikymui iš eilutės pradžios išimamas puslapis, o naujas dedamas į eilės galą.


Belady anomalija

● Didinant eilės ilgį puslapių nepataikymų skaičius nemažėja

● Pvz., prašomi puslapiai įkraunami seka:– 3,2,1,0,3,2,4,3,2,1,0,4– Eilės ilgis h=3, arba h=4


Belady anomalija II, h=3

● 3,2,1,0,3,2,4,3,2,1,0,43 2 1

2 1 0

1 0 3

0 3 2

...


NRU (angl. Not recently Used)

● Stengiasi atsikratyti seniausių puslapių pagal kategorijas:– nesikreipta, nemodifikuota– nesikreipta, modifikuota– kreiptasi, nemodifikuota– kreiptasi, modifikuota

● Lygiais laiko tarpais puslapis priskiriamas vienai iš kategorijų


Šansas Nr.2

● Veikia kaip FIFO, tik prieš išimant pirmą elementą stebima ar kreipimosi bitas nustatytas

● Jei kreipimosi bitas nustatytas, tai puslapis dedamas į eilės galą, suteikiant puslapiui būti dar atmintyje


LRU (angl. Least Recently Used)

● Panašus į NRU algoritmą, tačiau skaičiuojami prioritetai laiko intervale

● Labiausiai naudojami puslapiai visada bus atmintyje.– Gana efektyvus, algoritmas– Sudėtingas įgyvendinant ir kainuoja laiko suvaldyti

visus puslapius.


Random

● Atsitiktinai pasirenkama, kurį puslapį sukeisti.● Dažnai kombinuojamas su FIFO ar LRU● Pvz., IBM OS/390


Darbinės aibės modelis

● Sistema stebi į kokias atminties vietas prieina procesas.

● Atminties vietų skaičius dažnai būna fiksuotas ir lėtai kintantis

● Pvz., BSD tipo Unix'ai


Branduolio atminties žemėlapis

● Branduolio įkrovimo metu sukuriama– vm_map duomenų struktūros– skaičius vm_map_entry įrašų

● Kiekvienas vm_map_entry aprašo atminties intervalus● Įgalina valdyti atminties intervalus ir kurti sub-žemėlapius


Branduolio atminties išskyrimo sąsaja

● Branduolio atm. išskyrimo f-jos nustato priėjimą prie vm_map struktūros

● VA atmintis gali būti:– Puslapiuojama– Nepuslapiuojama – Atminties intervalai pririšti prie

fizinės atminties ir lieka atmintyje visą laiką


Nepuslapiuojama d.ž.k. pririšta

● kmem_alloc()– Išskiria atminties intervalą ir apnulina

● kmem_maloc()– išskiria atminties intervalą ir neapnulina– nerakinamas atminties išskyrimas


Puslapiuojama

● kmem_alloc_pageable()● kmem_alloc_wait()

– rakina procesą, kol atminties išskyrimui atsiras● Puslapiuojamas branduolio atminties išskyrimas

kol kas naudojamas tik laikinai informacijai.


Branduolio atm. atlaisvinimas

● kmem_free()– Atlaisvina puslapiuojamą ir nepuslapiuojamą

branduolio atmintį● kmem_free_wakeup()

– Atlaisvina branduolio atmintį ir pažadina su kmem_allow_wait() laukiančių procesų


Savybės

● Jei atminties reikia vienam sisteminiam kvietimui:– Vartotojo lygmenyje, sistema išskirs trumpalaikę

atmintį iš vykdomos programos dėklo (steko)● Atminties panaudojamumas:

–

išnaudojamumas= išskirtosreikalaujamos


Savybės II

● Išnaudojamumas yra labai svarbu● Geras atminties skirstytojas turėtų 100%

atminties išnaudojamumą● Svarbu geras atminties išnaudojamumas

branduoliui, nei vartotojo procesai● Kad išlaikyti kuo didesnį išnaudojamumą AVP

turi atlaisvinti atmintį kuo greičiau, kai tik jos nebereikia


Savybės III

● Atminties skyrimas privalo būti greitas– Kuo lėčiau išskiriama atmintis tuo lėčiau procesai

veiks● Branduolio atminties skyrimui naudojamos dvi

strategijos– Mažų atminties kiekių išskyrimas

● sąrašai ilgio ^2– Didelių atminties išskyrimų – lėtesnis

● Apvalinama iki puslapių ir ieškoma pirmos tinkančios vietos


Savybės IV

● Pagerinti atminties defragmentaciją– Grupuoti mažus išskyrimus į vieną puslapį– Ištrynus didelį kiekį atminties stengiamasi sulieti šalimais esančius laisvus atminties plotus


Dalinama atmintis

● Dalinama atmintis (angl. shared)● Tradiciškai virtuali atmintis kiekvienam procesui

yra izoliuota● Yra poreikis dalintis atmintimi tarp procesų, t.y.,

keliems procesams pasiekti tą pačią atmintį


Problema

● Keli procesai adresuoja tą pačią atmintį● Tarkime procesas A sugadina atmintyje esančią

informaciją● Procesas B, kuris adresuoja į tą pačią dalinamą

atmintį irgi matys sugadintą informaciją.● Problema, kai du procesai bando rašyti į tą

pačią vietą


Sprendimas

● Semaforas– Procesas A turi galimybę įjungti semaforą prieš

rašydamas į atmintį– Kiti procesai B, ir t.t. prieš rašydami į dalinamą

atmintį privalo patikrinti ar semaforas įjungtas. Jei taip, tai privalu laukti kol semaforas bus išjungtas.

– Procesas A užbaigęs rašymą privalo išjungti semaforą.

– Kiti procesai B ir t.t. vėl gali stengtis įjungti semaforą.


Operacijos su dalinama atmintimi

apibrėžiamos <sys/shm.h>#define MAX_LEN 10000

struct region { int len; char buf[MAX_LEN]};struct region *rptr;int fd;fd = shm_open("/myregion", O_CREAT | O_RDWR, S_IRUSR | S_IWUSR);if (fd == -1) // handle errorsif (ftruncate(fd, sizeof(struct region)) == -1) // handle errorsrptr = mmap(NULL, sizeof(struct region), PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);if (rptr == MAP_FAILED) //handle errors /* use for example, rptr->len */.


MMAP

● Beveik viskas UNIX'e yra rinkmenos● Keli procesai, gali prisimontuoti bendrą

dalinamą atmintį tačiau reikia turėti būdą:– Adresuoti– Apibrėžti išskirtos atminties dydį – Apibrėžti ar tai yra dalinamas ar privatus atminties

prijungimas– mmap pagalba galima nurodyti objektą, pvz.,

rinkmeną kuri bus dalinama atmintis.


Dalinamas atminties prijungimas

● Kelios vm_map_entry rodo į pą patį rinkmenos objektą


Privatus atminties dalinimas

● Savybės:– Pakeitus duomenis privačios atm. dalinimo metu

atmintyje, pokyčiai nėra atvaizduojami į rinkmeną– Visi pokyčiai prijungtoje atmintyje nėra matomi

kitiems procesams


Privatus atminties dalinimas


Naujo proceso kūrimas

● Procesas kuriamas fork() pagalba● Iškart po to vykdomas exec(), perdengiantis

vaiko procesu, VA adresų erdvę su binarinės rinkmenos turiniu.

● Procesas vykdomas tol, kol jis baigsis arba bus užbaigtas kitų procesų (gavus signalą).


Naujo proceso kūrimas II

● funkcija fork() dubliuoja egzistuojančio proceso VA adresų erdvę– dubliuojami VA resursai– dubliuojama VA esanti proceso informacija ir

duomenys


Naujo proceso kūrimas

● Dubliuojama:– procesų struktūros ir susijusi informacija (struct

proc) ir vartotojo struktūra ir informacija (struct user)– branduolio dėklas (angl. stack)

● Papildomai rezervuojami resursai:– atminties– rinkmenų (failinės) sistemos– tarpinės (angl. swap) atminties


Esminiai fork() momentai

● Rezervuoti VA adresų erdvę vaiko procesui● Išskirti vietą proceso struktūrai ir ją užpildyti● Nukopijuoti vaiko procesui tėvo proceso grupės

ID, priėjimo leidimus, bylų aprašus, ribojamus ir signalų apdorojimus

● Išskirti naują vaiko proceso vartotojo dalį (user area)

● Sukurti vmspace struktūra


Esminiai fork() momentai II

● Dubliuoti VA adresų erdvę sukuriant vm_map_entry struktūras

● Surežisuoti, kad vaiko procesas grąžintų 0, jei teisingai užsidaro


kaip dubliuojama vm_map_entry

● fork() funkcijos vykdymo metu yra pereinama per sąrašą vm_map_entry struktūrų ir jų vaikus ir atliekama:– Jei įrašas nurodo į „tik skaitomą“ regioną, reiškia

kopija galima turėti tik su nuoroda– Jei įrašas nurodo į privačius atminties regionus

(duomenų segmentas ir dėklas) vaiko procesas turi sukurti „kopiją rašant“ (angl. copy-on-write) atminties regioną. T.y., jei vėliau bandoma rašyti į tą atminties regioną, tai kuriamas šešėlinis žemėlapis išlaikyti keistus puslapius


Kaip dubliuojama vm_map_entry

– Jei įrašas yra pažymėtas kaip bendras / dalinamas (angl. shared) naujas dalinamas regionas yra sukuriamas ir abi vm_map_entry nuorodos rodo į tą patį puslapį

● proceso atminties regionai nėra suliejami● Tik branduolio atminties regionai konkrečiam

procesui yra suliejami / supaprastinami. Tai vertėtų atlikti ir proceso atminčiai, ypač, ilgai veikiantiems ir dideliems procesams,


Naujo proc kūrimas be dubliavimo

● Kai tėvinis procesas blokuojamas kol vaiko procesas baigs darbą nebūtina dubliuoti visos proceso informacijos Pvz., shell scripte paleidžiama išorinė programa, kurios darbo pabaigos reikia sulaukti

● T.y. jei tėvinis procesas blokuojamas su wait ir laukia kol vaiko procesas užbaigs darbą užtenka vienos VA atminties kopijos


Naujo proc kūrimas be dubliavimo

● Situacijose, kai tėvinis procesas blokuojamas ir laukia vaikų pabaigos yra sukurtas sisteminis kvietimas vfork()

● vfork() yra efektyviau nei „kopija rašant“(angl. copy-on-write) metodas, nes branduolys tik perduoda tėvinę adresų erdvę ir neatlieka kopijų.

● Vaiko procesui užbaigus darbą, VA adresų erdvę grąžinama laukiančiam tėviniam procesui.


Proceso dydžio keitimas

● Procesas keičia savo dydį atmintyje.● Atminties sąnaudos didėja arba mažėja

priklausomai nuo situacijos● Užimamos atminties dydis visada apvalinamas

viršutinį puslapių skaičių● Keičiant programos dydį automatiškai

perskirstoma ir dėklui skirta atmintis● Perskirsčius atmintį nauji regionai apnulinami.


Proceso dydžio keitimas II

● Prieš keičiant programos atminties užimtumą patikrinama ar naujas proceso dydis tilps į atmintį sekančiai:– Patikrinti ar VA resursų užteks– Patikrinti ar adresų erdvė prašomo dydžio iškarto

seka esamo VA adresų erdvės pabaigą– Jei vm_map_entry struktūra neribojama būti

fiksuoto dydžio dėl tarpinės (angl. swap) atminties


Proceso dydžio keitimas III

– Jei vm_map_entry įrašas turi vieną ar daugiau puslapių tarpinėje atmintyje, tai nebus leidžiama ilginti įrašo

– Bus sukurtas vm_map_entry naujas įrašas su adresų erdvės pradžia prijungiamas prie VA pabaigos praplečiant

● Jei perskirstant atmintį proceso dydis atmintyje mažėja, tai:– Nereikalingi atminties puslapiai atlaisvinami iškart.

Dėl to, vm_map_entry įrašai ištrinami, taip sumažindami VA adresų erdvę


Proceso dydžio keitimas III

● Jei atlaisvinamos atminties kiekis didesnis nei įrašyta vm_map_entry visa struktūra atlaisvinama ir pereinama prie kitų intervalų

● Visi kreipiniai į atminties regioną, kurie nėra jau sąrašuose įvykdys puslapio nepataikymą (angl. page fault)


Rinkmenos susiejimas su VA

● naudojamas mmap() funkcija susieti rinkmeną sistemoje su VA adresų erdve.– Galima pareikalauti nuo kurio VA adreso iki kurio

adreso bus priskirta tai rinkmenai– Galima palikti branduoliui pačiam nuspręsti dėl

adresų erdvės priskyrimo ir parinkimo


mmap veikimas VA perskirstyti II

● perskirstant vm_map_entry skanuojama:– Jei naujas atminties intervalas persidengia

atlaisvinti senąjį ir naują sukurti– Jei naujas mmap yra poaibis egzistuojančio

mmap'o, tai suskaldoma į tris dalis ir laisvos dalys apjungiamos su kitomis laisvomis vm_map_entry

– Jei naujas mmap yra didesnis tai senas gražinamas, ir naujas sukuriamas.

– Dalinis adresų persidengimas kombinuotas visų ankstesnių būdų


Apibendrinimai

● VA pakelia abstrakcijos lygi ir įgalina turėti vienalytę VA ant skirtingo tipo atminties:– pirminė (operatyvioji)– antrinė (standusis diskas)

● VA skaidoma puslapiais, kai kiekvienas puslapis● AVP stengiasi išlaikyti kuo daugiau puslapių

pirminėje atmintyje


Apibendrinimai● AVP efektyvus veikimas priveda prie efektyvios

OS darbo● Labai svarbu yra determinuoti algoritmai VA

valdyti● Proceso gyvavime atminties sąnaudos didėja ir

mažėja, tačiau OS turi veikti stabiliai● Procesai turi galimybė bendrauti ar apsikeisti

duomenimis per dalinamąją atmintį

unix os - vilniaus universiteto matematikos ir ...rolnas/unix_os/paskaita.4.lt.pdf · r.naujikas...

Documents