parallel i/o for clusters: methodologies and systems
DESCRIPTION
Parallel I/O for Clusters: Methodologies and Systems. Piia Ruokonen Tite 4. Taustaa. Sovellusten käsiteltävä valtavia tietomääriä I/O muodostaa pullonkaulan MPP-järjestelmiin kehitettyjä menetelmiä voidaan soveltaa myös klustereihin. Rinnakkaisen I/O:n tarve. Säännölliset ongelmat - PowerPoint PPT PresentationTRANSCRIPT
20.3.2000 1757 Rinnakkaislaskennan jatkokurssi
LAPPEENRANNAN TEKNILLINEN KORKEAKOULUTietotekniikan osasto
Parallel I/O for Clusters:Methodologies and Systems
Piia Ruokonen Tite 4
20.3.2000 1757 Rinnakkaislaskennan jatkokurssi
LAPPEENRANNAN TEKNILLINEN KORKEAKOULUTietotekniikan osasto
Taustaa
• Sovellusten käsiteltävä valtavia tietomääriä
• I/O muodostaa pullonkaulan
• MPP-järjestelmiin kehitettyjä menetelmiä voidaan soveltaa
myös klustereihin
20.3.2000 1757 Rinnakkaislaskennan jatkokurssi
LAPPEENRANNAN TEKNILLINEN KORKEAKOULUTietotekniikan osasto
Rinnakkaisen I/O:n tarve
• Säännölliset ongelmat
– usein data voidaan jakaa osiin jo ohjelman käännösvaiheessa
– SPMD
• Epäsäännölliset ongelmat
– datahakuja ei pystytä ennustamaan
• Out-of-core -laskenta
– data ei mahdu kokonaan muistiin
20.3.2000 1757 Rinnakkaislaskennan jatkokurssi
LAPPEENRANNAN TEKNILLINEN KORKEAKOULUTietotekniikan osasto
Käytettyjä tekniikoita (1)
• Sovellustason menetelmät
– levyhakujen tehostamiseksi järjestellään muistiobjekteja
– esim. kaksivaihemenetelmä: ensin luetaan data levyltä, sitten jaetaan data
prosessien kesken
– perustuu siihen, että on nopeampi hakea vähän isoja datalohkoja kuin
paljon pieniä
20.3.2000 1757 Rinnakkaislaskennan jatkokurssi
LAPPEENRANNAN TEKNILLINEN KORKEAKOULUTietotekniikan osasto
Käytettyjä tekniikoita (2)
• I/O-tason menetelmät
– erilliset I/O-palvelimet keräävät pyynnöt ja suorittavat levyhaut
– esim. levyohjattu I/O -menetelmä
• Ennakoivat menetelmät
– dataa haetaan etukäteen ohjelmoijan tai kääntäjän asettamien vihjeiden
perusteella
– esim. kaksivaiheinen tiedon hallintamenetelmä
20.3.2000 1757 Rinnakkaislaskennan jatkokurssi
LAPPEENRANNAN TEKNILLINEN KORKEAKOULUTietotekniikan osasto
Rinnakkaisia I/O-järjestelmiä
• Ajonaikaiset kirjastot
– MPI-IO: perusideana I/O:n mallintaminen viestinvälityksenä
– ViPIOS: saatavilla sekä kirjastona että I/O-palvelinkonfiguraationa
• Rinnakkaiset tiedostojärjestelmät
– sovelluksesta riippumattomia
• Rinnakkaiset tietokantajärjestelmät