sissejuhatus informaatikasse - ut€¦ · 1/79 artjom lind ([email protected]) 19.09.2012 ...

79
1/79 Artjom Lind ([email protected]) 19.09.2012 http://ds.cs.ut.ee Sissejuhatus Informaatikasse Hajussüsteemid Distributed Systems

Upload: others

Post on 01-Feb-2021

4 views

Category:

Documents


0 download

TRANSCRIPT

  • 1/79

    Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Sissejuhatus Informaatikasse 

    HajussüsteemidDistributed Systems

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Sisukord

    • Hajussüsteemide grupp• Mobiil- ja Pilvearvutuste grupp• Teadustöö

    – Paralleelarvutused– Teadusarvutused– Pilvetehnoloogia– Mobiilsed arvutused– Friend-2-Friend– Andmeotsingu tulevik

    • Lõputööd

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Meie uurimisgrupid

    • Kes me oleme?• Rahvusvaheline seltskond.

    – Teadlased ning tudengid kümnest erinevast riigist!

    – Igapäevane töö käib Inglise keeles.

    • Tegeleme hajusate ja paralleelsete arvutustega.

    • Vahel tegeleme ka muude asjadega

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Hajussüsteemide grupi liikmed

    ● Professor:– Eero Vainikko

    ● PhD Students:– Oleg Batrashev– Tõnu Tamme– Georg Singer– Dmitri Danilov– Artjom Lind

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Eero Vainikko• Hajussüsteemide professor

    • Teadustöö– Hajussüsteemid

    – High-Performance-Computing (HP)

    – Arvutused Grid võrkudes

    – Teadusarvutused

    – DOUG

    • Õpetamine– Paralleelarvutused

    – Gridi- ja pilvetehnoloogia alused

    – Teadusarvutused

    – Hajussüsteemide seminar

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mobiil- ja Pilvearvutuste grupp

    ● Associated Professor:– Satish Srirama

    ● PhD Students:– Pelle Jakovits– Jürmo Mehine– Vladimir Shor– Huber Flores– Briti Deb

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Satish Srirama• Vanemteadur

    • Teadustöö– Pilvearvutused

    – SciCloud (Teadusarvutused pilves)

    – Mobile Cloud (Mobiilsed pilveteenused)

    – Mobiilsed veebiteenused

    • Õpetamine– Gridi- ja pilvetehnoloogia alused

    – Mobiilirakenduste loomine

    – Hajussüsteemide seminar

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Kuidas meid leida?

    • Kolmandal korrusel, Liivi 2 - 311 (Akvaarium-ruum)

    • http://ds.cs.ut.ee• http://mc.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/http://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mis on Hajussüsteemid?

    Mida te arvate?

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Hajussüsteemid• “A system in which hardware or software components located at

    networked computers communicate and coordinate their actions only by message passing.” [Coulouris]

    • “A distributed system is a collection of independent computers that appear to the users of the system as a single computer.” [Tanenbaum]

    • Näiteid hajusavutuse süsteemidest:–Cluster: “A type of parallel or distributed processing system, which consists of a collection of interconnected stand-alone computers cooperatively working together as a single, integrated computing resource” [Buyya].

    –Grid: “A type of parallel and distributed system that enables the sharing, selection, and aggregation of geographically distributed autonomous resources dynamically at runtime depending on their availability, capability, performance, cost, and users' quality-of-service requirements” [Buyya].

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Leslie Lamport’s Definition

    • A distributed system is one on which I cannot get any work done because some machine I have never heard of has crashed.“

    – Leslie Lamport , a famous researcher on timing, message ordering, and clock synchronization in distributed systems.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Hajussüsteemid üldisemalt

    • Kust leiab Hajussüsteeme?• Erinevad arvutivõrgud:

    – Mobiiltelefonivõrgustikud– Äriettevõtete arvutivõrgud– Sõidukitesse sisseehitatud arvutivõrgud (Autod, lennukid, ...)– Interneti võrgustik

    • Hajussüsteemide uurimine käsitleb– oluliste hajusalt ühendatud arvutitivõrkude omaduste uurimist.– Põhikontseptsioone ning tehnikaid, mis aitavad disainida ning rakendada

    hajussüsteeme ning nendel baseeruvaid lahendusi.

    – Kuidas effektiivselt rakendada hajusalt asuvaid arvutusressursse

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Hajussüsteemid millega meie peamiselt tegeleme

    • Klastrid (Clusters)• Arvutusvõrgud (Grids)• Pilved (Clouds)• P2P süsteemid• Mobiilsed süsteemid

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Paralleelsed teadusarvutused

    • Meie grupi üks peamisi tegevusalasid• Teadusarvutused tegelevad erinevate

    teaduslike arvutimodeleerimiste ning simulatsioonidega.

    • Sellised simulatsioonid on aga tihti väga suuremahulised

    • Selleks et saada kiireid ning täpseid tulemusi on vaja rakendada superarvutite või paralleelarvutuse võimalusi.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Paralleelsed teadusarvutused

    • Paralleelarvutuste läbi viimisel rakendatakse ühe ülesande lahendamisel rohkemat kui ühte protsessori tuuma.

    – Kui rakendatakse rohkemat kui ühte protsessorit või arvutit siis on tegemist juba Hajussüsteemiga

    • Kuidas efektiivselt ära kasutada üksteisest eemal olevaid arvuteid suuremahuliste arvutuste jaoks ongi üks meie grupi peamisi uurimisteemasid.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    DOUG

    • Eero Vainikko– Oleg Batrashev

    • Musta-kasti tüüpi lahendaja tohutult suurte hõredate lineaarsüsteemide jaoks.

    • Hiiglaslikud hõredad lineaar-süsteemid:– Süsteemis on miljoneid tundmatuid– Maatriksi suurus on tihti > 10^12– Kuid maatriks on hõre

    • Lineaarsüsteemi automaatne alamosadeks jagamine

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Doug

    • Fortranis kirjutatud pärand-programm• Alustatud 1995 kasutades Fortran'77 keelt• Jooksutatakse paralleelselt arvuti-klastrites

    kasutades MPI sõnumite saatmise liidest.

    • Väga – Kiire ja effektiivne– Raske paigaldada– Raske hooldada

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Milleks DOUG’i rakendatakse?

    • Näiteks temperatuuri-jaotuse simulatsioon erinevates materjalides koos soojusallikate ning väljunditega

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Oleg Batrashev– Teeb doktoritööd teemal

    “Valdkonnaspetsiifilised keeled (DSL) suure jõudlusega arvutuste (HPC) jaoks”

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Pilvetehnoloogia

    • Satish Srirama– Pelle Jakovits

    – Jürmo Mehine

    – Briti Deb

    • Pilvetehnoloogia kasutamine teadusarvutuste ja teiste suuremahuliste arvutuste jaoks.

    – SciCloud

    – Stratus hajusarvutusraamistik

    – Pilves asuv andmeanalüüs ning andmebaasid

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Definitsioon? Mis see on?

    Mida täpselt mõeldakse

    Pilvearvutuste all?

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Definitsioon

    • Arvutusvõimsuse pakkumine sarnaselt teistele teenustele:

    – Vesi– Elekter– Gaas

    • Gartner: “Cloud computing is a style of computing where massively scalable IT-related capabilities are provided ‘as a service’ across the Internet to multiple external customers.”

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Pilvearvutused

    • Arvutusressursside pakkumine teenusena (raha eest)

    – Protsessori aeg ja võimsus

    – Salvestusruumi suurus

    – Mälu maht

    – Liikuvate andmete maht, jne.

    • Maksad täpselt nii palju kui ressursse kasutad.• Arvutuskeskkond on virtualiseeritud ja kasutaja

    näeb lihtsustatud keskkonda.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Erinevad pilveteenused• Software as a Service – SaaS

    –Tarkvara rakenused teenustena, mis on ligipääsetavad veebilehitseja abil.

    –Siin all mõeldakse rakendusi mis on rohkemad, kui lihtsalt veebilehed.

    • Platform as a Service – PaaS –Erinevate rakenduste jaoks vajalike platvormide

    pakkumine teenusena

    –Pay-as-you-go mudel IT lahenduste jaoks• Infrastructure as a Service – IaaS

    –Virtuaalsete arvutusvahendite laenutamine üle interneti. –Võrreldes veebilehtede majutajatega on see teenus

    palju dünaamilisem. On võimalik sekunditega uusi virtuallservereid üles seada, seadistada ning eemaldada.

    –Tihti kasutuses suuremahuliste andmete töötluseks ja ladustamiseks.

    –Alati lihtne ning kiire arvutusressursse juurde lisada

    SaaS

    Facebook, Flickr, Myspace.com, Google

    maps, Gmail

    PaaS

    Google App Engine, Force.com, Hadoop,

    Azure, Amazon S3, etc

    IaaS

    Amazon EC2, Nirvanix Storage Delivery

    Network, etc.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    IaaS Näide

    • Amazon EC2– Virtuaalsed arvutiressursid teenusena– Pakub võimalust rentida

    virtuaalmasinaid

    – Maksad selle eest kui kaua ning kui võimsaid virtuaalmasinaid kasutad

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Amazon EC2

    • Virtuaalmasina valimine• Operatsiooni systeem

    • Linux (Ubuntu, Debian, Scientific Linux, ...)• Windows

    • 32 või 64 bit– Asukoht (Euroopa, USA Ida või läänerannik või Aasia)– Masina võimsus– Mälu maht– Kõvaketta suurus– Protsessori võimsus– Tuumade arv

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Amazon EC2

    • Saad ligipääsu virtuallmasinale ssh kaudu avaliku võtme abil

    • Juurkasutaja tasemel ligipääs operatsiooni-süsteemile– Praktiliselt piiramatu ligipääs– Võimalik paigaldada mistahes vajalikku tarkvara

    • Kui töö tehtud siis saab virtuallmasina hetkeseis salvestada või masin lihtsalt peatada

    • Maksta tuleb valitud masina võimsuse ning kasutatud aja järgi

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Milleks meie kasutame EC2’d?

    • Lühiajalised eksperimendid– Võimalik hinnata ette kui palju raha eksperimendi jaoks

    vaja on

    – Ei ole vaja üleval hoida ja hooldada oma riistvara– Saab kasutada ainult siis kui on vajadus– Väiksemaid proove on võimalik praktiliselt tasuta kõige

    väisemate masina tüüpe (Micro) kasutades teha.

    – Me saime Amazonilt $9000 suuruse toetuse EC2 kasutamiseks teadustöö ning õppetegevuse jaoks.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Meie Pilv

    • Kohalik Pilv on üles seatud ruumis 311. • Koosneb:

    – 6 HP pro arvutitist (4 Tuuma, 8GB Mälu)– 2 HP serverist (8 Tuuma, 32GB Mälu)

    • Kasutab Eucalyptus pilvearvutuse platvormi – Simuleerib Amazon EC2’e

    • Kasutuses on uurmistööde jaoks eksperimentide tegemisel ning aine “Pilvetehnoloogia Alused” praktikumide läbi viimisel.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Motivatsioon

    • Avalikud pilveteenused “Lubavad” virtuaalselt lõpmatuid arvutusressursse:

    – Neid saab kasutada teadusarvutuste läbi viimiseks

    – Teenuse pakkujate poolt kasutatav riistvara võib aga tihti üles ütelda.

    – Vigadehalduseks ning rakenduste loomise lihtsustamiseks on tihti teadlastel parem kasutada olemasolevaid lahendusi, arvutusraamistikke.

    • Millised on paraleelarvutuse raamistikud mille abil on võimalik effektiivselt ära kasutada selliseid arvutusressursse?

    • Teadusarvutusprobleemide taandamine paralleelsetele pilvearvutusraamistikele ei ole alati lihtne.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    SciCloud

    • Teaduslikud arvutused pilvearvutus platvormidel

    • Lokaalsete pilvearvutus-võrkude loomine kasutades olemasolevaid ülikooli arvuteid ning arvutusvõrke.

    – Lubada teadlastel ning tudengitel neid kasutada teadusarvutuse probleemide lahendamiseks

    • Olemas olevate pilvearvutuses kasutavate raamistike sobivuse uurimine suuremahuliste teadusarvutuse probleemide lahendamise jaoks.

    – MapReduce

    – Hadoop– Twister– Bulk Synchronous Parallel (BSP)

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    SciCloud

    • “Adapting scientific computing problems to cloud computing frameworks”,

    – Teaduslike probleemide lahendamine matemaatilise modelleerimise ja simulatsiooni abil.

    – Erinevate pilvetehnoloogias kasutavate raamistike võrdlemine

    – Selliste probleemide lahendamiseks kohandatud pilvearvutus-raamistiku loomine

    – Esialgne nimi: Stratus – Baseerub „Bulk Synchronous Parallel“ (BSP)

    paralleelarvutusmudelil

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Modelleerimine ja Simulatsioon

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    MapReduce

    • Google poolt loodud raamistik massiivse andmeanalüüsi läbi viimiseks

    – Raamistikule kirjutatud programmid on autamaatselt paralleliseeritavad

    – Lihtsustab hajusate andmeanalüüsi programmide kirjutamist

    • MapReduce raamistik– Haldab ise kõiki paralleliseerimisdetaile– Sisseehitatud veatõrgete süsteem riistvara ning

    arvutivõrgu tõrgete kaitseks

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Stratus raamistik

    • Tulemused aga näitavad et MapReduce ei ole sobiv mudel sobiv suuremahuliste simulatsioonide jaoks.

    • Otsustasime luua oma enda raamistiku teadusarvutuse paralleelsete simulatsioonide läbi viimiseks: Stratus.

    • Esmärk on lihtsustada teadlase tööd, kellel ei ole palju kogemusi paralleelarvutuse jaoks programmide kirjutamisega.

    – Lihtsus

    – Automaatne parallelsus

    – Tõrketaluvus

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Bulk Synchronous Parallel

    • Stratus raamistik baseerub ühel BSP paralleelarvutuse mudelil:

    – Kogu arvutus jagatakse paralleelseteks alamülesanneteks ning moodustakse neist graaf.

    – Arvutuskäik jaotatakse iteratsioonideks, (näiteks ajahetked simulatsioonis)

    – Igal iteratsioonil teeb iga graafi tipus asuv alamülesanne läbi sama operatsiooni ning, kui vaja, siis saadab teateid teistele temaga ühenduses olevatele graafi tippudele.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Stratus

    • Bulk Synchronous Parallel mudel on sarnane teadusarvutuses simulatsioonides sageli kasutatavatele meetoditele, kui:

    – Simuleeritav ruum, objekt või pind jagatakse alamosadeks.

    – Igal ajahetkel arvutatakse alamosade olek ümber

    • Hetkel on Stratus raamistik veel disaini etapis ning järgmine samm on prototüübi loomine.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Pelle Jakovits– “Teadusarvutuse probleemide taandamine Pilvearvutuse

    raamistikkudele”

    • Jürmo Mehine– “Migrating Relational Database Systems to Cloud Scale Solutions”

    – Suure koguse andmete puhul relatsiooniline mudel ei skaleeru. Kuidas kasutada selle asemel mitterelatsioonilisi andmebaasi mudeleid.

    • Briti Deb– “Migrating Data Mining Based Applications Using Databases and

    Social Networks to Clouds”

    – Andmekaevandus algoritmide rakendamine sotsiaalvõrgustike analüüsimiseks

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mobile Cloud

    • Satish Srirama– Huber Flores

    • Suuremahuliste arvutuste ning andmete liigutamine mobiilsetelt seadmetelt pilvearvutus platvormidele

    • Mobiilirakenduste loomine

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mobiilirakendused

    • Programmide loomine mobiilsete seadmete jaoks erinevatel platvormidel:

    – Android– Windows 7– Apple IoS

    • Sellel sügisel algas kursus “Mobiilirakenduste loomine”

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Nutitelefonid

    • Tänu Tiigriülikooli toetusele on meil olnud võimalik soetada hulk telefone mobiilirakenduste loomiseks ning testimiseks:

    – 10 Android telefoni– 1 Windows telefon– 5 Apple IoS telefoni– 2 Symbian telefoni

    • Aine “Mobiilirakenduste loomine” jaoks oleme ostmas uut komplekti telefone koos mõnede tahvelarvutitega.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    http://mc.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/http://mc.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mobile Cloud MiddleWare (MCM)

    • Mobiilse pilve vahevara eesmärk on:– Suuremahuliste arvutusülesannete ning andmete liigutamine

    mobiilseadmetelt pilvearvutus platvormidele

    – Võimaldada lihtne integratsioon erinevate pilvearvutusplatvormi pakkujate ning mobiili-programmide vahel

    – Hoida kokku aega ning mobiilseadmete akusid.– Rikastada mobiiliprogrammide võimalusi

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mobile Cloud MiddleWare (MCM)

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    CroudSTag

    • Social Group Formation with Facial Recognition and Mobile Cloud Services

    – By Huber Flores

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Huber Flores– “Scalability, Integrability and

    Provisioning of context-aware services using the Mobile Cloud Middleware”

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Friend-2-Friend arvutused

    • Ulrich Norbisrath ja Artjom Lind

    • Suuremahulised hajusarvutused kasutades sõprade arvuteid

    • “Sama lihtne kasutada kui Skype”

    • Loomisel alates 2007 aastast

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Friend-2-Friend

    • Kuidas üles seada spontaanseid arvutusvõrke?

    – Ei mingit seadistamist– Ei nõua kasutajalt palju tööd

    • Kuidas teha seda sama lihtsaks kui näiteks Skype või MSN kasutamist?

    • Vastus: – Kombineeri sotsiaalsed võrgustikud

    kasutajalt-kasutajale (P2P) võrkudega.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Kes kasutaks F2F’i

    • Teadlased või tudengid kellel on vaja läbi viia suuremahuline arvutustegevus.

    – Näiteks videopildi töötlemine

    • Kasutajatel ei ole ligipääsu klastritele, ei tea kuidas neid kasutada hajusarvutuste läbiviimiseks. Tahavad töö läbi viia kohe, odavalt ning lihtsalt.

    • Omavad baasteadmisi kõrgema taseme programmeerimisekeeltest.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Milleks kasutada F2F’i

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Kuidas F2F’i kasutada?

    • Küsi sõprade käest kas võid kasutada nende arvutit

    • Loo grupp mingis teadete saatmise programmis

    • Pane loodud grupis tööle mingi suuremamahuline arvutustöö

    • Kui töö on tehtud saad tulemused tagasi

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    F2F

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    F2F

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Implementatsioon

    • Töötab moodulina Pidgin’is– Toetab kiirteadete saatmise lahendusi nagu AIM, MSN,

    Google Talk, MSN, IRC, ...

    • Kirjutatud keeles C: – Ei ole sõltuvusi, väike mälukasutus

    • Platvormid:– Linux, Windows, SymbianS60, Maemo, (Android)

    • Virtualization:– Qemu/KVM Kernel

    • Keeled milles saab programme kirjutada:– C, C++, Fortran, Python

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Edasine töö

    • Hetkel töös– Rohkem ksotsiaalsete võrkude liideseid (MSN Live, Adium …)– Rohkemate arvutusplatvormide toetamine– Teiste programmeerimiskeelte toetamine (C#, Java … )– Turvalisuse edasi arendamine

    • Pikemaajalised plaanid– HF2F jaoks hasjusprogrammide modelleerimine ja loomine – F2F programmide ja teenuste portaali loomine

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Artjom Lind– Friend-to-Friend Computing – A Friendly

    Framework for Ubiquitous and Distributed Systems

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Kompleksne ja uuriv andmeotsing

    • Ulrich Norbisrath– Georg Singer

    • Milline on andmeotsing tulevikus?

    • Kas Google’st piisab kõigeks mis sul vaja läheb?

    • Mida saab paremini teha?

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mida mõeldakse otsingu all

    • Internetist– Google (search, maps, etc.), Yahoo, Bing– Craigslist, Amazon, Ebay, Kayak, Facebook– PubMed, IEEE– Wikipedia– Wolfram Alpha

    • Teised võimalused– Raamatukogu– Ajaleht (Uudised ja teated)– Teadetetahvlid (Ülikoolis, poes, ...)– Teiste inimeste (ekspertide) käest küsimine

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Otsingu allikadAasta 2008:

    Aasta 2009:

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Kuidas sa otsid informatsiooni?

    • Kes teist kasutab otsingumootoreid tihti?• Kes teist kasutab midagi peale interneti

    informatsiooni otsimiseks?

    • Kes ei ole mõnikord rahul otsingute ja otsimisvõimalustega?

    • Kas olete puutunud kokku keerulisemate otsinguvajadustega kus tavavõimalustest ei piisa?

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Näited

    • Leia kõik Calerendoni kohtumaja läheduses Arlington Virgiinias asuvad, hetkel lahti olevad poed kus saab osta tantsukingi.

    • Kuidas saab teha muutumatud leheküljed moin moin wikis tagasi muudetavateks.

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Tänapäeva otsing• Rohkem kui 40% otsingutest on navigatsioonilised

    – Mitmetasemelised ja korduvad otsingud ühe – Kasutaja teeb suurema osa tööst

    • Päringud– Keskmine pikkus: < 2 sõna– ~50% päringuid on üks sõna

    • Otsingu tulemused– 80% kasutajatest vaatab ainult esimest lehekülge (5-20 tulemust)– Nende seast uurib kasutaja paari esimest tulemust– Kasutajad tihti vaatavad ainult 5-8 tulemust ühe otsingu kohta– Otsingu sessioon kestab keskmiselt vähem kui 15 minutit

    • Kasutajad on tavaliselt tulemustega rahul

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Keerulisema otsingu näide

    • Sinu tütar Anna (või poeg Peeter) on lõpetamas keskkooli ning tahab õppida välismaal politoloogiat või arhitektuuri. Sa saad teda toetada kuni 3000 EUR-ga kuus. Milliseid ülikoole võid sa soovitada, mis oleksid taskukohased ja pakuksid Annale (või Peetrile) parimad karjääriperspektiivid pärast lõpetamist?

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Keerulisem otsing

    • Palju rohkem kui lihtsalt päringule vastuse küsimine

    • Sisaldab otsingu kordamist, päringu järkjärgulist muutmist, eraldi otsingult saadud tulemuste kokku ühendamist.

    • Võtab kaua aega• Vajab kasutajalt analüüsi oskust• Osa otsingust toimub veebilehest väljaspoolt

    (Kasutaja enda peas)

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Uuriv otsingRohkemat kui lihtsalt informatsiooni pärimine

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Veel probleeme

    • Kuidas me hoiame andmeid?

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mida saame teha?

    • Kasutajaliidese paremaks tegemine – Erinevad viisid tulemuste esitamiseks(mitte ainult dokumentide

    nimekiri)

    – Erinevad viisid tulemuste otsimiseks (mitte ainult märksõnade ning kategooriate järgi)

    • Vältida andmete dubleerimist – blogimine ja sotsiaalvõrgustikes informatsiooni jagamine teeb

    vastupidist

    • Teise inimeste otsingutulemuste ära kasutamine• Kasutada dokumentide asemel objektide graafe

    – Informatsiooni paremini esitlemiseks– Seoste ning hierarhia näitamiseks otsingutulemustes

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Georg Singer– “Scenario Based Search”

    • Dmitri Danilov– “Employing graphs to facilitate

    information exploration”

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Lõputööd

    • Lõputööd teemadel:– Teadusarvurused Pilves (Scientific Computing on the Cloud)– Kompleks- ja Uuriv-otsing ja teabehaldus (Complex Search)– Grid- ja kluster-arvutused– Hajussüsteemide tarkvara– Friend-to-Friend Computing– Hajusarvutuste tõrgete otsing (Distributed troubleshooting)

    Vaata kogu nimekirja aadressil: http://ds.cs.ut.ee/theses

    mailto:[email protected]://ds.cs.ut.ee/http://ds.cs.ut.ee/theses

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Kui pakub huvi

    • Kui midagi midagi silma või meelde ja – see millega tegeleme pakub sulle huvi– soovid rohkem teada saada– tahad lõputööd teha ühel meie poolt pakutud teemal

    Siis tule ja võta meiega ühendust kolmandal korrusel ruumis 311!

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    Mõned pildid

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

  • Artjom Lind ([email protected])19.09.2012http://ds.cs.ut.ee

    mailto:[email protected]://ds.cs.ut.ee/

    Slide 1SisukordHajussüsteemide gruppSlide 4Slide 5Eero VainikkoSlide 7Satish SriramaKuidas meid leida?Slide 10HajussüsteemidLeslie Lamport’s DefinitionHajussüsteemid üldisemaltHajussüsteemid millega meie peamiselt tegelemeParalleelsed teadusarvutusedParalleelsed teadusarvutusedDOUGDougMilleks DOUG’i rakendatakse?Teemaga seotud doktoritöödPilvetehnoloogiaSlide 22DefinitsioonPilvearvutusedErinevad pilveteenusedIaaS NäideSlide 27Amazon EC2Amazon EC2Milleks meie kasutame EC2’d?Meie PilvSlide 32MotivatsioonSciCloudSciCloudModelleerimine ja SimulatsioonMapReduceStratus raamistikBulk Synchronous ParallelStratusTeemaga seotud doktoritöödMobile CloudMobiilirakendusedNutitelefonidSlide 45Mobile Cloud MiddleWare (MCM)Mobile Cloud MiddleWare (MCM)CroudSTagTeemaga seotud doktoritöödFriend-2-Friend arvutusedFriend-2-FriendKes kasutaks F2F’iMilleks kasutada F2F’iKuidas F2F’i kasutada?F2FF2FImplementatsioonEdasine tööTeemaga seotud doktoritöödKompleksne ja uuriv andmeotsingMida mõeldakse otsingu allOtsingu allikadKuidas sa otsid informatsiooni?NäitedTänapäeva otsingKeerulisema otsingu näideKeerulisem otsingUuriv otsingVeel probleemeMida saame teha?Teemaga seotud doktoritöödLõputöödKui pakub huviSlide 74Slide 75Slide 76Slide 77Slide 78Slide 79