sissejuhatus informaatikasse - ut€¦ · 1/79 artjom lind (artjom.lind@ut.ee) 19.09.2012 ...

Post on 01-Feb-2021

4 Views

Category:

Documents

0 Downloads

Preview:

Click to see full reader

TRANSCRIPT

  • 1/79

    Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Sissejuhatus Informaatikasse 

    HajussüsteemidDistributed Systems

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Sisukord

    • Hajussüsteemide grupp• Mobiil- ja Pilvearvutuste grupp• Teadustöö

    – Paralleelarvutused– Teadusarvutused– Pilvetehnoloogia– Mobiilsed arvutused– Friend-2-Friend– Andmeotsingu tulevik

    • Lõputööd

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Meie uurimisgrupid

    • Kes me oleme?• Rahvusvaheline seltskond.

    – Teadlased ning tudengid kümnest erinevast riigist!

    – Igapäevane töö käib Inglise keeles.

    • Tegeleme hajusate ja paralleelsete arvutustega.

    • Vahel tegeleme ka muude asjadega

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Hajussüsteemide grupi liikmed

    ● Professor:– Eero Vainikko

    ● PhD Students:– Oleg Batrashev– Tõnu Tamme– Georg Singer– Dmitri Danilov– Artjom Lind

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Eero Vainikko• Hajussüsteemide professor

    • Teadustöö– Hajussüsteemid

    – High-Performance-Computing (HP)

    – Arvutused Grid võrkudes

    – Teadusarvutused

    – DOUG

    • Õpetamine– Paralleelarvutused

    – Gridi- ja pilvetehnoloogia alused

    – Teadusarvutused

    – Hajussüsteemide seminar

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mobiil- ja Pilvearvutuste grupp

    ● Associated Professor:– Satish Srirama

    ● PhD Students:– Pelle Jakovits– Jürmo Mehine– Vladimir Shor– Huber Flores– Briti Deb

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Satish Srirama• Vanemteadur

    • Teadustöö– Pilvearvutused

    – SciCloud (Teadusarvutused pilves)

    – Mobile Cloud (Mobiilsed pilveteenused)

    – Mobiilsed veebiteenused

    • Õpetamine– Gridi- ja pilvetehnoloogia alused

    – Mobiilirakenduste loomine

    – Hajussüsteemide seminar

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Kuidas meid leida?

    • Kolmandal korrusel, Liivi 2 - 311 (Akvaarium-ruum)

    • http://ds.cs.ut.ee• http://mc.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/http://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mis on Hajussüsteemid?

    Mida te arvate?

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Hajussüsteemid• “A system in which hardware or software components located at

    networked computers communicate and coordinate their actions only by message passing.” [Coulouris]

    • “A distributed system is a collection of independent computers that appear to the users of the system as a single computer.” [Tanenbaum]

    • Näiteid hajusavutuse süsteemidest:–Cluster: “A type of parallel or distributed processing system, which consists of a collection of interconnected stand-alone computers cooperatively working together as a single, integrated computing resource” [Buyya].

    –Grid: “A type of parallel and distributed system that enables the sharing, selection, and aggregation of geographically distributed autonomous resources dynamically at runtime depending on their availability, capability, performance, cost, and users' quality-of-service requirements” [Buyya].

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Leslie Lamport’s Definition

    • A distributed system is one on which I cannot get any work done because some machine I have never heard of has crashed.“

    – Leslie Lamport , a famous researcher on timing, message ordering, and clock synchronization in distributed systems.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Hajussüsteemid üldisemalt

    • Kust leiab Hajussüsteeme?• Erinevad arvutivõrgud:

    – Mobiiltelefonivõrgustikud– Äriettevõtete arvutivõrgud– Sõidukitesse sisseehitatud arvutivõrgud (Autod, lennukid, ...)– Interneti võrgustik

    • Hajussüsteemide uurimine käsitleb– oluliste hajusalt ühendatud arvutitivõrkude omaduste uurimist.– Põhikontseptsioone ning tehnikaid, mis aitavad disainida ning rakendada

    hajussüsteeme ning nendel baseeruvaid lahendusi.

    – Kuidas effektiivselt rakendada hajusalt asuvaid arvutusressursse

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Hajussüsteemid millega meie peamiselt tegeleme

    • Klastrid (Clusters)• Arvutusvõrgud (Grids)• Pilved (Clouds)• P2P süsteemid• Mobiilsed süsteemid

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Paralleelsed teadusarvutused

    • Meie grupi üks peamisi tegevusalasid• Teadusarvutused tegelevad erinevate

    teaduslike arvutimodeleerimiste ning simulatsioonidega.

    • Sellised simulatsioonid on aga tihti väga suuremahulised

    • Selleks et saada kiireid ning täpseid tulemusi on vaja rakendada superarvutite või paralleelarvutuse võimalusi.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Paralleelsed teadusarvutused

    • Paralleelarvutuste läbi viimisel rakendatakse ühe ülesande lahendamisel rohkemat kui ühte protsessori tuuma.

    – Kui rakendatakse rohkemat kui ühte protsessorit või arvutit siis on tegemist juba Hajussüsteemiga

    • Kuidas efektiivselt ära kasutada üksteisest eemal olevaid arvuteid suuremahuliste arvutuste jaoks ongi üks meie grupi peamisi uurimisteemasid.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    DOUG

    • Eero Vainikko– Oleg Batrashev

    • Musta-kasti tüüpi lahendaja tohutult suurte hõredate lineaarsüsteemide jaoks.

    • Hiiglaslikud hõredad lineaar-süsteemid:– Süsteemis on miljoneid tundmatuid– Maatriksi suurus on tihti > 10^12– Kuid maatriks on hõre

    • Lineaarsüsteemi automaatne alamosadeks jagamine

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Doug

    • Fortranis kirjutatud pärand-programm• Alustatud 1995 kasutades Fortran'77 keelt• Jooksutatakse paralleelselt arvuti-klastrites

    kasutades MPI sõnumite saatmise liidest.

    • Väga – Kiire ja effektiivne– Raske paigaldada– Raske hooldada

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Milleks DOUG’i rakendatakse?

    • Näiteks temperatuuri-jaotuse simulatsioon erinevates materjalides koos soojusallikate ning väljunditega

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Oleg Batrashev– Teeb doktoritööd teemal

    “Valdkonnaspetsiifilised keeled (DSL) suure jõudlusega arvutuste (HPC) jaoks”

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Pilvetehnoloogia

    • Satish Srirama– Pelle Jakovits

    – Jürmo Mehine

    – Briti Deb

    • Pilvetehnoloogia kasutamine teadusarvutuste ja teiste suuremahuliste arvutuste jaoks.

    – SciCloud

    – Stratus hajusarvutusraamistik

    – Pilves asuv andmeanalüüs ning andmebaasid

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Definitsioon? Mis see on?

    Mida täpselt mõeldakse

    Pilvearvutuste all?

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Definitsioon

    • Arvutusvõimsuse pakkumine sarnaselt teistele teenustele:

    – Vesi– Elekter– Gaas

    • Gartner: “Cloud computing is a style of computing where massively scalable IT-related capabilities are provided ‘as a service’ across the Internet to multiple external customers.”

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Pilvearvutused

    • Arvutusressursside pakkumine teenusena (raha eest)

    – Protsessori aeg ja võimsus

    – Salvestusruumi suurus

    – Mälu maht

    – Liikuvate andmete maht, jne.

    • Maksad täpselt nii palju kui ressursse kasutad.• Arvutuskeskkond on virtualiseeritud ja kasutaja

    näeb lihtsustatud keskkonda.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Erinevad pilveteenused• Software as a Service – SaaS

    –Tarkvara rakenused teenustena, mis on ligipääsetavad veebilehitseja abil.

    –Siin all mõeldakse rakendusi mis on rohkemad, kui lihtsalt veebilehed.

    • Platform as a Service – PaaS –Erinevate rakenduste jaoks vajalike platvormide

    pakkumine teenusena

    –Pay-as-you-go mudel IT lahenduste jaoks• Infrastructure as a Service – IaaS

    –Virtuaalsete arvutusvahendite laenutamine üle interneti. –Võrreldes veebilehtede majutajatega on see teenus

    palju dünaamilisem. On võimalik sekunditega uusi virtuallservereid üles seada, seadistada ning eemaldada.

    –Tihti kasutuses suuremahuliste andmete töötluseks ja ladustamiseks.

    –Alati lihtne ning kiire arvutusressursse juurde lisada

    SaaS

    Facebook, Flickr, Myspace.com, Google

    maps, Gmail

    PaaS

    Google App Engine, Force.com, Hadoop,

    Azure, Amazon S3, etc

    IaaS

    Amazon EC2, Nirvanix Storage Delivery

    Network, etc.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    IaaS Näide

    • Amazon EC2– Virtuaalsed arvutiressursid teenusena– Pakub võimalust rentida

    virtuaalmasinaid

    – Maksad selle eest kui kaua ning kui võimsaid virtuaalmasinaid kasutad

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Amazon EC2

    • Virtuaalmasina valimine• Operatsiooni systeem

    • Linux (Ubuntu, Debian, Scientific Linux, ...)• Windows

    • 32 või 64 bit– Asukoht (Euroopa, USA Ida või läänerannik või Aasia)– Masina võimsus– Mälu maht– Kõvaketta suurus– Protsessori võimsus– Tuumade arv

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Amazon EC2

    • Saad ligipääsu virtuallmasinale ssh kaudu avaliku võtme abil

    • Juurkasutaja tasemel ligipääs operatsiooni-süsteemile– Praktiliselt piiramatu ligipääs– Võimalik paigaldada mistahes vajalikku tarkvara

    • Kui töö tehtud siis saab virtuallmasina hetkeseis salvestada või masin lihtsalt peatada

    • Maksta tuleb valitud masina võimsuse ning kasutatud aja järgi

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Milleks meie kasutame EC2’d?

    • Lühiajalised eksperimendid– Võimalik hinnata ette kui palju raha eksperimendi jaoks

    vaja on

    – Ei ole vaja üleval hoida ja hooldada oma riistvara– Saab kasutada ainult siis kui on vajadus– Väiksemaid proove on võimalik praktiliselt tasuta kõige

    väisemate masina tüüpe (Micro) kasutades teha.

    – Me saime Amazonilt $9000 suuruse toetuse EC2 kasutamiseks teadustöö ning õppetegevuse jaoks.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Meie Pilv

    • Kohalik Pilv on üles seatud ruumis 311. • Koosneb:

    – 6 HP pro arvutitist (4 Tuuma, 8GB Mälu)– 2 HP serverist (8 Tuuma, 32GB Mälu)

    • Kasutab Eucalyptus pilvearvutuse platvormi – Simuleerib Amazon EC2’e

    • Kasutuses on uurmistööde jaoks eksperimentide tegemisel ning aine “Pilvetehnoloogia Alused” praktikumide läbi viimisel.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Motivatsioon

    • Avalikud pilveteenused “Lubavad” virtuaalselt lõpmatuid arvutusressursse:

    – Neid saab kasutada teadusarvutuste läbi viimiseks

    – Teenuse pakkujate poolt kasutatav riistvara võib aga tihti üles ütelda.

    – Vigadehalduseks ning rakenduste loomise lihtsustamiseks on tihti teadlastel parem kasutada olemasolevaid lahendusi, arvutusraamistikke.

    • Millised on paraleelarvutuse raamistikud mille abil on võimalik effektiivselt ära kasutada selliseid arvutusressursse?

    • Teadusarvutusprobleemide taandamine paralleelsetele pilvearvutusraamistikele ei ole alati lihtne.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    SciCloud

    • Teaduslikud arvutused pilvearvutus platvormidel

    • Lokaalsete pilvearvutus-võrkude loomine kasutades olemasolevaid ülikooli arvuteid ning arvutusvõrke.

    – Lubada teadlastel ning tudengitel neid kasutada teadusarvutuse probleemide lahendamiseks

    • Olemas olevate pilvearvutuses kasutavate raamistike sobivuse uurimine suuremahuliste teadusarvutuse probleemide lahendamise jaoks.

    – MapReduce

    – Hadoop– Twister– Bulk Synchronous Parallel (BSP)

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    SciCloud

    • “Adapting scientific computing problems to cloud computing frameworks”,

    – Teaduslike probleemide lahendamine matemaatilise modelleerimise ja simulatsiooni abil.

    – Erinevate pilvetehnoloogias kasutavate raamistike võrdlemine

    – Selliste probleemide lahendamiseks kohandatud pilvearvutus-raamistiku loomine

    – Esialgne nimi: Stratus – Baseerub „Bulk Synchronous Parallel“ (BSP)

    paralleelarvutusmudelil

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Modelleerimine ja Simulatsioon

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    MapReduce

    • Google poolt loodud raamistik massiivse andmeanalüüsi läbi viimiseks

    – Raamistikule kirjutatud programmid on autamaatselt paralleliseeritavad

    – Lihtsustab hajusate andmeanalüüsi programmide kirjutamist

    • MapReduce raamistik– Haldab ise kõiki paralleliseerimisdetaile– Sisseehitatud veatõrgete süsteem riistvara ning

    arvutivõrgu tõrgete kaitseks

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Stratus raamistik

    • Tulemused aga näitavad et MapReduce ei ole sobiv mudel sobiv suuremahuliste simulatsioonide jaoks.

    • Otsustasime luua oma enda raamistiku teadusarvutuse paralleelsete simulatsioonide läbi viimiseks: Stratus.

    • Esmärk on lihtsustada teadlase tööd, kellel ei ole palju kogemusi paralleelarvutuse jaoks programmide kirjutamisega.

    – Lihtsus

    – Automaatne parallelsus

    – Tõrketaluvus

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Bulk Synchronous Parallel

    • Stratus raamistik baseerub ühel BSP paralleelarvutuse mudelil:

    – Kogu arvutus jagatakse paralleelseteks alamülesanneteks ning moodustakse neist graaf.

    – Arvutuskäik jaotatakse iteratsioonideks, (näiteks ajahetked simulatsioonis)

    – Igal iteratsioonil teeb iga graafi tipus asuv alamülesanne läbi sama operatsiooni ning, kui vaja, siis saadab teateid teistele temaga ühenduses olevatele graafi tippudele.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Stratus

    • Bulk Synchronous Parallel mudel on sarnane teadusarvutuses simulatsioonides sageli kasutatavatele meetoditele, kui:

    – Simuleeritav ruum, objekt või pind jagatakse alamosadeks.

    – Igal ajahetkel arvutatakse alamosade olek ümber

    • Hetkel on Stratus raamistik veel disaini etapis ning järgmine samm on prototüübi loomine.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Pelle Jakovits– “Teadusarvutuse probleemide taandamine Pilvearvutuse

    raamistikkudele”

    • Jürmo Mehine– “Migrating Relational Database Systems to Cloud Scale Solutions”

    – Suure koguse andmete puhul relatsiooniline mudel ei skaleeru. Kuidas kasutada selle asemel mitterelatsioonilisi andmebaasi mudeleid.

    • Briti Deb– “Migrating Data Mining Based Applications Using Databases and

    Social Networks to Clouds”

    – Andmekaevandus algoritmide rakendamine sotsiaalvõrgustike analüüsimiseks

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mobile Cloud

    • Satish Srirama– Huber Flores

    • Suuremahuliste arvutuste ning andmete liigutamine mobiilsetelt seadmetelt pilvearvutus platvormidele

    • Mobiilirakenduste loomine

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mobiilirakendused

    • Programmide loomine mobiilsete seadmete jaoks erinevatel platvormidel:

    – Android– Windows 7– Apple IoS

    • Sellel sügisel algas kursus “Mobiilirakenduste loomine”

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Nutitelefonid

    • Tänu Tiigriülikooli toetusele on meil olnud võimalik soetada hulk telefone mobiilirakenduste loomiseks ning testimiseks:

    – 10 Android telefoni– 1 Windows telefon– 5 Apple IoS telefoni– 2 Symbian telefoni

    • Aine “Mobiilirakenduste loomine” jaoks oleme ostmas uut komplekti telefone koos mõnede tahvelarvutitega.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    http://mc.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/http://mc.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mobile Cloud MiddleWare (MCM)

    • Mobiilse pilve vahevara eesmärk on:– Suuremahuliste arvutusülesannete ning andmete liigutamine

    mobiilseadmetelt pilvearvutus platvormidele

    – Võimaldada lihtne integratsioon erinevate pilvearvutusplatvormi pakkujate ning mobiili-programmide vahel

    – Hoida kokku aega ning mobiilseadmete akusid.– Rikastada mobiiliprogrammide võimalusi

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mobile Cloud MiddleWare (MCM)

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    CroudSTag

    • Social Group Formation with Facial Recognition and Mobile Cloud Services

    – By Huber Flores

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Huber Flores– “Scalability, Integrability and

    Provisioning of context-aware services using the Mobile Cloud Middleware”

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Friend-2-Friend arvutused

    • Ulrich Norbisrath ja Artjom Lind

    • Suuremahulised hajusarvutused kasutades sõprade arvuteid

    • “Sama lihtne kasutada kui Skype”

    • Loomisel alates 2007 aastast

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Friend-2-Friend

    • Kuidas üles seada spontaanseid arvutusvõrke?

    – Ei mingit seadistamist– Ei nõua kasutajalt palju tööd

    • Kuidas teha seda sama lihtsaks kui näiteks Skype või MSN kasutamist?

    • Vastus: – Kombineeri sotsiaalsed võrgustikud

    kasutajalt-kasutajale (P2P) võrkudega.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Kes kasutaks F2F’i

    • Teadlased või tudengid kellel on vaja läbi viia suuremahuline arvutustegevus.

    – Näiteks videopildi töötlemine

    • Kasutajatel ei ole ligipääsu klastritele, ei tea kuidas neid kasutada hajusarvutuste läbiviimiseks. Tahavad töö läbi viia kohe, odavalt ning lihtsalt.

    • Omavad baasteadmisi kõrgema taseme programmeerimisekeeltest.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Milleks kasutada F2F’i

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Kuidas F2F’i kasutada?

    • Küsi sõprade käest kas võid kasutada nende arvutit

    • Loo grupp mingis teadete saatmise programmis

    • Pane loodud grupis tööle mingi suuremamahuline arvutustöö

    • Kui töö on tehtud saad tulemused tagasi

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    F2F

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    F2F

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Implementatsioon

    • Töötab moodulina Pidgin’is– Toetab kiirteadete saatmise lahendusi nagu AIM, MSN,

    Google Talk, MSN, IRC, ...

    • Kirjutatud keeles C: – Ei ole sõltuvusi, väike mälukasutus

    • Platvormid:– Linux, Windows, SymbianS60, Maemo, (Android)

    • Virtualization:– Qemu/KVM Kernel

    • Keeled milles saab programme kirjutada:– C, C++, Fortran, Python

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Edasine töö

    • Hetkel töös– Rohkem ksotsiaalsete võrkude liideseid (MSN Live, Adium …)– Rohkemate arvutusplatvormide toetamine– Teiste programmeerimiskeelte toetamine (C#, Java … )– Turvalisuse edasi arendamine

    • Pikemaajalised plaanid– HF2F jaoks hasjusprogrammide modelleerimine ja loomine – F2F programmide ja teenuste portaali loomine

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Artjom Lind– Friend-to-Friend Computing – A Friendly

    Framework for Ubiquitous and Distributed Systems

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Kompleksne ja uuriv andmeotsing

    • Ulrich Norbisrath– Georg Singer

    • Milline on andmeotsing tulevikus?

    • Kas Google’st piisab kõigeks mis sul vaja läheb?

    • Mida saab paremini teha?

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mida mõeldakse otsingu all

    • Internetist– Google (search, maps, etc.), Yahoo, Bing– Craigslist, Amazon, Ebay, Kayak, Facebook– PubMed, IEEE– Wikipedia– Wolfram Alpha

    • Teised võimalused– Raamatukogu– Ajaleht (Uudised ja teated)– Teadetetahvlid (Ülikoolis, poes, ...)– Teiste inimeste (ekspertide) käest küsimine

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Otsingu allikadAasta 2008:

    Aasta 2009:

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Kuidas sa otsid informatsiooni?

    • Kes teist kasutab otsingumootoreid tihti?• Kes teist kasutab midagi peale interneti

    informatsiooni otsimiseks?

    • Kes ei ole mõnikord rahul otsingute ja otsimisvõimalustega?

    • Kas olete puutunud kokku keerulisemate otsinguvajadustega kus tavavõimalustest ei piisa?

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Näited

    • Leia kõik Calerendoni kohtumaja läheduses Arlington Virgiinias asuvad, hetkel lahti olevad poed kus saab osta tantsukingi.

    • Kuidas saab teha muutumatud leheküljed moin moin wikis tagasi muudetavateks.

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Tänapäeva otsing• Rohkem kui 40% otsingutest on navigatsioonilised

    – Mitmetasemelised ja korduvad otsingud ühe – Kasutaja teeb suurema osa tööst

    • Päringud– Keskmine pikkus: < 2 sõna– ~50% päringuid on üks sõna

    • Otsingu tulemused– 80% kasutajatest vaatab ainult esimest lehekülge (5-20 tulemust)– Nende seast uurib kasutaja paari esimest tulemust– Kasutajad tihti vaatavad ainult 5-8 tulemust ühe otsingu kohta– Otsingu sessioon kestab keskmiselt vähem kui 15 minutit

    • Kasutajad on tavaliselt tulemustega rahul

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Keerulisema otsingu näide

    • Sinu tütar Anna (või poeg Peeter) on lõpetamas keskkooli ning tahab õppida välismaal politoloogiat või arhitektuuri. Sa saad teda toetada kuni 3000 EUR-ga kuus. Milliseid ülikoole võid sa soovitada, mis oleksid taskukohased ja pakuksid Annale (või Peetrile) parimad karjääriperspektiivid pärast lõpetamist?

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Keerulisem otsing

    • Palju rohkem kui lihtsalt päringule vastuse küsimine

    • Sisaldab otsingu kordamist, päringu järkjärgulist muutmist, eraldi otsingult saadud tulemuste kokku ühendamist.

    • Võtab kaua aega• Vajab kasutajalt analüüsi oskust• Osa otsingust toimub veebilehest väljaspoolt

    (Kasutaja enda peas)

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Uuriv otsingRohkemat kui lihtsalt informatsiooni pärimine

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Veel probleeme

    • Kuidas me hoiame andmeid?

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mida saame teha?

    • Kasutajaliidese paremaks tegemine – Erinevad viisid tulemuste esitamiseks(mitte ainult dokumentide

    nimekiri)

    – Erinevad viisid tulemuste otsimiseks (mitte ainult märksõnade ning kategooriate järgi)

    • Vältida andmete dubleerimist – blogimine ja sotsiaalvõrgustikes informatsiooni jagamine teeb

    vastupidist

    • Teise inimeste otsingutulemuste ära kasutamine• Kasutada dokumentide asemel objektide graafe

    – Informatsiooni paremini esitlemiseks– Seoste ning hierarhia näitamiseks otsingutulemustes

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Teemaga seotud doktoritööd

    • Georg Singer– “Scenario Based Search”

    • Dmitri Danilov– “Employing graphs to facilitate

    information exploration”

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Lõputööd

    • Lõputööd teemadel:– Teadusarvurused Pilves (Scientific Computing on the Cloud)– Kompleks- ja Uuriv-otsing ja teabehaldus (Complex Search)– Grid- ja kluster-arvutused– Hajussüsteemide tarkvara– Friend-to-Friend Computing– Hajusarvutuste tõrgete otsing (Distributed troubleshooting)

    Vaata kogu nimekirja aadressil: http://ds.cs.ut.ee/theses

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/http://ds.cs.ut.ee/theses

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Kui pakub huvi

    • Kui midagi midagi silma või meelde ja – see millega tegeleme pakub sulle huvi– soovid rohkem teada saada– tahad lõputööd teha ühel meie poolt pakutud teemal

    Siis tule ja võta meiega ühendust kolmandal korrusel ruumis 311!

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    Mõned pildid

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

  • Artjom Lind (artjom.lind@ut.ee)19.09.2012http://ds.cs.ut.ee

    mailto:artjom.lind@ut.eehttp://ds.cs.ut.ee/

    Slide 1SisukordHajussüsteemide gruppSlide 4Slide 5Eero VainikkoSlide 7Satish SriramaKuidas meid leida?Slide 10HajussüsteemidLeslie Lamport’s DefinitionHajussüsteemid üldisemaltHajussüsteemid millega meie peamiselt tegelemeParalleelsed teadusarvutusedParalleelsed teadusarvutusedDOUGDougMilleks DOUG’i rakendatakse?Teemaga seotud doktoritöödPilvetehnoloogiaSlide 22DefinitsioonPilvearvutusedErinevad pilveteenusedIaaS NäideSlide 27Amazon EC2Amazon EC2Milleks meie kasutame EC2’d?Meie PilvSlide 32MotivatsioonSciCloudSciCloudModelleerimine ja SimulatsioonMapReduceStratus raamistikBulk Synchronous ParallelStratusTeemaga seotud doktoritöödMobile CloudMobiilirakendusedNutitelefonidSlide 45Mobile Cloud MiddleWare (MCM)Mobile Cloud MiddleWare (MCM)CroudSTagTeemaga seotud doktoritöödFriend-2-Friend arvutusedFriend-2-FriendKes kasutaks F2F’iMilleks kasutada F2F’iKuidas F2F’i kasutada?F2FF2FImplementatsioonEdasine tööTeemaga seotud doktoritöödKompleksne ja uuriv andmeotsingMida mõeldakse otsingu allOtsingu allikadKuidas sa otsid informatsiooni?NäitedTänapäeva otsingKeerulisema otsingu näideKeerulisem otsingUuriv otsingVeel probleemeMida saame teha?Teemaga seotud doktoritöödLõputöödKui pakub huviSlide 74Slide 75Slide 76Slide 77Slide 78Slide 79

top related