Transcript
Page 1: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

13.04.23

Delfoi-menetelmä – Miten tutkimme tulevaisuutta kirjan uudistetussa laitoksessa

Osmo Kuusi

Page 2: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Delfoi-tekniikka pähkinänkuoressa Perustuu asiantuntijoiden kuulemiseen siten,

että kannanoton tarkka esittäjä pysyy salassa toisille asiantuntijoille (anonymiteetti). Argumentin/kannanoton esittäjällä on aito mahdollisuus kiistää esittäminen (vaikkapa oikeudessa).

Kuuleminen monella kierroksella välittäen kommentoitaviksi toisten kannanotot

Page 3: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Suuret muutokset Delfoi-menetelmän teknisessä toteuttamisessa verrattuna vuoteen 1993 (kirjan ensimmäinen painos)

Vielä 1990-luvun alussa asiantuntijoita lähestyttiin postitse kyselylomakkein. Monen kierroksen toteuttaminen oli hidasta ja kallista.

Internetin käyttöä vastaamisessa voi pitää jo Delfoi-tutkimuksen valtavirtana Suomessa (mm. eDelfoi, http://edelfoi.fi) ja yhä enemmän myös muualla maailmassa (Millennium projektissa kehitetty RT-Delphi, Gordon 2006).

Toisaalta haastattelujen käyttö varsinkin tutkimuksen ensimmäisellä kierroksella on yleistynyt

Page 4: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Anonymiteetin edut ( vrt. Turoff 1975, Hiltz ja Turoff 1995):

Hallitseva, korkealle arvostettu henkilö on määräävä, häntä ei uskalleta vastustaa.

Haluttomuus ottaa kantaa ennen kuin varmistettua tosiasiatietoa on hyvin paljon tai ennen kuin enemmistön kanta on selvillä.

Vaikeus hylätä kanta, jonka on julkisesti ottanut. Henkilö ei uskalla esittää ideaa, joka voi osoittautua

idioottimaiseksi ja johtaa kasvojen menetykseen. Asian esittäjä tekee siitä epäuskottavan, edustaa väärää

leiriä Joutuu rangaistavaksi ”luottamuksellisen" tiedon

paljastamisesta tai ”väärän” syytöksen esittämisestä

Page 5: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Anonymiteetin ongelmiaMm. sosiaalisen median anonyymit keskustelupalstat ovat tuoneet esille

seuraavia ongelmia: Ei tiedetä, minkä puolesta näkökohdan esittäjä todella toimii. On

mahdollista esittää vailla kiinni jäämisen pelkoa ristiriitaisia käsityksiä tai tukea ratkaisuja, jotka ovat ristiriidassa henkilön julkisuudessa esittämien näkemysten kanssa.

Koska ei ole kiinnijäämisen pelkoa, voi levittää perättömiä ja/tai tarkoitushakuisia näkemyksiä.

Epäilykset "vääristä" mielipiteistä voivat kohdistua väärään henkilöön, joka joutuu kärsimään.

Näkökohdan esittäjä ei joudu rangaistavaksi luottamuksellisen tiedon paljastamisesta.

Page 6: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Kaksi Delfoi-tutkimusten päälinjaa Survey-tyyppiset, usein Classical Delphi: Pyritään

asiantuntijoiden yksimieliseen usein ”arvovaltaiseen” näkemykseen.

Pieneen paneeliin perustuvat usein Policy Delphi (Argument Delphi): pyritään erilaisiin perusteltuihin näkemyksiin tulevaisuudesta, erityinen huomio poikkeaviin näkemyksiin. Delfoi-menetelmä tulkitaan skenaariomenetelmäksi

Sackmanin (1975) kritiikki: ”Delfoi-tutkimukset huonoa survey-tutkimusta”. Pieniin paneeleihin perustuva rinnastuu komiteatyöskentelyyn. Anonymiteetti keskeisin ero.

Page 7: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Survey-tyyppiset Delfoi –tutkimukset Survey-Delfoi -tutkimuksissa samaan luokkaan (osa-

perusjoukkoon) luetut panelistit tulkitaan toisiaan korvaaviksi. Jos tällainen tulkinta on mielekäs, tutkimukseen pyydettyjen panelistien suurikaan kato ei ole merkittävä ongelma.

Perusjoukkoa edustavat otokset riittävät johtopäätösten tekoon tilastollisesti (mm. ikä, sukupuoli, koulutus ja asuinpaikka). Nyrkkisääntö: 30-60 hengen ryhmä riittävä johtopäätöksiin tietystä osaperusjoukosta (t-jakauma yhtyy normaalijakaumaan)

Panelistijoukko voidaan kerryttää esimerkiksi tarjoamalla kenelle tahansa kyselysivuston löytäneelle mahdollisuus osallistua Delfoi-tutkimukseen antamalla ensin taustatietonsa.

Tai paneeliin osallistumiselle voidaan asettaa vähimmäis-vaatimukset asiantuntemuksen suhteen (lumipallovalinta).

Page 8: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Esimerkkejä Survey-Delfoi -tutkimuksista Teknologian kehitystä ennakoineet Delfoi-tutkimukset 1990-

luvulla. Muiden luovuttua Japani jatkoi suuriin osallistujamääriin perustuvia Delfoi-tutkimuksia (NISTEP 2001 ja 2005). Viimeisimmässä teknologisen kehityksen Delfoi-tutkimuksessa japanilaiset päätyivät kuitenkin käyttämään huomattavasti aikaisempaa pienempiä paneeleita (NISTEP 2010).

Edelleen järjestetään, mutta harvemmin. Mm. 2009 monien saksalaisten yritysten konsortio (mm. Deutsche Telekom ja Siemens) organisoi Delfoi -tutkimuksen Prospects and opportunities of information technology and media (2009), johon kutsuttiin 795 asiantuntijaa ja joihin sen kahdella Delfoi-kierroksella osallistui 551 ja 439 eksperttiä.

Page 9: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Asiantuntijamenetelmiä käytettäessä ratkaisevaa on asiantuntijoiden laatu eikä määrä – ellei tähdätä osallistamiseen

Survey-tyyppisissä teknologisen kehityksen Delfoi-tutkimuksissa käytetyt suuret paneelit heijastelevat tilastollisesti edustavasti teknologian kehittämisyhteisöjen jäsenten keskimääräisiä näkemyksiä.

Näkemysten "demokraattinen" huomioonotto ei ehkä tuo esille parhainta näkemystä ellei osallistamista pidetä itseisarvona

Jos Neuvostoliitossa olisi 1930-luvun alussa tehty arvio tavasta, jolla maa teollistetaan, yhden miehen - Stalinin - paneeli olisi ollut asiantuntevampi kuin tuhannen muun asiantuntijan. Varsinkin kun Johtaja ei kaivannut omastaan poikkeavia näkemyksiä. Toinen asia sitten onkin, kuinka tältä "yhden miehen paneelilta" olisi voitu saada tietoa hänen todellisista ajatuksistaan.

Page 10: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Osallistamiseen tai organisaatioiden sidosryhmien (stakeholders) kuulemiseen tähtäävät Delfoi-tutkimukset

Delfoi-menetelmän kaupallisesti menestynein sovellus Suomessa: Fountain Park –yhtiön signaalityökalu

Yritysten tai järjestöjen johto kuulee työntekijöitään, jäseniään tai muita sidosryhmiään. Signaalityökalun ehkä menestyksellisin sovellus on ollut ”Uusi toimitusjohtaja kuulee työntekijöitä”.

Signaalityökalu valittiin keskeiseksi tavaksi, jolla valtioneuvosto yhdessä Sitran, Tekesin ja Suomen Akatemian kanssa haki kansalaisilta keväällä 2012 ajatuksia valtioneuvoston tulevaisuusselonteon pohjaksi.

Ongelmana kertyneen informaation puutteellinen analysointi. Mahdollisuus heikkojen signaalien tunnistamiseen, heikoimmillaan vain väärää mielikuvaa vaikuttamisesta.

Page 11: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Pieneen paneeliin 15-40 perustuvat Delfoi-tutkimukset

Tilastolliset päätelmät perusjoukoista eivät yleensä perusteltuja. Ensisijainen tavoite kerätä perusteluja erilaisille näkemyksille tai skenaarioille (Argument Delphi)

Pienissä komplekseihin ongelmiin kohdistuvissa tutkimuksissa on hyvin tärkeää ottaa huomioon panelistien yksilölliset näkemykset heidän osaamis- ja intressitaustojensa rinnalla. Yksilöllistä kokonaishahmotelmaa kompleksista systeemistä on lähes mahdoton tavoittaa ilman perusteellista esimerkiksi haastatteluun perustuvaa paneutumista.

Page 12: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Delfoi-panelisti Argument Delphi-tutkimuksessa

Edustaa tärkeää asiantuntemusta Edustaa asiantuntijanäkökulmaa

joka muuten jää puuttumaan ”Katalysoi” muita asiantuntijoita On kiinnostunut ja halukas

argumentoimaan Uskaltaa ottaa kantaa

tulevaisuusorientoituneesti

Page 13: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Asiantuntijoiden ”informaatiopolitiikka” Sackmanin (1975) kritiikki toi esiin myös sen, kuinka

asiantuntijoiden intressit vaikuttavat heidän välittämiinsä arvioihin.

Kullakin asiantuntijalla on hänen intresseihinsä liittyvä tiedon luovuttamisen politiikka (information policy, Kuusi 1999).

Informaatiopolitiikan ottaminen huomioon paneelia valittaessa on erityisen tärkeää, koska näkemyksen esittäjää ei voida tunnistaa. Hänen on houkuttelevaa esittää kantoja, jotka muokkaavat yleistä mielipidettä hänen toivomaansa suuntaan.

Page 14: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Taulukko 1 Asiantuntijoiden valintataulukko

Intressit/ Informaatio- politiikka

Asiantuntemus

Tutkijat Päättäjät ja päätösten valmiste-lijat keskus-hallinto

Päättäjät ja päätösten valmistelijat kuntasektori

Hoitoja järjestävä yksityinen ja järjestö-sektori

Lääkäri-kunnan ja muun hoito-henkilö-kunnan edustajat

Hoidet-tavien edusta-jat

Terveystalous

Paul Lillrank Reino Hjerppe

Juha Teperi Markku Pekurinen

Paula Kokkonen, Pääkkönen

Vesa Ekroos

Jussi Huttunen

Anneli Juuti-nen

Terveydenhoidon henkilökunta

Vehviläinen-Julkunen, Reino Hjerppe

Juha Teperi Markku Pekurinen

Paula Kokkonen Aki Linden, Pääkkönen

Aila Saari Vesa Ekroos

Jussi Huttunen Merja Miettinen, Risto Pelkonen

Anneli Juuti-nen

Palvelujen organisointi ja johtaminen

Martti Kekomäki Paul Lillrank

Markku Lehto Jorma Huuhtanen Markku Pekurinen

Paula Kokkonen Voipio-Pulkki Aki Linden, Pääkkönen

Aila Saari Vesa Ekroos Pekka Roto

Ilkka Kunnamo Jussi Huttunen

Anneli Juuti-nen

Terveysteknologia

Martti Kekomäki Kallio-niemi

Pentti Itkonen

Aki Linden Pekka Roto

Ilkka Kunnamo Jussi Huttunen

Juha Numme-la

Terveydenhuollon priorisoinnin periaatteet ja käytännölliset menettelytavat

Martti Kekomäki Vehviläi-nen-Julkunen,

Juha Teperi Ritva Halila

Paula Kokkonen Voipio-Pulkki

Vesa Ekroos, Perkka Roto, Aila Saari

Risto Pelkonen, Voipio-Pulkki Jussi Huttunen

Juha Numme-la

Page 15: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

DELFOI- paneeliPäättäjät ja päätösten valmistelijat, keskushallinto

Mikael Forss, tutkimusjohtaja KELA Ritva Halila, pääsihteeri ETENE

Jorma Huuhtanen, pääjohtaja KELAJouko Isolauri, STM:n lääkintäneuvosMarkku Lehto, STM:n kansliapäällikkö

Timo Leino, apulaisosastopäällikkö Työterveyslaitos Markku Pekurinen, STAKES:n kehittämispäällikkö

Juha Teperi, STAKES:n vt. ylijohtaja

Päättäjät ja päätösten valmistelijat, kuntasektoriJyrki Elo, johtaja Kelan Itä-Suomen aluetoimisto

Pentti Itkonen, Pohjois-Karjalan sairaanhoitopiirin johtajaRauno Ihalainen, Pirkanmaan sairaanhoitopiirin johtaja

Jussi Jokinen, talousjohtaja Pohjois-Savon sairaanhoitopiiri Paavo Kaitokari, toimialajohtaja Kuopion kaupunki

Paula Kokkonen, Helsingin apulaiskaupunginjohtaja, ETENEAki Lindén, Johtaja Varsinais-Suomen sairaanhoitopiiri

Kaija Nojonen, hallintoylijohtaja Tampereen yliopistollinen sairaalaTuomo Pääkkönen, Kainuun maakunnan terveysjohtajaPekka Utriainen, Jyväskylän kaupungin terveysjohtaja

Liisa-Maria Voipio-Pulkki, Suomen Kuntaliiton hallintoylilääkäri

Hoitoja järjestävä yksityinen - ja järjestösektoriVesa Ekroos, puheenjohtaja SYSY, Mehiläinen Oyj

Pekka Roto, Terveystalo Oy:n ylilääkäri Aila Saari, Folkhälsanin terveydenhuollon Karjaan aluejohtaja

Page 16: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

TutkimusMarja Airaksinen, professori HY Hannu Hanhijärvi, ohjelmajohtaja SITRAEino Heikkinen, professori JyY Reino Hjerppe, ylijohtaja VATTOlli-Pekka Kallioniemi, VTT:n tutkimusprofessoriMartti Kekomäki, emeritusprofessori Vesa Lehtomäki, projektipäällikkö SITRAPaul Lillrank, professori TKK Kalevi Luoma, tutkimuspäällikkö VATTSari Rissanen, professori KYErkki Vauramo, emeritusprofessoriKatri Vehviläinen-Julkunen, professori KY

Lääkärikunnan ja muun hoitohenkilökunnan edustajat Jussi Huttunen, Duodecim –lehden päätoimittaja Ilkka Kunnamo, Duodecim Ry:n hoitosuositusasiantuntija Esko Länsimies, emeritusprofessori Merja Miettinen, ylihoitaja, Tampereen yliopistollinen sairaala Leena Niinistö, ylilääkäri, Duodecim Ry:n expuheenjohtajaRisto Pelkonen, arkkiatri

Hoidettavien edustajatAnneli Juutinen, Suomen Potilasliiton toiminnanjohtaja Juha Nummela, MS-potilas, aktiivinen Internetin käyttäjä

Page 17: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Asiantuntijoiden suppeat ja laajat roolit panelisteina Terveydenhuollon tulevaisuudet -tutkimuksessa

• Jussi Huttunen on taulukossa tulkittu ”kaikkien asioiden yleistietäjäksi”.  

• Kiireisen päätöksentekijän kanssa kannattaa keskittyä vain olennaisimpaan. Niinpä sosiaali- ja terveysministeriön kansliapäällikkö Markku Lehdon kanssa keskusteltiin vain terveydenhuollon alueellisesta järjestämisestä.

• Panelistilla voi olla myös monta intressitaustaa. Esimerkki sellaisesta taulukossa on Liisa-Maria Voipio-Pulkki, joka edusti sekä alueellisia päätöksentekijöitä että lääkärikuntaa.

• Kaikissa ruuduissa ei suinkaan tarvitse olla samaa määrää asiantuntijoita. Tietyn intressiryhmän tai tietynlaisen osaamisen kannalta ruutujen painoarvot voivat suuresti vaihdella.

Page 18: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Delfoi -menetelmän suomalainen kehittäjäyhteisö

1990-luvulta lähtien Suomeen on kehittynyt Delfoi-menetelmän kehittäjien ja soveltajien yhteisö, joka käsitykseni mukaan kuuluu menetelmän kehittäjien kärkeen maailmassa.

Yhteistä tälle ”suomalaiselle Delfoi- koulukunnalle” on ollut, että se on ottanut hyvin vakavasti Sackmanin (1975) Delfoi-menetelmän kritiikin.

Useimmat yhteisön jäsenet ovat tulkinneet Delfoi-menetelmän skenaariomenetelmäksi ja valinneet päänäkökulmakseen Policy Delphi –suuntauksen

Page 19: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Googlaamalla Delphi Method, emme (vielä?) edusta valtavirtaa

Delfoi-menetelmän ”historiallinen perintö” painaa vielä paljon: 100:ssa ensimmäisessä osumassa hakusanalla ”delphi study’ (helmikuu 2012 ) jopa lievä enemmistö piti konsensuksen tavoittelua edelleen Delfoi-menetelmän olennaisena piirteenä. Menetelmän huippusoveltaja kansainvälinen Millennium-projektin löytyi vasta sijalta 27.

Erityisesti menetelmän käytön uudet tulokkaat näyttävät usein tulkitsevan konsensuksen tavoittelun menetelmän olennaiseksi piirteeksi. Suomessa näin menettelevät harvat tulevaisuuksien tutkijat, mutta näin tulkitsevia näyttää olevan paljon informaatiotieteiden edustajissa.

Page 20: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Otavan Opisto Delfoin kehittäjien ”kotipesänä”

Varhain aloitettu Internetin ja sosiaalisen median systemaattinen hyödyntäminen. Jo vuonna 1996 Otavan Opisto otti käyttöön Millennium-projektissa 2000-luvun alkuvuosina kehitetyn RT-Delphi –sovelluksen kaltaisen Professional Delphi Scan –työkalun. Alkuperäistä versiota on sen jälkeen jatkuvasti monipuolistettu nykyiseen eDelfoi –muotoonsa (http://edelfoi.fi). 

Kehittäjäyhteisön Otavan Opistossa säännöllisesti kuukausittain järjestämät Delfoi-työpajat ovat ainutlaatuinen instituutio maailmassa. Hannu Linturi Otavan yhteisön ”sieluna”. Otavan opiston kautta Delfoi-menetelmää on hyödynnetty varsinkin koulutuksen tulevaisuuden luotaamiseen (Linturi ja Rubin 2011).

Menetelmän koulutuksessa Tulevaisuuden tutkimuksen VerkostoAkatemialla keskeinen rooli.

Page 21: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Argument Delphi –menetelmän (Kuusi 1999) ohella muita Policy Delphi – menetelmän soveltamismalleja Suomessa

Disaggregative Policy Delphi: Menetelmä korostaa erilaisten näkökulmien avaamista skenaarioiden muodostamiseksi. Erityisesti siinä käytetään esitettyjen arvioiden ja argumenttien klusterointia eri skenaarioiden muodostamiseksi (Tapio 2002, Tapio ym. 2011).

Palaute –Delfoi: Menetelmässä on otettu vaikutteita myös konsensusta hakevasta Delfoista, Palaute -Delfoilla on erityisesti haluttu tukea ja aktivoida alueellista päätöksentekoa, minkä johdosta annettavaan palauteinformaatioon on kiinnitetty erityistä huomiota (Myllylä 2008)

Page 22: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Delfoi-menetelmää soveltavia väitöskirjoja Suomessa

Delfoi-menetelmää on päämenetelmänä seuraavissa väitöskirjoissa: Kuusi 1999, Tapio 2002, Rikkonen 2005, Myllylä 2008, Paakkonen 2008, Pätäri 2009, Paaso 2010, Laakso 2011.

Yhtenä päämenetelmistä: Vinnari 2010, Valtonen 2010, Raasumaa 2010, Korhonen-Yrjänheikki 2011, Anttila 2012

Lisäksi tekeillä on useita Delfoi-menetelmään perustuvia väitöstutkimuksia. Monissa tutkimuksissa on lisäksi sovellettu Delfoi –menetelmän olennaisia piirteitä, vaikkei niitä ei ole kutsuttu Delfoi –tutkimuksiksi.

Page 23: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Yhdenmukaisten peruskäsitteiden haaste - viisi avainkäsitettä:(ISSUE) FIELD TUTKIMUKSEN KOHDEALUE

Kaikilla panelisteilla on kyky ymmärtää alalla käytettyjä peruskäsitteitä (esim. ”geeni”, ”proteiini”) eli heidät voidaan luokitella kohdealueen yleisasiantuntijoiksi

Harvoja jos ketään voidaan luokitella koko kohdealueen erityisasiantuntijoiksi

Page 24: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

ISSUE AREAONGELMA-ALUE

Tutkimuksessa on ryhmä panelisteja, jotka ovat tämän alan erikoistuntijoita.

Heidän kompetenssiensa tulisi olla toisiaan täydentäviä Anonyymisyyden turvaamiseksi ryhmän koko vähintään

5 ei koskaan kolmea vähemmän Yli 10:n ryhmässä argumentointi kärsii Ongelma-aluetta kommentoivat erityisasiantuntijoiden

ohella halukkaat muut eli yleisasiantuntijat, usein suunnilleen yhtä moni kuin kommentoivat erikoisasiantuntijat

Page 25: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

ISSUEONGELMA

Kysymys, johon ei ole yksiselitteistä oikeaa vastausta ainakaan ennen tutkimusta ja arvovaraisissa kysymyksissä harvoin sen jälkeenkään

Koetaan tärkeäksi Asiantuntijoilla on ennen

argumentointia toisistaan poikkeavia näkemyksiä ja perusteluja

Page 26: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

TOPIC (TULEVAISUUS) VÄITE, MIELIPIDE

Omaa periaatteessa totuusarvon (tosi, epätosi), mutta sitä ei voida sitovasti ratkaista tulevaisuusväitteiden tai arvoväitteiden tapauksessa

Voidaan esittää puolesta tai vastaan näkökohtia (argumentteja)

Page 27: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

ARGUMENTNÄKÖKOHTA

Topicin tavoin omaa periaatteessa totuusarvon. Näkökohdaksi voidaan kuitenkin toisin kuin topiciksi hyväksyä pelkkä hyväksymistä tai hylkäämistä indikoiva lausahdus (“vaikuttaa uskottavalta”, “täyttä roskaa!”)

Voidaan kehittää topiciksi

Page 28: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Enclosed CD contains over 6,000 pages

…invaluable insights into the future for the UN, States, and civil society.

--- Ban Ki-moon Secretary-General United Nations

Page 29: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

Real-Time DelphiReal-Time Delphi

• Developed in 2004 and published in Developed in 2004 and published in Technological Forecasting and Social Change. Technological Forecasting and Social Change.

• Idea was to use modern technology to Idea was to use modern technology to increase the efficiency of the Delphi processincrease the efficiency of the Delphi process

• Rapid collection of expert judgment to aid in Rapid collection of expert judgment to aid in rational decision making.rational decision making.

• With Internet, participants can see feedback With Internet, participants can see feedback instantly, participate where and when is instantly, participate where and when is convenient.convenient.

• Roundless – Participant returns to edit as Roundless – Participant returns to edit as many times as he/she likes until the deadlinemany times as he/she likes until the deadline

Page 30: Delfoi-metodi Suomessa ja maailmalla - Osmo Kuusi

For more informationFor more information

www.millennium-project.org

[email protected]@ATT.NET


Top Related