delfi türkçe metod

6

Click here to load reader

Upload: zeynep-aykul

Post on 03-Oct-2015

29 views

Category:

Documents


5 download

DESCRIPTION

delfi metot uygulama örneği

TRANSCRIPT

  • Hacettepe niversitesi Eitim Fakltesi Dergisi 20: 215 - 220 [2oo1J 215

    EGITIM ARATIRMALARINDA DELPHI TEKNIGi VE KULLANIMI

    DELPHI TECHNIQUE AND ITS USES IN EDUCATIONAL RESEARCH

    Ali Ekber AHN*

    ZET: Delphi teknii, 1950'li yllarda ABD'de RANDirketinde alan Olaf Helmer ve Norman Dalkey adnda-ki iki aratrmac tarafndan gelitirilmitir. Delphi teknii-nin amac; gelecee ilikin tahminlerde bulunmak, uzmangrlerini ortaya karmak ve uzlama salamaktr. Delp-hi teknii zellikle politik ya da duygusalortamlarda kararverme durumunda kalndnda veya kararlarn gl grup-lar tarafndan etkilenme olasl olduu durumlarda kulla-nlabilir. Genelolarak Delphi teknii zellie sahiptir:(l) katlrnda gizlilik, (2) grup tepkisinin istatistiksel anali-

    zi, (3) kontroll geri besleme. Delphi tekniinin kullan-mnda, genellikle uzmanlara uygulanan ardk anketler yeralr. Her bir uygulamadan sonra uygulama sonular kat-lmclara iletilir. Bu ilem uzlama salanncaya kadar de-

    vam eder. Salanan uzlama, bu srecin rndr. Delphi

    tekniinin stnlkleri yannda baz snrllklarndan dasz edilebilir.

    Anahtar Szckler: Delphi teknii, aratrma yn-temleri, uzlama salama

    ABSTRACT: The Delphi technique was developed in the1950s by two research scientists working at the RANDCorporation in USA, Olaf Helmer and Norman Dalkey.The purpose of the Delphi technique is to make predictions,elicit experts' opinions, and seek consensus. The Delphi isparticularly appropriate when decision-making is requiredin a political or emotional environment, or when the deci-sions affect strong factions wth opposing preferences. Ingeneral, the Delphi technique has three features: (l) anony-mity, (2) statistical group response, and (3). controlled fe-

    edback The Delphi technique usually involves iterative qu-estionnaires administered to individual experts. Feedbackof results accompanies each iteration of the questionnaire,which continues until convergence of opinion is reached.

    The end product is the consensus of experts. The Delphitechnique has both strengths and limitatons.

    Keywords: Delphi technique, research methods, con-sensus building

    1. GiRiBu almann amac, bir veri toplama yakla-

    m olan Delphi (zel isim olduundan yazd

    deitirilmemitir. "Delfi" eklinde okunmakta-dr.) tekniini deiik ynleriyle incelemektir.almada ncelikle Delphi tekniinin amac vezellikleri tartlmtr. Daha sonra, bu tekniinaratrmalarda kullanm aamalar halinde ak-lanm ve son olarak da tekniin sahip olduustnlkler ve snrllklar belirtilmitir.

    2. DELPHi TEKNii VE AMACAdn Eski Yunan'da, gelecee ilikin keha-

    netlerde bulunan nl bir Yunanl kahinin yaa-d Delphi adl bir yerden aIan bu teknik, biIim-

    sel aratrmalarda yaklak elli yldr ynetim,tp, askeri konuIar ve eitimin eitli alanlarndayaygn ekilde kullanlmaktadr[ 1]. DeIphi tek-

    nii, 1950'Ii yllarda ABD'de RAND firmasndaalan Olaf Helmer ve Norman DaIkey adnda-ki iki aratrmac tarafndan zellikIe askeri' ko-nuIara ilikin yordamaIarda buIunmak amacyIagelitiriImitir[2] .

    Aratrmaclar sklkla bir probIem durumu-nun zmnde sz sahibi oIan kiiIerin prob-Iem durumuna farkl bak aIaryIa yakIamasve grIerin zaman zaman atmas gibi du-rumlarla yz yze kalrlar. Bu gr farkllkIarbir eitim programnda buIunmas uygun hedef-lerin neler oIaca, rnn hangi niteIiklere sa-hip olmas gerektii, gerekIetirilmesi dn-Ien bir etkinliin yapImaya deip demeyecei,ncelikIerin neIer oIabilecei, belirli bir greviyerine getirecek kiinin hangi yeterliklere sahipoImas gerektii vb. konuIar zerinde ortaya -kabilir. Delphi teknii benzer durumIara ilikingr farkllkIarnn oIduu ortamIarda uzIama(consensus) saIama arac oIarak kullanlr.DeIphi teknii, zellikIe politik ya da duygusalortamIarda karar verme durumunda kalndnda

    * Yrd. Do. Dr., Hacettepe niversitesi Eitim Fakltesi, lkretim Blm, Beytepe - Ankara

  • 216 Ali Ekber ahin [ J. ofEd 20veya kararlarn gl gruplar tarafndan etkilen-me olaslnn olduu durumlarda kullanlmal-dr[3] .

    Uzlama salama arac olarak ifade edilenDelphi, bir problem durumuna ilikin uzman g-rlerini sistematik bir ekilde elde eden bir tek-niktir[4,5]. Delphi teknii kullanlarak bir prob-lem durumuna farkl alardan bakan bireylerinve gruplann yz yze gelmeden uzlamalanamalanmaktadr. Linston ve Turoff [6] Delphitekniini, karmak problemlerin stesinden ge-lebilmek iin bir grup bireyin, ierisinde etkiliolarak iletiim kurabilecei bir yap oluturmaolarak ifade etmektedirler. Delphi teknii ile ka-tlmclarn farkl bak alarnn yannda yara-tclklarndan da yararlanlmas amalanmakta-dr.

    3. DELFi TEKNiiNiNZELLiKLERi

    Genelolarak Delphi teknii temel zelli-

    e sahiptir: katlrnda gizUlik, grup tepkisinin is-tatiksel analizi ve kontroll geri besleme [7].

    3.1 Katlrnda Gizlilik

    Bu zellik Delphi'nin baarsnn anahtarolarak grlmektedir. Aratrma sresince nesrlen dncelerin kime ait olduu gizli tutu-lur. Bireylerden ok fikirlerin ne kmas bu e-kilde salanr. Grup iinde ok iyi tannan, say-g duyulan kiilerin grlerine koulsuz onay

    bu ekilde engellenir. Hibir ekince olmadandeiik, yeni fikirlerin herkesten gelmesi, kat-lmda gizlilik zellii ile gvence altna alnr.Katlrnda gizlilii gerekli klan nedenler unlar-dr:

    Eer katlmcnn ad problem durumuylabirlikte sklkla andr bir durumdaysa, okiiyi reddetmek ya da konu hakknda g-rn deitirmek olduka gtr.

    Dncenin kimden geldii biliniyorsa, okii nedeniyle dnceye n yargyla yak-lama olasl vardr.

    Bireyler sonraki aamalarda uygun grl-meyecek grlere balangta katlmak-tan ekinebilirler.

    st statdekikiiler sorgulanabilir nitelik-te fikir retmekten ekinebilirler.

    Bireyler daha sonra uygun grlmeyecekbir dnceyi ortaya atmaktan ekinebilir-ler.

    3.2 Grup Tepkisinin statistiksel Analizi

    Her bir Delphi anketi uygulandktan sonra is-tatistiksel olarak analiz edilir. Bu analizlerdekullanlan istatistiklerin neyi ifade ettii katlm-clar tarafndan iyi bilinmelidir.

    3.3 Kontroll Geri Besleme

    Delphi tekniinde ardk anketler kullanlr.Anketlerin istatistiksel analizi tamamlandktansonra analiz sonular, yani anketi yantlayana-nn genel eilimleri bir sonraki anketle birliktekatlmclara iletilir. Bu ekilde bireyler dn-celerini kendilerine iletilen sonularla, farkl g-r ve yaklamlarla karlatrarak yeniden gz-den geirirler.

    Delphi tekniinde verilerin toplanmas ama-cyla genellikle yazl olarak hazrlanan ve posta

    ile gnderilen anketler kullanlr. Fakat grmeve elektronik posta yoluyla da bu teknikte veritoplamak mmkndr. Ankette niceliksel ya daniteliksel bir dizi madde bulunur. Bu maddelereilikin benzer ya da farkl lekler kullanlabilir.Ankette bulunacak maddeler aratrmac, kat-lmc ya da her ikisi tarafndan birlikte belirlene-

    bilir .

    4. DELFi TEKNliNiNUYGULANMASI

    Delphi tekniinin uygulanmas, odaklalanalanda uzman olan kiilerin[3] ya da hedef kit-lenin temsilcilerinin[8] problem durumuna ili-kin yaklamlarn, bak alarn ortaya kar-maya, incelemeye ve bir uzlama salamaya y-nelik bir dizi aamadan oluur.

    4.1 Problemin Belirlenmesi

    Aratrma problemi tm katlmclar tarafn-dan ayn ekilde anlalacak biimde bir cmleile ifade edilmelidir.

    rnek: ABC Endstri Meslek Lisesi, ren-cilerini hem i yaamna hem de bir st reni-

  • Hi KesinlikleKatlmyorum Katlyorum

    1 2 3 4 5 6 7

    Eitim Aratrmalarnda Delphi Teknii ve Kullanm 217

    me, yani niversiteye hazrlamaktadr. Bu oku-lun yneticileri, niversitelerden ve i evrele-rinden aldklar dntler sonucunda okullarnnMakine Ressaml Blm mezunlarn zel-likle teknoloji kullanm konusunda i hayatnave niversiteye yeterli bir ekilde hazrlayama-dklar sonucuna ulamlardr. Bu problemizmek isteyen okul yneticileri, aratrma so-rusunu u ekilde ifade edebilirler:

    "EML Makine RessamJ Blm mezunlarteknoloji kullanmna ilikin hangi yeterlikleresahip olurlarsa i yaamnda ve niversite re-niminde daha baarl ve verimli olurlar?"

    4.2 Panel yelerinin (Katlmclarn) Sei-mi

    Panel yeleri uzman grlerini yanstacaknitelikte olmaldr. Panel yeleri deneyimleri venitelikleri neticesinde aratrma konusuna derinbir bak salayabilmeli, konu hakknda nemligrlere sahip olmaldrlar. Delphi teknii kul-lanlarak byk ya da kk sayda uzman gru-buyla almak mmkndr. En az 7 uzmandanoluan bir grup olmaldr. Grup genilii 100 yada daha fazla olabilir. deal grup bykl 10-20 uzmandan oluur. Birinci maddede verilenrnek iin uzman gruplann niversitelerin ilgiliblmndeki retim yeleri ve istihdam ala-nndaki iverenler oluturabilir.

    4.3 Aratrma Problemine likin Ak U-lu Olarak Hazrlanan Sorunun (Birinci Delp-hi Anketi) Panel yelerine Gnderilmesi:

    Anketin katlmclara gnderilme ilemi pos-ta, e-posta ya da belge geer yoluyla yaplabilir.

    4.3.1 Birinci Delphi Anketi

    Bu anketin amac aadaki konuya ilikingrlerinizi toplamaktr:

    "EML Makine Ressaml Blm mezunla-n, teknoloji kullanmna ilikin hangi yeterlikle-re sahip olurlarsa i yaamnda ve niversitereniminde daha baanl ve verimli olurlar?"

    Ltfen, kiisel bir beyin frtnas gerekleti-rerek konuya ilikin mmkn olduu kadar oksayda yeterlii belirleyip listeleyiniz. Belirledi-

    iniz bu yeterlik maddeleri dier katlmclarn

    belirttikleriyle bir araya getirilip kinci DelphiAnketi oluturulacaktr.

    Yeterlik 1: ...............................................

    Yeterlik 2: ...................................

    Yeterlik 3: ..............................................

    Yeterlik 10: ..........

    4.4 Birinci Delphi Anketinin Cevaplanma-s

    Her bir katlmc, sorulan soruya ilikin d-ncelerini listeleyip isimsiz ekilde aratrma-cya gnderir. Katlmclar dncelerini cmle-

    ler halinde ifade etmelidir. Anketlerin aratrma-cya iletilmesiyle Birinci Delphi Uygulamas

    (Round I) tamamlanm olur.

    4.5 kinci Delphi Anketinin Dzenlenmesive Gnderilmesi

    Birinci Delphi uygulamasnda katlmclannbelirttii grler maddeler hiilinde sralanr vegerekirse alt balklar halinde toplanr. Bu ekil-de yapsallatnlm anket formu niteliindeolan kinci Delphi Anketi hazrlanr ve katlm-clara gnderilir.

    4.5.1 kinci Delphi Anketi

    Bu ikinci anketin amac, birinci anket yoluy-la iletilen yeterlik maddelerinin tamamn sizesunmak ve bu maddelere hangi dzeyde katld-nz belirlemektir. Ltfen her bir yeterlik mad-

    desine ilikin grnz lek zerindeki1'den Tye kadar sral rakamlardan birini yeter-lik maddesinin bandaki parantezin iine yaza-rak belirtiniz. lek zerinde "I" Hi Katlm-yorum, "7" Kesinlikle Katlyorum dncesiniifade etmektedir. Aynca her bir maddeye katl-ma/katlmama gerekelerinizi bo braklan yereksaca aklaynz.

    "EML Makine Ressaml Blm mezunla-r, teknoloji kullanmna ilikin hangi yeterlikle-

    re sahip olurlarsa i yaamnda ve niversitereniminde daha baarl ve verimli olurlar?"

  • Md 3 R Eski Yeni Yeterlik Maddesi

    5.2 6.2 6.3 1.1 4 1................

    6.3 6.7 6.9 0.3 7 2................

    5.6 6.4 7.0 1.4 5 3................

    4.5 5.8 6.8 2.3 6 4................

    218 Ali Ekber ahin [ J. ofEd 20Yeterlik i: ( )

    Yorum ve aklamalannz:

    Yeterlik 2: ( )

    Yorum ve aklamalarnz:

    Yeterlik 3: ( )

    Yorum ve aklamalannz:

    Yeterlik 20: ( )

    Yorum ve aklamalarnz:

    4.6 kinci Delphi Anketinin Cevaplanmas

    Katlmclar her bir maddenin nem dzeyiniya da her bir maddeye katlma dzeylerini Likerttipi bir lek zerinde belirtirler. Her madde al-tnda belirtilen yere katlmalkatlmama, nemligrme/nemli grmeme nedenlerini yazarlar.Bu kez anket zerinde belirtilen yere adn dayazarak belirtilen tarih ierisinde aratrmacyaanketi iletirler. Bu ekilde kinci Delphi Uygula-mas (Round II) tamamlanm olur.

    4.7 kinci Delphi Anketinin Analizi

    Anket maddelerinin her birinin birinci ey-rek, ikinci eyrek, medyan ve genilik deerlerihesaplanr[9]. Bunun dnda her bir maddeyeilikin yaplan katlma/katlmama, nemse-me/nemsememe gibi. yorumlar ek bir formdatoplanr.

    4.8 nc Delphi Anketinin Dzenlen-mesi ve Gnderilmesi

    nc Delphi Anketi, ikinci anketin ayns-dr. Bu ankette her bir madde banda anketeilikin olarak hesaplanan birinci eyrek, nceyrek, medya ve genilik yer alr. Ynergedebu istatistiklerin ne anlama geldii rneklerleanlatlr. Ankete ek olarak gnderilen formda damaddelere ilikin yazl yorumlar ve tartmala-ra yer verilir. Katlmcnn ikinci ankette her birmaddeye verdii cevaplar da madde banda yeralr.

    4.8.1 nc Delphi Anketi

    Bu nc Delphi anketinde ikinci anketeverdiiniz cevaplan gzden geirmeniz beklen-

    mektedir. Sizin de fark edebileceiniz gibi bunc anket ikinci anketin aynsdr. Size sunu-lan bu ankete ikinci anketin istatistiksel analizle-ri de eklenmitir. ncelikle her bir madde ban-da ikinci ankette yer alan size ait cevaplar belir-tilmitir. Sizin cevaplannzn yannda grubuncevaplanna ilikin drt farkl istatistik sonucu dayer almaktadr. Bu istatistikler srasyla; birincieyrek (I), medyan (Md), nc eyrek (3)ve genilik (R)' dir.

    Medyan (Md): Cevaplarn %50'sini soluna,%50'sini de sana alan noktadr. Bunagre bi-rinci yeterlik maddesinin medyan 6.2' dir. Yanibu maddeye cevap verenlerin %50'si 6.2'nin so-lunda, %50'si de sanda yer almaktadr.

    Birinci eyrek (): Cevaplarn %25'ini so-luna, %75'ini de sana alan noktadr. Buna g-re ikinci yeterlik maddesine baktmzda ce-vaplayclarn sadece %25'i bu yeterlik madde-sine "7"li lek zerinde 6.2 ya da daha altndabir deer atfetmektedir. %75'inin ise 6.2 zerin-de bir deer atfettii grlmektedir.

    nc eyrek (3): Cevaplarn %25'ini sa-na, %75'ini de soluna alan noktadr.

    Genilik (R): nc eyrek ile birinci ey-rek arasndaki farktr (R=3-I). Bu farkn azolmas gr birlii olduunu, yksek olmas isegr birlii olmadn ifade eder.

    Bu ankette, ikinci ankette her bir maddeyeilikin yaplan yorum ve aklamalar da bir ara-ya getirilerek size sunulmutur. Ltfen nceliklebu yorum ve aklamalar okuyunuz. kinci an-kete verdiiniz cevabnz, bu yorum ve akla-malar ve her bir maddeye ilikin sunulan istatis-tikleri deerlendirerek yeniden gzden geiriniz.Yeni cevabnz "Yeni" yazan stundaki paran-tez iine yaznz. nceki ankette verdiiniz ce-

  • Eitim Aratrmalarnda Delphi Teknii ve Kullanm'

    vabnzda srar ediyorsanz "Eski" yazan stun-da sunulan ikinci ankete verdiiniz cevabnzyuvarlak iine alnz. Maddelere ilikin herhan-gi bir yorum ya da aklamanz varsa bunlar ve-rilen bolua yaznz.

    4.9 nc Delphi Anketinin Cevaplan-mas

    nc Delphi anketi istatistiksel sonularlabirlikte tekrar katlmclara iletilir. Katlmclar-dan, ikinci ankete verdikleri cevaplar gruba ili-kin istatistiklerle karlatrmalar, her bir mad-deye ilikin yaplan yorumlar da deerlendire-rek kararlarn yeniden gzden geirmeleri iste-nir. Eski kararnda srar ediyorsa kararn yuvar-lak iine almas, eer yeni bir karar oluturduy-sa onu bo braklan yere yazmas istenir. Varsayeni gr, neri ya da tartmalar da yazmasbelirtilir. Anketler belirtilen bu hususlar ere-vesinde tamamlanp aratrmacya iletilir. Bu e-kilde nc Delphi Uygulamas (Round III) datamamlanm olur.

    4.10 nc Delphi Anketinin Analizi veUygulamalarn Sonulandrlmas

    nc Delphi anketinin analizi iin ikinciDelphi uygulamasnda yaplan istatistikler kul-lanlr. eyrekler arasndaki geniliin azalpazalmadna baklr. Bu genilikte bir azalmaolduysa uzlama ynnde bir hareketten sz edi-lebilir. Zeliff ve Heldenbrand'a[o] gre eyrek-ler aras genilii 1.2' den az olan maddeler, ze-rinde uzlama olan maddeler olarak kabul edilir-ler. Uzlama ynnde hareketliliin salanmasiin anket tekrar says iki- olabilecei gibi, onda olabilir. Fakat, genelolarak drdnc uygu-lama sonucunda sonularn doyurucu olduu be-lirtilmektedir [11].

    5. DELPHi TEKNiiNiN STNVE SINIRLI YNLERi

    Delphi tekniinin stnlklerinden ve snrl-lklanndan sz edilebilir.

    Delphi ynteminde bireylerin yz yze gel-melerinden doabilecek problemler en az dze-ye indirilmektedir. Bu ekilde bireyler dnce-lerini, dierlerinin basklarna maruz kalmadan

    219

    serbeste ifade edebilmektedirler. Katlmclarardk anketler yoluyla salanan dntler neti-cesinde farkl dncelerden haberdar edilmek-te, kendi dncelerini yeniden gzden geirmefrsat yakalamaktadrlar [12].

    Delphi teknii ok fazla sayda katlmcdanveri salama durumunda; katlmclarn zaman,mekan, uzaklk, maliyet gibi faktrler nedeniylesklkla toplanma olaslnn olmad durum-larda; g mcadelesi, politik mcadele ve an-lamazlklarn yz yze alamad durumlardanemli avantajlar salar [3]

    Delphi teknii, farkl bilgi, beceri ve dene-yimler yardmyla bireylerin farkl bak ala-ryla sorunlarn ilgili paralarna katkda bulun-malarna frsat tanmaktadr [3].

    Delphi tekniinin kullanld aratrmalardauzman seimi yaplr. Byle bir seimde seilenkiiler kendilerini ayrcalkl grebilirler. Bu du-rum motive edici bir gelime salar. Delphi tek-niinin sradan anketler tesinde daha karmakbir uygulama olduunu fark ederler ve bunu danemserler [13].

    Delphi yntemine ilikin baz snrllklardanda sz edilmektedir.

    Katlmcnn gizli kalmas esasna dayal

    olan bu yntemde, anketlerde kullanlan ifadelerkii ve gruplar tanmlayc olabilir.

    Delphi yntemi ardk anketler yoluyla ile-mektedir. Bu nedenle katlmclarn bu sretetutulmalar yaamsal bir nem tar. Katlmcla-rn balangta aratrmaya katlp sonradan ay-rlmalar nemli problemler yaratabilir. Buproblemin stesinden gelmek iin katlmclaraaratrmann btn hakknda bir n bilgi ver-mek (Ka anket yantlanacak? Her bir uygulamasresi ne kadar olacak? Ne zaman sonulana-cak?.) yararl olacaktr. Katlmclara bir demeyapmak da etkili olabilir.

    6. SONUBaz snrllklarna ramen Delphi teknii

    bir uzlama salama arac olarak kullanlabilir.Bu tekniin zellikle katlmda gizlilik ilkesi

  • 220 Ali Ekber ahin [ J. ofEd 20farkl ve yaratc dncelerin ortaya kmasnakatk salayabilir. Delphi srecinde ardk an-kederin kullanlmas ve analizlere ilikin kat-lmclara geri beslemede bulunulmas, katlmc-

    .lara kendi grlerini ve dier katlmclarn g-rlerini yeniden gzden geirme frsat ver-mekte ve uzlamaya ynelik adm atlmasnaolanak tanmaktadr.

    Eitim alanndaki kararlann ou zaman po-litik, zaman zaman da duygusalortamlarda ve-rildii lkemizde, Delphi tekniinin kullanmdaha etkili kararlarn alnmasn salayabilir.

    KAYNAKLAR

    [1] Woudenberg F "An Evaluation of Delphi" Tech-nological Forecasting and Social Change 40:BI-ISO (1991).

    [2] Dalkey N ve Helmer O. "An Experimental App-

    Ication of the Delphi Method to the Use of Ex-perts" The RAND Corporation, Santa Monica(1962).

    [3] Turoff, M. ve Hiltz, S. R. "Computer Based Delp-

    hi Processes" London: Kingsley. (2001).

    [4] Quinn, P. "Utilization-Focused Evaluation."Newbury Park, CA: Sage Publieations. (1986)

    [S] Saekman, H. "Delphi Critique: Expert Opinion",Lexington, MA: Lexington Books. (l97S).

    [6] Linstone H & Turoff M "Introduction"The Delp-

    hi Method: Teehniques and Applieations Linstoneand Turoff (Editrler) Addison- Wesley PublishingCompany, London (l97S).

    [7] Dalkey, N. C. "Studies In The Quality Of Life:

    Delphi and Decision Making". Lexington, MA:Lexington Books. (1972).

    [8] Rothwell, W. J. ve Kazansas, H.C. ''Mastering

    The Instruetional Design Process: A SystematieApproach", San Francisco: Jossey- Bass. (1997).

    [9] Rowe G, Wright G & Bolger F "Delphi: A reevalu-

    ation of Researeh and Theory" Teehnolo!!:ical Fo-recastin!!: and Social Chan!!:e Vol 39, 23S-2S1(1991).

    ro] Zeliff, N. D. ve Heldenbrand, S. S. "What Has Be-ing Done In The International Business Curricu-

    lum?". Business Education Forum, 48 (I),23-2S,(1993).

    [] Erlfmeyer, R., Erffmeyer, E. ve Lane, i. "The

    Delphi Teehnique: An Empirieal Evaluation of theOptimal Number of Raunds". Group & Organiza-tion Management, (1-2), 120-129, (1986).

    [12] Linstone, H., ve Tomlin, M.''The Delphi MeUod:Teehniques and Applications", Reading, MA:Addison-Wesley. (197S).

    [13] Pollard, R. ve Tamlin, M. "The Use of Expert

    Teaehers to Improve Edueation." Edueation, 116(1),3-9, (l99S).

    page 1page 2page 3TablesTable 1

    page 4TablesTable 1

    page 5page 6