kan man have tillid til peer reviews?

VESTNr. 2. 01 Vol. 14

7 Kan man have tillid til …Finn Hansson

Evaluering af universitetsforskningen ved brug af peer reviews

Finn Hansson

Når videnskaberne og ekspertdisciplinerne undersøger og tager deres grundlag, konsekvenser og fejl op i reciprokke forhold, sker der det samme med ekspert-rationaliteten, som der skete med læg-rationaliteten, da videnskaben fik overtaget; dens mangler bliver genkendelige, tvivlsomme og mulige at arrangere og reorganisere.[….] Alliancen mellem teknologi og økonomi bliver skrøbelig, fordi teknologien uden tvivl øger produktionen, men samtidig sæ�es legitimiteten på spil. (Beck 1999a)

Brydninger og forandringer i samfundets tillid til videnskabens tradi-tionelle autoritet og den samtidige erkendelse af en dyb a�ængighed af videnskabelig viden er en problematik, som Ulrich Beck igen og igen har fremhævet som et helt centralt træk ved det moderne samfund. Beck bruger begrebet risikosamfundet eller verdensrisikosamfundet (1999b) om de�e samfund og videnskabens rolle heri og har især belyst det med eksempler fra miljøområdet. Beck står langt fra alene med denne kritiske analyse. En række andre samfundsforskere har fremhævet samme problematik ved det 21. århundredres modernitet, hvor tilliden til en fortsat fremadskri-dende teknologi og anvendelse af videnskab ikke længere kan tages for givet og er under voldsom forandring samtidig med en stadig tiltagende samfundsmæssig a�ængighed af videnskabelig vidensproduktion.1 Også i videnskabssociologien har nyere studier af udviklingen i vilkår og orga-nisering af vidensproduktionen i stigende grad re�et opmærksomheden mod disse ’tidsdiagnoser’ og deres analyser af sammenhængen mellem videnskab og modernitet set fra et makro- eller samfundsperspektiv. Et af

Kan man have tillid til peer reviews?

Finn Hansson er forskningslektor ved Institut for Ledelse, Politik og Filosofi, Han-delshöjskolen i Köbenhavn og forsker i forholdet mellem videnskab og samfund. Ar-bejder med undersögelser af forskningsevaluering i forskellige forskningsmiljöer.


8Finn Hansson Kan man have tillid til …



de mest omtalte studier i de senere år er Gibbons m.fl.’s (1994) analyse af vidensproduktionens nye samfundsmæssige vilkår, hvis introduktion af begreberne ’Mode 1 videnskab’ og ’Mode 2 videnskab’2 er et forsøg på at undersøge forandringerne i videnskabens kontekstualitet og organisering i lyset af den omfa�ende udvikling og vækst, som forskning og anvendt videnskab har gennemgået i årene siden 2. verdenskrig. Også deba�en om forandringer i relationerne mellem universitetsforskning, erhvervsliv og stat som er tematiseret i diskussionen om Triple Helix (Etzkowitz m.fl. 2000) peger på strukturelle forandringer i videnskabens traditionelle organisering og opbygning. Samtidig har der i de seneste 20 år fundet en omfa�ende udvikling og forandring sted i det politiske og administrative system i de vestlige lande. Her tænkes der først og fremmest på de mange nye styrings- og reguleringstiltag, som i mangel på en bedre betegnelse kan sammenfa�es under begrebet New Public Management (Pollit 1996). Med �� som en vigtig initiativtager blev en række nye styringsinstrumenter udviklet og ta-get i anvendelse i de forskellige dele af den offentlige sektor, herunder også i forhold til den offentligt finansierede forskning og videnskab, som i stigende omfang blev underkastet forskellige former for forskningsevaluering. De�e skete både som led i en udvikling af forskningspolitik, der aktivt kunne understø�e en fortsat økonomisk vækst og i forsøg på at effektivisere den offentlige forskning. Denne effektiviseringsproblematik, som med slagord som ’best practice’ og ’value for money’, sammenfa�et i begrebet revisions-samfundet (Power 1997), betød fremkomsten af en række nye forsknings-evalueringsmetoder og systemer, som på forskellig vis e�erfølgende har påvirket og grebet ind i forskningens og videnskabens traditionelle ’frirum’. En af de vigtigste former for indgreb i denne sammenhæng er sket ved at forskningens klassiske metode til kvalitetsvurdering, peer review’et, over en periode har fået tildelt en ny ekstra rolle eller funktion ved systematisk at blive anvendt som central metode i de nye eksterne forskningsevalueringer (Elzinga 1995). Hvilke konsekvenser får peer review’ets dobbeltrolle, som både den klassiske interne videnskabelige metode til udvælgelse alene på grundlag af videnskabelig kvalitet og samtidig som eksternt forsknings-evalueringsredskab, hvor politiske og forskningspolitiske hensyn indgår i den samlede vurdering? Er denne dobbeltrolle også udtryk for en udvikling af mere omfa�ende forandringer i forholdet mellem samfund og videnskab, som også vil indvirke på peer review’et? Resten af denne artikel vil forsøge at et bidrag til at besvare disse spørgsmål. Først er det imidlertid nødvendigt at se nærmere på udgangspunktet, det klassiske peer review.





D�� Begrebet peer reviews har i dag i store dele af den offentlige debat vundet indpas som en særlig for form videnskabelig kvalitetskontrol, baseret på en model der ideelt foreskriver, at ’ligemænd måler og vejer’ og derigennem vurderer kvaliteten af andres videnskabelige arbejder. Denne forståelse svarer også meget godt til en kombination af de to oversæ�elser vi har på dansk af det engelske ord ’peer’; a peer ligemand (oprindelig i betydningen adelig) og to peer, at undersøge, at se nøjere e�er.

I forbindelse med videnskabens institutionelle udvikling og organisering, der for alvor slog igennem i slutningen af 1800-tallet, opstod behovet for en videnskabelig kvalitetsvurdering, der ikke var helt a�ængig af enkelte personers luner og holdninger. I denne komplicerede periode udviklede videnskaben sig for alvor med egne institutioner og mekanismer til intern kvalitetsvurdering, peer review’et. De�e blev en metode, der tilbød sig som en løsning på spørgsmålet hvordan man kunne vurdere kvalitet og relevans af ny videnskabelig viden med er rimelig grad af gyldighed og pålidelighed. Ligemandsbedømmelse havde man allerede set i funktion i mange år, bl.a. i England, i retssystemet i form af nævningeinstitutionen, der går tilbage til den tidlige middelalders forestillinger om, at retfærdighed bedst kan sikres ved at lade spørgsmål om skyld og straf afgøre af en gruppe af den anklages ligemænd (nævninge)3. Der er nok ingen tvivl om, at den hurtige udbredelse og almene accept af denne videnskabelige ligemandsbedømmelse i et ikke ringe omfang skyldes, at der i to af de vigtigste lande mht. videnskabens institutionelle udvikling i forrige århundrede, �� og England, allerede eksisterede en flere hundrede år gammel tradition for denne form for vur-dering indenfor retssystemet i form af nævningeinstitutionen.

Det videnskabelige peer review, hvis historiske oprindelse vi finder i udvælgelse af manuskripter til de første videnskabelige tidsskri�er, viste sig således at kunne ersta�e den viden om forskningens kvalitet som tid-ligere var baseret på tillid gennem de personlige relationer i de enkelte fagområder, som eksisterede i perioden før videnskabens vækst og institu-tionalisering4 på universiteterne og i virksomhederne. I den situation viste ligemandsinstitutionen sig at være et columbusæg. Princippet om at lade udvalgte ligemænd, dvs. de højtspecialiserede fagfolk foretage en samlet vurdering på samme måde som proceduren ved nævningeafgørelser, dvs. vurdere det fremlagte materiale, og træffe en afgørelse eller dom, viste sig at kunne tilgodese både en ekstern og en intern legitimitet af beslutningen. Vurderingen af forskningens kvalitet baseret på tillid og personligt kends-kab blev e�erhånden ersta�et af et kompleks af sociale normer og forvent-ninger mellem deltagerne i videnskabssystemet. Disse forventninger eller





normer etablerede en ny form for tillid, baseret på en objektiviseret, ikke personorienteret vurdering foretaget af andre anerkendte forskere. Den klassiske beskrivelse af videnskabssystemets normer for anerkendelse og kritik findes beskrevet som ��-normerne hos Robert Merton5 . Lige-mandsbedømmelse implicerer en homogenitet og konsensus med hensyn til hvad der anerkendes som viden af kvalitet, dvs. gyldig viden. De�e er uhyre vigtigt for videnskabens udvikling som institution, dvs. som en sam-fundsinstitution, der kan fastholde social anerkendelse fra det omgivende samfund, og dermed for denne institutions autonomi og selvregulering.

Merton og Zuckermann (1971) opregner en række af de problemer, der er opstået og/eller er udviklet i takt med at peer review-metoden i tiltagende omfang institutionaliseres som metode til kvalitetsbedømmelse eller eva-luering af forskning. Det er først og fremmest spørgsmålet om peer reviews af artikler til tidsskri�er giver en pålidelig udvælgelse, således at kvalitetsa-rtikler med temmelig stor sandsynlighed ikke vurderes negativt. Merton og Zuckermann’s konklusion på en gennemgang af forskellige undersøgelser af forkastelsesgrader (dvs. den % manuskripter som afvises ud af den tilsendte mængde) samt deres egen undersøgelse af peer review bedømmelsen i tidsskri�er Physical Review sammenfa�er de i følgende citat:

Erros of judgement, of course, occur. But the system of monitoring scientific work before it enters into the archives of science means that much of the time scientists can build upon the work of others with a degree of warranted confidence. It is in this sense that the structure of authority in science, in which the referee system occupies a central place, provides an institutional basis for the comparative reliability and cumulation of knowledge. (Merton og Zuckermann 1971 s.495)

Merton og Zuckermann finder empirisk grundlag for at peer review-systemet i videnskabelig publicering er et helt afgørende forhold i sikringen af videnskabelig kvalitet og det er derfor også den centrale evaluerings-metode, når vi har med videnskabelig kvalitet at gøre. Det ’community of science’ som Merton adskillige steder taler om som den institution, der sikrer gyldighed og kvalitet i videnskabelig viden gennem den aldrig en-delige videnskabelige kritik, har fundet sin operationelle form i peer review modellen. Denne beskrivelse af idealnormerne for videnskabelig adfærd fastholdes af Merton, som en nærmest ’idealtypisk’ sammenfatning af vil-kårene for videnskaben og dens frembringere i det moderne samfund, trods de skævheder i videnskabens belønnings- og kommunikationssystemer som han selv har undersøgt, først og fremmest Ma�hæus-effekten (Merton 1968b). Men Merton gør sig ingen mere præcise forestillinger om de mere historisk specifikke betingelser for disse normers eksistens og betydning og





i hvilket omfang de er a�ængige af ændringer i det omgivende samfund. Tværtimod, Merton antager implicit, at videnskaben har udviklet sig til et relativt selvstændigt og lukket system i forhold til det omgivende samfund og at de�e system hviler på disse normer og kan friholdes fra politiske interesser og konflikter i det omgivende samfund.

Som metode til at foretage videnskabelige kvalitetsvurderinger blev peer reviews hurtigt den absolut foretrukne metode for udvælgelse af artikler og bøger til publicering, af ansøgere til stillinger, til forskningsbevillinger og i en række andre situationer, hvor udvælgelse e�er den bedste videns-kabelige kvalitet var afgørende og hvor det ligeledes var af stor betydning, at udvælgelsen blev anerkendt i ’the scientific community’. Det skal dog fremhæves, at peer reviews ikke kan beskrives som en entydig og velde-fineret metode, men snarere som et overordnet og anerkendt princip for videnskabelig kvalitetssikring. Der kan nogle gange foreligge en formel beskrivelse af proceduren for hvordan evalueringen eller bedømmelsen skal gennemføres og hvordan resultatet skal præsenteres, og der kan fastlægges principper for hvad der skal eller ikke skal medtages, men grundlaget for evalueringen er ’den videnskabelige tekst’. Selve bedømmelsen af indholdet, vurderingen af videnskabelig kvalitet, fremstår nu som før uantastet som en kvalitativ proces. Denne kvalitative bedømmelsesproces kan være indram-met af mere eller mindre formaliserede procedurer og krav, eksempelvis til hvad der skal medtages, hvordan bedømmelsen skal udformes osv., men processen selv er stort set fritaget for eksternt formulerede formelle pro-cedurer og metodikker og hviler på ’de videnskabelige ligemænds’ egne mere eller mindre udtalte kvalitetskrav.6

P�� – �� Peer reviews har som metode til udvælgelsen af videnskabelige artikler stået i centrum i videnskabssociologiske undersøgelser af videnskabelig kvalitet og kvalitetssikring. I de senere år har forskellige variationer af peer review-metoden fundet anvendelse i forskellige former for forskningsevaluering (Elzinga 1995), som i et ikke ringe omfang har ændret ved det klassiske peer review’s forudsætninger og funktionsmåde.7 Ikke mindst med tanke på at peer review-metoden i stigende omfang anvendes i mere tekniske og administrative og ikke mindst forskningspolitiske sammenhænge, og i den forbindelse o�e er blevet kritiseret for blot at være et nødtørtigt dække for en på forhånd øremærket fordeling af midler8 , er det vigtigt at få rejst denne diskussion. Er metoden stadig at foretrække som den mest kvalificerede når en forsker eller et forskningsprodukt skal bedømmes mht. kvalitet? 9





Kan den ersta�es eller udvides med andre vurderingsmetoder? Gibbons og Georghiou har i en større undersøgelse af forskningsevaluering i �� set nærmere på peer review’et og mener nej, men peger også på, at det er en metode under kra�ig forandring:

[...] peer review is the central method on which most evaluations are based. It operates at all levels of evaluation, over all types of research activity in every national research system. [...] We simply wish in these concluding remarks, to underline the fact that many countries are experimenting with peer review; […]. (Gibbons og Georghiou, 1987 s.70)

Men hvad er det der er særlig karakteristisk for peer review’et i den mere eller mindre klassiske udgave, dvs. som den er beskrevet af Merton? Et af de mest omfa�ende nyere forsøg på at sammenfa�e forskningen he-rom er Cicche�i’s (1991) undersøgelse af peer reviews i forbindelse med bedømmelse af manuskripter og ansøgninger om forskningsprojekter. Ikke blot sammenfa�er Cicche�i et stort antal peer review-undersøgelser fra en række forskellige fagområder, men hans artikel rummer også en lang sektion, hvor 34 fremtrædende forskere, der alle har beskæ�iget sig med peer reviews i forskellige discipliner, diskuterer Cicche�is konklusioner. Cicche�is hovedkonklusion er, at der på tværs af discipliner ser ud til at være en forbløffende mangel på pålidelighed ved brug af peer reviews, især hvad angår den såkaldte positive vurdering, dvs. udvælgelsen af hvad der er videnskabelig værdifuldt. Den stigende konkurrence om begrænsede forskningsmidler og publiceringsmuligheder gør, at ringe pålidelighed i udvælgelsen af den værdifulde forskning rammer megen god og relevant forskning hårdt – omend der er stor forskel på konsekvenserne i forskel-lige fagområder. De�e får Cicche�i til at stille spørgsmålet: hvad vil en højere grad af pålidelighed betyde og kan den overhovedet opnås? De�e spørgsmål rejses også af Hemlin (1996), der har sammenfa�et en række empiriske studier af peer reviews i en oversigtsartikel over li�eraturen om forskningsevaluering. Hemlin ser løsningen på problemer med pålidelig-heden i brugen af kompetente eksperter og ikke i de mange forslag om at forbedre bedømmelserne gennem oplæring af bedømmere, idet ”[...] these a�empts were successful only in the training case.” (Hemlin 1996, s.234)

Ronald Kostoff (1995/99)10 har som Hemlin og Cicche�i foretaget omfat-tende sammenfatninger af li�eraturen om peer reviews. Alle påpeger, at det er vanskeligt at forestille sig andre metoder til forskningsevaluering, der har samme fleksibilitet, mulighed for at gå i dybden, og som kan håndte-ret det vanskeligt definerbare område eller begreb: videnskabelig kvalitet. Desuden er peer reviews en nærmest uløselig del af den videnskabelige





tradition og indgår på en kompleks måde i fastlæggelsen af, hvad der er videnskabelig viden. Men samtidig slår de ned på de mange problemer forbundet med denne metode, hvor den empirisk påviste lave pålidelighed mellem bedømmere fremhæves som det alvorligste problem. En sammen-fatning af li�eraturen om problemer ved peer review metoden, der bygger på diskussionen hos Kostoff, Cicche�i og Hemlin følger her.

De positive sider ved peer review metoden er:- en effektiv mekanisme til fordeling af ressourcer,- en fleksibel bedømmelsesmetode (fordi den er baseret på åbne kvalita-

tive vurderinger),- høj grad af videnskabelig anseelse (fordi det er et system, der er indbyg-

get i videnskaben),- høj grad af videnskabelig ’fairness’ og anerkendelse (fordi der er tale om

at vurdere kvaliteten af et produkt og ikke en person),- Mathæus-effekt I – tilgodeser de mest anerkendte, fremtrædende og

produktive forskere, sikrer en fordeling af midler til fordel for personer, der allerede har demonstreret at de kan producere kvalitet,

- en vis overensstemmelse i vurderinger kan sikres gennem instruktion og træning.

De negative sider ved peer review metoden er:- vanskeligher ved at sammenligne peer review bedømmelser pga.

forskelle i de kvalitative bedømmelser og i rapporteringen,- vanskeligheder ved at finde tilstrækkeligt med ua�ængige og kompe-

tente peers,- Mathæus-effekt II – som en konsekvens af Mathæus-effekt I er det o�e

vanskeligt for nye, ukendte forskere og forskningsområder at blive anerkendt og få midler, (o�e anvendes betegnelser som ‘old boys’ netværk og ’halo’ effekt om denne forfordeling af etablerede forskere og institutioner),

- upålidelighed i vurderingen pga. af partiskhed (forhold som nepotisme, sexisme, partikularisme er ikke ukendte),

- vanskeligheder med at vurdere om uenighed mellem bedømmere skyl-des uenighed om hvad der er god forskning (forskellige paradigmer) eller kvaliteten,

- store økonomiske og/eller tidsmæssige omkostninger forbundet med kvalitetsbedømmelser,

Denne oversigt over fordele og problemer ved peer review metoden er der stort set enighed om i størstedelen af li�eraturen. De mange empiriske undersøgelser af peer reviews har dog ikke udviklet sig nævneværdigt me-





todisk og kan i det store og hele kan beskrives som en nærmest direkte fort-sæ�else af Mertons klassiske empiriske undersøgelse af Physical Reviews artikeludvælgelse.11 De kritiske indvendinger mod peer review evalueringer, der igen og igen dukker op, beror i stort omfang på, at denne vurderings-metode i dag har fået stor udbredelse og nyder en almen anerkendelse som en troværdig bedømmelsesmetode. De�e leder o�e til misforståelser med hensyn til metodens akkuratesse og uangribeligehed og ikke mindst hvilke forudsætninger, vurderingerne er sket under – misforståelser, der kan findes i dele af li�eraturen om peer reviews. Et eksempel er den nogle gange helt overvældende fokusering på pålidelighedsproblemer i peer review bedømmelser (Cicche�i 1991).

De overordnede krav eller ønsker der skal til for at udføre peer review eva-lueringer af kvalitet kan på baggrund af li�eraturen sammenfa�es til krav om ”motivation, competence, and independence” hos bedømmerne. Kostoff (1999) går et skridt videre og inddrager nogle af de vigtigste organisatoriske proble-mer ved brug af peer reviews som bedømmelsesmetode. Det er først og frem-mest de omkostningsproblemer, der uløselig er forbundet med peer reviews – både i form af forbrug af tid (og penge) som selve peer review-processen kræver, og de tidsomkostninger for både organisationen og den enkelte forsker, i form af ventetid på at få frembragt peer reviews. Peer reviews af høj kvalitet kræver udvalgte, ua�ængige og højt kvalificerede bedømmere samt tid til arbejdet. Dissse omkostninger viser sig enten som tidsforbrug (for ulønnede bedømmere af artikler) eller som direkte lønomkostninger (for bedømmere af ansøgninger og organisationer). Hemlin præciserer med en indirekte kritisk brod overfor både Kostoff og Cicche�i, at hovedproblemet (stadig) er at finde kompetente bedømmere. ”The likelihood of obtaining valid and informative peer reviews will rely heavily on access to compe-tent experts, rather than being a question of improving and systematizing judgement made.” Hemlin (1996, s. 244)

Men der er andre og måske mere komplicerede problemer forbundet med peer review metoden. Kostoff (1999) og Hemlin (1995) rejser spørgsmålet om der er en risiko for, at periodiske peer reviews i en forskningsorganisation kan føre til begrænsninger i forskningens originalitet og eventuelt lede til selvcensur. ”Would performers be reluctant to present these ideas in a pu-blic forum, where the credibility of the performers could be challenged for these ideas? In other words, does the practice of peer review, and especially panel-based program peer review, effectively result in self-censorship of radical ideas?” (Kostoff 1999). Men måske er de�e blot en naturlig følge af en ekstern synliggørelse af forskningen, der er uundgåelig i forbindelse med den tiltagende forskningspolitiske styring og regulering (Elzinga 1995).





O��

Diskussionen af problemer med pålidelighed ved brug af peer reveiw har o�e overskygget alle andre problemer ved denne metode. I den nyere videnskabssociologi findes der enkelte forsøg på at overskride nogle af de begrænsninger, der findes i størstedelen af li�eraturen om peer reviews. To af kommentatorerne til Cicche�i’s artikel, videnskabssociologerne Stephen Cole og Steve Fuller (Cicche�i 1991), afviser ud fra en videnskabssociolo-gisk tilgang til analysen af peer review, at det er tilstrækkeligt at begrænse diskussionen af denne evalueringsmetode til alene produktet, artiklen, forskeren eller ansøgningen. Cole peger på at Cicche�i’s konklusioner om at forsøge at forøge pålideligheden gennem en række forskellige tiltag (træning af bedømmerne mm.) bygger på en implicit antagelse om faglig konsensus i de enkelte videnskabsområder – en forudsætning som ifølge Cole er ganske uholdbar. Cole’s eget nu næsten klassiske studie af vurdering af ansøgninger til forskningsrådene viste, at ”because of the inherent lack of consensus on research frontier science, it is inevitable that many wort-hwhile proposals will be rejected and some proposals of li�le value will be funded. This was the major finding of my peer review study.” Cole (1981) Fuller følger denne kritik af Ciche�i op og peger på at Cicche�is antagelse om at bedre pålidelighed i vurderingen af den enkelte forsker eller det enkelte forskningsresultat/produkt skulle betyde forbedret videnskabelig kvalitet, viser en manglende forståelse for de mange forskellige processer eller selektionsmekanismer der er i spil.

Cole eller Fuller afviser ikke, at peer review er en vigtig del af den vi-denskabelige bedømmelses- og udvælgelsesproces, men de tager omvendt klart afstand fra de løsningsforslag Cicche�i og andre peger på som kan forbedre pålideligheden (flere bedømmere, træning af disse, brug af mere kvantitative metoder). Disse forslag har det tilfælles, at de i overdreven grad fokuserer på spørgsmålet om pålidelighed, dvs. ensartethed i målingen og mulighed for forudsigelse, fremfor på spørgsmålet om gyldigheden, dvs. om det der udvælges er forskning af god kvalitet. Netop de�e spørgsmål er omstridt på forskningsfronten i alle videnskabsområder og siden Kuhn (1970 [1962]) har diskussionerne om omfanget af et fælles videnskorpus i de forskellige vidensområder været ført med begreber som frontforskning overfor normalforskning og paradigmeski�. Den løsning på problemet om usikkerheden i peer reviews som Cole (1998) bla. peger på, er at fremme en dialog mellem bedømmere og bedømte, at forbedre begrundelser samt at skaffe flere publiceringsmuligheder. Selvom hverken Cole eller Fuller trækker nogle klare konsekvenser af deres videnskabssociologiske kritik af





den traditionelle tilgang til peer review evalueringer, så peger deres kritik tydeligt nok på, at peer review’et alene kan forstås som et led i en løbende vidensproduktion. Fokuseringen på høj grad af pålidelighed i peer reviews i de mange analyser fra Merton til Cicche�i rummer en uholdbar status quo betragtning på betydningen af de samfundsmæssige forhold omkring frembringelsen af videnskabelig viden.

En anden implicit antagelse i diskussionerne af peer review metoden er, at forskelle mellem de enkelte videnskabsområder mht. intern funktion og organisation er så begrænsede, at det er meningsfuldt at diskutere denne metode generelt for alle videnskabsområder. Whitley (1984) har med en or-ganisationssociologisk tilgang vist, at der eksisterer meget store indbyrdes forskelle mellem forskellige videnskabsområder med hensyn til måden at organisere vidensproduktionen på, som afspejler forskelle imellem forskel-lige videnskabelige områders forhistorie og ikke mindst tilknytning til og anvendelse i forskellige dele af samfundet. Det er Whitleys fortjeneste at have påvist, at der er store organisatoriske og institutionelle forskelle mellem de forskellige videnskabsområder med hensyn til videnskabsom-rådernes interne kontrol og centralisering af viden og anerkendelse, og at de�e har stor betydning for hvorledes der etableres enighed og viden og kvalitet12 . Disse forskelle taget i betragtning gør det vanskeligt at fastholde forestillinger om fælles vilkår for videnskab i en mere generel forstand og derfor også om fælles normer og kriterier. Desuden lægger vægtningen af de organisatoriske og institutionelle forhold omkring videnskaben direkte op til at medtænke betydningen af e�erkrigstidens voldsomme udvikling i anvendelsen af videnskaben i den samfundsøkonomiske produktion og statslige politikområder, som ikke mindst er kommet til udtryk i den stadig voksende interesse for forskningspolitik.

P�� , �� Hos Merton finder vi den mest fremtrædende videnskabssociologiske ana-lyse og begrundelse for, at videnskaben skal forstås som et relativt lukket og selvregulerende system, bundet sammen af et internt system af normer, der via deres udbredelse og anerkendelse kan regulere udvælgelsen af den bedste forskningskvalitet, fordeling af anerkendelse og andre ressourcer, på en måde der har en udbredt accept internt såvel som ekternt. Peer review-systemet har her ha� en afgørende betydning. Styrken i Mertons analyse har klart været at fastholde en fokusering på nogle vigtige strukturelle og organisatoriske sider af videnskaben set som et lukket socialt system. Men antagelsen om den relative isolation i forhold til det omgivende samfund og





ikke mindst de samfundspolitiske reguleringer blev der faktisk allerede sat spørgsmålstegn ved af Max Weber. I det berømte essay Videnskab som kald eller profession fra 1919 (Weber 1992) påpegede han, at videnskaben i stigende omfang udgør et centralt element i det moderne samfunds udvikling, ikke mindst igennem og som en del af en den fremvoksende rationalitet, der sigter mod kontrol og beherskelse af verden. I den affortryllede verden, som er Webers analytiske begreb for det moderne samfund, betyder den øgede intellektualisering og rationalisering en bevidsthed om, at det principielt er muligt at beherske og kontrollere verden ved brug af videnskaben. For We-ber er ’ingen videnskab absolut forudsætningsfri’, men det handler ideelt om at skelne mellem at erkende og fremstille kendsgerninger og konsekvenser og heroverfor at tage stilling til værdier og handlinger i samfundet.

Mertons formulering af ��-normerne er et forsøg på at løse den modsætningsfyldte adskillelse mellem videnskab og værdier som Weber fremhæver. Men Merton vælger en funtionalistisk løsningsmodel, hvor modsætningen tilsyneladende er løst ved at placere værdier udenfor den lukkede videnskabelige verden, men denne ’løsning’ er tidsbegrænset. We-bers uløselige konflikt mellem værdier og videnskabelig viden, som for ham var et grundvilkår for videnskaben i det moderne samfund, dukker frem igen. Webers andet hovedpunkt, rationalisering og bureaukratisering i forsøg på at beherske verden, som han sammenfa�er i begrebet ’affortryl-lelse’, indebærer en stigende anvendelse af den videnskabelige viden i alle områder – og hermed har vi så at sige ’genindført’ sammenkoblingspunktet mellem videnskab og politik. Endvidere fremhæver Weber det forhold, at videnskab udvikler sig som en profession, et fag, et fagligt arbejde, lønar-bejde og ikke kun som en nådegave hos profeter, eller en kamp for sandhed. Det betyder, at forskere bliver lønarbejdere med karriere og ansæ�else i en forskningsorganisation. Weber signalerede tidligt den problemstilling som senere i videnskabssociologien har fået betegnelsen internalist-eksternalist deba�en, dvs. spørgsmålet om videnskabens udvikling er bestemt af interne forhold (Merton) eller af forhold i det omgivende samfund (Weber).13

På to afgørende punkter kan vi allerede hos Weber finde tilløb til en ana-lyse af forholdet mellem videnskab og samfund, der er en problematisering af den meget lukkede og funktionelle fremstilling af videnskaben som et selvstændigt og ua�ængigt system, som kom til at danne kernen i Mertons analyse af de videnskabelige normer. E�erfølgende samfundsforskere, ikke mindst fra kritisk teori, har udviklet forskellige ansatser til en mere om-fa�ende problematisering af antagelser om, at videnskaben kan betragtes som et område eller en sfære med en relativ høj graf af selvstændighed og ua�ængighed i forhold til det moderne kapitalistiske samfunds økono-





miske og politiske udvikling. Her skal blot nævnes Jürgen Habermas (1968, 1969), der har søgt at vise en sammenhæng mellem det senkapitalistiske samfunds tekniske og instrumentale interesser for kontrol og beherskelse og anvendelse af viden frembragt gennem metodologiske og regelbaserede rammer for vidensproduktionen.

P�� I afsni�et før er der rejst forskellige former for kritik af den opfa�else af videnskab og samfund, som ligger til grund for Mertons formulering af ��-normerne og disses betydning for peer review metoden til bedøm-melse af forskningskvalitet. De kritiske punkter kan le�est beskrives som dels mikrororienterede, dvs. forskellige kritikker af metodens utilstrække-lighed (manglende pålidelighed hos Ciche�i) og dels som mere eller mindre makroorienterede. Blandt disse er der forskellige kritikker af peer reviews funtionsmåde i de organisatoriske og sociale sammenhænge de anvendes i, såsom forskellige former for bias’ og partiskhed (Hemlin, Cole) samt kritik-ker, der eksplicit inddrog sammenhængen mellem videnskabens organise-ring og samfundsmæssige funktion (Whitley, Weber og Habermas).

I de�e afsnit er det hensigten at vurdere betydningen af peer review metoden som universel bedømmelsesmetode i forhold til de teser om ud-viklingen af nye relationer i videnskaben og i forholdet mellem videndskab og samfund, som blev fremlagt i begyndelse af artiklen. De Merton’ske normer om universalisme og uinteresserethed/uhildethed (disinterestness), som har ha� så stor gennemslagskra�, forudsæ�er en form for nærmest idealtypisk tilstand, hvor videnskab kan eksistere ua�ængig af samfunds-mæssige forhold dvs. ua�ængig af værdier og holdninger hos såvel den enkelte forsker som den samlede videnskabelige verden Merton (1968). Med tanke på den enorme vækst som videnskaben har gennemgået i det sidste århundrede, og ikke mindst den hurtigt voksende direkte statslige politik overfor videnskabens udvikling siden 2. verdenskrig, er det meget relevant at se nærmere på, om der er sket afgørende forandringer i de samfunds-mæssige forudsætninger for peer review-metoden (Fuller 2000).

I en kommentar til de banebrydende mikrosociologiske studier af forskningsarbejdet på store forskningslaboratorier, som blev gennemført først i 1980erne af bl.a. Latour & Woolgar (1986) og Knorr-Cetina (1981) påpeger Mayntz og Schimank (1998), at der hermed for alvor blev åbnet for en grundlæggende kritik af det traditionelle syn på videnskaben i videnskabssociologien. ”They needed only a few years to destroy effectively all the myths about the special character of scientific knowledge which the





Mertonian/Popperian alliance had handled down.” (Mayntz og Schimank 1998:749) Men som Mayntz and Schimank også fremhæver, så var de social-konstruktivistiske videnskabsstudiers ’sejr’ kortsigtet eller re�ere begrænset i udsagnskra� af deres binding til de meget empiriske case studier, som nok kunne danne grundlag for en dekonstruktion af myter som Mertons normer, men ikke for opbygning af alternative forklaringer. ”To put it brie-fly, exaggerated situationism replaced the exaggerated institutionalism of the Popper/Mertonian perspective. …. The methodological shortcoming which encouraged this theoretical one-sideness consisted in the single case approach of social constructivist empirical studies of scientific work.” (Mayntz og Schi-mank op.cit) Disse klassiske socialkonstruktivistiske studier rækker, som Mayntz og Schimank påpeger, ikke ud over case studiernes egne rammer og den Merton’ske tilgang er allerede blevet kritiseret for at lukke af for en forståelsen af forholdet mellem videnskab og samfund. Det er således ikke herfra vi kan finde tilløb til en mere dybtgående undersøgelse af mulige forandringer i videnskabens vurderingssystemer som en konsekvens af forandringer i forholdet i videnskab og i forholdet til samfundet.

De seneste års udvikling i såvel videnskabssociologien som den mere generelle samfundsvidenskabelige teori rummer en række bidrag, som har beskæ�iget sig med at undersøge forandringer i videnskaben og den samfundsmæssige anvendelse af videnskabelig viden og teknologi som et helt centralt tema. Det drejer sig både om omfa�ende ændringer i vi-denskabens og forskningens organisering og institutionalisering og ikke mindst om videnskabens voksende betydning og synliggørelse i alle dele af samfundet.14 Det overordnede spørgsmål er, om der pågår så omfa�ende samfundsmæssige ændringer i vilkårene for videnskab og videnspro-duktion i de moderne samfund, at den klassiske opfa�else af videnskaben som en aktivitet med en udbredt relativ autonomi i forholdet til samfundets politiske og økonomiske strukturer, er naiv og blokerende for en forståelse af dynamikken mellem videnskab og samfund. Videnskabens voksende a�ængighed og sammenfletning med det øvrige samfund tematiseres også på forskellige måder i den nyere videnskabssociologi, mest fremtrædende som forskellen mellem Mode 1 og Mode 2 videnskab eller i begrebet eller modellen Triple Helix. Baggrunden for disse teser er mest baseret på en række case-studier fra forskellige fag- eller videnskabsområder, hvor man har kunnet lokalisere væsentlige forandringer i organisering af forskning og produktion af viden. I deres nye bog ”Re-Thinking Science” (2001) un-derbygger Novotny, Sco� og Gibbons teserne fra ”The New production of Knowledge” (1994) om en tiltagende kontekstualiering af videnskaben ved at undersøge de nye måde, samfund og viden hænger sammen i det





moderne samfund, ikke mindst omkring frembringelse og anvendelse af viden. De trækker i deres undersøgelse på de generelle samfundsanalyser af bl.a. Giddens og Beck.

Konsekvensen af denne udvikling af nye tendenser i forskningens og videnskabens samfundsmæssige relationer bliver bl.a., at den klassiske mo-del for kvalitetsvurdering også må sæ�es under fornyet diskussion. Når videnskaben i stadig stigende omfang professionaliseres vil de akademiske miljøer mere og mere begynde at ligne andre professionelle grupper i sam-fundet .(Nowotny m.fl. 2001, s.61) De klassiske metoder til vurdering af kvalitet og kompetence, de merton’ske normer og peer review’et, vil ikke længere være tilstrækkelige. Jacob (2000) har i en kritisk granskning af Mode 2 videnskab påpeget, at Mode 2 rummer multidimensionelle eva-lueringskriterier. ”In addition to the peer review, criteria such as market competitivness, cost effctiviness and social acceptability play an important role in determining the quality of Mode 2 knowledge products. This shi� in the criteria of quality control is not an unproblematic one, since as long as the Mode 2 researcher remains formally linked to the university, the traditional criteria of evaluation will also apply.” (Jacob, 2000, s. 21)

Det handler i denne sammenhæng om hvilken betydning for både kvali-tetsproblematikken og for de traditionelle vurderingsmetoder i videnskaben, som de forskellige tilløb til en ny eller fornyet forståelse af omfanget af den videnskabelig videns konteksa�ængighed har. Traditionelle kvalitetsvurde-ringsmetoder som peer review metoden forsvinder ikke. Måske ændres de gennem indflydelse fra markedsøkonomiske mekanismer, som kan fremme en Merton’sk elitisme ved at samle magt og indflydelse på publicering hos redaktionerne i få meget anerkendte forlag og tidsskri�er i tilknytning til et øget ’pres’ for at publicere i særligt anerkendte tidsskri�er. Hvad der med sikkerhed er forandret er, at nye kvalitetskriterier er blevet introduceret sammen med Mode 2 videnskaben, såsom tværfaglighed, problem- og an-vendelsesorinetering, gruppe- og netværksarbejde. Hvordan de nærmere skal beskrives og hvordan de skal vurderes er idag ganske ua�laret. Shove (2000, s.67) giver nogle eksempler på, at udadvendt engagement (ekstern finansiering, opbygning af netværk mm.) vokser frem som et nyt kriterie i den traditionelle akademiske verden. Et citat fra Nowotny, Sco� og Gibbons (2001 s.227) kan belyse nogle af de vanskeligheder, der nu træder frem.

As with Mode-2 knowledge production, scientific quality alone is no longer the sole or sufficient criterion of expertise, even if it remains important. Additonal criteria enters. Futher complications arise because of the many possible ways in which knowledge can be linked to action. It incresingly depends on the context and the questions asked and who has been involved.





Men også peer review metoden kan let løbe ind i alvorlige problemer, der kan undergrave den udbredte anerkendelse og tillid, som metoden stadig nyder. I takt med at forskningen i stigende omfang foregår i netværks-organisering og andre kollektive samarbejdsformer og der samtidig foregår en accelererende specialisering, kan det hurtigt blive et alvorligt problem at finde peers til peer reviews, som er både fagligt kompetente og ua�ængige. Den tiltagende kontekstualisering af vidensproduktionen og hastigheden i videnproduktion og anvendelse er forhold, som indebærer en udvidelse og forandring i hele grundlaget for kvalitetsvurderingen. I den sammenhæng er den klassiske udgave af peer review metoden ikke tilstrækkelig, hvad der måske kommer til udtryk i en tiltagende tendens til at indsæ�e ikke-videnskabelige ”peers” som deltagere i peer reviews (Elzinga 1995, van der Meulen 1995).

O�� – ��

I de�e afsnit er det hensigten at undersøge hvad der er sker med den klassiske peer review metode, når den anvendes indbygget i en moderne organisatorisk kompleks sammenhæng. Det sker ved at se nærmere på ud-viklingen i forskningsevaluering ved de danske universiteter i de sidste ca. 10 år. I en omfa�ende analyse af udviklingen i evalueringen på de�e område har Foss Hansen og Borum (1999) vist, hvorledes de særlige organisatoriske og politiske forhold omkring universitetsforskningen betinger udviklingen af en særlig form for standardisering af forskningsevalueringen, den mo-dificerede ’peer-review’ model. Fremkomsten af denne evalueringsmodel skal ikke ses som et resultat af en rationel planlægning, men som et sammenspil mellem en række forskellige aktører, der bedst kan beskrives ved hjælp af institutionel teori, som ”[…] an interplay between mimetic, normative and coersive logics, performed in organizational fields of multiple actors carrying different institutional traditions and interets.” (Foss Hansen og Borum 1999, s.324) Modellen voksede langsomt frem som et resultat af flere forhold. Danmark var meget sent ude med at tage forskningsevaluering i brug som styringsredskab og de politisk-organisatoriske forhold omkring universiteterne – især styrelseslovens decentrale magtstruktur – gjorde en politisk top-down styring kompliceret. En række initiativer, fra ikke mindst �� om udvikling af en national forskningspolitik, gjorde på den anden side ønsket om styring/kontrol og evaluering af de�e område politisk aktuelt. Den modificerede ‘peer-review’ model blev importeret fra Sverige og er baseret på forskningsverdenens traditionelle standardmodel for





kvalitetsbedømmelse i forbindelse med ansæ�elser, bevillinger, udgivelse af artikler og bøger mm., dvs. på ’peer reviews’. De første forskningseva-lueringer blev gennemført ved politisk påbud, dvs. ud fra en top-down beslutning og i de første 7-8 år fra starten i 1985 blev der gennemført et fåtal evalueringer – måske overraskende set i forhold til den omfa�ende debat som disse evalueringer afstedkom. Men valget af den modificerede peer review model fremfor de meget mere performance-orienterede tilgange til forskningsevaluering som var fremme i denne periode, bl.a. i ��, er formodentlig en vigtig årsag til at der i perioden e�er 1992 er sket en kra�ig vækst i disse evalueringer. Disse tager nu udgangspunkt i institutionerne egne beslutninger (Hansen & Borum, op.cit s. 310) og man kan derfor tale om, at modellen nu er blevet institutionaliseret som en intern institutionel standard. Samtidig hermed er der på det politiske niveau sket en holdnings-ændring henimod ønsket om at bruge mere formaliserede, kvantificerbare og sammenlignelige forskningsevalueringer. Kvalitetsudvikling og styring ved brug af benchmarking og performance measurement er kommet mere og mere på dagsordenen og er på vej ind i universiteternes hverdag bl.a. i form af udviklingskontrakter. Det vil formodentlig indebære en stigende fokusering på institutionernes forskningsaktiviteter, dels i form af strate-giske formuleringer af forskningspolitikken i de indgåede a�aler, og dels i interne krav om udvikling af lokale instrumenter til styring og udvikling af forskningen. På baggrund af en omfa�ende undersøgelse af en række danske statsinstitutioner, som har arbejdet med mål- og rammestyring, har Jan Mouritsen (1997) gjort opmærksom på, at sådanne overgange til ledelsesformer, der bygger på mere kvantificerede og formaliserede in-terne processer ikke blot betyder effektivisering eller modernisering af institutionen.

Tælligheden indebærer ikke blot at der sæ�es tal på et eller andet organisatorisk fænomen. Den indebærer især, at tallet er gjort til den centrale karakteristik heraf. Hermed sæ�es statslige institutioners beslutningskriterier på en simpel formel: Institutionen skal gøre selvstændig og dermed til en potentielt udski�elig del af den statslige koncern. Klienten skal gøres til kunde, hvorfor aktuel e�erspørgsel er vigtigere end potentiel e�erspørgsel. Administratoren/sagsbehandleren skal gøres til leder, således at faglige kriterier skal medieres – omend næppe helt afløses – af hensynet til resultatet. (Mouritsen 1997, s.152)

Denne overgang til en mere professionaliseret ledelsesform gør sig også gældende mht. udviklingen i forskningsevalueringen. Det nye i denne måde at anvende forskningsevaluering på institutioner ligger ,som Borum og Hansen påpeger, i koblingen mellem den interne tradition for at bruge forskningsevaluering (peer reviews) og det politiske-administrative systems





ønsker om at bruge forskningsevaluering som redskab til at kunne gribe ind i de meget rodfæstede traditioner for forskningsautonomi og institutionelt selvstyre15 . Det nye der nu kommer ind i billedet er således denne eksplici�e kobling til den politisk-administrative styring. Denne kobling betyder at nye dimensioner i forskningsevalueringen trækkes frem, idet den politisk-administrative styring og beslutningstagning lægger op til en kvalitetsvur-dering, der i højere grad baserer sig på standardisering og kvantificering af information og ikke på mere åbne, kvalitative ekspertvurderinger.

Foss Hansen og Borums (1999) analyse illustrerer hvorledes peer re-view som evalueringsmetode udvikler sig historisk i en specifik politisk og organisatorisk sammenhæng og e�erhånden tager en form, der nærmest fremstår som en ny standard med så store indholdsmæssige ændringer, at man måske kan tale om en ny metode. De�e er sket over en årrække på baggrund af en række ændringer i anvendelsen og brugen af peer reviews til forskningsevaluering, som placerer peer reviews i større organisatoriske sammenhænge. Netop denne organisatoriske anvendelse vil nærmest auto-matisk føre til forsøg på at udvikle en vis standardisering eller forenkling og vil o�e have gennemførelsen af peer reviews sammenkoblet med en række andre organisatoriske mål (Kostoff 1999).

N�� Det nye og for den politiske styring tiltrækkende i at søge at kvantificere peer review-processen i forbindelse med forskningsevalueringer ligger i, at den således kvantificerede viden kan frigøres fra sine lokale bindinger og tolkningssammenhænge. Ifølge Porter (1995)16 udvikler kvantificering sig som en kommunikationsstrategi, der skaber en form for objektivitet, som gør det muligt at anvende den kvantificerede viden på afstand og uden direkte involvering. Kvantificering og den o�e tilkny�ede standar-disering kan, som Brunsson (1998, s.213) påpeger, dog have utilsigtede negative konsekvenser overfor faglige værdier og normer. Udviklingen af standarder indenfor faglige professioner, der over lang tid selv har ud-viklet interne værdisæt og normer for det faglige arbejde, kan være direkte nedbrydende og destruktivt for disse værdier og normer (Hansson 2001, Mouritsen 1997). I den ’modificerede’ udgave af peer review’et forsøges denne uudtalte form for tillid, som det klassiske peer review har ha�, i et omfang ersta�et af kvantitative metoder og standardiserede procedurer. Det er der som tidligere anført mange årsager til. Det klassiske peer review re�ede sig mod den eller de enkelte forskeres identificerbare produktion. Viden udvikles i dag i højere og højere grad i teams, ved samarbejde, og kan





i mange tilfælde ikke længere alene analyseres som et individuelt projekt. Den videnskabelige vidensproduktion er vanskelig at forestille sig uden nogle mekanismer, som er re�et mod samarbejde og åbenhed, hvor gensi-dig tillid udgør meget vigtig faktor, hvis betydning nok længe har været undervurderet i videnskabssociologien (Hardwig 1991). Udviklingen i den interne videnskabelige vurderingsmetode, peer review’et, fra sin klassiske form til også at blive anvendt i mere og mere omfa�ende og standardiserede systemer, der re�er sig mod kontrol og politisk styring af forskningen, kan medvirke til at sløre forskellen mellem den snævre kvalitetsvurdering af det enkelte forskningsresultat og den mere overordnede forskningspolitiske eller ledelsesmæssige vurdering.

De�e kan ses på universitets- og forskningsinstitutionsområdet, men også i forbindelse med evaluering af forskningsprogrammer, hvor udvik-lingen af tiltag til styring og regulering af forskning i de senere år har taget form af forskellige revisioner af peer review modellen (Elzinga 1995, Gibbons og Georghiou 1987). Disse modificerede eller reviderede udgaver skal tjene til at synliggøre institutionens forskningsaktiviteter overfor a�agere eller de politiske beslutningstagere, eller i en mere revisionsmæssig forstand begrunde anvendelsen af særlige forskningsmidler. Det er ikke så underligt at peer review modellens ydre former er søgt bevaret. Den klassiske peer review model har gennem lang tid været anset i den politiske verden og i offentligheden for at være den bedste garant for kvalitetsvurdering af vi-denskabelige resultater. Men anvendelsen af de nye ’modificerede’ former for peer reviews i en situation, hvor der også sker omfa�ende forandringer i forskningens organisering og samfundsmæssige funktion, kommer let til at modarbejde de intentioner, som oprindeligt lå bag evalueringerne, nemlig at bidrage at til udvikle forskningens faglige kvalitet.

Det centrale spørgsmål er, om der i lyset af de mange forandringer i forskningens organisering og funktioner kan findes metoder, der kan (gen)etablere den tillid til en upersonlig og kompetent kvalitetsvurdering, som var kendetegnet for det klassiske peer review? Er rationalisering og standardisering af forskningsevalueringer den bedste løsning, når forskning er en kreativ samarbejdsproces, præget af normer og traditioner for fri og ua�ængig kritik mellem ligemænd, og at ledelse af kreative processer er en meget kompliceret og følsom sag? Eller handler det modsat om at forsøge at få igangsat processer på de�e evalueringsområde, der bygger på åbenhed om kriterier og dialog om vurderinger, dvs. som en form for ’evaluering som praktisk hermeneutik’?(Schwandt 1997) Engwall har sammenfa�et danske og svenske institutions- og forskningsevalueringer og fremhæver, at erfaringer fra disse evalueringer peger på at ”evaluations should be carried out in dialogue form, and that they should apply a structural perspective





rather than focus on individual actors.” (Engwall 1998)Der er ingen enkle løsninger på denne problematik. Af hensyn til at

sikre de bedst mulige vilkår for en fortsat udvikling af ny viden forekom-mer det vigtigt at få (gen)etableret klare adskillelser mellem vurdering af viden og vidensudvikling og den styring og ledelse af de organisatoriske og politiske omgivelser, denne viden fungerer i og ikke kan være foruden. En sådan adskillelse er en forudsætning for, at forskningsevalueringen i form af peer reviews mister karakteren af at være en ekstern kontrolfunktion og bliver i langt højere grad et redskab til den interne udvikling og styring af vidensproduktionen (Gibbons og Georghiou 1987, s.70). I princippet burde det være en enkel sag at anvende en sådan tilgang til forskningsevaluering i forskermiljøer – ikke mindst fordi evaluering eller bedømmelse af aktivi-teter sker løbende i den interne videnskabelige kontrolproces! Men måske kan nye perspektiver vinde frem hvis man vender tilbage til begrebet peer reviews i dets oprindelige betydning, som bedømmelse gennem ligemænd og samtidig er opmærksom på, at ligemænd i en Mode 2 videnskab er et langt mere omfa�ende begreb end i den klassiske Mode 1. Der er klart nogle perspektiver ved at tænke i baner af deltager-involverende evalueringer (empowerment, aktionsforskning), hvor dialogen mellem de evaluerede og evaluator er i fokus, og hvor det er processen mere end produktet der sigtes e�er. Nowotny, Scoot og Gibbons (2001) betoner det transdisciplinære, samarbejde på tværs og med andre også ikke-forskere i vidensproduktio-nen, Etzkowitz og Leydesdorff (2000, 1997) diskuterer Triple Helix som karakteriseret ved vidensudvikling i netværk mellem forskellige organi-sationer og Ravetz (1996) taler om ’post-normal science’ og ’extended peer communities’, hvor videnskaben overskrider sine traditionelle grænser. En af de problemstillinger der er forbundet med at få peer review systemet til at fungere som et system, der sikrer en tillidsvækkende kvalitetsvurdering, er at få etableret en åben diskussion om hvem der i specifikke situationer indgår i gruppen af ligemænd (peers).17

N��1 Blandt de mange samfundsforskere, der har taget denne problemstilling op om

end med forskelle i analyserne kan nævnes Giddens (1990), Luhmann (1993), Bauman (1992), Latour (1993), Power (1997), Wynne (1996) og Beck (1999a og b).

2 Begreberne mode 1 og mode 2 videnskab stammer fra Gibbons m.fl. (1994). Mode 1 videnskab er den traditionelle disciplinorganiserede med basis på universiteter mens Mode 2 videnskab er nye former for organisering af vi-densproduktion, tvær- og transdisciplinorienteret, anvendelsesorienteret, og





organiseret i nye sammenhænge. En vigtig pointe hos Gibbons er, at Mode 2 videnskab producerer konteksta�ængig viden i modsætning til Mode 1 videnskab, der er re�et mod generaliserbarhed og almen gyldighed. Triple Helix-teorien er en række teser om behovet for nye samarbejdsformer mellem universiteter, stat og erhvervsliv, som i høj grad er begrundet med cases, se f. eks. Henry Etzkowitz og Loet Leydesdorff (2000, 1997).

3 ”Scholars disagree on the time and place of the trial jury’s birth. Some suggest that King Alfred the Great of England initiated the institution in the 9th cen-tury. Others trace it to the Norman Conquest of England (1066). The petit jury emerged as a distinct form when the Articles of Visitation in England (1194) seperated accusatory and trial juries – the grand and petit juries of today.” (Opslag på ordet ”jury” i Encyclopedia Britannica Online 2000). Det er måske værd at bemærke, at nævningeinstitutionen først blev indført i Danmark ved retsplejereformen i 1916 – e�er et langvarigt opgør med enevældets retstradi-tioner. Ditlev Tamm (1996), s.307.

4 Robert Merton og Harriet Zuckermann har i artiklen Institutionalized Pa�erns of Evaluation in Science, Minerva, 9, 1, 1971, optrykt i Merton (1973, kap.21, s.460-496), en kort men glimrende gennemgang af de�e historiske forløb, der oprindelig kun var re�et mod udvælgelse af artikler og manuskripter til udgivelse.

5 Disse normer er: ”Communism (common ownership of goods (knowledge)), Universalism, (truth claims are to be subjected to preestablished impersonal criteria), Disinterestedness (a distinctive pa�ern of institutional control of a wide range of motives which characterizes the behavior of scientists), Orga-nized Scepticism”, Merton (1968a) s.606-614 .

6 Der har i tidens løb været gjort forsøg på at formalisere og objektivisere den kvalitative bedømmelse. Et af de mere bizarre eksempler kan findes hos Stu-art Carter Dodd, der udarbejde et system bestående af 10 strata, hver opdelt i 10 spørgsmål, som igen af bedømmere kan gives fra 0 til 10 point. S.C.Dodd, Scient-scales for Measuring Methodology, The American Behavioral Scien-tist, vol. IX, no. 10, 1966. Et dansk forsøg på at anvende de�e system viste de nærmest uløselige problemer der var forbundet med en sådan tilgang, se Hansson og Plovsing (1969).

7 Novotny, Sco� og Gibbons(2001), p. 77 nævner ��’s 5. rammeprogram som ek-sempel på en konstruktion af brugen af faglige peer reviews, hvor det admi-nistrative system kra�igt begrænser de videnskabelige eksperters indflydelse til få områder og hvor hele udvælgelsesproceduren af eksperter ligger meget langt fra de Merton’ske idealer.

8 Savage gengiver udførligt rektor John Silbers mange dokumenterede eksempler på mangel på accept af nytænkning og fordeling af midler uden hensyn til forskningskvalitet hentet fra de amerikanske forskningsråd, som han præ-senterede for den amerikanske kongres i 1987, Savage (1999), s.39-45.

9 Hvad der er kvalitet i forskning er i sig selv en meget omfa�ende diskussion, der ikke tages op her. I sammenhæng med forskningsevaluering er det tilstrækkeligt at fastholde, at peer review metoden implicit fastlægger en





kvalitetsdefinition gennem de uudtalte kriterier, de deltagende bedømmere (peers) anvender. Man kan måske gå så langt som at hævde, at peer review evalueringer er baseret på, at kvalitet er en form for ’tacit knowledge’ mellem bedømmerne. For en diskussion af forskningskvalitet se Wenneberg (1999) og Hemlin (1991).

10 Ronald Kostoff (1995). Teksten findes også med i en nyere og opdateret ud-gave (1999) som er forsynet med en række bilag på interne�et:

11 En af undtagelserne er Hemlin (1999b), der empirisk har studeret bedømmel-sesproceduren og bedømmernes måde at arbejde på.

12 I et nyt indledningskapitel til en ny udgave af bogen The Intellectual and Social Organization of the Sciences, udtrykker Whitley de�e således: ”It emphasises the considerable variety of ways in how research is organised and controlled across the sciences, and shows how these variations are related to different pa�erns of intellectual organisation. The explanation of such differences and their continued reproduction is linked to variations in reward systems and in the structure of legitimate audiences for intellectual contributions, as well as in the conditions governing access to research funds and other key resour-ces” Whitley (2000) s.2.

13 Mannheim (1952) fulgte denne problematik op med sin marxistisk inspire-rede vidensskabssociologi og undersøgte de samfundsmæssige betingelser for frembringelse af viden. Sohn-Rethel (1971) har forsøgt sig med en radikal videreførsel af denne problemstilling ved at forsøge at e�ervise sammen-hængen mellem udvikling af abstrakt viden og Marx’ analyse af vareformen. Se Restivo (1994) for en kort men i denne sammenhæng meget relevant og klar gennemgang af de forskellige ’skoler’ i videnskabsssociologien.

14 Se henvisningerne i note 115 Niklasson (1998) diskuterer med eksempler fra svenske universiteter den

betydning disse evalueringer har ha� for eksterne politiske forsøg på at gennemtvinge væsentlige ændringer i organisationskulturen på disse institu-tioner i retning af en mindre individualiseret og mere kollektiv holdning.

16 ”Perhaps most crucially, reliance on numbers and quantitative manipulations mimimizes the need for intimate knowledge and personal trust. Quantifica-tion is well suited for communications that goes beyond the boundaries of locality and community.” Theodore Porter 1995, s. ix-x.

17 En række af de temaer som er taget op i de seneste 10 års organisationssoc-iologiske diskussioner om udvikling og anvendelse af viden i organisationer har taget fat på de sociale og organisatoriske forholds betydning for vi-densproduktionen og kan formodentlig tilføre den videnskabssociologiske diskussion en del nyt. Det ligger dog udenfor denne artikels rammer at tage de�e op. En fremragende gennemgang af den væsentligste li�eratur giver Peter Holdt Christensen (2000).





R��Bauman, Z. (1992). Intimations of postmodernity. Routledge, London.Beck, U. (1999a[1997]). Subpolitik, økologi og opløsningen af institutionel magt.

in K. Aagaard Nielsen et al., eds. Risiko, politik og miljø i det moderne samfund (107-127) Forlaget Sociologi, København

Beck, U. (1999b). World Risk Society. Polity Press, Cambridge.Brunsson, N. (1998). Standardisering som social form. I N. Brunsson & B. Ja-

cobsson, eds. Standardisering. Nerenius & Santerus Förlag, Stockholm Cicche�i, D. (1991). The Reliability of Peer Review for Manuscript and Grant

Submission, Behavioral and Brain Sciences (14), 119-186.Cole, S. (1981). Chance and Consesus in Peer Review, Science, vol. 214, 881-886.Cole, S. (1998). How does Peer Review Work and how can it be Improved, Mi-

nerva (36), 176-189.Elzinga, A. (1995). Reflections on research evaluation, Science Studies, vol. 8, (1),

5-23.Engwall, L. (1998). Experiences From Evaluations. I D. T. Tempelaar, F. Wieders-

heim-Paul, & E. Gunnarsson, eds. Eudcational Innovation in Economics and Busi-ness II.( 5-24) Kluwer Academic Publishers, Dordrecht

Etzkowitz, Henry and Leydesdorff, Loet (1997). Universities and the Global Know-ledge Economy. A Triple Helix of University-Industry-Government Relations. Pinter, London.

Etzkowitz, H. & Leydesdorff, L. (2000). The dynamics of innovation: from natio-nal systems and ”Mode 2“ to a Triple Helix of university-industry-govern-ment relations, Research Policy, vol. 29,109-123.

Foss Hansen, H. & Borum, F. (1999). The construction and standardization of evaluation. The case of the Danish University Sector., Evaluation, vol. 5, (3), 303-329.

Fuller, S. (2000). The governance of science: ideology and the future of the open society. Open University Press, Buckingham.

Gibbons, M. & Georghiou, L. (1987). Evaluation of research. A selection of current practices. ��, Paris .

Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S. S. P., & Trow, M. (1994). The New Production of Knowledge. The Dynamics of Science and Research in Con-temporary Societies. Sage Publications, London.

Giddens, A. (1990). The Consequences of Modernity. Polity Press, Oxford.Habermas, J. (1968). Erkenntnis und Interesse. Suhrkamp, Frankfurt am Main.Habermas, J. (1969). Technik und Wissenscha� als ”Ideologie“. Suhrkamp, Frankfurt

am Main.Hansson, F. & Plovsing, J. (1969). Bedømmelse af forskning, Sociologiske Meddelel-

ser, vol. 13. serie, 145-153.Hansson, F. (2001). Tillid til samfundsforskningen – om at skabe tillid gennem

kvantificering. I S. B. Wenneberg & A. Bordum, eds. Det handler om tillid. (183-194) Samfundsli�eratur, København

Hardwig, J. (1991). The Role of Trust in Knowledge, Journal of Philosophy, vol. 88, 693-700.





Hemlin, S. (1991). Quality in Science. Researchers conceptions and judgments. Univer-sity of Göteborg, Department of Psychology, Göteborg.

Hemlin, S., Niemenmaa, P., & Montgomery, H. (1995). Quality Criteria in Evalua-tions: Peer Reviews of Grant Applications in Psychology, Science Studies, vol. 8, (1), 44-52.

Hemlin, S. (1996). Research on Research Evaluation, Social Epistemology, vol. 10, (2), 209-250.

Hemlin, S. & Boe, O. (1999). Hur bedömer lektörer manuskript till vetenskapliga tidskri�er?, Vest, vol. 12, (4), 27-46.

Hemlin, S. (1999). (Dis)Agreement in Peer Review. I P. Juslin & H. Montgomery, eds. Judgment and decision making: neo-Brunswikian and process-tracing ap-proaches.( 275-301) Erlbaum Associates, Mahwah, N.J.

Holdt Christensen, P. (2000). Fra vidensledelse til viden og ledelse. Teoretiske perspektiver. i P. H. Christensen, ed. Viden om.( 11-61) Samfundsli�eratur, København

Jacob, M. (2000). ’Mode 2‘ in Context: The Contract Researcher, the University and the Knowledge Society. I M. Jacob & T. Hellström, eds. The Future of Knowledge Production in the Academy.( 11-27) Open University Press, Buckingham.

Knorr-Cetina, K. D. (1981). Manufacture of Knowledge. An Essay on the Constructivist and Contextual nature of Science. Oxford University Press, Oxford.

Kostoff, R. N. (1995). Handbook of Research Impact Assessment. Springfield, Va.Kostoff, R. N. Handbook of Research Impact Assessment [Seventh Edition], 1-17. 1999.

Office of Naval Research - h�p://www.dtic.mil/dtic/kostoff/Handweb.html. Kuhn, T. S. (1970[1962]). The structure of scientific revolutions. University of Chicago

Press, Chicago.Latour, B. & Woolgar, S. (1986). Laboratory Life. The Construction of Scientific Facts .

Princeton University Press, Princeton.Latour, B. (1993). We have never been modern. Harvester Wheatsheaf, New York.Luhmann, N. (1993). Risk. A Sociological Theory. Walter de Gruyter, Berlin.Mannhein, K. (1952). Essays on the Sociology of Knowledge. Routledge & Kegan

Paul, London.Mayntz, R. & Schimank, U. (1998). Linking Theory and Practice: Introduction,

Research Policy, vol. 27, (747), 755.Merton, R. K. (1968a). Social theory and social structure. New York.Merton, R. K. (1968b). The Ma�hew Effect in Science. The reward and communi-

cation systems of science are considered., Science, vol. 159, (3810), 56-63.Merton, R. K. & Zuckerman, H. (1971). Institutionalized Pa�erns of Evaluation in

Science, Minerva, vol. 9, (1).Merton, R. K. (1973). Sociology of science. Theoretical and empirical investigations.

Chicago, Ill.Mouritsen, J. (1997). Tællelighedens regime. Synlighed, ansvarlighed og økonomistyring

gennem mål og rammer i statslige institutioner. Jurist- og Økonomiforbundets Forlag, København.

Niklasson, L. (1998). A Cultural Revolution in the Universities.The Possible Uses of Rational Choice Models, Evaluation 278-293.



Nowotny, H., Gibbons, M., & Sco�, P. (2001). Re-thinking science.Knowledge and the Public in an Age of Uncertainty. Polity Press, Oxford.

Polli�, C. (1996). Justification by works or by faith? Evaluating the New Public Management, Evaluation vol. 1, (2), 133-154.

Porter, T. M. (1995). Trust in Numbers. The pursuit of Objectivity in Science and Public Life. Princeton University Press, Princeton.

Power, M. (1997). The Audit Society. Rituals of Verification. Oxford University Press, Oxford.

Ravetz, J. R. (1996). Scientific Knowledge and its Social Problems. Transaction Publis-hers, New Brunswick, N.J.

Restivo, S. (1994). The Theory Landscape in Science Studies. I S. Jasanoff et al., eds. Handbook of Science and Technology Studies.( 95-110) Sage, Thousand Oaks

Savage, J. D. (1999). Funding Science in America. Congress, Universities, and the Poli-tics of the Academic Pork Barrel. Cambridge University Press, Cambridge.

Schwandt, T. A. (1997). Evaluation as Practical Hermeneutics, Evaluation, vol. 5, (1), 69-83.

Shove, E. (2000). Reciprocities and Reputations: New Currencies in Research. I M. Jacob & T. Hellström, eds. The Future of Knowledge Production in the Academy.( 11-27) Open University Press, Buckingham

Sohn-Rethel, A. (1971). Warenform und Denkform. Europäische Verlagsanstalt, Frankfurt am Main.

Tamm, D. (1996). Dansk retshistorie. Jurist- og Økonomforbundets Forlag, Køben-havn.

van der Meulen, B. J. R. (1995). Understanding evaluation processes in research systems in transition, Science Studies, vol. 8, (1), 24-35.

Weber, M. (1992). Wissenscha� als Beruf 1917/1919. Politik als Beruf 1919. Mohr, Tübingen.

Wenneberg, S. B. (1999). Den nye videnskab. Et studie af videnskab under forandring. Samfundsli�eratur, København.

Whitley, R. (1984). Intellectual and social organization of the sciences. Clarendon Press, Oxford.

Whitley, R. (2000). The intellectual and social organization of the sciences. Oxford University Press, Oxford.

Wynne, B. (1996). May the Sheep safely Graze? A Reflexive View of the Expert-lay Knowledge Divide. I S. Lash, B. Szerszynski, & B. Wynne, eds. Risk, Environ-ment and Modernity. Towards a new Ecology.( 44-83) Sage Publications, London

kan man have tillid til peer reviews?

Documents