fteval u1-2 web
TRANSCRIPT
for Research andTechnology PolicyEvaluation
JOURNALfteval
TORGER MÖLLER DIETMAR LAMPERT EVA MARIA FREIBERGER
ISSUE 45 | MARCH 2018
SAME OBJECTIVES,
DIFFERENT GOVERNANCE
– HOW THE EXCELLENCE
INITIATIVE AND THE PACT
FOR RESEARCH AND
INNOVATION AFFECT THE
GERMAN SCIENCE SYSTEM
EINBLICKE IN DIE
KOLLABORATION DER
ÖSTERREICHISCHEN
WISSENSCHAFT UND
WIRTSCHAFT –
ERGEBNISSE EINER
BIBLIOMETRISCHEN STUDIE
EIN ETABLIERTES
FORSCHUNGSUMFELD
ALS VORAUSSETZUNG
ZUR AKKREDITIERUNG
VON DOKTORATSSTUDIEN
AN ÖSTERREICHISCHEN
PRIVATUNIVERSITÄTEN
45
Impact of R&I Policy at the Crossroads of
CONFERENCE »IMPACT OF RESEARCH
AND INNOVATION POLICY AT THE CROSSROADS OF POLICY DESIGN,
IMPLEMENTATION AND EVALUATION 2018«
AUSTRIAN INSTITUTE OF ECONOMIC RESEARCH
Arsenal, Objekt 20, PF 91, 1103 ViennaDr. Jürgen Janger
E: [email protected]. Andreas Reinstaller
VIENNA SCIENCE AND TECHNOLOGY FUNDSchlickgasse 3/12, 1090 ViennaDr. Michael Stampfer
E: [email protected]. Michael Strassnig
VIENNA BUSINESS AGENCY. A SERVICE OFFERED BY THE CITY OF VIENNA.
Mariahilferstraße 20, 1070 ViennaRobert Mayer-Unterholzner
E: [email protected] CENTRE FOR SOCIAL INNOVATION
Linke Wienzeile 246, 1150 Vienna Dr. Klaus Schuch
E: [email protected]. Alexander Degelsegger
LUDWIG BOLTZMANN GESELLSCHAFTNußdorfer Straße 64, 1090 ViennaMag. Patrick Lehner
AUSTRIAN ACADEMY OF SCIENCEDr. Ignaz Seipel-Platz 2, 1010 ViennaNikolaus Göth, MSc
AUSTRIAN COUNCIL FOR RESEARCH AND TECHNOLOGY DEVELOPMENT
Pestalozzigasse 4/DG 1, 1010 Vienna Dr. Johannes Gadner
E: [email protected] Dr.in Constanze Stockhammer
TECHNOLPOLIS AUSTRIARudolfsplatz 12/11, 1010 ViennaMag.a Katharina Warta
AUSTRIAN FEDERAL MINISTRY OF EDUCATION, SCIENCE AND RESEARCH
Minoritenplatz 5, 1014 Vienna Mag.a Irene Danler
E: [email protected] Simone Mesner
AUSTRIAN FEDERAL MINISTRY FOR DIGITAL AND ECONOMIC AFFAIRS
Stubenring 1, 1014 Vienna Mag.a Sabine Pohoryles-Drexel
AUSTRIAN FEDERAL MINISTRY OF TRANSPORT, INNOVATION AND TECHNOLOGY
Radetzkystraße 2, 1030 Vienna Dr. Rupert Pichler
E: [email protected]. Mario Steyer
AGENCY FOR QUALITY ASSURANCE AND ACCREDITATION AUSTRIA
Renngasse 5, 1010 Vienna Dr.in Elisabeth Froschauer-Neuhauser
E: [email protected] Eva Maria Freiberger
AUSTRIAN INSTITUTE OF TECHNOLOGY
Giefinggasse 4, 1210 Vienna Mag. Michael Dinges
E: [email protected] Barbara Heller-Schuh
AUSTRIA WIRTSCHAFTSSERVICE GESELLSCHAFT MBH
Walcherstraße 11A, 1020 Vienna Mag.a Marlis Baurecht
E: [email protected]. Norbert Knoll
CHRISTIAN DOPPLER RESEARCH ASSOCIATION
Boltzmanngasse 20, 1090 ViennaDIin Mag.a Brigitte Müller
AUSTRIAN RESEARCH PROMOTION AGENCY
Sensengasse 1, 1090 ViennaDIin Dr.in Sabine Mayer
E: [email protected]. Leonhard Jörg
AUSTRIAN SCIENCE FUND Sensengasse 1, 1090 ViennaDr. Falk Reckling
WPZ RESEARCH GMBHMariahilfer Straße 115/16, 1060 WienDr.in Brigitte Ecker
INSTITUTE FOR ADVANCED STUDIES Josefstädter Straße 39, 1080 Vienna Dr.in Angela Wroblewski
E: [email protected]. Richard Sellner
JOANNEUM RESEARCH FORSCHUNGSGESELLSCHAFT MBH
Sensengasse 1, 1090 ViennaMag. Wolfgang Polt
E: [email protected]. Jürgen Streicher
AUSTRIAN INSTITUTE FOR SME RESEARCH
Gusshausstraße 8, 1040 Vienna Dr.in Sonja Sheikh
CONVELOP – COOPERATIVE KNOWLEDGE DESIGN GMBH
Bürgergasse 8-10/I, 8010 Graz DIin Dr.in Karin Grasenick
Erdbergstraße 82/4, 1030 WienMag. Thomas Jud
INHALT2 EDITORIAL
KLAUSSCHUCH
4 SAME OBJECTIVES, DIFFERENT GOVERNANCE – HOW THE EXCELLENCE INITIATIVE AND THE PACT FOR RESEARCH AND INNOVATIONAFFECTTHEGERMANSCIENCESYSTEM
TORGERMÖLLER
9 EINBLICKEINDIEKOLLABORATIONDERÖSTERREICHISCHEN WISSENSCHAFTUNDWIRTSCHAFT
ERGEBNISSEEINERBIBLIOMETRISCHENSTUDIE DIETMARLAMPERT
15 EINETABLIERTESFORSCHUNGSUMFELDALSVORAUSSETZUNG ZURAKKREDITIERUNGVONDOKTORATSSTUDIENAN
ÖSTERREICHISCHENPRIVATUNIVERSITÄTEN EVAMARIAFREIBERGER
22 STEERINGBYEVALUATIONINTIMESOFIMPACTORIENTATION ANDMONITORING?
ANGELAWROBLEWSKI&ANKELIPINSKY
28 EVALUATIONTRANSDISZIPLINÄRERFORSCHUNGUNDDEREN RAHMENBEDINGUNGEN–VORÜBERLEGUNGENZURNUTZUNG IMBEREICHVONKLIMASERVICE
SUSANNESCHUCK-ZÖLLER,JÖRGCORTEKAR&DANIELAJACOB
38 CONFERENCEANNOUNCEMENT: AUSTRIAN EU COUNCIL PRESIDENCY CONFERENCE ON IMPACT OF RESEARCH
ANDINNOVATIONPOLICYATTHECROSSROADSOFPOLICYDESIGN,IMPLEMEN TATIONANDEVALUATION
40 DIEFTEVALTRAUERTUMKLAUSZINÖCKER EINNACHRUFVONDOROTHEASTURNIMNAMENDERPLATTFORM
KLAUSSCHUCH,MANAGINGDIRECTOROFFTEVAL
EDITORIAL
LIEBE LESERIN,LIEBER LESER
Das aktuelle Heft legt den Fokus auf Forschung und Hoch-schulen und beschäftigt sich mit folgenden Themen:
• Die Wirkung der deutschen Exzellenzinitiative bzw. des Pakts für Forschung und InnovationaufdieEntwicklungderDrittmitteleinwerbungundaufhäufigzitiertenPublikationsout-put,differenziertnachdemHochschulsektorunddemaußeru-niversitärenForschungssektorinDeutschland,dievergleichendgegenübergestelltwerden.
• Die Entwicklung der wissenschaftlichen Kopublikationen zwischen der österreichischen Wissenschaft und der WirtschaftinÖsterreichundderEUzwischen2009und2014,differenziertnachThemenbereichen,denwichtigstenAkteurenunddenwichtigsten„Kopublikationspaarbeziehungen“.
• DieGrundlagenfürdieAkkreditierungvon Doktoratsstudien an Privatuniversitäten in Österreich und insbesondere diedamitverknüpftenAnforderungen,dieandasForschungsum-feldvonDoktoratsstudiengestelltwerden.
• DieRolle,dieEvaluation von GleichstellunganderSchnitts-telle zwischen Wirkungsorientierung und einer zunehmenddezentralisierterenHochschulpolitikeinnehmenkann.
• DieSchwierigkeit,aberauchdievielfältigenAnsätze,dieesfürdieEvaluation von trans-disziplinärer Forschunggibt.
ImBeitragvonTorgerMöllerüber„Sameobjectives,differentgov-ernance–HowtheExcellenceInitiativeandthePactforResearchandInnovationaffecttheGermansciencesystem”wirdderEffektvonzweigroßen Programmen, nämlich die Exzellenzinitiative und der Pakt fürForschungundInnovation,aufdieErmächtigungvonzweiunterschiedli-chenZielgruppen inDeutschland inHinblickauf zwei Indikatoren,dieoftmalsfürdieMessungvon„Exzellenz“herangezogenwerden,unter-sucht.BeidenIndikatorenhandeltessichzumeinenumdieverstärkteEinwerbungvonDrittmittelundzumzweitenumdieSteigerungdesPub-likationsanteils in den weltweit 10% meistzitierten wissenschaftlichenArtikeln.BeidenbeidenZielgruppenhandeltessichumUniversitätenaufdereinenSeiteundaußeruniversitäreForschungseinrichtungenaufderanderenSeite.DieErgebnissedieserAnalysesindhochinteressant.Siezeigenu.a.einedurchdieExzellenzinitiativeinduziertezunehmendeDifferenzierung im deutschen Hochschulsektor, aber auch einen kon-tinuierlichen schrittweisen Aufholprozess in Bezug auf eine Zunahme
desPublikationsanteilsinnerhalbderGruppederweltweit10%meistziti-ertenwissenschaftlichenArtikel.SowohlDynamikalsauchAusdifferen-zierungimaußeruniversitärenForschungsbereichfallenvergleichsweisewenigerstarkaus.Gleichzeitigisterkennbar,dassdieExzellenzorientier-ungdesaußeruniversitärenSektorsinDeutschlandinsgesamtsehrstabilundnachhaltigerscheint.So liegtderPublikationsanteilderaußeruni-versitärenForschunginnerhalbderGruppederweltweit10%meistziti-ertenwissenschaftlichenArtikel imDurschnittweiterhindeutlichüberden der deutschen Universitäten. Möller diskutiert abschließend nochdieProblematikdessteigendenKofinanzierungsdrucks,dersichaufgr-unddessteigendenZwangszurDrittmittelakquisitionergibtundweistdaraufhin,dasseinhoherDrittmittelanteilnichtzwangsläufigzueinemhohenAnteilinnerhalbderweltweit10%meistzitiertenArtikelführt.
Dietmar LampertuntersuchtinseinemBeitrag „Einblicke in die Kol-laboration der österreichischen Wissenschaft und Wirtschaft - Ergebnisse einer bibliometrischen Studie“ wie häufig und in welchen Themenbe-reichenösterreichischeUniversitätenmitFirmenausdemIn-undAus-land wissenschaftlich kopublizieren. Im Gegensatz zu vielen anderenIndikatoren, die ebenfalls die Kooperationsbeziehungen zwischenakademischemSektorundUnternehmenssektormessen,wirddemKo-publikationsindikatorzugeschrieben,dassereherdiewissenschaftlicheBasisorientierungderBeziehungsqualitätabzubildenvermag.DieErgeb-nisse der empirischen Studie zeigen, dass Kopublikationen zwischenderösterreichischenWissenschaftundderösterreichischenWirtschaftzwischen2009und2014rascherwuchsenalsderösterreichischeGesa-mtpublikationsoutputundKopublikationenzwischenderösterreichisch-enWissenschaftunddereuropäischenWirtschaftsogarnochschnellerwuchsen,wenngleichdieabsolutenZahlenüberschaubarbleiben.Diebeiden technischen Universitäten in Wien und Graz sind diejenigenuniversitärenEinrichtungen,diemitderWirtschaftammeistenkopubli-zierenundaufderWirtschaftsseitesindeswiederumInfineonAustria,SiemensAGÖsterreichundvoestalpineAG.KopubliziertwirdammeistenimBereichderangewandtenWissenschaften,gefolgtvonNaturwissen-schaftenundMedizin.Lampert identifiziert inseinemBeitragauchdiehäufigsten „Kopublikationspaarbeziehungen“ zwischen WissenschaftundWirtschaftinÖsterreich.
InihremArtikelüber„Ein etabliertes Forschungsumfeld als Vorausset-zung zur Akkreditierung von Doktoratsstudien an Privatuniversitäten“befasst sich die Autorin Eva Maria Freiberger mit den gesetzlichenRahmenbedingungen für die Akkreditierung von Doktoratsstudien anPrivatuniversitäteninÖsterreich,dendurchdenBolognaProzessgege-benenRahmenbedingungenundgehtimDetailaufdieAnforderungenein,dieandasForschungsumfeldfürdieAkkreditierungvon
3ISSUE 45 | MARCH 2018
Doktoratsstudien an Privatuniversitäten, gestellt werden. Sie stelltdar,wielangeesbraucht,bissicheinausreichendesForschungsumfeldanPrivatuniversitätenetabliertundbieteteinenÜberblicküberbislangakkreditierteDoktoratsstudienanösterreichischenPrivatuniversitäten.
ImBeitragvonAngela WoblewskiundAnke Lipinskyüber„Steer-ing by Evaluation in Times of Impact Orientation and Monitoring?“wirdderFragenachgegangen,welcheRolleEvaluationanderSchnittstellezwischen einer zunehmend dezentralisierteren Hochschulpolitik in Be-zugaufGleichstellungundWirkungsorientierungeinnimmt.DieReflex-iondarüberbasiertaufzweiEvaluationenvonProgrammen,diesichderFörderungundGleichstellungvonFrauenimHochschulsektorangenom-menhaben.DiebeidenAutorinnenweisennach,dassschonderProz-essderEvaluationderUmsetzungdieserProgrammeFolgewirkungenandenUniversitätengezeigthatte.Siebetonenaberauch,dassderErfolgvon„managementbyobjectives“-Politiken,diefürdenGleichstellungs-bereichinÖsterreichrelevantwurden,starkvomVorhandenseineinesinstitutionellenGleichstellungsdiskursesundderKompatibilitätmitan-derenManagementinstrumentenabhängt.
Der letzte Beitrag von Susanne Schuck-Zöller, Jörg Cortekar,und Daniela Jacob über „Evaluation transdisziplinärer Forschung und deren Rahmenbedingungen“,fasstdenDiskussionsstandzurEvaluationtransdisziplinärer Forschung fächer- und forschungsfeldübergreifendzusammen. Die AutorInnen betonen aber auch, dass die DiskussionüberkonkreteEvaluationsindikatorenundMessmethodennochamAn-fangstehtunddasseskeinEvaluationskonzeptgibt,dasaufalletrans-disziplinären Projekte und Produkte passt ("One-fits-all"). Als Vorgriffaufdie inderLiteraturnochwenig thematisierteEbenederMethodikwerdeneinigewichtigeEvaluationsmethodenbeschriebenundÜberle-gungenzurEvaluationvonKlimaserviceabgeleitetundnächsteSchrittevorgeschlagen.
Ichhoffe, dassSie vielepositiveAnregungenausdenpubliziertenBeiträgenfürsichgewinnenkönnen.
AbschließendmöchteichSienochaufdienächstegroßeinternatio-naleKonferenz der fteval „Impact of R&I Policy at the Crossroads of Policy Design, Implementation and Evaluation“ hinweisen,dieam5.und6.November2018imRahmenderösterreichischenEURatsprä-sidentschaftinWienstattfindenwirdundwürdemichfreuen,Siedortpersönlichzutreffen!
IhrKlausSchuch
ISSUE 45 | MARCH 20184
analytically between five dimensions of governance: state regulation,stakeholderguidance,academic self-governance,managerial self-gov-ernance and competition. In an international comparison the Germanhighereducationsystemcouldtraditionallybecharacterizedbybotharelativelystrongstateregulationandarelativelystrongacademicself-governance,butanundergoingprofoundprocessinthelastyearshastransformed theuniversitiesmoreandmore intoorganizationalactors(Krücken,2011).
What is theunderlyingfundingandgovernancemechanismoftheExcellenceInitiativeandthePactforResearchandInnovation?Thegov-ernanceoftheExcellenceInitiativeisbasedoncompetition.Thesciencepolicyaimoftheprogramwastopromotea“performancespiral”(ExV),whichshould lead toahigherperformanceundabetter internationalstanding of the German universities. Proposals for competitive grantshavetobesubmittedandarereviewedinagrouppeerreviewprocess.Thehighlyselectivefundingscheme(Möller,Antony,Hinze,&Hornbos-tel,2012)producestemporarilyfundedwinneruniversities.Incontrast,thecentralsciencepolicyaimofthePactforResearchandInnovationwastogivethepublicresearchorganizationsfinancialplanningsecurity,whichmeansthattheblockgrantsteadilyrisesforthepublicnon-uni-versityresearchorganizationsbyanannualrateof3%(2006-2010and2016-2020)respectively5%(2011-2015).
Itbegsthequestionwhythefederalgovernmentandthestatesde-cidedtorundifferentfundingschemes(competitiveversusblockgrants)inthetwoprogramswhichhavelargelythesamegoals,tostrengthentheGermanscienceanduniversitysystemandtheirinternationalcom-petitiveness.1 Two developments framed the conceptualization phaseoftheExcellenceInitiative:Anongoingdebatesincethe90saboutthe”rotten”Germanuniversities(Glotz,1996,p.1;Simon,1991,p.52)andtheresultsoftheinternationaluniversityrankings(Shanghai2003,THE2004),whichshowthattheGermanuniversitiescouldnotkeepupwiththetop50worldwideleadinguniversities.Duringthistimethemanage-rialself-governanceofuniversitieswashighlyquestionable. Itseemedthatthecompetitivegovernancemechanismhadtobethemodusop-
1. INTRODUCTION
Research fundingcanbecharacterizedasan instrumentusedby funding councils and science policy makers to affect theresearchofindividualresearchers,organizationsorthewhole
researchsystem.Researchtopicsandfundingschemesshouldbecare-fullychosentoachievethefunders’goals.MorethantenyearsagotheGermanfederalgovernmentandthestateshadtheoverallobjectivetostrengthentheGermanscienceanduniversitysystemandtheirinterna-tionalcompetitivenessbyfocusingmainlyonresearchexcellence.Theyinitiatedtwolargeresearchfundingprograms:theExcellenceInitiative(ExV)andthePactforResearchandInnovation(PFI).Thetwofundingprogramshaveboth similaritiesanddifferences.While theExcellenceInitiative is dedicated to the university system, the Pact for ResearchandInnovationfocusesonthepublicnon-universityresearchorganiza-tions.AlthoughtheExcellenceInitiativeandthePactforResearchandInnovation pursue the same goal, different funding and governancemechanismsareapplied.Thisleadstotwoquestions:Whataretherea-sonsforchoosingdifferentformsoffundinginordertofulfillobjectivesthataretoagreatextentidentical?Howdothesedifferinggovernancemechanismsaffecttheuniversitiesandthepublicnon-universitysciencesystem?Theeffectswillbeobservedbybibliometricandresearchanddevelopment(R&D)indicators.
2. FUNDING SCHEMES AND GOVERNANCE MECHANISMS
The governance perspective has increased continuously over thelastdecadeandhas influenced the researchonhighereducationandscience studies. For instance, the model of the “Governance Equal-izer” (Boer, Enders, & Schimank, 2007; Schimank, 2005) differentiates
TORGERMÖLLER
SAMEOBJECTIVES,DIFFERENTGOVERNANCE–HOWTHEEXCELLENCEINITIATIVEANDTHEPACTFORRESEARCHANDINNOVATIONAFFECTTHEGERMANSCIENCESYSTEM
1 Inaddition,theExcellenceInitiativeandthePactforResearchandInnovationsupportcollaborationsbetweentheuniversitiesandthenon-universityresearchorganizationsaswellaspromotingyoungresearchersandgenderequality.ThePactforResearchandInnovationgivesasomewhatgreaterweightonthecooperationwiththeindustry.
5ISSUE 45 | MARCH 2018
4. RESULTS4.1 RESEARCH AND DEVELOPMENT EXPENDITURES AND THIRD-PARTY FUNDING
How do different governance mechanisms affect the universitiesandthenon-universityresearchorganizations?Figure1showsthede-velopmentoftheR&DexpenditureandFigure2thethird-partyfundingoftheuniversities(withouttheuniversityhospitals)andnon-universityresearch organizations (NURO). The data were normalized to the year2005.
Figure1 showssimilaritiesanddifferencesbetween theuniversityandthenon-universitysector.Duringthetimeperiodfrom2005to2012thegrowthofR&Dexpenditurearealmostthesamefortheuniversityandthenon-universitysector(Uni150%;NURO148%).Whilethefund-ingbythePactforResearchandInnovationfullycomestobearin2006,the financial support of the Excellence Initiative rises slowly over thefirsttwoyears.SomeinitialprojectsstartedinNovember2006andthelastapprovedprojectsbegantheirworkattheendof2007.So2008isthefirstyearinwhichalltheprojectsoftheExcellenceInitiativewererunning.
Figure 1:DevelopmentoftheR&Dexpendituresoftheuniversitygroups(w/ohospitals)andthenon-universityresearchorganizations(NURO)
The increase of the universities of excellence (UoE 187%) and theexcellenceuniversities(ExIn160%)areabovetheaveragewhilethenon-excellenceuniversitieshavealowergrowthrate(NoExIn132%).TheseresultsindicateanongoingstratificationprocessintheGermanuniversi-tysystem.Incomparison,theR&Dexpendituresofthenon-universityre-searchorganizationsshowasimilarincrease:WGL153%,HGF151%andtheFHG150%.OnlytheMPGhasaslightlylowergrowthrate(138%).
erandi forgivingnew impulses to theGermanuniversitysystem–ac-cordingtotheideasofNewPublicManagement.Incontrast,itlookedasthoughthefederalgovernmentandthestateshadadeepertrustinthemanagerialself-governanceofthenon-universityresearchorganiza-tions,whichalsohadahigherresearchperformancethantheuniversi-ties (seebelow).Thegovernancemechanismof thePact forResearchandInnovationcanbedescribedasexternalstateguidanceintheformatofatargetagreement,inwhichthesciencepolicysetsthemainobjec-tives,butgives thenon-university researchorganizations the freedomtochoosetheappropriateactivityforachievingthegivengoals(GWK,2014).Everyyearthenon-universityresearchorganizationshavetore-port their annual activity. The future amounts are independent of thedegreeoftargetachievement.
3. METHODOLOGYThepaperisbasedondataoftheGermanFederalStatisticalOffice
(StatistischesBundesamt)andbibliometricdataoftheWebofScience(WoS).Thedevelopmentoftheresearchanddevelopmentexpendituresand the third-party funding were analyzed. In addition, data from themonitoringreportofthePactforResearchandInnovation(GWK,2014,pp.77–79)isincluded,becausetheFederalStatisticalOfficedidnotre-portannuallythethird-partyfundsofthenon-universityresearchorgani-zations.Forthebibliometricanalysisthepublicationsofthehumanitiesandsocialscienceswereexcluded,due toavery lowcoverage in theWoS.Fortheanalysisoftheproportionofpublicationsthatbelongtotheworldwidetop10%highlycitedpapers(PPTop10%,Bornmann,2014;Waltman&Schreiber, 2013)only citabledocument types (articles, re-views)wereconsideredandmeasurementfieldanddoctypenormalizedinathreeyearcitationwindow.AllcalculationshavebeenprocessedonthedatabaseoftheGermanCompetenceCenterforBibliometrics.
Thestudycoversthetimeperiodfrom2005to2012.Theyear2005wasthelastyearbeforethefinancialsupportfromboththeExcellenceInitiative and the Pact for Research and Innovation has started. Theinvestigationperiodends2012becausethefirst fundingperiodof theExcellenceInitiativeterminatedinthisyear.
Inordertodifferentiatetheeffectsofthetwofundingprograms,dif-ferentunitswereanalyzedseparately:Ontheonehandtheuniversitiesandontheotherhandthenon-universityresearchorganizationsHelm-holtzAssociation(HGF),MaxPlanckSociety(MPG),LeibnizAssociation(WGL) and Fraunhofer Society (FHG). In addition three university sub-groupswereseparatedbytheirsuccessintheExcellenceInitiative.First,theninesocalledUniversitiesofExcellence(UoE),whicharesuccessfulineachofthethreefundinglines(thegraduateschools,theclusterofexcellenceandtheuniversityfutureconcept),second,the37universi-tieswithsuccess inat leastone funding line (ExInUni)and third, theuniversities without any funding in the Excellence Initiative (No ExInUni).ForthebibliometricapproachonlyeightUniversitiesofExcellence(UoE)wereconsidered,becauseaseparateanalysiswasnotapplicableafterthemergerbetweentheUniversityofKarlsruheandtheHelmholtzCenterKarlsruhe.Theaddressnormalizationwasmade in theGermanCompetenceCenterforBibliometrics(Schwechheimer,Rimmert,&Win-terhager,2015).
ISSUE 45 | MARCH 20186
Figure 3:Proportionofpublicationsthatbelongtothetop10%world-widehighlycitedpapers(PPTop10%)oftheuniversitygroups(w/ohos-pitals)andthenon-universityresearchorganizations(NURO)
5. DISCUSSIONTheExcellenceInitiativeandotherthirdpartyfundingprogramshave
changedtheresearchconditionsoftheuniversities.Thethird-partyfund-ingrisesmoresharplythanthetotalR&Dexpenditures(Figure1&2).AsshowninTable1in200539%oftheR&Dexpendituresoftheuniversitysectorwerebasedonthirdpartyfunding.In2012itincreasedto49%.Theresults indicatewheretoadifferentgovernanceoffundingleads:Thecompetitivefundingenhancestheshareofthirdpartyfunding,whileagrowthinbasicfundinghastheconverseeffect.Forthenon-universitysectorwithasteadyincreaseinbasicfunding,theshareofthirdpartyfundingstaysalmostatthesamelevel(2005:31%;2012:33%).
Uni UoE ExIn No ExIn NURO HGF WGL MPG FHG
2005 39% 51% 44% 31% 31% 23% 23% 17% 64%
2012 49% 58% 52% 44% 33% 25% 26% 16% 70%
Table 1:ShareofthirdpartyfundingofthetotalR&Dexpendituresofthe university groups (w/o hospitals) and the non-university researchorganizations(NURO)
Theuniversitygroupshaveahighershareofthirdpartyfundingthanthenon-universityresearchorganizations,excepttheFHG.Incompari-sonwiththebibliometricresultsitcanbeconcludedthatahighshareofthird-partyfundingdoesnotnecessarilycorrelatewithahighervalueofPPTop10%indicator.TheMPGwiththelowestshareofthirdpartyfunding(2012:16%)istheoutperformeroftheGermanresearchsystem
Figure 2:Developmentofthethird-partyfundingoftheuniversitygroups(w/ohospitals)andthenon-universityresearchorganizations(NURO)
Thethird-partyfunding(Figure2)oftheuniversitygroupsrisesmoresharplythanthenon-universityresearchorganizations(Uni189%;NURO155%).TheUoE(212%)havethehighestgrowthratewithintheuniver-sitysector,buttheoverallstratificationintheuniversitysectorisnotasdistinctiveas in termsof theR&Dexpenditures (Figure1).Theuniver-sities with and without an excellence funding have an almost similarincrease (ExIn 190%, No ExIn 186%). The third-party funding for non-universityresearchorganization–excepttheMPG–decreasedsharplyin2012,becauseafederalfundingprogramsupportingresearchinfra-structuresinthenon-universityresearchsectorduringthefinancialcrisis(2009-2011)was terminated.TheHGFhas thehighestgrowthof thirdpartyfunding(161%)followedbytheFHG(157%),theWGL(147%)andtheMPG(136%).
4.2 BIBLIOMETRICSFor the bibliometric analysis (Figure 3) the indicator proportion of
publicationsthatbelongtothetop10%worldwidehighlycitedpapers(PP Top 10%) is applied. The university groups show the above men-tioneddifferentiation:TheUoE(year2012:17.2%)isexceedingtheExInuniversities(15.1%)followedbyNoExInUniversities(13.5%).AbovetheoverallGermanaverage(14.5%)aretheUoE,andtheExInuniversities.
TheannualresultsfortheFHGdifferovertimebyalownumberofpublications,butitshouldbenotedthatpublicationorcitationindicatorsarenotveryappropriateforanorganization,whichhasastrongappliedresearchandindustrycollaborationmission.Thebestperformersin2012measuredbythePPTop10%indicatoraretheMPG(22.6%)andtheHGF(19.9%) followedby theWGL (14,8%). Thenon-university researchor-ganizationshaveoverallhigherimpact(NURO19.0%)thantheuniversitysector(14.4%).
7ISSUE 45 | MARCH 2018
6. REFERENCESAghion, P., Dewatripont, M., Hoxby, C., Mas-Colell, A., & Sapir, A. (2010). The governance and performance of universities: evidencefrom Europe and the US. Economic Policy, 25(61), 7–59. https://doi.org/10.1111/j.1468-0327.2009.00238.x
Baden-Württemberg (2015). Perspektiven 2020. Hochschulfinanzie-rungsvertrag Baden-Württemberg 2015-2020. Retrieved from https://mwk.baden-wuerttemberg.de/fileadmin/redaktion/m-mwk/intern/datei-en/publikationen/411503_MWK_Infografiken_Broschuere_RZ_onl.pdf
Boer, H. de, Enders, J., & Schimank, U.(2007).OntheWaytowardsNewPublicManagement?TheGovernanceofUniversitySystemsinEng-land, the Netherlands, Autria, and Germany. In D. Jansen (Ed.), NewForms of Governance in Research Organizations, 137–152. Dordrecht:Springer.
Boer, H. de, Jongbloed, B., Enders, J., & File, J. (2010).ProgressinhighereducationreformacrossEurope,Fundingreform,Volume1:Exe-cutiveSummaryandmainreport.Enschede:CentreforHigherEducationPolicyStudies(CHEPS).Retrievedfromhttp://doc.utwente.nl/88692/
Bornmann, L.(2014).Howareexcellent(highlycited)papersdefinedinbibliometrics?Aquantitativeanalysisoftheliterature.ResearchEvalua-tion,23(2),166-173.
Bukow, S., & Möller, T. (2013).DieRekrutierungwissenschaftlichenSpitzenpersonals in der Exzellenzinitiative. Berlin: Institut für For-schungsevaluationundQualitätssicherung(IFQ).
DFG (2013). Bericht der Deutschen Forschungsgemeinschaft über dieErfahrungenmitderGewährungderProgrammpauschaleinderzweitenProgrammphase. Retrieved from http://www.gwk-bonn.de/fileadmin/Papers/DFG-Bericht-2013.pdf
ExV, Exzellenzvereinbarung(2005):Bund-Länder-VereinbarunggemäßArtikel91bdesGrundgesetzes(Forschungsförderung)überdieExzellen-zinitiativedesBundesundderLänderzurFörderungvonWissenschaftundForschungandeutschenHochschulen.18.07.2005.BAnzS.13347.
GWK (2014). Pakt für Forschung und Innovation Monitoring-Bericht2014.Bonn:GemeinsameWissenschaftskonferenz(GWK).
Glotz, P.(1996).ImKernverrottet?:fünfvorzwölfanDeutschlandsUni-versitäten.Stuttgart:DeutscheVerlags-Anstalt.
Krücken, G.(2011).Aeuropeanperspectiveonnewmodesofuniversitygovernanceandactorhood.Research&OccasionalPaperSeries,17(11),1–11.
Möller, T., Antony, P., Hinze, S., & Hornbostel, S. (2012).Exzellenzbegutachtet:BefragungderGutachter inderExzellenzinitiative.Berlin:InstitutfürForschungsevaluationundQualitätssicherung(IFQ).
intermsofthePPTop10%indicator.Foravalidcomparisonbetweentheuniversitiesandthenon-university researchsector furtheraspectsshouldbetakenintoaccount,e.g.disciplinerelatedfinancialdemands,the industrymissionorientatedresearch (e.g.of theFHG),or largere-searchinfrastructure(e.g.GermanElectronSynchrotron[DESY]asapartof HGF). All these factors are limiting the direct comparison betweenuniversitiesandnon-universityresearchorganizations.
WithintheuniversitygroupstheUoEhavethehighestshareofthirdpartyfunding(2012:58%)followedbytheExIn(52%)andtheNoExIn(44%)universities.Consideringthatthethirdpartyfundingdoesnotcov-erthewholeresearchexpenditures,thesuccessinattractingadditionalfundsmayyield,especiallyforthemostcompetitiveandsuccessfuluni-versities,intointernalgovernanceproblems.AreportoftheGermanRe-searchFoundation(DFG)statedthatdependingondifferencesbetweentheresearchfieldsandtopics,from30%upto300%ofthepersonalcostsofaresearchprojecthavehadtobeco-financedfromtheuniversities(DFG,2013).Thisisover,inpartfaroverthegivenflatrateof20%over-headbudgetsprovidedbytheGermanResearchCouncil.
FormerfindingsbasedonguidedinterviewswithuniversityleadersandresearchersintheExcellenceInitiativeshow,that–withagrowingamountofco-financing–theuniversitiesaremoreandmorerestrictedin their futurescopeofactions (Bukow&Möller,2013).Theability toact, however, is essential for the organizational self-governance of auniversity.Assomestudiespointedout,organizationalautonomyisanimportantfactorforsuccessinattractingcompetitivefunds(Aghion,De-watripont,Hoxby,Mas-Colell,&Sapir,2010;Boer,Jongbloed,Enders,&File,2010).Extensivecompetitivefundingthatlimitstheself-governanceof theuniversities throughahighdegreeofnot fully funded researchcosts,canhaveintheendnoortheoppositeeffects.Incontrasttotheuniversities, the non-university research organizations have a greaterabilitytochoosetheappropriateactivityalsowithinthefundingschemePactforResearchandInnovation.
Currently,weare facinganew trend in someGermanstates (e.g.Baden-Württemberg, Thüringen). Theyhave reduced their competitiveandprogrambasedfundinginfavorofanannualincreaseinbasicfund-ing.SimilarlytothePactforResearchandInnovation,thestateBaden-Württembergassuresanannualincreaseof3%until2020.Theexplicitaimofthesciencepolicymakersistogivetheuniversitiesmoreflexibilityandautonomyandlessstateregulation(Baden-Württemberg,2015,p.6).Afteraperiodfocusingmainlyonthecompetitivegovernancemecha-nism,sciencepolicymakersseemstorethinktheirtoolboxinstrumentsandemphasisalsootherfactorsthatarerelevantfortheuniversityself-governance,theirautonomyandproductivity.
ISSUE 45 | MARCH 20188
PFI, Pakt für Forschung und Innovation(2005).Retrievedfrom:http://www.gwk-bonn.de/fileadmin/Papers/pakt_fuer_forschung_und_inno-vation.pdf
Schimank, U. (2005). A Comparative Perspective on Changes in Uni-versityGovernanceinEurope.PublicLectureatTheAustralianNationalUniversityon17.October2005
Schwechheimer, H., Rimmert, C., & Winterhager, M. (2015).Doku-mentationzurInstitutionenkodierung.Version1.4.Bielefeld:Kompetenz-zentrumBibliometrie.
Simon, D. (1991).DieUniversitätistverrottet.DerSpiegel,1991(50/1991),52–53.
Waltman, L., & Schreiber, M. (2013).Onthecalculationofpercentile-basedbibliometricindicators.JournaloftheAmericanSocietyforInfor-mationScienceandTechnology,64(2),372–379.
AUTHORTORGER MÖLLERGerman Centre for Higher Education Research and Science Studies (DZHW)
Schützenstr.6a,10117Berlin,GermanyE-mail:[email protected]
ACKNOWLEDGEMENT
ThisstudywasfundedbytheGermanExpertCommissionforResearchandInnovationandtheGermanFederalMinistryofEducationandRe-search.AllcalculationshavebeenprocessedonthedatabaseoftheGer-manCompetenceCenterforBibliometrics.
9ISSUE 45 | MARCH 2018
publikationsmuster zwischen der Wissenschaft und Wirtschaft, sowieKollaborationsmustern der österreichischen Wissenschaft mit ausge-wähltenFirmen imEUAusland,differenziertnachForschungsthemen.AbschließendfolgteinekurzeDiskussionderErgebnisse.
EINFÜHRUNGDieKollaborationzwischenWissenschaftundWirtschafthatinder
LandschaftderösterreichischenFTI(Forschung,TechnologieundInno-vation)bereitseinegut20-jährigeTradition.DahinterstehenErwartun-gen,insbesondereaufderpolitikgestaltendenEbene,dassdadurchneueMöglichkeitenentstehen,ökonomischenundgesellschaftlichenHeraus-forderungenentgegenzutreten(vgl.Ponds,vanOortundFrenken2010;LehmannundMenter2015;Skuteetal.2017).AufOrganisationsebenewirderwartet,dasswirtschaftlicheUnternehmenbestrebtsind,sichimAustauschmitForschungseinrichtungenWissenüberneusteTechnolo-gienanzueignen,wassichineinererhöhtenEntwicklungskapazitätbzw.Wettbewerbsfähigkeitniederschlägt (vgl.Perkmann,NeelyundWalsh2011).GleichzeitigwürdenForschungseinrichtungenagilerundwürdenihrerseitsdieKommerzialisierungvonForschungsergebnissenverfolgen(vgl.D’esteundPerkmann2011).
DiesemBeitragliegteineStudiezuGrunde,dieimAuftragdesBun-desministeriumfürWissenschaft,ForschungundWirtschaft(BMWFW)vonderWissenschaftundWirtschaft imZeitraum2009-2014gemein-sam verfasste Publikationen untersuchte. Diese Kopublikationen sindeinhäufigverwendeterIndikatorzurErfassungderforschungsbasiertenKooperation zwischen akademischen Einrichtungen und wirtschaftlichoperierendenUnternehmen.Erwirdz.B.auch imEuropean InnovationScoreboard(EIS)verwendetundzwarinderKategorie„firmactivities“zur Messung von „linkages and entrepreneurship“. Im Gegensatz zuvielenanderenIndikatoren,dieebenfallsdieKooperationsbeziehungenbzw.derenOutputbzw.denWissens-undTechnologietransferzwischenakademischen Sektor und Unternehmenssektor messen, wird diesemIndikator zugeschrieben, dass er eher die wissenschaftliche Basisori-entierung der Beziehungsqualität eher abzubilden vermag als andereIndikatoren. Der Grund hierfür ist die Annahme, dass wissenschaftli-che Publikationen, auch wenn sie zwischen unternehmerischen undakademischen Bereich kopubliziert werden, immer auch den strengenReviewstandardsvonJournalsinBezugaufwissenschaftlicheExzellenz
ABSTRACT
Science-industrycollaborationcanbeanalysedalongvariousdi-mensions.Thestudyunderlyingthisarticle(inGerman)focusesonbibliometrics,i.e.onscientificworksthatwereco-published
byatleastoneAustrianresearchorganisationandatleastoneAustri-anbusinessorganisation(firm)between2009and2014.ThestudyhadbeenconductedfortheAustrianFederalMinistryofScience,Research,andEconomyandisthefirstofitskind.Hence,thepurposewastopro-videfirstinsightsintoscience-businesscollaborationbasedonscientificco-publications.Themethodologywasdesignedsuchthatthe100mostvisiblefirmsinAustriaintermsofR&Dexpenditure,participationinEUresearchprojects,andtheirnumberofpublications,inthegivenperiodoftimewerechosenasaunitofanalysis.Thepresentedresultsincludea general picture of Austria’s overall publication output, thematic co-publicationpatternsbetweenscienceandbusinessinAustria,andalsocollaborationpatternsofAustriansciencewiththemostvisiblefirmsinselectedEUcountries.Finally,thearticlebrieflydiscussestheresultsandsuggeststopicsforfutureresearch.
ZUSAMMENFASSUNGKollaborationenzwischenderWissenschaftundWirtschaftkönnen
anhandverschiedenerDimensionenanalysiertwerden.DieStudie,diediesemBeitragzugrunde liegt,basiertaufeinerbibliometrischenAna-lyse,d.h.aufwissenschaftlicheArbeiten,dievonmindestenseinerFor-schungsorganisation in Österreich und mindestens einem wirtschaftli-chenUnternehmeninÖsterreichkopubliziertwurden,undzwarindenJahren2009-2014.DieStudiewurdeimAuftragdesBundesministeriumsfür Wissenschaft, Forschung und Wirtschaft (BMWFW) durchgeführtundistdieersteihrerArt.FolglichwarihrZweck,ersteEinblickeindieseFormderKollaborationzwischenderWissenschaftundderWirtschaftzugewähren.DieMethodewarsoangelegt,dassdie100sichtbarstenFirmen in Österreich als Analyseeinheit herangezogen wurden, wobeidieSichtbarkeitdieserFirmenanhandderenForschung-undEntwick-lungsausgaben,derenTeilnahmeanEUForschungsprojektenundderenAnzahlanPublikationenbestimmtwurde.DievorgestelltenErgebnisseinkludiereneinallgemeinesBildderösterreichischenPublikationen,Ko-
DIETMARLAMPERT
EINBLICKEINDIEKOLLABORATIONDERÖSTERREICHISCHENWISSENSCHAFTUNDWIRTSCHAFTERGEBNISSE EINER BIBLIOMETRISCHEN STUDIE
ISSUE 45 | MARCH 201810
daOrganisationtypenden verwendetenDatenquellennicht ohnewei-tereszuentnehmensind.DieWahlfielimnationalenKontextaufeineTriangulationdersichtbarstenösterreichischenFirmen,d.h.dieampro-minentestenimEU Industrial R&D Investment Scoreboardvertretensind,amhäufigsten imEURahmenprogrammfürForschung technologischeEntwicklungteilnahmen2unddiehöchsteAnzahlanPublikationenauf-wiesen(ebenbasierendaufdenverwendetenDatenquellen).Unterneh-men,diedemöffentlichenSektorzugehören3,werdendieserKategorienicht zugeordnet. Im EU Ausland beschränkte sich die Auswahl derPartnerländersowohlaufdieNachbarländerÖsterreichsalsauchdieIn-novationLeadersdesobengenanntenEuropean Innovation Scoreboard.DiezuuntersuchendenUnternehmenindiesenLändernwurdenanhandderenPräsenzimEU Industrial R&D Investment ScoreboardalsauchimEURahmenprogrammgewählt.
Einschränkungen und BesonderheitenObwohlimRahmendieserStudieallgemeinvonWissenschaft-Wirtschaft(Ko)Publikationengeschriebenwird,erfolgteaufWirtschaftsseitedieimvorigenAbsatzbeschriebeneEinschränkung.TrotzdieserBeschränkungistjedochdavonauszugehen,dassderBulkanKopublikationenmitderösterreichischenWirtschaftgutabgedecktist;Einschränkungenderver-wendetenDatenquellengeltennatürlichnachwievor.
InsgesamtsinddiegenanntenZahlenapproximativzusehen–nichtallegemeinsamenPublikationenderWissenschaftundWirtschaftsindinwissenschaftlichenJournalserschienen,dievonmindestenseinerderbeiden Datenbanken indexiert werden. Zudem sind die Fallzahlen derWissenschaft-WirtschaftKopublikationenehergering,sodassausihnenkeinesoliden,allgemeingültigenSchlüssegezogenwerdenkönnen.
GemessenwurdenPublikationen,nichtdiezugrunde liegendenAr-beiten.FallseineArbeitbzw.einTextübermehrereKanäleoderinver-schiedenenFormatenpubliziertwurde,gibtesaufderMetaebene,aufdersichdieAnalysebewegt,keineMöglichkeitdiesezubereinigen.EskönntezudemderFalleintreten,dassdiese–abhängigvondenjewei-ligenJournalsundderenzugeordnetenKlassifikationen–zuverschie-denen Forschungsfeldern gezählt wurden, obwohl sie denselben TextzurBasishaben.DiesisteinweitererGrund,weshalbdiepräsentiertenErgebnissealsapproximativundkeinesfallsalsalleinigeGrundlagefürEntscheidungen irgendwelcher Art anzusehen sind. NichtsdestotrotzkönnensiealsAusgangspunktfürdenAustauschmitExpertinnenundExpertendienen,umzusätzlicheErkenntnissezugewinnen.
Diehier vorgestelltenErgebnisse stellennureinenAuszugderge-samtenStudienergebnisse4dar.LetzterebeinhalteneineumfassendereAnalysederForschungsthemen,ErkenntnissezumImpactderKopublika-tionenundeineAnalysedergrenzüberschreitendenKopublikationenderösterreichischenWissenschaftmitderEUWirtschaft.
undwissenschaftlicheEinbindungunterliegen.DieseQualitätsorientie-rungwirddadurchverstärkt,dassindergegenständlichenAnalysenurjeneKopublikationenherangezogenwurden,diesichindenwichtigstenakademischeninternationalenDatenbankenbzw.MetadatenbankenfürwissenschaftlichenPublikations-outputsbefinden(ScopusundWebofScience).Publikationeninwissenschaftsfernen(Fach-)Zeitschriftenwur-dendemnachnichtberücksichtigt.
UmeinesauberereundsolidereBasis fürdieAnalysezuschaffen,wurdendieDatenausdenangegebenenQuellenidentifiziert,aufberei-tet,normalisiert,unifiziertundmitDatenauseinerReiheanzusätzlichenQuellenangereichert.DadurchgehtdasBemühenüberdenaktuellen,vonähnlichenStudiendefiniertenState-of-the-Artdeutlichhinaus.
METHODEDieser Abschnitt gibt in Kürze die Grundbegriffe wieder, die für
das Verständnis dieses Beitrags notwendig sind. Er gibt weiters Aus-kunft über die Datenquellen und die Auswahl der zu untersuchendenUnternehmen,alsauchüberEinschränkungenundBesonderheitenderzugrundeliegendenStudie.
BEGRIFFEKopublikationenwerdenimRahmendiesesBeitragsalswissenschaft-liche,inLiteraturdatenbankenerfasstePublikationenmitTeilnahmevonmindestenszweiOrganisationen inÖsterreichverstanden,undzwar–soweitnichtandersgekennzeichnet–mind.eineausderWissenschaftundmind.eineausderWirtschaft.AnalogesgiltfürKopublikationenmitEUPartnern,nurdasshieraufderWirtschaftsseiteFirmenausdemEUAuslandbeteiligtsind.
Die thematische Klassifikation der Publikationen erfolgt anhand derScience-Metrix Ontologie1,derenkleinschrittigere,detailliertereThemen-einteilung den Begriff Sub-Fields trägt, übergeordnete Einheiten bzw.HauptkategorientragendenBegriffFields.FürdiegröbsteKategoriederForschungsfelderwirdderBegriffAreas(„Bereiche“)verwendet.
DatenquellenAlsBasisfürdieAnalysederWirtschaft-Wissenschaft-KopublikationenindenJahren2009-2014dientendiebeidenbekanntestenthemenüber-greifendenakademischenZitationsdatenbankenScopusundWeb of Sci-ence.AufgrunddermangelhaftenDatengüteunterliefendieDatenei-nemaufwendigenProzessanBereinigung,Normalisierung,UnifizierungderbeidenDatensätzeundderAnreicherung–u.a.durchsemantischeVerfahren–durchDatenweiterer,meistoffenerQuellen.
Auswahl der zu untersuchenden UnternehmenDie Festlegung der Menge an zu untersuchenden Unternehmen derösterreichischen Privatwirtschaft sinnvoll festzulegen ist nicht trivial,
1 diesekannhierheruntergeladenwerden:www.science-metrix.com/en/classification2 vgl.CORDISDatenimEUOpenDataPortal,Datensatz“Organisations”:https://data.europa.eu/euodp/en/data/dataset/cordisfp7projects3 lt.ESVG(StandMärz2016),siehewww.statistik.at/web_de/statistiken/wirtschaft/oeffentliche_finanzen_und_steuern/oeffentliche_finanzen/oeffen-
tlicher_sektor/index.htmloderdirektunterwww.statistik.at/wcm/idc/idcplg?IdcService=GET_PDF_FILE&RevisionSelectionMethod=LatestReleased&dDocName=076167
4 DiesesindverfügbarunterfolgenderURL:www.zsi.at/de/object/news/4555
11ISSUE 45 | MARCH 2018
teiligtalsbeispielsweisedieUniversitätenGrazundSalzburg(~40bzw.~30),wodurchletzterenichtmehr indieserListeaufscheint.EbenfallsnichtaufderListebefindensichdieJoanneumResearchForschungsge-sellschaftunddasAustrianInstituteofTechnologymitjeweilsknapp30Kopublikationen.DerenPublikationspartnerbefindensichlt.denkonsul-tiertenQuellenvorzugsweiseaufderwissenschaftlichenSeite.
Tabelle 2:DiemeistinvolviertenwissenschaftlichenForschungseinrich-tungen(2009-2014)
Wissenschaftliche Organisation Kopublikationen mit der Wirtschaft (2009-2014)
TUWien 482
TUGraz 439
JKUJohannesKeplerUniversitätLinz 293
CDGChristianDopplerForschungsgesellschaft 283
MedizinischeUniversitätWien 283
MontanuniversitätLeoben 236
Leopold-Franzens-UniversitätInnsbruck 186
BOKUUniversitätfürBodenkulturWien 158
UniversitätWien 149
ÖAWÖsterreichischeAkademiederWissenschaften 106
AuffallendaufderWirtschaftsseite(sieheTabelle3)istderdeutlichhöhereKopublikationsoutputvon InfineongegenüberanderenFirmen,d.h.~260vs.~180derzweitgereihtenSiemensbzw.~160derdritt-gereihtenvoestalpineAG.DasgroßeFeldderNachfolgeraufUnterneh-mensseiteliegtzwischenca.40und70Kopublikationen.NachdenTop10 fälltdieAnzahlderKopublikationenstetigab,wodurchanderebe-kannteUnternehmennichtindieserListevertretensind.
Zudemlässtsichfeststellen,dassessichbeidensichtbarstenUn-ternehmenmeistnichtumösterreichischeUnternehmen imSinnedesHauptsitzeshandeltsondernumdieNiederlassungeinesausländischenUnternehmensinÖsterreich.
Tabelle 3:Diemeist involviertenwirtschaftlichenUnternehmen(2009-2014)
Wirtschaftliche Organisation Kopublikationen mit der Wissenschaft (2009-2014)
InfineonAT 264
SiemensAGÖsterreich 176
voestalpineAG 164
BaxterBiosciencesGmbH 74
IoniconAnalytik 71
DICEDanubeIntegratedCircuitEngineeringGmbH&CoKG 66
AMSAG 50
SandozGmbH 49
NXPSemiconductorsAustriaGmbH 47
NovartisInstitutesforBiomedicalResearch,Vienna 46
Die paarweise Beobachtung der häufigsten Kopublikationen vonWirtschaftundWissenschaftgewährtweitereEinblickeindieKollabora-tionsbeziehungen(sieheTabelle4).WieausdenDatenhervorgeht,lie-genaufderWissenschaftsseitedieTUsvorne,aufderWirtschaftsseite
ERGEBNISSEGESAMT
Die Gesamtpublikationen Österreichs im Untersuchungszeitraum(2009-2014)stiegenvonknapp24.000aufgut28.000Publikationenan,was ein Wachstum um den Faktor 1,2 bedeutet. Im selben Zeitraumwuchsen die Kopublikationen zwischen der österreichischen Wissen-schaftundderösterreichischenWirtschaftvonca.300aufgut420an,erhöhtensichalsoumdenFaktor1,4.
WasdiegrenzüberschreitendenPublikationenÖsterreichs(weltweit)anlangt,wuchsendieseimselbenZeitraumvonetwasmehrals11.000auf16.000an,d.h.umdenFaktor1,4.DieKopublikationenderösterrei-chischenWissenschaftmitderEUWirtschaftstiegenannäherndgleichan,d.h.von280auf410,waseinemFaktor1,5gleichkommt.
AufgesamtösterreichischemNiveauistdasWachstummitausländi-schenPartnernetwashöheralsjenesdesGesamtoutputs,d.h.derAnteilinternationalerKopublikationennimmtzu.ÄhnlichesgiltfürdieKollabo-rationderösterreichischenWissenschaftmitderösterreichischenWirt-schaftbzw.derEUWirtschaft.
EingenauererBlickaufdie jährlicheEntwicklung (sieheTabelle1)zeigt,dassdasWachstumderösterreichischenWissenschaft-WirtschaftKopublikationennichtstetigwarsondernab2011stagnierte–erst imletztenbeobachtetenJahr(2014)wurdedasNiveauvon2011erreicht.ÄhnlichesgiltfürdieKopublikationenderösterreichischenWissenschaftmitdenUntersuchtenEUUnternehmen,mitzweifeinenUnterschieden:esgabeinenmerkbarenEinbruchvon2010auf2012,dafürabereinendeutlicherenZugangbis2014,sodassderenAnzahlundjenederintraös-terreichischenKopublikationenannäherndgleichsind.
Tabelle 1: Vergleich Kopublikationen österreichische Wissenschaft-WirtschaftundösterreichischeWissenschaft-EUUnternehmen
Kopublikationen
Jahr österreichischeWissenschaft - Wirtschaft
österreichische Wissenschaft - EU Unternehmen
2009 308 278
2010 379 349
2011 417 338
2012 410 310
2013 397 370
2014 421 414
PUBLIKATIONEN WISSENSCHAFT-WIRTSCHAFT IM DETAIL
BeidengemeinsamverfasstenKopublikationenderWissenschaftundWirtschaftistesvonInteresse,dieamhäufigsteninvolviertenOrganisa-tionenzuidentifizieren.Tabelle2wirfteinenBlickaufdiewissenschaft-lichen Einrichtungen und zeigt, dass die technischen Universitäten amsichtbarstensind:dieTUWien(mitknapp500KopublikationenmitderWirtschaft)unddieTUGraz(mitüber400Kopublikationen)führendieLis-tean.DerRestderListesetztsichausderKeplerUniversitätLinz(~300)sowiederChristianDopplerGesellschaftundderMedizinischenUniver-sitätWien(jeweils~280)zusammen.AuchdieÖAWbefindetsichunterdenTop10deramhäufigsteninvolviertenForschungsorganisationen.DieBOKU (ca. 160) ist häufiger an Kopublikationen mit der Wirtschaft be-
ISSUE 45 | MARCH 201812
FORSCHUNGSFELDER IN DEN KOPUBLIKATIONSBE-ZIEHUNGEN WISSENSCHAFT-WIRTSCHAFT
DiegroßeMehrheitderKopublikationsbeziehungenderösterreichi-schen Wissenschaft und Wirtschaft auf der Ebene der Forschungsbe-reiche fällt in den Bereich Applied Sciences – also der angewandtenWissenschaften(sieheTabelle5).AusdiesemGrundwirddieserimvor-liegendenBeitragexklusivbehandelt.
Tabelle 5:KopublikationenWissenschaft-WirtschaftaufEbenederSMAreas(2009-2014)
SM Area Kopublikationen Wissenschaft-Wirtschaft
AppliedSciences 1286
NaturalSciences 495
HealthSciences 466
GeneralSciences 54
Economic&SocialSciences 29
Arts&Humanities 2
Im Bereich Applied Sciences sind auf Seite der Forschungseinrich-tungen erwartungsgemäß die österreichischen Universitäten mit starktechnologischemEinschlaginderTabelle6vertreten,insbesonderedieTUs,diemitjeweilsüber300KopublikationendieSpitzebilden,gefolgtvonderKeplerUniversitätLinz,derMontanuniversitätLeobenundderChristian Doppler Gesellschaft. Die Anzahl der Kopublikationen nimmtdann rasch ab – bereits nicht mehr in dieser Liste der 10 kollaborati-onsstärkstenForschungseinrichtungenvertretensindu.a.dasAIT,dasPolymerCompetenceCenterLeobenundJoanneumResearch.
Tabelle 6:KollaborationsstärkstewissenschaftlicheForschungseinrich-tungeninAppliedSciences(2009-2014)
Wissenschaftliche Organisation Kopublikation mit der Wirtschaft in Applied Sciences
TUGraz 350
TUWien 325
JKUJohannesKeplerUniversitätLinz 184
MontanuniversitätLeoben 179
CDGChristianDopplerForschungsgesellschaft 169
BOKUUniversitätfürBodenkulturWien 69
UniversitätWien 58
ÖAWÖsterreichischeAkademiederWissenschaften 43
Leopold-Franzens-UniversitätInnsbruck 41
MedizinischeUniversitätWien 41
Wie ebenfalls erwartet, befinden sich die insgesamt meist invol-viertenUnternehmenauchindenForschungsfeldernderangewandtenWissenschaftinderTabellenliste(sieheTabelle7).Infineon,voestalpineundSiemenssindauchhieramsichtbarsten,miteinigemAbstanddannDICE.
Obwohl Fraunhofer Austria zwarweder imKatalogder staatlichenUnternehmen noch im kooperativen Bereich der Unternehmen auf-scheint,istdieseOrganisationdurchdieArtderFinanzierungnichtdenklassischenFirmenzuzuordnen.DennochseisiemitdiesemHinweisver-seheninderTabellebelassen.
Infineon:dergemeinsameOutputderTUGrazmitInfineonistamsicht-barsten(~140Kopublikationen),deutlichdahinterfolgtdergemeinsameOutputderTUWienmitInfineon(80).
ObwohlSiemensunddievoestalpineAGsichinderListederWirt-schaftsunternehmenunterdenerstendreibefinden,scheinensieinderpaarweisenBetrachtungerstknapphinterIoniconAnalytik–Universi-tätInnsbruckundDICE–KeplerUniversitätLinz(jeweils~60)auf,dieoffenbarsehrspezifischeKooperationsbeziehungenhaben. ImFallvonSiemensundvoestalpineAGteiltsichderenOutputdurchdieKollabo-rationen mit mehreren wissenschaftlichen Einrichtungen auf: u.a. aufdieMontanuniversitätLeobenundCDGimFallvoestalpineAG;aufdieKeplerUniversitätLinzunddieTUWienimFallSiemens.
Hier ist zuberücksichtigen,dassTabelle4 tatsächlichdie Involvie-rungen der genannten Organisationen in gemeinsame Publikationenfesthält. Dabei kann es vorkommen, dass eine genannte Organisationin einer anderen Paarbeziehung aufscheint und ein gewisser Teil derKopublikationensichüberlappt.DieslässtsichanhandvonDICEGmbH&CoKGillustrieren:siepubliziertemitderKeplerUniversitätLinzca.60malundmitderCDGca.45malgemeinsam.Diesekönnennichteinfachaddiertwerden,dadieAnzahlderKopublikationen,indieDICEinvolviertwar,tatsächlich66beträgt(vgl.Tabelle3).Diesbedeutet,dasseseinenklarenÜberlappgibt,d.h.DICE,dieKeplerUniversitätLinzunddieCDGhäufiggemeinsampublizierten.
AufdenUmstand,dassdieKopublikationenmittechnologielastigenUnternehmen eine hohe Sichtbarkeit genießen, geht der nächste Ab-schnittgenauerein.
Tabelle 4:DiesichtbarstenOrganisationenderWissenschaft-WirtschaftKopublikationen(2009-2014)
Wirtschaftliche Organisation Wissenschaftliche Organisation
Kopublikationen Wissenschaft-Wirtschaft (2009-2014)
InfineonAT TUGraz 139
InfineonAT TUWien 80
IoniconAnalytik Leopold-Franzens-UniversitätInnsbruck 64
DICEDanubeIntegratedCircuitEngineeringGmbH&CoKG
JKUJohannesKeplerUniversitätLinz 61
voestalpineAG MontanuniversitätLeoben 59
voestalpineAG CDGChristianDopplerForschungsgesellschaft 55
SiemensAGÖsterreich JKUJohannesKeplerUniversitätLinz 49
NXPSemiconductorsAustriaGmbH
TUGraz45
DICEDanubeIntegratedCircuitEngineeringGmbH&CoKG
CDGChristianDopplerForschungsgesellschaft 45
voestalpineAG JKUJohannesKeplerUniversitätLinz 44
SiemensAGÖsterreich TUWien 43
AgilentTechnologiesÖsterreichGmbH
JKUJohannesKeplerUniversitätLinz 41
AMSAG TUWien 39
BaxterBiosciencesGmbH MedizinischeUniversitätWien 37
voestalpineAG TUWien 34
13ISSUE 45 | MARCH 2018
BIOSBIOENERGIESYSTEMEGmbH TUGraz 22
InfineonAT AAUAlpen-AdriaUniversitätKlagenfurt 22
MedexterHealthcareGmbH MedizinischeUniversitätWien 22
SiemensAGÖsterreich CDGChristianDopplerForschungsgesellschaft 22
FORSCHUNGSFELDER IN DEN KOPUBLIKATIONEN DER ÖSTERREICHISCHEN WISSENSCHAFT UND EU UNTERNEHMEN
Eingangswurdefestgestellt,dassdieAnzahldergrenzüberschreiten-denKopublikationen insgesamtstetiganstieg,nämlichumdenFaktor1,5imUntersuchungszeitraum2009-2014,undsichdieAnzahlderKopu-blikationenderösterreichischenWissenschaftmitEUUnternehmenumdenselbenFaktorerhöhte,wennauchnichtganzsostetig.
WieimvorigenAbschnittbeschrieben,warendiemeistenKopubli-kationenderösterreichischenWissenschaftundWirtschaft inAppliedSciences zubeobachten.Obwohl indengrenzüberschreitendenKopu-blikationenmitEUUnternehmenHealthScienceseinenhöherenAnteileinnehmen(~600inAppliedSciences,~880inHealthSciences),kon-zentriertsichdieserAbschnittauferstere,damiteingewisserVergleichzudennationalenDatengegebenist.
Im Bereich Applied Science zeigt sich in den Kollaborationsbezie-hungenderösterreichischenWissenschaftmitEUUnternehmen,dassSiemensAG(DE)mitderKeplerUniversitätundInfineonTechnologiesAG(DE)mitderTUWienamsichtbarstensind.InfineonTechnologiesAG(DE)istebenfallsmitderKeplerUniversitätLinz,mitderTUGrazundderCDG involviert, allerdings auf niedrigerem Niveau. BMW (DE) und dieTUWiensinddieletztePaarbeziehung,dieinderTabelleaufscheinen;alleweiterenliegenunterdemSchwellenwertvon10Kopublikationen.
Tabelle 9:KollaborationsstärksteBeziehungenderATWissenschaftundderEUWirtschaftimBereichAppliedSciences(2009-2014)
EU Unternehmen österreichische wissenschaftliche Einrichtung
Kopublikationen in Applied Sciences
SiemensAG(DE) JKUJohannesKeplerUniversitätLinz 37
InfineonTechnologiesAG(DE) TUWien 35
InfineonTechnologiesAG(DE) JKUJohannesKeplerUniversitätLinz 16
InfineonTechnologiesAG(DE) TUGraz 13
InfineonTechnologiesAG(DE) CDGChristianDopplerForschungsgesellschaft 13
BMW(DE) TUWien 13
DISKUSSION UND ZU-KÜNFTIGE FORSCHUNG
Insgesamt sind im Jahr 2014 1,5 % der mit österreichischen Au-torinnen bzw. Autoren publizierten wissenschaftlichen Arbeiten, diein Scopus und/oder Web of Science erfasst sind, den Wissenschafts-
Tabelle 7: Kollaborationsstärkste Unternehmen in Applied Sciences(2009-2014)
Wirtschaftliche Organisation Kopublikation mit der Wissenschaft in Applied Sciences
InfineonAT 195
voestalpineAG 130
SiemensAGÖsterreich 121
DICEDanubeIntegratedCircuitEngineeringGmbH&CoKG 63
NXPSemiconductorsAustriaGmbH 46
FraunhoferAustriaResearchGmbH 36
MagnaSteyrAG&CoKG 31
AndritzAG 28
AMAGAustriaMetallAG 27
AT&SAG 26
Nachdem die Kopublikationen zwischen Wissenschaft und Wirt-schaft im Bereich Applied Sciences zahlenmäßig führen, sind dieErgebnisse der unten stehenden Tabelle analog zu jenen des vorigenAbschnittszusehen.D.h.allenvoranstehtdieKollaborationzwischenInfineonATundderTUGraz,derenAnzahlangemeinsamkopubliziertenArbeitenjenederzweitgelistetenDICE-UniversitätLinzumgutdasDop-pelteübersteigt;kurzdarauffolgenvoestaplineAG-MontanuniversitätLeoben.
Es istaugenscheinlich,dassdieFirmenmitderhöchstenSichtbar-keitinsgesamtaufEbenederForschungsthemenmitmehrerenwissen-schaftlichenOrganisationenkopublizieren: z.B. InfineonATmitder TUGraz(~120),mitderTUWien(~45),odermitderAlpen-AdriaUniversi-tätKlagenfurt(~20);oderdievoestaplineAGmitderMontanuniversitätLeoben(50),derTUWien(~30),derCDG(~30),oderderUniversitätLinz(~20).DasselbegiltfürSiemensAGÖsterreichundForschungsorgani-sationen(UniversitätLinz,~40;TUWien,35;CDG,~20).
Tabelle 8:DiesichtbarstenOrganisationenderWissenschaft-WirtschaftKopublikationeninAppliedSciences(2009-2014)
Wirtschaftliche Organisation Wissenschaftliche Organisation
Kopublikation Wissenschaft-Wirtschaft in Applied Sciences
InfineonAT TUGraz 121
DICEDanubeIntegratedCircuitEngineeringGmbH&CoKG
JKUJohannesKeplerUniversitätLinz 58
voestalpineAG MontanuniversitätLeoben 50
InfineonAT TUWien 46
NXPSemiconductorsAustriaGmbH TUGraz 44
SiemensAGÖsterreich JKUJohannesKeplerUniversitätLinz 44
DICEDanubeIntegratedCircuitEngineeringGmbH&CoKG
CDGChristianDopplerForschungsgesellschaft 43
SiemensAGÖsterreich TUWien 35
voestalpineAG TUWien 33
voestalpineAG CDGChristianDopplerForschungsgesellschaft 33
voestalpineAG JKUJohannesKeplerUniversitätLinz 23
AMAGAustriaMetallAG MontanuniversitätLeoben 22
ISSUE 45 | MARCH 201814
werdenkönnen.
LITERATURVERZEICHNISD’este, Pablo und Markus Perkmann (2011):Whydoacademicsen-gage with industry? The entrepreneurial university and individual mo-tivations.TheJournalofTechnologyTransfer36,no.3(2011):316-339.URL: http://www.crossingboundaries.eu/wp-content/uploads/2014/02/DEste-Perkmann-2011.pdf
Lampert, Dietmar et al.(2017):KopublikationsanalyseWissenschaft&Wirtschaft2009-2014.URL:www.zsi.at/de/object/news/4555
Lehmann, Erik E. und Matthias Menter (2015): Uni-versity–industry collaboration and regional wealthURL: https://www.researchgate.net/profile/Erik_Lehmann/publica-tion/284103643_University-industry_collaboration_and_regional_wealth/links/56939f0908aec14fa55ebade/University-industry-collabora-tion-and-regional-wealth.pdf
Perkmann, Markus, Andy Neely und Kathryn Walsh (2011): Howshould firms evaluate success in university–industry alliances? A per-formance measurement system. R&D Management 41, Nr. 2 (2011):202-216
Ponds, Roderik, Frank van Oort und Koen Frenken(2010): Innovation, spillovers and university–industry colla-boration: an extended knowledge production function ap-proach. Journal of Economic Geography 10 (2010): 231-255URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.947.5371&rep=rep1&type=pdf
Skute, Igors, Kasia Zalewska-Kurek, Isabella Hatak und Pe-tra de Weerd-Nederhof (2017): Mapping the field: a bibliomet-ric analysis of the literature on university–industry collaborations.URL:https://ris.utwente.nl/ws/files/18449130/mapping_the_field.pdf
AUTORDIETMAR LAMPERTZSI – Zentrum für Soziale Innovation, Wien (AT)LinkeWienzeile246,1150Wien
E:[email protected]:+4314950442
KEYWORDS/SCHLAGWORTE
Austrian science-industry collaboration, bibliometrics, co-publicationanalysis,studyresultsZusammenarbeitderösterreichischenWissenschaftundWirtschaft,Bi-bliometrie,Kopublikationsanalyse,Studienergebnisse
Wirtschaft-Kopublikationen innerhalb Österreichs (also zwischen derösterreichischenWissenschaftundinÖsterreichansässigenprivatwirt-schaftlichenUnternehmen)zuzurechnen.
AuffallendistdesWeiteren,dassderAnteilderWissenschafts-Wirt-schaft-Kopublikationen innerhalb Österreichs laufend steigt. WährenderimJahr2009nur1.2%anderGesamtzahlderPublikationenmitös-terreichischenAutorinnenbzw.Autorenausmachte,beträgtseinAnteilim Jahr 2014 1,5 %, wobei zwischendurch eine leichte Stagnation zuverzeichnenwar.DieAnteilssteigerungistdennochhöheralsdieSteige-rung des Gesamtpublikationsoutputs österreichischer Autorinnen bzw.AutorenimselbenZeitraum.DieskannalsAusdruckeinerzunehmendenWissenschaftsfundierungderAktivitätenösterreichischerTechnologie-unternehmeninterpretiertwerden.
InBezugaufdieEinordnungderStudienergebnisse indenKontextder österreichischen Forschung, Technologie und Innovation (FTI) imeuropäischenVergleichlässtsichausdemEuropeanInnovationScore-boardinBezugauf‚Public-privateco-publicationspermillionpopulation‘feststellen,dassdieser–anderBevölkerungszahlnormierte–IndikatorfürÖsterreicheinendeutlichhöherenWertaufweistalsfürdeneuropäi-schenDurchschnitt(sieheTabelle10).ErliegtetwazwischenjenemvonBelgienundDeutschlandundwirdimEISals‚relativestrengthforAust-ria‘bezeichnet.EristjedochdeutlichgeringeralsderVergleichswertan-dererFTI-intensivereuropäischerLänder, insbesonderedenLänderninderGruppedersog.„innovationleader“.DieseweisenteilweisedoppeltsohoheWertewieÖsterreichauf(DänemarkundSchweden).
Tabelle 10:Public-privateco-publicationspermillionpopulation,2009-2014(indicator3.2.2oftheEIS)
Public-private co-publications per million population
EUMS 2009 2010 2011 2012 2013 2014
EU28 37.0 39.8 42.4 38.9 38.1 36.9
AT 59.4 64.7 66.9 62.4 60.5 67.6
BE 63.7 68.2 74.6 70.4 76.2 71.7
DE 54.6 57.1 61.9 58.0 57.6 55.6
DK 137.0 167.5 172.6 159.1 156.0 165.3
FI 91.2 88.4 89.5 84.1 82.2 85.1
NL 89.0 103.5 112.2 99.8 97.4 93.8
SE 116.2 118.9 126.9 118.4 115.8 113.6
DiehierpräsentiertenErgebnissezeigeneineAusweitungderKolla-borationderWissenschaftundWirtschafthinsichtlichgemeinsamver-fassterPublikationen.DennochsindsielediglicheineMomentaufnahmeundeswirdweiterhinbeobachtetwerdenmüssen,wiesichderenEnt-wicklung gestaltet, insbesondere auf nationaler Ebene um festzustel-len,obdievermerkteStagnationnurtemporäroderpermanentist.DieinternationalenKollaborationmitEUUnternehmenzeigenetwasmehrDynamik,wobeiesabzuwartengilt,obdiesedengeringerenFallzahlengeschuldetistoderessichtatsächlichumeinAufwärtstrendhandelt.
Wieeingangserwähnt,könnenpositiveEffekteinderKollaborationzwischenderWissenschaftundWirtschaftverortetwerden.Imnationa-lenaberauchregionalen(subnationalen)FTI-Kontextgiltesfestzulegen,welchenStellenwertdieAnalysedieserDimensionderKollaborations-beziehungen Wissenschaft-Wirtschaft in Evaluationsvorhaben einneh-mensoll,welcheErkenntnisse sie zuTage fördernkann,wiediese zuinterpretierensindundzurVerfeinerungvonStrategienherangezogen
15ISSUE 45 | MARCH 2018
Qualitätssicherungseinrichtungen Österreichischer Akkreditierungsrat(ÖAR),ÖsterreichischerFachhochschulrat(FHR)undÖsterreichischeQua-litätssicherungsagentur(AQA)geschaffen(vgl.Kohler2013:60).
GemäßdemgesetzlichenAuftragistdieAQAustriafürdieQualitäts-sicherungimgesamtenösterreichischenHochschulsektor(mitAusnahmederPädagogischenHochschulen) zuständig. In ihrerTätigkeitorientiertsichdieAQAustriaandemgrundlegendenPrinzip,dassHochschulendieHauptverantwortungfürdieQualitätinall ihrenLeistungsbereichenso-wiefürdieQualitätssicherungund-entwicklungtragen,undsieverstehtdemnachihreVerfahrenalsErgänzungzurhochschulinternenQualitäts-sicherung.IhreVerfahrenunddenBegutachtungsprozessrichtetdieAQAustriasomitandenselbstgestecktenZieleneinerHochschuleaus(vgl.Hopbach2017:4ff).
UmalsPrivatuniversitätinÖsterreichtätigzusein,bedarfesgemäߧ2Abs1Privatuniversitätengesetz(PUG)3einerAkkreditierungdurchdieAQAustriaalsVoraussetzungfürdiestaatlicheAnerkennung.MitderAk-kreditierungbescheinigtdieAQAustriadenHochschulendieErfüllungderAkkreditierungsvoraussetzungen.DieErstakkreditierungbeziehtsichsowohl auf die Institution selbst als auch auf die zu diesem ZeitpunktbeantragtenStudien.MitdemAkkreditierungsbescheidwirddieGeneh-migungalsPrivatuniversitätfürdieDauervonsechsJahrenerteilt,wasbedeutet,dasssichPrivatuniversitätenallesechsJahrereakkreditierenlassenmüssen.4DieVerlängerungderAkkreditierungbeziehtallezudie-semZeitpunktakkreditiertenStudienmitein.ImUnterschiedzurerstma-ligenAkkreditierungkanndieAQAustriadieVerlängerungderAkkredi-tierungauchunterAuflagenaussprechen.ZwischenzeitlicheingerichteteStudien, so auch Doktoratsstudien, unterliegen ebenfalls ex ante einerAkkreditierungspflicht.SomitmussanösterreichischenPrivatuniversitä-tenjedesDoktoratsstudiumvorEinrichtungakkreditiertwerdenundnurinakkreditiertenDoktoratsstudienmitfestgelegtencurricularenAnteilensindPrivatuniversitätenberechtigt,einenDoktorgradzuverleihen.Inso-fernsindDoktoratsstudienanösterreichischenPrivatuniversitätenmehr
ABSTRACT
IndiesemArtikelwirddieAkkreditierungvonDoktoratsstudienanPri-vatuniversitäteninÖsterreichthematisiert,diealszentraleVorausset-zungeinetabliertesForschungsumfeldvorsiehtunddamitaucheine
EvaluierungdesmitdemDoktoratsstudiuminZusammenhangstehendenForschungsumfeldsumfasst.EinleitendwerdendiefürdieAkkreditierungvon Doktoratsstudien relevanten gesetzlichen Rahmenbedingungen er-läutert.NacheinerDarstellungdermethodischenVerfahrensgrundsätzeundderAkkreditierungsvoraussetzungenfokussiertderArtikelaufdasfürDoktoratsstudienspezifischePrüfkriteriumzumForschungsumfeld.DabeiwirdaufBasiseinerAnalysederbereitsakkreditiertenDoktoratsstudiengezeigt, dassesnachAkkreditierungalsPrivatuniversitätdurchschnitt-lich ca. zehnJahredauert, bis sichein Forschungsumfeld für einDok-toratsstudiumetablierthatunddiesesStudium–beiEinreichungeinesAkkreditierungsantrags–akkreditiertwird.Abschließendwerdenmögli-cheÄnderungsaspekteinHinblickaufdieVerfahrensweiterentwicklungaufgezeigt.
GESETZLICHE RAHMENBEDINGUNGEN
Durch das Inkrafttreten des Hochschul-Qualitätssicherungsgesetzes(HS-QSG)1imJahr2012,dasaufderGrundlagedesQualitätssicherungs-rahmengesetzes2 entwickelt wurde, kam es zu einer Neuordnung derexternenQualitätssicherungimösterreichischenHochschulsektor,wovonnebenöffentlichenUniversitätenundFachhochschulenauchPrivatuni-versitätenbetroffenwaren.AufderGrundlagedesHS-QSGwurdeauchdiesektorenübergreifende,unabhängigeAgenturfürQualitätssicherungundAkkreditierungAustria(AQAustria)durchdieFusionierungderdrei
EVAMARIAFREIBERGER
EINETABLIERTESFORSCHUNGSUMFELDALSVORAUSSETZUNGZURAKKREDITIERUNGVONDOKTORATSSTUDIENANÖSTERREICHISCHENPRIVATUNIVERSITÄTEN
1 BundesgesetzüberdieexterneQualitätssicherungimHochschulwesenunddieAgenturfürQualitätssicherungundAkkreditierungAustria(Hochschul-Qualitätssicherungsgesetz–HS-QSG),BGBlI74/2011.
2 Bundesgesetz,mitdemeinGesetzüberdieexterneQualitätssicherungimHochschulwesenunddieAgenturfürQualitätssicherungundAkkreditierungAustria(Hochschul-Qualitätssicherungsgesetz–HS-QSG)undeinBundesgesetzüberPrivatuniversitäten(Privatuniversitätengesetz–PUG)erlassenwerdensowiedasFachhochschul-Studiengesetz(FHStG),dasBildungsdokumentationsgesetz,dasGesundheits-undKrankenpflegegesetz,dasHeb-ammengesetzunddasMTD-Gesetzgeändertwerden(Qualitätssicherungsrahmengesetz–QSRG),BGBlI74/2011.
3 BundesgesetzüberPrivatuniversitäten(Privatuniversitätengesetz–PUG),BGBlI74/2011.4 Gemäߧ24Abs10HS-QSGkannnacheinerununterbrochenenAkkreditierungsdauervonzwölfJahrendieAkkreditierungfürzwölfJahreerfolgen.
ISSUE 45 | MARCH 201816
kreditierungdesStudiumsbeiderAQAustriaeinreichen,derdieErfül-lung der Akkreditierungsvoraussetzungen dokumentiert. Nachdem dieAQAustriadenAntragaufseineVollständigkeitundBegutachtungsfä-higkeitüberprüftundgegebenenfallseinenVerbesserungsauftragerteilthat,bestelltdasBoardderAQAustria7Gutachter/innen,diedasKonzeptfürdasDoktoratsstudiumbegutachten.Hierfür führtdieAQAustria imRegelfall einenVor-Ort-Besuchdurch, indemdieGutachter/innensichinGesprächenmitVertreter/inne/nderantragstellendenEinrichtungvonderErfüllungderAkkreditierungsvoraussetzungenundderQualitätderHochschulebzw.desStudiumsüberzeugen.NachdemVor-Ort-Besuchfertigen die Gutachter/innen ein gemeinsames Gutachten an, das zu-sammenmiteinerStellungnahmederAntragstellerinGrundlagefürdieAkkreditierungsentscheidungdurchdasEntscheidungsgremiumderAQAustria,dasBoard,ist.InseinerEntscheidungistdasBoardweisungsfreiundunabhängig.NachderGenehmigungdesAkkreditierungsbescheidsdurch den/die zuständige/n Minister/in veröffentlicht die AQ AustriaeinenErgebnisbericht,derdieEntscheidungsamtBegründungunddasGutachten,gegebenenfallsauchdieStellungnahme,umfasst(vgl.Abbil-dung1).
mitstrukturiertenDoktoratsprogrammenalsmiteiner individuellenPro-motionvergleichbar.5ImUnterschiedzuDeutschlandistinÖsterreichdieVerleihungdesPromotionsrechtsanPrivatuniversitätendurchdenStaatgesetzlich nicht möglich. In Deutschland werden durch die VerleihungdesPromotionsrechtsPromotionsordnungennichtstaatlicherHochschu-lengrößtenteilsstaatlicherSteuerungentzogenundfallenindieakade-mischeSelbstverwaltung(vgl.WR2009:9).
FürdieDurchführungderAkkreditierungsverfahrenhatdieAQAustria(2015a)inderPrivatuniversitäten-Akkreditierungsverordnung(PU-AkkVO)verbindliche Verfahrensregeln und Entscheidungskriterien festgelegt.Diese entsprechen den Grundsätzen der Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG2015).Da-mitsichertdieAQAustriadieinternationaleAnerkennungdesösterrei-chischenQualitätssicherungssystemsundunterstütztdie internationaleAnerkennungderHochschulenbzw.Studien.DadieAQAustriainAkkre-ditierungsverfahrenbehördlichtätig ist,werdenaußerdemdieösterrei-chischenVerwaltungsverfahrensvorschriften6beachtet.
Will eine Rechtsträgerin einer österreichischen Privatuniversität einDoktoratsstudiumeinrichten,mussdiesezunächsteinenAntragaufAk-
5 StrukturierteDoktoratsprogrammezeichnensichimUnterschiedzurindividuellenPromotiondadurchaus,dasssieineinerForschungsgruppeodereinerDoktoratsschuleangesiedeltsindundzweiPhasenumfassen,einePhase,dieausvorgesehenenLehrveranstaltungenbzw.Modulenbesteht,undeineForschungsphase(vgl.EUA2005a:13).
6 AllgemeinesVerwaltungsverfahrensgesetz1991–AVG,BGBl51/1991.7 DasBoardderAQAustriaistdasEntscheidungsgremiumundbestehtaus14Mitgliedern.AchtMitgliedersindExpert/inn/enausdemBereichdes
HochschulwesensundverfügenüberwissenschaftlicheQualifikationundErfahrungimBereichderQualitätssicherung.MindestensdieHälftedieserMitgliedermüssenzudemausländischeVertreter/innensein.ZweiMitgliederdesBoardssindausdemKreisderVertreter/innenderStudierenden,davoneine/rausdemAusland,undvierMitgliederausdemBereichderBerufspraxismitKenntnissendesnationalenundinternationalenHochschul-wesens,ErfahrunginfürHochschulenrelevantenBerufsfeldernundUrteilsfähigkeitüberAngelegenheitenderQualitätssicherung.
Prüfung des Antrags auf Vollständigkeit & formale RichtigkeitAntrag auf Akkreditierung
Ggf. Verbesserung des Antrags
Vor-Ort-Besuch
Stellungnahme Gutachten
Akkreditierungsentscheidung durch das Board AQ Austria
Akkreditierungsbescheid (Änderungsbescheid)
Veröffentlichung des Verfahrensergebnisses
Hochschule AQ Austria
Vorlage begutachtungsfähiger Antrag
Entscheidung über Verfahrensart
Beschluss Gutachter/ innenStellungnahme zu Gutachter/ innen
Zahlungsverpflichtung Verfahrenspauschale
Vorlage Gutachten
Genehmigung durch BMWFW
Website AQ Austria
Website Hochschule
Keine Änderungen mehr möglich
Abbildung 1:AblaufvonAkkreditierungsverfahren
17ISSUE 45 | MARCH 2018
third cycle programmes both as students and as early stage researchers.” (BergenCommuniqué2005:4)
InVorbereitungaufdasTreffeninBergenwurdendieTen Salzburg Basic Principles (EUA 2005b) erarbeitet und im Jahr 2010 durch dieSalzburg II Recommendations (EUA 2010) ergänzt. Eine der wesent-lichen Empfehlungen der Salzburg II Recommendations ist jene derkritischen Masse: „Doctoral education is dependent on the research environment. Institutions must develop a critical mass and diversity of research in order to offer high quality doctoral education. Critical mass does not necessarily mean a large number of researchers, but rather the quality of research.”
InHinblickaufdenEuropäischenForschungsraumwurdenvonseitenderEuropäischenKommissionimJahr2011diePrinciples for Innovative Doctoral Training (EC2011b)aufderGrundlagedesReport of Mapping Exercise on Doctoral Training in Europe (EC 2011a) verabschiedet. TeilderEmpfehlungenistdieForderungeinesForschungsumfelds,dassichdurch eine kritische Masse sowie durch Kooperations- bzw. Vernet-zungsmöglichkeitenfürDoktorand/inn/enauszeichnet.
Aufgrund des Forschungsbezugs von Doktoratsstudien sind in Ak-kreditierungsverfahren andere Voraussetzungen für den dritten Studi-enzykluserforderlichalsfürdenerstenundzweitenZyklus:„Enabling a doctoral candidate to produce original knowledge requires a different kind of environment to the environments that enable students to understand and apply knowledge.”(EUA2013:43)
AufBasisderobengenanntenEmpfehlungenwurdensomitfürdieAkkreditierungvonDoktoratsstudienanPrivatuniversitäteninÖsterreichspezielle Akkreditierungsvoraussetzungen entwickelt. Eine gesonderteRichtlinie für die Akkreditierung von Doktoratsstudien wurde bereitsvonder fürPrivatuniversitäten zuständigenVorgängerorganisationderAQAustria,demÖAR,imJahr2008erstmalsbeschlossenundimJahr2011 geringfügig geändert. Diese Anforderungen wurden größtenteilsfür die Privatuniversitäten-Akkreditierungsverordnung 2012 und 2013derimJahr2012neueingerichtetenAQAustriaübernommen.MitderÜberarbeitungderVerordnungimJahr2015wurdedaszusätzlichePrüf-kriterium fürDoktoratsstudien (§17Abs1 lit oPU-AkkVO)umstruktu-riert,dieinhaltlichenAnforderungenbliebenweitgehenderhalten(vgl.AQAustria2015a).
ANFORDERUNGEN AN DAS FORSCHUNGSUMFELD
FürdieAkkreditierungvonDoktoratsstudiengeltenzusätzlichzujenenPrüfkriteriengemäߧ17PU-AkkVO,dieauchfürBachelor-undMaster-studiengelten,folgendeKriterien:
• An der Institution besteht ein etabliertes Forschungsumfeld.Diesessetztinsbesonderevoraus:° DasfürdieDurchführungdesStudiumsunddieBetreuung
derDoktorand/inn/envorgesehenePersonal¡ ist dem Profil des Doktoratsstudiums entsprechendausreichendwissenschaftlichbzw. künstlerisch fachlichdurch Habilitation oder habilitationsäquivalente Qualifi-kationqualifiziert,
¡ weistdemProfilderStudienentsprechende,durchPubli-kationenoderDrittmittelprojektenachgewieseneaktuelleForschungsaktivitätenanderHochschulenach,
Gutachter/innen-Gruppen in Verfahren zur Akkreditierung vonStudien bestehen inderRegel ausdrei bis vierMitgliedern, die wis-senschaftliche bzw. berufspraktische Qualifikationen sowie studenti-sche Erfahrung aufweisen, wobei die Erfordernisse auf den Einzelfallbzw. den jeweiligen Antragsgegenstand abgestimmt werden. Im FallvonDoktoratsstudienwirddaherdaraufgeachtet,dass inGutachter/innen-Gruppen zumindest zweiderGutachter/innenausreichendwis-senschaftlicheQualifikationimFachbereichwieHabilitationbzw.habi-litationsäquivalenteQualifikation,facheinschlägigeForschungsleistun-gen sowie Erfahrung in der Betreuung von Doktorand/inn/en und inderEntwicklung,Durchführungbzw.EvaluierungvonDoktoratsstudienaufweisen.AußerdemachtetdasBoardderAQAustriabeiderZusam-mensetzungderjeweiligenGutachter/innen-GruppeaufDiversität,wiez.B.Geschlechterausgewogenheit.
FüreineAkkreditierungvonStudienanPrivatuniversitätensinddieAkkreditierungsvoraussetzungengemäߧ24HS-QSGund§2PUGiVm§§16fPU-AkkVOzuerfüllen.InderPU-AkkVOsindnebendenVerfah-rensgrundsätzen die gemäß § 24 HS-QSG festgelegten PrüfbereicheanhandvonPrüfkriteriennäherdefiniert,derenErfüllungdieGutachter/-innen in ihrem Gutachten bewerten. Die Prüfbereiche für Studien, soauch Doktoratsstudien, umfassen (1) Studiengang und Studiengangs-management,(2)Personal,(3)Qualitätssicherung,(4)FinanzierungundInfrastruktur, (5) Forschung und Entwicklung sowie (6) Nationale undinternationaleKooperationen.
Gemäß den im PUG festgelegten AkkreditierungsvoraussetzungenmüssenStudienplänemateriellen,fachlichenundformalenAnforderun-gen nach internationalen Standards entsprechen. Die AntragstellerinmussaußerdemfürForschungundLehreindenfürdiedurchzuführen-den Studien wesentlichen Fächern ein dem internationalen Standardentsprechendes, wissenschaftliches oder künstlerisch ausgewiese-nes Lehr- und Forschungspersonal verpflichten sowie über die für dieStudien erforderliche Raum- und Sachausstattung verfügen. WeitersmussdiePrivatuniversitätgemäߧ2Abs2PUGihreTätigkeitenanbe-stimmtenGrundsätzenwiederFreiheitderWissenschaftundLehre,derFreiheit des künstlerischen Schaffens, der Vermittlung von Kunst undihrerLehre,derVerbindungvonForschungundLehresowiederVielfaltwissenschaftlicherundkünstlerischerTheorien,MethodenundLehrmei-nungenorientieren.
DOKTORATSSTUDIEN IM BOLOGNA PROZESS
MitdemBerlinCommuniqué(2003)wurdenDoktoratsstudienalsso-genannterdritterZyklusindieBologna-Reformintegriert.SiestellendieVerbindungzwischendemEuropäischenHochschulraum(EHR)unddemEuropäischenForschungsraum(EFR)herundbildendieforschungsbezo-geneStudienphasedesBolognaProzesses.ImJahr2005einigtensichdiefürHochschulbildungzuständigeneuropäischenMinister/innenbeiihremTreffeninBergenaufKernelementefürDoktoratsstudieninEuro-pa,dienachwievorgültigsindundimLaufederZeitweiterentwickeltwurden. Eines der wesentlichen Kernelemente davon ist, dass Dokto-ratsstudiendenAspektderoriginärenForschungsleistungunddieStu-dierendenalssogenannteearlystageresearchersindenMittelpunktrü-ckensollen:„The core component of doctoral training is the advancement of knowledge through original research. […] We consider participants in
ISSUE 45 | MARCH 201818
tätendurchnicht-deutschsprachigePublikationen,Publikationenaußer-halbdeseigenenFachgebiets,interdisziplinäreundinternationaleKoope-rationen,DisseminationsaktivitätensowieWissenschaft-Praxistransfer.
EinForschungsumfeldbenötigtnachAuffassungdesBoardsaucheinekritischeGröße,umeineVielfaltanmethodischenundthematischenHer-angehensweisenzugewährleisten.DiesemethodischeundthematischeBreiteistvonzentralerBedeutung,daeinDoktoratsstudiumdenDokto-rand/inn/en ermöglichen soll, sich mit unterschiedlichen theoretischenund methodischen Konzepten und Forschungstraditionen auseinander-zusetzen.ObeinekritischeMasseanForschung imrelevantenFachbe-reichvorhandenist,wirddaherimZugevonAkkreditierungsverfahrenzuDoktoratsstudienebensoevaluiert.DieDiversitätdesForschungsumfeldssollzukünftigenDoktorand/inn/enderPrivatuniversitäteineregelmäßigeundkontinuierlicheReflexion,einekritischeDiskussiondereigenenFor-schungermöglichenundeineVielfaltderErkenntnispraxisgewährleisten.
WesentlichistausSichtdesBoardsderAQAustriaauch,dassRaumfür formellen und informellen Austausch zwischen den Nachwuchsfor-schendenunddenForschendenvorgesehenist,uminhaltliche,methodi-sche,aberauchorganisatorischeFragendiskutierenundersteErgebnis-sepräsentierenzukönnen.DamitdieserAustauschgelebtwerdenkann,muss ein intensiver Kontakt der Doktorand/inn/en mit den Forscher/-inne/n ermöglicht werden. Dies findet sich unter dem Schlagwort„Creating Space for Dialogue“ in den aktuellen Empfehlungen derEUA(2016)zurDoktoratsausbildung.
Auf institutioneller Ebene wird ein Forschungsumfeld nach Auffas-sungdesBoardsderAQAustriadurchWertschätzungundUnterstützungvonForschunggefördert.DieskannunteranderemdurchdieVeranke-rungeinesentsprechendenParagraphenmitBekenntnis zurForschungin der Satzung und den Zielen der Privatuniversität geschehen. EinelängerfristigeForschungsstrategiederInstitutionbzw.derOrganisations-einheitgehörtebensozueinemForschungsumfeldwiediestrukturierteUnterstützungdesForschungsaustauschs,beispielsweisedurchdieOr-ganisationvonTagungen.EinetabliertesForschungsumfeldzeichnetsichsomitnachAuffassungdesBoardsderAQAustrianichtnurdurcheineGruppehervorragenderWissenschaftler/innenaus,sondernauchdurcheine gemeinsame Forschungskultur und eine längerfristige PerspektivederForschungsaktivitäten.
Eine solide Finanzierung und adäquate Infrastruktur sind aus SichtdesBoardsderAQAustriaeinewesentlicheGrundvoraussetzung,dasssicheinForschungsumfeldetablierenkann.Außerdemwird inAkkredi-
¡ hatzumindestteilweiseErfahrunginderBetreuungvonDoktorand/inn/en.DieBetreuungvonDoktorand/inn/ensetzt jedenfalls die volle Lehrbefugnis für das wissen-schaftlichebzw.künstlerischeFachvoraus,
¡ besitzt neben Lehr- und Verwaltungstätigkeiten ausrei-chend Kapazität für Forschungstätigkeit und BetreuungvonDoktorand/inn/en.AlsRichtwert füreineangemes-seneBetreuungsrelationistvon8Doktorand/inn/enproBetreuer/inauszugehen.
• EsgewährleistetaußerdemeinenintensivenKontaktderDok-torand/inn/en mit dem aktiv forschenden wissenschaftlichenbzw.künstlerischenPersonalsowiedieMöglichkeitzur inner-undaußeruniversitärenKooperation.
• BeiinterdisziplinärkonzipiertenDoktoratsstudienistinallenbe-teiligtenFachbereichenwissenschaftlichesbzw.künstlerischesPersonalmitausreichenderQualifikationvorhanden.
• DasDoktoratsstudiumweisteineMindeststudiendauervondreiJahrenauf.(AQAustria2015a:§17Abs1litoPU-AkkVO)
Im Jahr 2015 verabschiedete das Board der AQ Austria auch eineHandreichungzurAuslegungvon§17Abs1litoPU-AkkVO,umAntrag-stellerinnenundGutachter/inne/neineOrientierungshilfefürdieAnwen-dungdesKriteriumszurVerfügungzustellen(vgl.AQAustria2015b).DieHandreichungdientdertieferenErörterungdesKriteriums.
SieistvondemGedankengetragen,dassLeistungeninWissenschaftundForschungdisziplinärunterschiedlicheAusprägungenhabenkönnenund sich ein etabliertes Forschungsumfeld insbesondere dadurch aus-zeichnet, dass eine Hochschule Rahmenbedingungen und StrukturenzurVerfügungstellt,dieWissenschaftler/innenaktivbeiihrerForschungunterstützen. Diese können in Anbetracht unterschiedlicher Disziplinenunterschiedlichausfallen,weshalbinderAkkreditierungsverordnungkei-nespezifischenquantitativenAnforderungenandasForschungsumfeldeinerPrivatuniversitätfestgelegtwurden(mitAusnahmedesRichtwertszur Betreuungsrelation). Das Akkreditierungsverfahren entspricht somitauchderEmpfehlungderEuropeanUniversityAssociation (EUA2010),dass die wissenschaftliche Qualität der Doktoratsausbildung auf BasisvonPeerReview-VerfahrenbeurteiltwerdensollunddisziplinäreUnter-schiedeberücksichtigtwerdensollen.
AufBasisderobengenanntenEmpfehlungen fürdieDoktoratsaus-bildung im Europäischen Hochschul- und Forschungsraum vertritt dasBoard der AQ Austria die Ansicht, dass in der Qualitätssicherung vonDoktoratsstudiendreiAspektevonbesondererBedeutungsind:dieQua-lifikationdesPersonals,einekritischeGrößeundDiversitätderForschungsowie die institutionelle Infrastruktur (vgl. Abbildung 2). Diese PositionwirdauchvonderEUA(2013:42)vertreten:„ […] quality assurance in doctoral education must use processes that take point of departure in the specific needs of doctoral education. These processes must ensure that the necessary research capacity is at hand, that the research environment is inclusive and inspiring and that supervision is adequate.”
DieQualifikationdesfürdieBetreuungderDoktorand/inn/envorge-sehenenPersonalslässtsichinAkkreditierungsverfahreneinerseitsdurchformaleRegelungen,wiez.B.dieHabilitationoderHabilitationsäquiva-lenz betreffend Berufungen, begutachten, aber auch durch die Evalu-ierung der Forschungsleistung, unter anderem durch eine Analyse derPublikationsleistungen,dereingeworbenensowieeigenfinanziertenFor-schungsprojekte,derKonferenzteilnahmenundderKooperationen.VonBedeutungistfürdasBoardauchdieAusstrahlungderForschungsaktivi-
Doktorats- studium
Qualifikation
Kritische Größe
Infrastruktur
Abbildung 2:Forschungsumfeld
19ISSUE 45 | MARCH 2018
kann sich diese Evaluierung des Forschungsumfelds auf das jeweiligeInstitutodereinenbestimmtenTeilbereichdessen,dieFakultätoderdiegesamtePrivatuniversitätbeziehen.
DIE ETABLIERUNG EINES FORSCHUNGSUMFELDS AN PRIVATUNIVERSITÄTEN
Wie in Tabelle 1 dargestellt, gibt es derzeit 19 akkreditierte Dokto-ratsstudienansiebenvoninsgesamt13PrivatuniversitäteninÖsterreich.8DieseDoktoratsstudiensindinunterschiedlichenFachgebietenangesie-delt.Sowerdengesundheitswissenschaftliche,kulturwissenschaftliche,technischeundsozial-bzw.wirtschaftswissenschaftlicheDoktoratsstudi-enanPrivatuniversitätenangeboten.
Sechs der in Tabelle 1 dargestellten Doktoratsstudien wurden inden ersten vier Akkreditierungsjahren der jeweiligen Privatuniversitätakkreditiert,alleanderenStudienerstimbzw.nachdemfünftenAkkre-ditierungsjahr. Der frühe Akkreditierungszeitpunkt dieser sechs Dokto-
tierungsverfahrenzuDoktoratsstudienauchberücksichtigt,obeineklareRegelung der Verteilung der Arbeitszeit für Lehre, Forschung und aka-demischeSelbstverwaltungvorgesehenist,wobeiForschungundLehregleichgewichtetseinsollten.EineBasisfinanzierungkannauchpunktu-elleMaßnahmen,wiez.B.dieMöglichkeitzuForschungsfreisemesternoderdieFinanzierungkleinererProjekte,die innerhalbderPrivatuniver-sitätkompetitivvergebenwerden,umfassen.DamitForschungsaktivitä-tennachhaltigsindundlängerfristigverfolgtwerdenkönnen,solltensienichtausschließlichaufdieFinanzierungdurchDritteangewiesensein.Daher,wirdauchberücksichtigt,obdieInstitutionbeispielsweisedurchMittel zurAnbahnungvonForschungsprojektenoderzurÜberbrückungzwischenProjektengezieltForschendefördert.DieseAspektefindensichunterdemSchlagwort„Building Research Capacity“ indenEmpfehlun-genderEUA(2016).
Somit isteinwesentlicherBestandteilvonAkkreditierungsverfahrenzu Doktoratsstudien die Evaluierung des jeweiligen Forschungsumfeldsmittels Peer Review, weshalb das Akkreditierungsverfahren in diesemAspektmehreinerForschungsevaluierunggleichtalsAkkreditierungsver-fahrenvonBachelor-undMasterstudien (vgl.MWK2009:2f).JenachBreitedesjeweiligenzurAkkreditierungbeantragtenDoktoratsstudiums
Bezeichnung der Privatuniversität Akkreditierung als Privatuniversität
Bezeichnung des Doktoratsstudiums Akkreditierung des Doktoratsstudiums
DanubePrivateUniversity 2009 Zahnmedizin 2017
KatholischePrivatuniversitätLinz 2000 DoktoratsstudiumKatholischeTheologie 2000
Kunstwissenschaft-Philosophie 2006
AdvancedTheologicalStudies 2017
MODULUniversityViennaPrivatuniversität 2007 DoctorofPhilosophyinBusinessandSocioeconomicSciences
2012
ParacelsusMedizinischePrivatuniversität 2002 MolekulareMedizin 2002
MedizinischeWissenschaft(auslaufendesStudium) 2007
MedizinischeWissenschaft(neuerStudienplan) 2014
Nursing&AlliedHealthSciences 2014
PrivateUniversitätfürGesundheitswissenschaften,MedizinischeInformatikundTechnik
2001 *MedizinischeInformatik9 2001
*Gesundheitswissenschaften 2003
*Pflegewissenschaft 2005
TechnischeWissenschaften 2009
Gesundheitsinformationssysteme 2011
HealthTechnologyAssessment 2011
ManagementundÖkonomieimGesundheitswesen 2011
Pflegewissenschaft(neuerStudienplan) 2011
Psychologie 2011
PublicHealth 2011
Sportmedizin,GesundheitstourismusundFreizeitwissenschaften
2011
PrivatuniversitätSchlossSeeburg 2007 InnovationandCreativityManagement 2017
SigmundFreudPrivatuniversität 2005 Psychotherapiewissenschaft 2007
8 DreiweitereDoktoratsstudienwurdenvoreinigerZeitakkreditiert,derenAkkreditierungistjedochnichtmehraufrecht(vgl.Tabelle1).9 *Nichtmehrakkreditiert(vgl.Fußnote8).
Tabelle 1:AkkreditierteDoktoratsstudienanösterreichischenPrivatuniversitäten(Stand:31.08.2017)
ISSUE 45 | MARCH 201820
Doktoratsstudium unmittelbar bei den unterschiedlichen Prüfbereichenzu verankern und die gesamten Prüfkriterien für Doktoratsstudien ge-trenntvondenPrüfkriterienfürandereStudieninderAkkreditierungsver-ordnungabzubilden.DieswürdeauchzueinerbesserenSichtbarkeitderAnforderungenanDoktoratsstudienbeitragen.
Unabhängig von Darstellungs- bzw. Abbildungsfragen sind in derVerfahrensweiterentwicklungangesichtsderzwischenzeitlichstattgefun-denenWeiterentwicklungderStandardsvonDoktoratsstudienimEuro-päischen Hochschulraum (vgl. z. B. HSK 2015, UNIKO 2015, WR 2011)beispielweisedieAnforderungenandieZulassung,dieBetreuungundBegutachtung der Dissertation sowie die Vermittlung von transferableskillsbzw.generischerKompetenzenfüreinenerweitertenArbeitsmarktzudiskutierenunddieResultategegebenenfallsnebeneinemetabliertenForschungsumfeldalsAkkreditierungsvoraussetzungenindiesichderzeitinAusarbeitungbefindlichePU-AkkVO2018aufzunehmen.
LITERATUR Agentur für Qualitätssicherung und Akkreditierung Austria (AQAus-tria2015a):Privatuniversitäten-Akkreditierungsverordnung,beschlosseninder27.SitzungdesBoardsderAQAustriaam28.Mai2015.Verfügbarunter: https://www.aq.ac.at/de/akkreditierung/dokumente-verfahren-pu/PU_AkkVO-2015.pdf?m=1446128900,Zugriffam31.08.2017.
Agentur für Qualitätssicherung und Akkreditierung Austria(AQAus-tria 2015b): Handreichung zur Auslegung von § 17 (1) lit o PU-AkkVO(Anforderungen an das Forschungsumfeld bei Doktoratsstudien),01.07.2015.Verfügbarunter:https://www.aq.ac.at/de/ueber-uns/doku-mente-ueber-uns/Handreichung_Forschungsumfeld_Doktoratsstudien-gaenge.pdf?m=1450437550,Zugriffam31.08.2017.
Bergen Communiqué (2005): The European Higher Education Area– Achieving the Goals. Communiqué of the Conference of EuropeanMinistersResponsible forHigherEducation,Bergen,19-20May2005.Verfügbar unter: http://media.ehea.info/file/2005_Bergen/52/0/2005_Bergen_Communique_english_580520.pdf,Zugriffam31.08.2017.
Berlin Communiqué (2003):Realising theEuropeanHigherEducationArea.CommuniquéoftheConferenceofMinistersResponsibleforHigh-erEducationinBerlinon19September2003.Verfügbarunter:https://media.ehea.info/file/2003_Berlin/28/4/2003_Berlin_Communique_English_577284.pdf,Zugriffam31.08.2017.
ESG(2015):StandardsandGuidelinesforQualityAssuranceintheEuro-peanHigherEducationArea.Brussels,Belgium.Verfügbarunter:http://www.enqa.eu/wp-content/uploads/2015/11/ESG_2015.pdf, Zugriff am31.08.2017.
European Commission (EC 2011a): Report of Mapping Exercise onDoctoralTraining inEurope.“TowardsaCommonApproach”.27June2011.Verfügbarunter:https://cdn3.euraxess.org/sites/default/files/po-licy_library/report_of_mapping_exercise_on_doctoral_training_final.pdf,Zugriffam31.08.2017.
European Commission (EC 2011b): Principles for Innovative DoctoralTraining. Verfügbar unter: https://era.gv.at/object/document/1508/
ratsstudienlässtsichdadurcherklären,dassindenerstenJahrennachGründungdesPrivatuniversitätensektorsimJahr2000,dieeinigeJahrevor der Entwicklung der Ten Salzburg Basic Principles (EUA 2005b) er-folgte, fürdieEinrichtungbzw.AkkreditierungvonDoktoratsstudienanösterreichischenPrivatuniversitätennochkeinespeziellenAnforderungenvorgesehenwaren.
AufBasisallerinTabelle1angeführtenDoktoratsstudienzeigtsich,dass es im Durchschnitt nach Akkreditierung als Privatuniversität ca.siebenJahredauert,biseinDoktoratsstudium–beiEinreichungeinesAkkreditierungsantrags–akkreditiertwird.SeitdemBeschlussderRicht-liniefürDoktoratsstudienimJahr2008mitspeziellenAkkreditierungsvo-raussetzungenfürDoktoratsstudiendauertesdurchschnittlichca.zehnJahre,bissicheinForschungsumfeldmitsichtbarenForschungsleistun-gen,inhaltlicherundmethodischerBreitesowiegeeignetenstrukturellenRahmenbedingungenetablierthatundeinDoktoratsstudiumakkreditiertwerdenkann.Mitden steigendenqualitativenAnforderungenanDok-toratsstudien im Europäischen Hochschulraum wurde außerdem eineTendenzdahingehendbeobachtet,dassdieAnzahlderDoktoratsstudien,diebereitsbeierstmaligerAntragsstellunganösterreichischenPrivatuni-versitätenakkreditiertwird,abnimmt.
Bis das erste Doktoratsstudium einer Privatuniversität in Österreichakkreditiertwird,dauertesca.achtJahre.VergleichtmandiesesErgeb-nismitdenErwartungendesdeutschenWissenschaftsrats,sozeigtsich,dassessichmitderErwartungdeckt,dasseineEmpfehlungzurVerlei-hungdesPromotionsrechtsannichtstaatlicheHochschuleninDeutsch-landfrühestensfünfJahrenachAufnahmedesHochschulbetriebsgege-benwerdenkann(vgl.WR2009:21f).
WEITERENTWICKLUNG DER AKKREDITIERUNGS-VORAUSSETZUNGEN
In der Anwendung der Prüfkriterien in Akkreditierungsverfahren zuDoktoratsstudienhabensichRedundanzensowieSchwierigkeiteninderHandhabbarkeit durch die Trennung von Kriterien und Erläuterungenin zwei Dokumente gezeigt. Aufgrund des zusätzlichen Kriteriums zumetabliertenForschungsumfeld(§17Abs1litoPU-AkkVO),verankertimPrüfbereich Studiengang und Studiengangsmanagement, ergeben sichteilweise Überschneidungen mit Kriterien anderer Prüfbereiche wieForschungundEntwicklungsowieNationaleund internationaleKoope-rationen.So istbeispielweisegemäߧ17Abs5 litbundcPU-AkkVO(Forschung und Entwicklung) festgelegt, dass die Verbindung von For-schungundLehregewährleistetseinsollunddieStudierendenindemnachArtdesStudiumserforderlichenAusmaßindieForschungsprojekteeingebundenwerdensollen.Gemäߧ17Abs6litbPU-AkkVO(NationaleundinternationaleKooperationen)sollendieKooperationendieMobilitätvonStudierendenundPersonalunterstützen.DerAspektdesintensivenKontaktsderDoktorand/inn/enmitforschendemPersonalsowiedieMög-lichkeitzur inner-undaußeruniversitärenKooperationfindensichauchin§17Abs1litoPU-AkkVO(vgl.AQAustria2015a,2015b).Dieszeigt,dassdurchErgänzungdeszusätzlichenPrüfkriteriumsfürDoktoratsstudi-enkeineklareAbgrenzungzwischendeneinzelnenPrüfbereichenmehrgegebenist.
Eine Änderungsmöglichkeit wäre daher, die Anforderungen an das
21ISSUE 45 | MARCH 2018
Doktorat. Verfügbar unter: https://uniko.ac.at/modules/download.php?key=10897_DE_O&cs=3D3C,Zugriffam31.08.2017.
Wissenschaftsrat (WR 2009): Empfehlungen zur Vergabe des Pro-motionsrechts an nichtstaatliche Hochschulen (Drs. 9279-09). Berlin,09.07.2009. Verfügbar unter: https://www.wissenschaftsrat.de/down-load/archiv/9279-09.pdf,Zugriffam31.08.2017.
Wissenschaftsrat(WR2011):AnforderungenandieQualitätssicherungder Promotion. Positionspapier. Verfügbar unter: http://www.wissen-schaftsrat.de/download/archiv/1704-11.pdf,Zugriffam31.08.2017.
AUTORINEVA MARIA FREIBERGERAgentur für Qualitätssicherung und Akkreditierung AustriaE:[email protected]
attach/Principles_for_Innovative_Doctoral_Training.pdf, Zugriff am31.08.2017.
European University Association (EUA 2005a): Doctoral ProgrammesfortheEuropeanKnowledgeSociety.ReportontheEUADoctoralPro-grammesProject2004–2005.Verfügbarunter:http://www.eua.be/eua/jsp/en/upload/Doctoral_Programmes_Project_Report.1129278878120.pdf,Zugriffam31.08.2017.
European University Association (EUA 2005b): Ten Salzburg BasicPrinciples. Bologna Seminar on Doctoral Programmes for the Euro-pean Knowledge Society. Salzburg, 3–5 February 2005. Verfügbarunter: http://www.eua.be/eua/jsp/en/upload/Salzburg_Report_fi-nal.1129817011146.pdf,Zugriffam31.08.2017.
European University Association (EUA2010):SalzburgIIRecommen-dations. European Universities’ Achievements Since 2005 in Imple-menting theSalzburgPrinciples.Verfügbarunter:http://www.eua.be/Libraries/publications-homepage-list/Salzburg_II_Recommendations.pdf?sfvrsn=0,Zugriffam31.08.2017.
European University Association (EUA 2013): Quality Assurance inDoctoral Education – Results of the ARDE project. Verfügbar unter:http://www.eua.be/Libraries/publications-homepage-list/EUA_ARDE_Publication,Zugriffam31.08.2017.
European University Association(EUA2016):DoctoralEducation–Ta-kingSalzburgForward.ImplementationandNewChallenges.Verfügbarunter: http://www.eua.be/Libraries/publications-homepage-list/Docto-ral-Education_Taking-Salzburg-Forward,Zugriffam31.08.2017.
Hochschulkonferenz (HSK 2015): Empfehlungen zur qualitativenWeiterentwicklung der Doktoratsausbildung in Österreich. 11. Juni2015. Verfügbar unter: http://www.hochschulplan.at/wp-content/up-loads/2015/07/2015-06-12_HSK-Empfehlung-Doktoratsausbildung.pdf,Zugriffam31.08.2017.
Hopbach, Achim(2017):QualitätssicherunganösterreichischenHoch-schulenunddieRollederAQAustria–einePositionsbestimmung. In:Kohler,Jürgen/Pohlenz,Philipp/Schmid,Uwe(Hg.):HandbuchQualitätinStudiumundLehre.Berlin:DUZVerlags-undMedienhausGmbH,62,B5.5.
Kohler, Alexander(2013):ZurNeuordnungderexternenQualitätssiche-rungimösterreichischenHochschulsystem.ftevalJournalforResearchandTechnologyPolicyEvaluation38,60–65.
Niedersächsisches Ministerium für Wissenschaft und Kultur(MWK2009): Leitlinien und Kriterien für die Akkreditierung von Promotions-studiengängen in Niedersachsen. Verfügbar unter: https://www.mwk.niedersachsen.de/download/100861/Leitlinien_und_Kriterien_fuer_die_Akkreditierung_von_Promotionsstudiengaengen_in_Niedersach-sen_Stand_10.07.2015.pdf,Zugriffam31.08.2017.
Österreichische Universitätenkonferenz (UNIKO 2015): Position Dok-torat.PositionspapierderÖsterreichischenUniversitätenkonferenzzum
ISSUE 45 | MARCH 201822
areanchored inUG2002,andtrytostimulatetheir implementation inhighereducationsteeringinstrumentslikeperformanceagreements1.
Thisautonomywenthandinhandwiththeexpectationthatgenderequalitypolicywouldfocusmorestronglyontherespectiveuniversity’sown specific situation and thus be designed more effectively. It alsoaimedtosupportanorientationongoodpracticesatotheruniversities,i.e.tostrengthenthecompetitiveelementbymonitoringandcomparinguniversities(Höllinger&Titscher,2004).Hence,theyearsfollowingtheimplementationofUG2002–despite thestatutorydefinitionofequalopportunitiesbodies–undertheprovisionsofUG2002(eachuniversitymustsetupanequalityopportunitiesworkinggroupandacoordinationunit forwomen’sandgender researchandpublishaplan toadvancewomen)–ledtoabroadrangeofdifferentequalopportunitiespoliciesat universities, with clear differences in focus, allocation of resourcesandcommitment(Tiefenthaler&Good,2011).
Thisdevelopmentcoincidedwiththerealignmentofpublicbudgetsto theprincipleof impactorientation toensuremoreefficientdeploy-mentofpublicmonies.Eachministry formulatedat leastonegender-relatedimpactgoal,withtheScienceMinistrysettingthegoalofachiev-ing a “gender balance in leadership positions, committees and youngscientists/artists”.Thiswastobeachievedthroughincreasingtheshareofwomenprofessors,theshareofwomeninleadershippositions/onuni-versitycommitteesaswellastheshareofwomeninLaufbahnstellen–tenuretrackpositionsleadingtoassistanceprofessorships(Wroblewski2016).Eachuniversity’scontributiontothisgoalisdefinedinitsrespec-tiveperformanceagreement.
InGermany,theHigherEducationFrameworkActof1999amendedhighereducationlawandcooperationbetweenthefederalgovernmentand the federalstates (Länder) in thehighereducationsystem–withfar-reachingconsequencesforequalopportunitiespolicy.Untilthemid-2000s,equalopportunitiespolicyinhighereducationwasshapedbystateregulationsandfederalandLänderprogrammesrespectively.ThereformofGermanfederalism,whichassignedtheLändermorelegalauthorityandalargerbudgetforhighereducationinstitutionsthanbefore,ledtoan end of the country’s Higher Education and Research Programme’sfor Equal Opportunities (Hochschul- und Wissenschaftsprogramm;HWP).Thisresultedinanabsenceofnationwidestimuliandresourcesfor improving gender equality at higher education establishments. Atthesame time,numerousscientific stakeholderspublished“their”ap-proach to equal opportunities in research. Thedifferentpositionsandinitiativestoimprovegenderequalitydevelopedlivelydynamicsthatalsoattractedmediaattention(Dalhoff,Lipinsky,Löther,&Steinweg,2015).
ABSTRACT
GenderequalityisagoalofGermanandAustrianhighereduca-tionpolicy,whichiscurrentlybeingshapedbydecentralisedpolicyimplementationandadistinctorientationonimpact.In
thisarticle,wediscussthecontributionthatevaluationcanmaketotheinterplaybetweenthetwo.Indoingso,wedrawontheevaluationsoftwogenderequalitypoliciesaimedat increasing the shareofwomenprofessors. Using these two examples, we demonstrate the role thatevaluationcanplaywith regard topolicysteering inasettingcharac-terisedbydecentralisedpolicy implementationandimpactorientation.Our focus thereby liesnot justontheuseofevaluationresultsby thecommissioningbodiesbutalsoontheacceptanceanduseofevaluationsandtheirassociatedinstruments(e.g. indicators)bythehighereduca-tioninstitutionsthemselves,therebyallowingevaluationtocontributetoageneraldiscourseongenderequalitypolitics.
1. INTRODUCTIONGenderequalitypoliciesinhighereducationhavebeencharacterised
forsomeyearsbyeffortsthatcanbesubsumedundertheterm“fromgovernmenttogovernance”, inboth,AustriaandGermany.Theaimisto transfer responsibilities for thedevelopmentand implementationofgenderequalitypoliciesfromaministerialtoauniversity/highereduca-tionlevel.
InAustria,thishasbeenachievedthroughtheimplementationoftheUniversitiesAct2002 (Universitätsgesetz2002,UG2002;Kasparovsky,Stand:1.Jänner2013),whichgavefarreachingautonomytothecoun-try’suniversities.Thelattercannowmaketheirownbudgetaryandper-sonneldecisionsandarealsoresponsibleforthedevelopmentofmeas-ures to achieve gender equality and their implementation (Höllinger&Titscher,2004). This change requireda fundamental realignmentofuniversities gender equality policies (Ulrich, 2006), since the centralplayerthereinpriortoUG2002hadbeentheMinistryofScience,whichestablishedanti-discriminationandgenderresearchbodies (e.g.equalopportunitiesworkinggroupsandcoordinationunits forwomen’sandgender research respectively,atuniversities)and initiatedand fundedpilotprojects(Wroblewski,Gindl,Leitner,Pellert,&Woitech,2007).To-day,theMinistryofSciencecanonlyformulateoverarchinggoals,suchastheprinciplesofgendermainstreamingandpromotionofwomenthat
ANGELAWROBLEWSKI&ANKELIPINSKY
STEERINGBYEVALUATIONINTIMESOFIMPACTORIENTATIONANDMONITORING?
1 Performanceagreementsarecontractsgovernedbypubliclaw,whichareconcludedbetweentheuniversitiesandtheFederalMinistryofScience,ResearchandEconomyforathree-yearperiod.Theperformanceagreementregulatestheuniversity’soverallbudgetaswellastheperformanceitmustrenderandthetargetsithastomeet.
23ISSUE 45 | MARCH 2018
Austria(Wroblewski,2010)andthe“ProgrammeforWomenProfessors”inGermany(Löther&Glanz,2017;Zimmermann,2012).Wewillbegininafirststepbydescribingeachoftheseevaluations indetail (objectoftheevaluation,context,evaluationdesign,results)followedbyasecondstepofdiscussing the roleofevaluation inan impactorientedsettingusingourtwocasestudiesasexamples.
2. TWO EVALUATION CASE STUDIES 2.1. EVALUATION OF “EXCELLENTIA”
Object of the evaluation:excellentiawasaprogrammerunbytheAustrian Ministry of Science from 2006 to 2011 to raise the share ofwomenprofessors.Itsgoalwastomakeuseofforthcomingretirementstosignificantlyraisetheshareofwomeninprofessorships(to26%,i.e.doublethatofthereferenceyear2003).Foreachadditionalfemalepro-fessorappointed,theuniversitiesreceivedaone-offbonusofbetween30,000and70,000euros,whichtheywerefreetouseastheysawfit.Inmostcases,thismoneywasusedformeasurestosupportwomen(e.g.grantsforfemalePhDstudents).Theprogrammemanagersdidnotas-sumethatthefinancialincentivewouldtriggeradirectincreaseintheshareoffemaleprofessors.Instead,excellentiaworkedontheassump-tionthatitwouldserveto“reward”thoseuniversitieswhichhadlookedatthereasonsfortheunderrepresentationofwomenintheirappoint-mentproceduresandhaddevelopedand implementedanynecessarycountermeasures.
Goal and purpose of the evaluation: This was an accompanyingand responsiveevaluation, i.e. itwas intended todeliverearly indica-tionsandpointersforoptimisingtheprogramme.Thefirstinterimreport(Wroblewski&Leitner,2007)thereforefocusedontheacceptanceoftheprogramme by the relevant stakeholders at the universities. The 2009and2010reportscontaintheresultsofthecasestudiesatuniversities.Thefinalevaluationreportpublishedin2011containsanex-postassess-ment (Wroblewski&Leitner2011). This focusesbothonwhetherandhowthefinancial incentivehadcontributedto increasingtheshareofwomenprofessorsandwhetherandtowhatextentthegenderdimen-sion had been anchored in university appointmentprocedures for thelongtermtocounteractapotentialgenderbias.
Evaluation design:Theevaluationdesignisbasedonamixofmeth-ods,universitystatistics(e.g.shareoffemaleprofessors,agedistributionofprofessors),datacollectedbytheuniversitiesthemselves(e.g.ontheshareofwomenatdifferentstagesinanappointmentprocedure),uni-versitydocumentsrelatingtoappointmentprocedures(e.g.appointmentguidelines,plantoadvancewomen)aswellasinterviewswithexperts.The22universitiesinAustriawereusedascasestudies,withthediffer-entdatasourcescollatedtoestablishasholisticapictureaspossibleofappointmentproceduresateachuniversity.
WhilesomeLänderestablishedtheirownprogrammestopromoteequalopportunitiesand/orfemaleacademics,thefederalgovernmentandallLänderdecidedto launchand jointlyfinancetheso-calledProgrammeforWomenProfessors(Professorinnenprogramm)asthelegalprovisionsallowforcooperationinmattersofnationalrelevance2.
Thehighereducationand federalism reforms led toaproliferationofequalopportunitiesagents in theGermanhighereducation systemandwerealsointendedtotriggercompetitionbetweenuniversities.Oneconsequencewastheemergenceofamultitudeofdifferentequaloppor-tunitiesstructuresintheuniversities.Someuniversitiessetupgender/diversity offices, usually in parallel with already established women’sandequalopportunitiesunits.Since then,differentiatedprioritiesandcomplexpracticestopromoteequalopportunitieshaveemerged(Lipin-sky,2017):notleastwiththeaidofpoliticalandfinancialstimulifromthegovernment’sexcellenceinitiative(Engels,2009;Engels,Beaufaÿs,Keg-en,&Zuber,2015;Engels,Ruschenburg,&Zuber,2012;Kibler,2011),the Research-Oriented Standards on Gender Equality implemented bythe German Research Foundation (Deutsche Forschungsgemeinschaft(DFG),2014;Simon,2011),theafore-mentionedProgrammeforWomenProfessors (Löther & Glanz, 2017; Zimmermann, 2012) and the recom-mendationsoftheGermanCouncilofScienceandHumanitiesonequalopportunities for scientists and academics (Wissenschaftsrat, 2007;Wissenschaftsrat,2012).AtLänderlevel,equalopportunitiesindicatorsappearintargetagreementsbetweenhighereducationestablishmentsandtheLänderasperformanceindicatorsfortheperformance-basedal-locationoffunds.3
Theroleplayedbyevaluationinthenewcoordinationmechanismsbetweenhighereducationinstitutionsandthestateisbroadandvaried(Roßmann,2013). Inanidealscenario,anevaluationrevealsboth,thereasonsforandscopeofanyintended/unintendedeffects.Thosewhocommissionsuchevaluationsoftentimesgivepreferencetoquantitativeindicatorswhenitcomestodeterminingchangesoridentifyingthe“suc-cesses” of the programme. However, a focus on quantitative successindicatorsalonedoesnotrevealthecausesoftheintendedimpactandthus leadstoapotentialdistortionof theeffectsofaprogramme(cf.Weiss,Murphy-Graham,Petrosino,&Gandhi,2008),sincethesecannotshowwhatactually ledtothechanges.Toproduceavalidatedcausalchain,i.e.tolinkcausestoeffects,theinterpretationoftheresults(aka“successes”)mustlookathowthehighereducationinstitutionsactuallyhandledtherequirementsoftheprogrammeandwhichelement(s)ofithadasteeringeffectintheuniversityorbeyond.
InbothAustriaandGermany,thesituationinthehighereducationsectorischaracterisedbyatrendtowardsthedecentralisationofequalopportunitiespolicyandacorrespondingmanagementbyobjectivesap-proachinwhichthecontinuousmonitoringoftargetachievementsplaysacentral role. In thisarticle,we lookat the role evaluation can play in this interplay of decentralised policy implementation and impact orientation.Todoso,wetakeacriticallookatevaluationsoftwostate-run equal opportunities programmes, both aimed at raising the shareof women professors and institutionalising equal opportunities policy.Thetwoevaluationsinquestionrelatetothe“excellentia”programmein
2 PublicationbytheFederalMinistryofEducationandResearchofGuidelinesontheImplementationoftheProgrammeforWomenProfessorsoftheFederalGovernmentandLändertoPromoteEqualOpportunitiesforWomenandMenatHigherEducationInstitutionsinGermany–ProgrammeforWomenProfessorsII,6.12.2012”.
3 http://www.hof.uni-halle.de/steuerung/vertrag2012.htm
ISSUE 45 | MARCH 201824
programme(2008to2017),thefederalgovernmentandtheLändermadeatotalof300millioneurosavailable.
In phase II of the programme, different funding conditions applyfor those universities that have already successfully obtained fundingandappointedwomenprofessorsinphaseone,thanforthosethataresubmittinggenderequalityconceptsforthefirsttime.Inthecaseofasecondapplication,theuniversitiessubmitarevisedversionoftheircon-cept along with documentation of the implementation of the conceptpreviouslysubmittedinphaseone.Inthecaseofafirstapplicationforprogrammefundinginphasetwo,theuniversitiessubmita‘future-ori-entedequalopportunitiesconcept’,whichdetailstheirpreviouseffortsandsuccessesinachieving“alastingimprovementintherepresentationofwomen”.
Goal and purpose of the evaluation:Thegoaloftheevaluationswastoassesshowtheprogrammehadbeenimplementedandacceptedbytheuniversitiesontheonehandandtodetermineitsdirectandlong-term impacts on the other (evaluation of phase II). In concrete termsandinlinewiththeprogramme’sgoals,theevaluationsfocusedontheimpactsonequalopportunitiesforwomenandmen,theimprovementintherepresentationofwomenatallqualificationlevelsandtheincreaseinthenumberofwomenintoppositionsinthehighereducationsystem.
Evaluation design: The evaluation design for phase II of the pro-gramme and the concurrent full evaluation combine qualitative andquantitativesocialsciencesmethodswithprogramdataanalysis.Theydifferentiatebetweenimplementationoftheprogramme,achievements,directandlong-termimpacts,combiningperspectivesfromtheuniver-sities, the Länderand theministry. Inaddition todocumentanalyses,expertinterviewsandstatisticalanalysesofprogrammedata,theevalu-ationteamassessedthreedifferentcasestudies(Löther&Glanz,2017).
Results:Inthefullevaluation,thenumberofapplicationsforfund-ingfromtheprogrammeindicatesaveryhighacceptanceonthepartoftheuniversities. InphaseIoftheprogramme,152universitiessubmit-tedanequal opportunities concept,with thisnumber rising to184 inphase II (including repeatapplications).Through the fundingprovidedby the programme, over 500 women professors have been appointedsince2008(Löther&Glanz,2017;Zimmermann,2012).Afterdeductionoftheexpectedannualincreaserates,theProgrammeforWomenPro-fessorshasbroughtaboutanadditionalincreaseof2.2%.Throughthecompetitivenatureofthecallforapplicationsandthelinkthistriggeredbetweengenderpolicyand“excellence”, the full evaluation identifiedgood acceptance of and a general enhancement of the reputation ofequalopportunities (Löther&Glanz,2017).Ananchoringofequalop-portunitiespolicycanbeseeninparticularbothincoreuniversitybodiesandatmanagementlevel;fewerconcretechangesareevidentatdepart-mentlevel.AspecificdevelopmentofequalopportunitiespolicytowardsdiversityandinternationalisationcanbeidentifiedatsomeuniversitiesinphaseIIoftheprogramme.Here,anequalopportunitiespolicywithafocusonhumanresourcesandinternationalrecruitingisemerging(Zip-pel&Lipinsky,2017).
Results:Whiletheshareofwomenprofessorsrosesignificantlydur-ingtheprogrammeperiod(from13%inthereferenceyear2003to19%in 2010), women representation did, however, remain below expecta-tions,i.e.thetargeted26%share.Anumberofuniversitiesdevelopedstrategiestocombattheunderrepresentationofwomenintheirappoint-mentprocedures(foranoverviewseeWroblewski,2015).Somestartedbyanalysingtheshareofwomenatdifferentstagesoftheproceduretodetectpotentialsourcesforgenderbias.Otherssoughttoraisetheshareofwomenandpreventtheearlyexitofwomenthereinby introducingcorrespondingelementstopromotewomen(e.g.activesearchforsuit-able female candidates, preferential invitation of women to hearings,gender-sensitiveassessmentcriteria).
However, it should be noted that those universities with gender-sensitive appointment procedures were not necessarily the ones thatwere able to raise their share of women professors most or receivedthehighestbonuspayments.Auniversity’s“success”intheexcellentiacontextdependedonavarietyoffactorsoverwhichtheprogrammehadlittle, ifany, influence,suchastheshareof femaleprofessorsprior toexcellentia,thenumberofappointmentsintheprogrammetimeframe,thesubjectstaughtortheunforeseenvanishingofwomenprofessors(asaconsequenceofrecruitmentelsewhereorretirement).
A broad spectrum of possibilities for appointment proceduresemergedinthecourseofthequalitativeanalysis(casestudies)–despitethe fact that the basics of this procedure were already laid down byUG 2002. The impact of an existing equal opportunities policy on theappointmentprocedurealsobecameapparent.Inotherwords,universi-tieswithestablishedandcomprehensiveequalopportunitiespoliciesaremorelikelytoalsolookforandaddressapotentialgenderbiasintheirappointmentprocedures.Suchuniversities frequentlyalreadyhaveanevidence-baseddiscourseonequalopportunities,i.e.anycorrespondinglack/achievementofsuccessisdiscussedonthebasisofmonitoringdata(e.g.shareofwomenprofessors).
2.2. EVALUATION OF THE “PROGRAMME FOR WOM-EN PROFESSORS”
Object of the evaluation:TheGermanFederalMinistryofEducationandResearch formulateda totalof threegoals for theProgrammeforWomenProfessors(phasesIandII,2008to2017),namelythepromotionofequalityofwomenandmeninhighereducation,alastingriseintheshareofwomenatallqualification levels in thehighereducationsys-temandanincreaseinthenumberofwomenintoppositionsinhighereducation.TwoofthesegoalsdirectlytargetthepromotionofwomenortheirrepresentationintheGermanhighereducationsystem.Thebasisforfundingdecisionsis“forward-thinkingequalopportunitiesconceptsbytheuniversities”.4Auniversitycanonlyreceivestart-upfundingforuptothreefemaleprofessorsifitsubmitsacompetitiveequalopportuni-tiesconcept.5 It thenundertakestouseanequalamountof thefund-ingobtainedthroughtheprogrammetoimplementequalopportunitiesmeasuresattheuniversity.Thesemeasuresmustinturnbedescribedintheuniversity’sgenderequalityconcept.Inthefirsttwophasesofthe
4 PublicationbytheFederalMinistryofEducationandResearchofGuidelinesontheImplementationoftheProgrammeforWomenProfessorsoftheFederalGovernmentandLändertoPromoteEqualOpportunitiesforWomenandMenatHigherEducationInstitutionsinGermany–ProgrammeforWomenProfessorsII,6.12.2012.
5 Ibid.
25ISSUE 45 | MARCH 2018
qualifiedmalecandidate)havenotyetproducedthedesiredresults.Theeffect of the Programme for Women Professors for social and highereducationpoliticsthus(also)liesinitsabilitytocounteracttheshortcom-ingsofexisting(legal)instruments.Giventhequantifiablesuccess,thereseems to be no need to improve the effectiveness of the recruitmentquotaortoreinforcetargetsforuniversitiesinformofthecascademodel(cf.Dalhoff&Steinweg,2010),sincetheincreaseintheshareoffemaleprofessorsispartlybeingachievedthroughthisprogramme.
4. CLOSING REMARKSTheaimsoftheintroductionofa‘managementbyobjectives’ingen-
derequalitypolicyandthedevelopmentofacorrespondingmonitoringsystemaretwofold:Firstly,totransferresponsibilityforthedevelopmentandimplementationofgenderequalitypoliciesfromministerialtouni-versitylevelandsecondly,toraisethebindingnatureoftargetsthroughtheongoingmonitoringoftargetachievement.Inthetwocasestudiesdescribedinthisarticle,increasingtheshareoffemaleprofessorsplaysan important roleaskeyobjectiveaswellascentralmeasurement in-dicatorof“success”inequalopportunitiespolicyinhighereducation.
Basedonourcasestudies,acriticalexaminationofthesteeringef-fectofquantitativeindicatorsindicatestheirpotentialinfluenceontheimplementationofequalopportunitiespolicyatauniversity.Italsore-veals thecorrespondingneed forspecific frameworks.Averified“pro-gramme success” can strengthen the university’s orientation towardsequalopportunitiesor“conceal”thelackofeffectivenessofother(non-competitive,non-financial)instruments.Whetherornotsuchindicatorswillhaveasteeringimpactdependsgreatlyonwhethertheyareinte-gratedintoaninstitutionalequalopportunitiesdiscourseandarecom-patiblewithothermanagementinstruments(e.g.theindicatorsusedinqualitymanagement).
Identifyingandutilisingthissteeringpotentialrequiresalookinsidesuchaprogramme’s“blackbox”,i.e.ananalysisoftherespectiveimple-mentationprocessesandimpactmechanismssuchasthatprovidedinourcasestudiesthroughthequalitativeanalyses.Thislinksthequantita-tivetargetcriteriaandtheirassociatedindicatorswithotherindicatorsofsuccess,producingamorecomprehensiveandconclusiveanalysisofimpacts. With the knowledge of impact mechanisms thus generated,evaluationsalsodeliverinputforthedevelopmentoffutureprogrammes–inputthatwouldnotbepossiblewithareducedfocusonthequantita-tivetargetcriteriaonly.
5. REFERENCE LISTDalhoff, J., Lipinsky, A., Löther, A., & Steinweg, N. (2015).Wissen-schaftskultur und Wissenschaftspolitik: Eine Bestandsaufnahme imHerbst 2015. CEWSjournal. (100), 3–25, from http://www.gesis.org/fileadmin/cews/www/CEWSjournal/cews-journal100.pdf.
Dalhoff, J., & Steinweg, N. (2010). Leistungsabhängige, verbindli-che und flexible Zielquoten für wissenschaftliche Führungspositionen(CEWS-PositionspapierNo.Nr.4).Bonn:KompetenzzentrumFrauen inWissenschaft und Forschung (CEWS). Retrieved December 06, 2016,fromhttp://www.gesis.org/fileadmin/cews/www/download/cews-Posi-tion4-2teAufl.pdf.
3. THE ROLE OF EVALUATION IN AN IMPACT- OR PERFORMANCE-ORIENTED SETTING
Whichsteeringeffects canbedetermined forexternalevaluationsin a competitive and performance-oriented setting? Does the externalevaluation, its indicatorsanditsnotionsofwhatconstitutes“success”haveanimpactonhowtheuniversityismanaged?Ifso,how?Doestheevaluationand/ortheindicatorsusedtoevaluatetheprogrammehaveanimpactonhighereducationpolicy?Ultimately,thesequestionsservetodeterminehowandatwhatlevelsintheorganisationtheuniversitiesdealtwiththesuccesscriteriaasdefinedintheevaluation.
Acombinationofmanagementbyobjectivesandmonitoringcreatesaframeworkforadecentralisedimplementationofmeasuresinuniversi-ties.Bothprogrammesdescribedabovefocusonincreasingtheshareofwomenprofessors.Ananalysisofthetrendsforquantifiedgoalsandcor-respondingindicatorsaloneleavesthestrategybehindsuchmeasureshiddenina“blackbox”.Thelackofanexplicitdiscussionofmechanismsleadingtoimpactsproducesasituationinwhichimpactscannotbefullyandspecificallytracedbacktodefinedcauses.Inanidealscenario,anevaluationcontributestorevealingthereasonsforandscopeofanyin-tendedandunintendedchanges.
Thereisfrequentlyalsoapoliticalcomponenttothecommissioningofanevaluation:itunderlinestherelevanceofthesubjectoftheevalu-ationandcanitselfconstituteanintervention,e.g.whenprimarydataarecollectedduringtheevaluation(Wroblewski,Kelle,&Reith,2016).In the course of the evaluation of excellentia, expert interviews wereconductedwithuniversityrectors,andtheuniversitieswereaskedtocol-lectdataontherepresentationofwomeninthedifferentstagesoftheappointment procedure. The interviews raised awareness of the topicand challenged the broad assumptions that appointment procedureswere based on objective criteria and were thus by definition sex andgender“neutral”.Aftertheinterview,therectorofoneuniversitycom-missionedthequalitymanagementdepartmenttoconductasurveyofappointmentprocedures in thepreviousyear (shareofwomenamongapplicants, in the assessment, in the hearing, on the shortlist). Otheruniversitiesusedthedatacollectionprocessinitiatedbytheevaluationtoadapttheirexistingdatacollectionsystemsandreflectonthequalityofthedatacollected(Wroblewski&Leitner,2013).Theindicatorsusedintheevaluationarethereforealsorelevantfromaninternalmanagementperspective,sincetheyareincorporatedintoexistingqualityassurancesystemsandthusbecomepartoftheongoinginternalreportingongen-derequalitytargetachievement,i.e.flowintoagenderpolicydiscourseinsidetheuniversity(Wroblewski2015).
AdirectcomparisonofitsshareofwomenprofessorswiththoseofotherEUMemberStatesortheEUaverageraisedthepressureonGer-many to achieve “success” in its gender equality policies in the formofanincreasedrepresentationofwomen(EuropeanCommission,2016;European Commission - DG Research, 2014; Lipinsky & Löther, 2016).IncreasingtheshareofwomenprofessorsconstitutedamainindicatorofsuccessinbothevaluationsoftheProgrammeforWomenProfessors(Löther&Glanz2017;Zimmermann2012).Giventhelegalrequirementtointensifytherecruitmentofwomenprofessors,itisclearthatexistinglegalinstrumentslikee.g.the“recruitmentquota”(wherebypreferenceis tobegiventoawoman incaseshe isequallyqualifiedasthebest
ISSUE 45 | MARCH 201826
Löther, A., & Glanz, S.(2017).EvaluationdesProfessorinnenprogrammsdesBundesundderLänder:ZweiteProgrammphaseundGesamtevalu-ation:ErweiterterBericht(cews.publikNo.22).Köln.RetrievedOctober17,2017,fromhttp://nbn-resolving.de/urn:nbn:de:0168-ssoar-54112-9.
Roßmann, S. (2013). Steuerung statt Legitimierung?: Über dieFunktion(en)vonEvaluationenstaatlicherForschungseinrichtungenfürderenZuwendungsgeber.
Simon, D. (2011).GleichstellungspolitikalsElementderHochschulent-wicklung:AnmerkungenzudenforschungsorientiertenGleichstellungs-standards.InB.Blättel-Mink,A.Franzke,&A.Wolde(Eds.),FrankfurterFeministische Texte - Sozialwissenschaften: Vol. 14. Gleichstellung imReformprozess der Hochschulen. Neue Karrierewege von Frauen anHochschulen(pp.109–120).Sulzbachi.Taunus:Helmer.
Tiefenthaler, B., & Good, B. (2011). Genderpolitik in österreichischenWissenschafts-undForschungsinstitutionen.SyntheseberichtzumStatusquoanösterreichischenUniversitäten,Fachhochschulen,Privatuniversi-tätenundaußeruniversitärenForschungseinrichtungensowieEinrichtun-genderForschungsförderung:StudieimAuftragdesBMWF.Wien.
Weiss, C. H., Murphy-Graham, E., Petrosino, A., & Gandhi, A. G. (2008).Thefairygodmother-andherwarts:Makingthedreamofevi-dence-based policy come true. American Journal of Evaluation, 29(1),29–47.
Wissenschaftsrat (2007). Empfehlungen zur Chancengleichheit vonWissenschaftlerinnen und Wissenschaftlern. Berlin. Retrieved Oc-tober 23, 2012, from http://www.wissenschaftsrat.de/download/ar-chiv/8036-07.pdf.
Wissenschaftsrat (2012). Fünf Jahre Offensive für Chancengleichheitvon Wissenschaftlerinnen und Wissenschaftlern: BestandsaufnahmeundEmpfehlungen.Köln:Wissenschaftsrat.RetrievedFebruary04,2015,fromhttp://www.wissenschaftsrat.de/download/archiv/2218-12.pdf.
Wroblewski, A. (2010). „Excellentia“: A programme to increase theshareofwomeninleadingpositionsinAustrianUniversities.InL.Husu,J.Hearn,A.-M.Lämsä,&S.Vanhala(Eds.),LeadershipthroughtheGen-der Lens. Women and Men in Organisations (pp. 325–338). Helsinki:HankenSchoolofEconomics.
Wroblewski, A. (2016). Gender-Indikatoren in der Wissensbilanz –Grundlage füreinGleichstellungsmonitoringoderDatenfriedhof? InA.Wroblewski,U.Kelle,&F.Reith(Eds.),Gleichstellungmessbarmachen.GrundlagenundAnwendungenvonGender-undGleichstellungsindika-toren(1sted.,pp.171–189).Wiesbaden:SpringerVS.
Wroblewski, A., Gindl, M., Leitner, A., Pellert, A., & Woitech, B.(2007). Wirkungsanalyse frauenfördernder Maßnahmen im bm:bwk.MaterialienzurFörderungvonFraueninderWissenschaft:Bd.21.Wien:VerlagÖsterreich.
Wroblewski, A., & Leitner, A. (2007). Begleitende Evaluierung von"excellentia".1.Zwischenbericht:StudieimAuftragdesBMWF.Wien:InstitutfürHöhereStudien(IHS).
Deutsche Forschungsgemeinschaft (DFG)(2014).Forschungsorientier-teGleichstellungsstandardsderDFG.RetrievedFebruary06,2017,fromDeutsche Forschungsgemeinschaft (DFG): http://www.dfg.de/foerde-rung/grundlagen_rahmenbedingungen/chancengleichheit/forschungs-orientierte_standards/.
Engels, A. (September2009).GleichstellungsaspektederExzellenzinitia-tive.Workshopaufder21.BUKOF-Jahrestagung2009.Leipzig.
Engels, A., Beaufaÿs, S., Kegen, N. V., & Zuber, S. (2015).Besten-auswahlundUngleichheit:EinesoziologischeStudiezuWissenschaftle-rinnenundWissenschaftlerninderExzellenzinitiative.HochschuleundGesellschaft.FrankfurtamMain:Campus.
Engels, A., Ruschenburg, T., & Zuber, S.(2012).ChancengleichheitinderSpitzenforschung: institutionelleErneuerungderForschunginderExzellenzinitiativedesBundesundderLänder.InT.Heinze&G.Krücken(Eds.),Organization&PublicManagement.InstitutionelleErneuerungs-fähigkeitderForschung(pp.187–217).Wiesbaden:SpringerVS.
European Commission (2016).SheFigures2015:GenderinResearchandInnovation.Luxembourg.RetrievedJuly10,2017,fromhttp://ec.europa.eu/research/swafs/pdf/pub_gender_equality/she_figures_2015-final.pdf#view=fit&pagemode=none.
European Commission - DG Research (2014). Gender Equality Po-licies in Public Research: Based on a survey among Members of theHelsinki Group on Gender in Research and Innovation, 2013. Luxem-bourg. Retrieved April 05, 2016, from http://ec.europa.eu/research/pdf/199627_2014%202971_rtd_report.pdf.
Höllinger, S., & Titscher, S.(Eds.)(2004).DieösterreichischeUniversi-tätsreform.Zur ImplementierungdesUniversitätsgesetzes2002.Wien:WUVUniversitätsverlag.
Kasparovsky, H. (Stand:1.Jänner2013).Universitätsgesetz2002.Ös-terreichischesHochschulrechtHeft14:BMWFW.
Kibler, S.(2011).ZwischenEmphaseundExklusion:GleichstellungspolitikinderExzellenzinitiativevon2005bis2007.Dissertation,TechnischeUni-versität Carolo‐Wilhelmina zu Braunschweig, Braunschweig. RetrievedNovember13,2013,fromhttp://digisrv-1.biblio.etc.tu-bs.de:8080/docpor-tal/servlets/MCRFileNodeServlet/DocPortal_derivate_00020876/Disserta-tion_UB.pdf;jsessionid=1F95CB1D1F0D6E9950CCA0098BBADF1E.
Lipinsky, A. (2017). Gleichstellungsziele im deutschen Wissenschafts-systemzwischenFrauenförderung,GenderMainstreaming,Anti-Diskri-minierung, Diversität und Intersektionalität. In J. Dahmen & A. Thaler(Eds.),SozialeGeschlechtergerechtigkeitinWissenschaftundForschung(pp.23–38).Opladen,Berlin,Toronto:Budrich.
Lipinsky, A., & Löther, A. (2016). Geschlecht und Gleichstellung inder Wissenschaft im europäischen Vergleich. Policies und statistischeDaten. InChancengleichheit inWissenschaftundForschung.20.Fort-schreibungdesDatenmaterials (2013/2014) zuFrauen inHochschulenund außerhochschulischen Forschungseinrichtungen (Materialien derGWK,pp.1–33).Bonn,
27ISSUE 45 | MARCH 2018
Wroblewski, A., & Leitner, A. (2011).EqualOpportunitiesPoliciesatAustrian Universities and their Evaluation: Developments, Results andLimitations. Brussels Economic Review, 54(2/3). Retrieved August 02,2011.
Wroblewski, A., & Leitner, A.(2013).AnalysevonGender-Indikatoren:WB-Kennzahl1.A.5GenderPayGapundDatenbedarfskennzahl1.3Ge-schlechterrepräsentanz im Berufungsverfahren: Studie im Auftrag desBMWF.Wien:InstitutfürHöhereStudien(IHS).
Zimmermann, K. (2012).BerichtzurEvaluationdes„Professorinnenpro-grammdesBundesundderLänder“ (HoF-ArbeitsberichteNo.6’2012).Institut für Hochschulforschung (HoF). Retrieved June 25, 2015, fromhttp://www.hof.uni-halle.de/dateien/ab_6_2012.pdf.
Zippel & Lipinsky(2017)FittingDiversityasInternationalization.112thASA meetings (unpublished conference presentation), August 15th,2017Montreal,Canada
AUTHORSANGELA WROBLEWSKIInstitut für Höhere StudienJosefstädterStraße39,1080WienÖsterreich+43159991135E:[email protected]
ANKE LIPINSKY GESIS - Leibniz Institute for the Social SciencesDept. Monitoring Society and Social Change, CEWSUnterSachsenhausen6-8,50667KölnGermany+4922147694259E:[email protected]
ISSUE 45 | MARCH 201828
Ähnlich wie viele andere Felder der angewandten WissenschaftwidmetsichderKlimaservicealsoderLösungrealweltlicherProbleme,fürdiesichdertransdisziplinäreForschungsmodusanbietet(Brinkmannetal.,2015).HierbeibeziehtdieForschungExpertenausderPraxis,imweiterenPraxisakteuregenannt,inihreForschungein.
„TdR [d.i. transdisziplinäre Forschung] always begins from areal-world problem, which emcompasses both its biophysicalsystemconsistingof stocksandflowsofmaterialandenergyas well as the corresponding stakeholders and their values,interests, powers, and interrelations ... The transdisciplinaryprocess forms the nexus between scientific research and theproblem.“(Walteretal.,2007)
TransdisziplinäreProzesse,beidenenWissengeneriertwird,gibtesinvielenunterschiedlichenDisziplinen,obbeispielsweisedieKrebsfor-schung mit Patienten arbeitet, in der Lehr- und Lernforschung LehrerundElterneinbezogenoder inderNachhaltigkeitsforschungBehördenundNGOsbeteiligtwerden.
Ähnlich wie andere Anbieter von wissenschaftsbasierten Service-leistungenoderVertreterdestransdisziplinärenAnsatzesistderKlima-service immer wieder auf der Suche nach geeigneten Methoden undEvaluationsansätzen, um die eigene Leistung zu bewerten. Die vorlie-gendeAbhandlungsollineinemkurzenAbrissdasFeldderEvaluationund die Rahmenbedingungen von transdisziplinärer Forschung abste-cken.DasZielist,zurBewusstseinsbildunginnerhalbderForschungsge-meinschaft,vorallemauchdesnaturwissenschaftlichgeprägtenTeils,beizutragen,eigeneVorüberlegungenzuteilenundgegebenenfallseineIntensivierungderDiskussionzuerreichen.
UmdiesesPapiernichtzuüberfrachten,wirdaufeineDiskussiondesBegriffs„Transdisziplinarität“ebensoverzichtet,wieaufdieZusammen-stellungderzahlreichenanderenBegriffe,dieebenfallsForschungbe-zeichnen,dieimZugeihreswissenschaftlichenProzessesPraxisakteureundderenWissensbeständeintegriert.JüngsterschieneinBeitrag,derdasderartprägnantundumfassendmacht,dasshieraufihnverwiesenwerdenkann(Walletal.,2017).
TransdisziplinäreForschunglebtimWesentlichenvonderständigenReflexionderProjektfortschrittedurchdiegemischtzusammengesetzte
ZUSAMMENFASSUNG
Die Autoren betrachten den Diskussionsstand zur EvaluationtransdisziplinärerForschungfächer-undforschungsfeldüber-greifend und zeigen, wie man in einem Dreischritt Dimen-
sionen der Evaluation mit Kriterien und Indikatoren hinterlegen kann.AlsVorgriffaufdieinderLiteraturnochwenigthematisierteEbenederMethodikwerdeneinigewichtigeEvaluationsmethodenbeschrieben.ImFazitwerdenÜberlegungenzurEvaluationvonKlimaserviceabgeleitetundnächsteSchrittevorgeschlagen.
1. EINFÜHRUNG1.1. PROBLEMSTELLUNG
ZunehmendwirdvonderWissenschafteineAusrichtungamgesell-schaftlichenNutzenunddieEinbindungvonPraxisakteurengefordert,undzwarquerdurchalleDisziplinen.DieseIdeemachtauchvordenUni-versitätennichthalt(Kraineretal.,2014).DieAutorendiesesBeitragesschließen sich einer pauschalen Forderung nach Orientierung am ge-sellschaftlichenNutzennichtan.Siehaltennichtsdavon,verschiedeneForschungsmodigegeneinanderauszuspielen,anstattUnterschiedeundEinsatzbereiche zu differenzieren. Eine rein durch Neugier getriebeneGrundlagenforschung–seisiereindisziplinäroderinterdisziplinär–hatabsolutihreBerechtigung.
FürdenBereichderangewandtenForschung,unddazugehörtderKlimaservice,ausdemdieAutorenkommen,isteineNutzerorientierungjedochunerlässlich.Dieses relative jungeFeldschlägtdieBrückezwi-schenderKlimaforschungundderPraxis,dieaufdenKlimawandelre-agierenmuss:DieeuropäischeKommissionverstehtdarunter
„the transformation of climate-related data – together withotherrelevantinformation–intocustomisedproductssuchasprojections,forecasts,information,trends,economicanalyses,assessments(includingtechnologyassessment),counsellingofbest practices, development and evaluation of solutions andanyotherservicesinrelationtoclimatethatmaybeofuseforthesocietyatlarge“(EuropeanCommission,2015).
SUSANNESCHUCK-ZÖLLER,JÖRGCORTEKAR&DANIELAJACOB
EVALUATIONTRANSDISZIPLINÄRERFORSCHUNGUNDDERENRAHMENBEDINGUNGENVORÜBERLEGUNGEN ZUR NUTZUNG IM BEREICH VON KLIMASERVICE
29ISSUE 45 | MARCH 2018
Die inAbbildung1gezeigtenLeitlinienunterscheiden transdiszipli-näre Forschung von der Grundlagenforschung und stellen gleichzeitigdiegrößtenHerausforderungenexzellentertransdisziplinärerForschungdar:TransdisziplinäreForschungsollerstensrelevantfürdieLösungvonFragen aus der realen Welt sein. Im besten Fall wird bereits die For-schungsfrage und Problemdefinition gemeinsam mit allen wichtigenPraxisakteuren formuliert (Handlungsrelevanz); sie integriert zweitens– da komplexe realweltliche Probleme disziplinär nicht zu lösen sind(Brinkmannetal.,2015)–unterschiedlichefachlicheDisziplinensowieunterschiedliche Wissensformen, Erfahrungshorizonte, WerthaltungenundsozialeKulturen(disziplinenübergreifendeSynthese).DrittenswirddieLösungallgemeinverständlichundanwendbargemacht,sodasssiebeiBedarfzunutzenist(allgemeineAnwendbarkeit).
EinefächerübergreifendeRecherche,wieBrinkmannetal.(2015)sievorgenommenhaben,zeigt,dassesinzwischeneineMengeLiteraturzudiesemProzessderKokreationgibtundauchdazu,wiedieserProzessorganisiertwerdenkann.ZusätzlichwirdinjenemReportdiskutiert,wiedieEtappenderKokreationindengesamtenForschungsprozesszuin-tegrierensind.
AlleindieFrage,wiedieForschungsergebnisse,diedurchKokreationzustandekommen,evaluiertwerden,istnochrechtvage.UnddiesnichtohneGrund:Wiegezeigt,folgtTransdisziplinaritätanderenLeitlinienalsGrundlagenforschung. Deshalb kann sie nicht nach demselben Regel-werkbewertetwerden.Rafolsetal.(2012)habennachgewiesen,dassdieVerwendungbibliometrischerMethodeninter-undtransdisziplinäreAnsätzebenachteiligt.Esistdeshalbwichtig,überneueBewertungssys-temenachzudenken,dieeineErgänzungzudenausderGrundlagenfor-schungbekanntenMethodendarstellen(Stoll-Kleemann,2007).
Nach einem kurzen Abriss der Methode in Abschnitt 2 werden inAbschnitt 3 die wichtigsten Evaluationsarten und -ansätze und ihreBedeutungfürdieEvaluationkurzdargestellt.Zudifferenzieren istda-bei vor allem zwischen Prozess- und Ergebnisevaluation. Abschnitt 4diskutiertProblemederBemessung.ErstelltQualitätskriterienundihreGewichtungvorundbeschreibt,welcheAuswirkungendieCharakteris-tikatransdisziplinärerForschungalsLeitlinienaufdieEvaluationhaben.EinDreischrittwirdvorgestellt,derdieunterschiedlichenProjektphasenzuordnetzuDimensionen,KriterienundIndikatoren.VerschiedeneHer-angehensweisenandieEvaluationfolgenebenfallsinAbschnitt4,bevorsichdieAutoreninAbschnitt5möglichen,häufigdiskutiertenEvaluati-onsmethodenzuwenden.FazitundAusblickschließensichalsAbschnitt6an.
2. METHODEUm einen Überblick über den Stand der Diskussion zur Evaluation
transdisziplinärerForschung zuerhalten, schienes sinnvoll,nachdemersten Literaturreview (Brinkmann et al., 2015) eine weitere Literatur-sichtungvorzunehmen,diesmalebenfallsfächerübergreifend,aberthe-matischaufdieEvaluationfokussiert–hatdochdieTransdisziplinaritätinanderenThemenbereichen,wieetwaöffentlicheGesundheitsvorsor-geoderNachhaltigkeit,einelängereTraditionalsinderKlimaforschungundimKlimaservice.Diespätestensseit2005aufeinerTagungderGe-sellschaftfürHuman-ÖkologielebhaftegeführteDiskussionüberBewer-tungssysteme(Stoll-Kleemann&Pohl,2007)sollte fürallebetroffenenThemenfeldermitHilfederLiteratursichtungausgewertetwerden.DieFragestellung imHintergrund lautetedabei,wasderKlimaservice von
Projektgruppe(oftauch„Monitoring“genannt).Diese„formativeEvalu-ation“(sieheauch3.3)stellteinezentraleundcharakteristischeAufgabedes transdisziplinärenForschungsmodus‘dar, sollabernicht imFokusstehen.DieAutorenbeschäftigensichindiesemTextvielmehrmitderEvaluationvonaußenundexpost,alsoimAnschlussandenAbschlusseinesProjektesodereinzelnerProjektphasen.
1.2. TRANSDISZIPLINARITÄT UND KOKREATIONIn jüngerer Zeit ist im Zusammenhang mit transdisziplinärer For-
schung der Begriff „co-creation of knowledge“ aufgekommen (hierübersetztmitKokreation,weilderimDeutschengebräuchlichereBegriffder„Koproduktion/co-production“vonMauseretal.nurfüreinenUnter-aspektverwendetwird).VorallemiminternationalenKontextistdieserBegriff,dereinenderAnsätzedestransdisziplinärenForschungsmodus‘bezeichnet,weitverbreitetundeindeutigeralsderBegriffderTransdis-ziplinarität.
AuchfürdieEntwicklungvonKlimaservicesunddenentsprechendenProdukteistdieseKokreation(Mauseretal.,2013)vonWissenzwischenForschungundPraxiseinSchlüsselelement.DiesbetontauchdieEuro-peanresearchandinnovationRoadmapforClimateServices,dievonderEU-Kommissionveröffentlichtwurde:
„Thedevelopmentofclimateservices(…)requiresatransdisci-plinaryapproachofco-design,co-developmentandco-evaluati-on“(EuropeanCommission,2015).
Da in anderen Forschungsfeldern, beispielsweise öffentlicher Ge-sundheitsvorsorgeundNachhaltigkeit,schon langemitPraxisakteurengearbeitetwird,istesfürdieForschungimBereichKlimaservicesdurch-aussinnvollzuschauen,welcheErfahrungenmitdemManagementvonderartigenKokreationsprozessenbereitsvorliegen.DaesbisherwenigAustausch zwischen den Fächern gab und die Diskussion vorwiegendinnerhalbderFachcommunitiesgeführtwurde,hatdasClimateServiceCenter Germany 2015 einen übergreifenden Literaturreview heraus-gebracht, der die Ansätze transdisziplinärer Forschung über alle For-schungsfelderhinwegvergleicht(Brinkmannetal.,2015).
TrotzderUnterschiedlichkeitderProjekte,ZieleundVorgehenswei-senseienhiereinigeAspektegenannt,dieinderLiteraturallgemeinalsLeitlinientransdisziplinärerProzesseangeführtwerden.
Abb. 1:LeitlinientransdisziplinärerForschung
ISSUE 45 | MARCH 201830
derFrage,obdieEvaluationvoninnenodervonaußenerfolgt,obalsoeineSelbst-oderFremdevaluationvorliegt.WährenddieSelbstevalua-tion in den Zusammenhang der Qualitätssicherung gehört, geht es indiesemPapierinersterLinieumdieEvaluationvonaußen.
FürdenAblaufunddasKonzeptderEvaluationistalsersterSchrittfestzulegen,wasgenauevaluiertwerdensoll.SollenProzesse imPro-jektverlaufoderderenResultate,gardasErgebnisdesgesamtenProjek-tesbewertetwerden?
3.1. PROZESSEVALUATIONDer transdisziplinäreProzessbestehtausdreiPhasen,a)demPro-
zessderProblemidentifikationund-strukturierung,b)demeigentlichenForschungsprozess(Problembearbeitungsprozess)undc)derUmsetzungderResultate(ProzessderIn-Wert-SetzungoderImplementation)(Abb.2).ImFolgendenwerdendiePhasenundihrBezugzurEvaluationnäherbeschrieben, differieren die Vorgehensweisen der Evaluation je nachProjektphase doch erheblich. Eine scharfe Trennung zwischen diesenPhasenistallerdingsoftunmöglich–ProzessundErgebnisgreifenna-türlicherweiseanvielenStellenineinander.
Abb. 2:DiedreiProzessphasentransdisziplinärerForschung(TF)(nachPohl&HirschHadorn2006)
PROZESS DER PROBLEMIDENTIFIKATION UND -STRUKTURIE-RUNG
WährendderStrukturierungsphaseeinesForschungsprojekteswirdein Team aus Wissenschaftlern unterschiedlicher fachlicher Herkunftzusammengestellt. Gemeinsam mit den Partnern aus der Praxis wirdeinzulösendesgesellschaftlichesProblemdefiniertundineinewissen-schaftlicheForschungsfrageübersetzt.Alle relevantenDisziplinensindfüreineBeteiligung inBetracht zu ziehen,ebensowiealle relevantenPraxisfelderunddiePraxisakteureausdenjeweiligenBereichen.Mögli-cheLückeninderWissensbasis,MethodologieoderpraktischenUmset-zungsolltenidentifiziertund–soweitdasgeht–fürdieProjektzukunftvorweggenommenundmitallenBeteiligtenreflektiertwerden.AufdieseArtundWeiselässtsicheingemeinsamesProblemverständnisunterdenBeteiligtenfördern.
Darüber hinaus wird ein Forschungsplan entwickelt. Dieser PlanmussalleAspektederForschungsaufgabeenthalten,alsodasProblementsprechendstrukturieren,undfürjedeAufgabeVerantwortlichesowie
denbereitsbestehendenKonzeptenübernehmenkann(siehedazuauchSchuck-Zölleretal.2018).
Es wurde nach relevanten Schlagworten sowohl auf Deutsch alsauchaufEnglischgesucht,undzwarüberdiePlattformenJ-Stor,Sci-enceDirectundGooglesowieüberdenCampus-KatalogderHamburgerStaats-undUniversitätsbibliothek.DieSchlagwortrecherchehatte29Ti-telergeben.ImzweitenSchritterfolgteeineSichtungdervorhandenenPublikationen,diezueinemTeilausderWissenschaftstheorieundausdenSozialwissenschaften, zumanderenTeilausdenFächernderFor-schung stammen, die Nutzer einbeziehen. Wissenschaftliche Literatur(im Sinne von wissenschaftlich begutachteten Veröffentlichungen) istebensoeingegangenwie„GraueLiteratur“undProjektberichte.Dieder-artermitteltenVeröffentlichungenwurdenhinsichtlicherwähnterEva-luationskriterienund -indikatorenausgewertetundnurberücksichtigt,wennsieAussagendazubeinhalteten.IneinemdrittenSchritt,derbisindieGegenwartreicht,wurdendie29TiteldersystematischenRechercheimSchneeballsystemergänzt.DasbesondereAugenmerklagdabeiaufbereits inAnwendungbefindlichenQualitätsindikatoren,dieeineneu-traleBewertungerlauben(mehrdazuinSchuck-Zölleretal.2017).Eine
ähnlicheVorgehensweisewähltenWalletal.(2017),aufderenaktuelle-reLiteratursammlunghierverwiesenwird.
DiederartentstandeneSammlung(ClimateServiceCenterGermany,2017)ergabeinegroßeBandbreiteanverschiedenenArtenvonEvalu-ation, die sich nach unterschiedlichen Aspekten differenzieren lassen,etwanachProjektphasen.AuchdieAnlässe,ausdenenherausevaluiertwird, und viele damit verknüpfte Herangehensweisen zur EvaluationtransdisziplinärerProzessevariierenstark.
3. DIFFERENZIERUNG DER EVALUATION NACH PROJEKTPHASEN
Esistwichtig,genauerzubetrachten,wasunterdemBegriff„Evalu-ation“(nachDudendie„sach-undfachgerechteBewertung“)subsum-miertwird,daerfürsehrunterschiedlicheVorgängeverwendetwird.
ZumeinenlassensichdieBewertungsvorgängeunterscheidennach
31ISSUE 45 | MARCH 2018
esnahe,einergelungenenEinbettungdesForschungsergebnissesindierealeWeltgroßesGewichtbeizumessen.
Zu bewerten wäre in einer Evaluation beispielsweise, wie gut dieErgebnisse zielgruppenspezifisch aufbereitet wurden. Wurde den kon-kreten Handlungserfordernissen, die sich aus dem Forschungsresultatergeben,Rechnunggetragen?WurdenspezielleÜbersetzungswerkzeu-gegeschaffen?WerdendieseWerkzeugegenutzt?
3.2. ERGEBNISEVALUATIONForschungsresultate(seiesausdisziplinärem,inter-odertransdiszip-
linäremForschungsmodus)lassensichunterteilenin• Output,• Outcome,• Impact,
eineTerminologie,dieausdemProjektmanagementkommt(OECD,2002).UmResultatezubewerten, istessinnvoll,sieeinemdieserdreiAspekte (sieheAbb. 3) zuzuordnen. Auch in derGrundlagenforschungsinddiesedreiPhasenauszumachen,siehabenjedocheinenanderenStellenwert: Da das Hauptziel transdisziplinärer Forschung in der Ent-wicklungvongesellschaftlichverwertbaremWissenbesteht,stehendieAspekte„Outcome“und„Impact“beiderBewertungderResultate imVordergrund.DiereinwissenschaftlicheQualitäteinerNeuentwicklungodereinesProdukteskannalsovonderBedeutungdurchaushinterderFragezurückstehen,obdieseEntwicklungeinenFortschrittinderPraxisgebrachthat.
DiekonkretenProdukte,diedurchdas transdisziplinäreProjektge-schaffenwurden,stellendenOutputdar:beispielsweiseschriftlicheAb-handlungen, Internetseiten, IT-Anwendungen.EsgehthierbeialsoumdasErgebnisdesProzessesselber.
Der Grad der Nutzung wird Outcome genannt und ist durchdie Aufnahme des Produktes oder Ergebnisses durch die Ziel-gruppe bestimmt, beispielsweise wird danach gefragt, ob einProdukt, das aus dem Forschungs- und Entwicklungsprozess her-vorgegangen ist, durch die Zielgruppe genutzt wird, ob es Lernef-fektegibtoderÄhnliches.EshandeltsichalsoumkurzfristigeWirkungs-effekte.
Ressourcenbenennen.Darüberhinausistdaraufzuachten,dassdieFor-schungsleistung wirkliche Neuentwicklung, also Innovation, bedeutet.Ansonstenböteessicheheran,bereitsbestehendenErkenntnisseoderInstrumente aufzubereiten bzw. zu synthetisieren. Ein Zeitplan mussentwickeltwerden,dereinerseitsalleAufgabenberücksichtigtundan-dererseitsgenügendZeitzurIntegrationderunterschiedlichenAspektelässt.
EineEvaluationwürdebewertenmüssen,oballedieseSchrittevor-genommenwurdenundwiegutderProzessorganisiertwar.Unerläss-lichist,dasZieleinestransdisziplinärenProzessesbereitsindieserPhasedetailliertzudefinieren,umbeiderEvaluationdieErgebnissedaranmes-senzukönnen(sieheauchAbschnitt5).
PROBLEMBEARBEITUNGSPROZESSGemeintisthierdiePhase,inderdieeigentlichewissenschaftliche
ForschunginverschiedenenTeamsundmitBeteiligungderPraxisakteu-reabläuft.SielässtsichnachPohl,HirschHadorn(2007)inzweiAspekteunterteilen:ZumeinenindenForschungsprozessansich,zumanderenindenProzessderZusammenarbeitundIntegrationderWissensbestän-de,alsodasVerwebendesWissens,dasvondenunterschiedlichenAk-teurenimtransdisziplinärenProzesseingebrachtwird:praktischeErfah-rungen,wissenschaftlicheInformationenüberdiebetroffenenSysteme,WerthaltungeneinzelnerBevölkerungsgruppen.AuchdiegemeinsameFormulierungeinesGesamtergebnissesgehörtindiesePhase.DieseFor-mulierungmitallenBeteiligtenschließtdenForschungsprozessabundstelltgleichzeitigdenÜbergang indiePhaseder In-Wert-Setzungdar.Bewertetwirdalsoeinerseits,wiederForschungsprozesswissenschaft-lich gestaltet, wie die Zusammenarbeit organisiert wurde und ob dastransparentgenuggeschah.Zumanderenistzubeurteilen,wiegutdieIntegrationderWissensbeständeerfolgte.
PROZESS DER IN-WERT-SETZUNG (IMPLEMENTATION)DiePhasederIn-Wert-SetzungbeinhaltetdenProzessdesTransfers
derwissenschaftlichenErgebnisseinWissen,dasvonderPraxisgenutztwerdenkann.Die In-Wert-SetzungkanndieProjektphaseummehrereJahreverlängern.GemäßderAufgabetransdisziplinärerForschungliegt
Abb. 3:DasErgebnisalsEvaluationsgegenstand(nachStoll-Kleemann,2007)
ISSUE 45 | MARCH 201832
arbeiten? Oder war die Einbindung der Praxisakteure nur phasenwei-segeplant (zumphasenweisenÖffnenundSchließenvonkokreativenProzessensieheBrinkmannetal.2015)?JenachderFormulierungdesVorhabens sinddieEvaluationskriterien individuell zusammenzustellenundzugewichten(Daschkeit,2007).
NichtallzuseltenwirdsichdarüberhinausdieFragestellen,wiedieEvaluationmitunerwarteteingetretenenWirkungeneinzelnerErgebnis-seumgeht.Magsein,dasseinüberraschendeingetretenerNebeneffekteines Projektes oder Produktes es erfolgreicher im Sinne des Impactsmacht,alsdieeigentlichbeabsichtigteWirkung.
4.1. EVALUATIONSKRITERIEN, DIE DEM BESONDE-REN CHARAKTER TRANSDISZIPLINÄRER FORSCHUNG ENTSPRINGEN
ZurEvaluationvonProzessenundErgebnissensindgemäßderLitera-turKriterienund-indikatorenvorhanden,dieunterschiedlichenDimen-sionenzuzuordnensind(Jahn&Keil,2015).KriterienundDimensionenorientieren sich an den Leitlinien transdisziplinärer Forschung (sieheAbb. 1). Wie sich Dimensionen, Kriterien und Indikatoren zueinanderverhalten,zeigenbeispielhaftdieAbbildungen4und5,jeweilseineausderProzess-undeineausderErgebnisevaluation.EntsprechendkönnteeinEvaluationssysteminFormeinesderartigenDreifachschrittesfüralleProjektphasenerarbeitetwerden.DenIndikatoren(ganzrechts)müsstennachfolgendnochMethodenzuihrerMessungzugeordnetwerden.DerLiteraturreview,deralleProjektphasenbetrachtete,brachteinderzumThema„Evaluation“gesichtetenLiteratur (sieheAbschnitt1)über200IndikatorenansLicht.
DarüberhinauswerdenindergesichtetenLiteraturBewertungsme-thodengenannt,mitdenenunterschiedlicheIndikatorenevaluiertwer-denkönnen.BeiBetrachtungunterschiedlicher Indikatoren sindmeis-tensmehrereMethodenzurEvaluationeinesProjektesanzuwenden.
Esistsinnvoll,RahmenbedingungenfürdieAuswahlderEvaluations-kriterienfestzulegen,bevormanmitderEvaluationeinestransdisziplinä-renProjektesbeginnt;bzw.dieProjektplanerschonimProblemstruktu-rierungsprozessKriterienbenennenzu lassen,diedemProjektgerechtwerden könnten. Manche Dimensionen, Kriterien und IndikatorenmögenfürdaseineProjektgeeignetsein,fürdasanderenicht.FürdieeinzelnenProdukte(sieheoben),dieinnerhalbdesProjektesentstandensind,giltdasebenso.JenachZielsetzungerfordertdieEvaluationein-zelnerProdukteein individuellesBewertungsset,dassichnocheinmalunterscheidet, je nachdem, ob eine Prozess- oder Ergebnisevaluationgeplantist(sieheAbschnitt2).
Optimalerweise stehen diese Kriterien bereits bei der Planung desProjektes, also inderPhasederProblemstrukturierung (sieheAbb. 2),fest(Daschkeit,2007),bzw.werdenimRahmenderProblemstrukturie-rungfürdasjeweiligeProjektmitvorgeschlagen.Siemüssenjedochun-terUmständenspäterangepasstwerden, jenachdemwiesichProjektundProdukteentwickelthaben.Darüberhinausistfestzulegen,wiedieeinzelnenKriteriengewichtetwerdensollen,alsowelchenStellenwertderbewerteteAspekt imProjekteinnimmt(gemessenamformuliertenZielundggf.derAnpassungdesselbenimProjektverlauf).EsmagProjek-tegeben,fürdieWissenssyntheseundKokreationbeispielsweiseaus-schlaggebendsind,währendandereProjektesichdaraufbeschränken,diePraxisakteurenuramRandeinzubeziehen.
DieWirkungindessen,diedieseProdukteundihreAnwendunglän-gerfristigaufdiebetreffendeOrganisationoderdieGesellschafthaben,wirdals„Impact“bezeichnet.ImpactstelltalsodenMehrwertdar,dendasErgebnisdestransdisziplinärenProjektesfürdieBeteiligtenoderdieZielgruppeunddamitdieGesellschaftallgemeingebrachthat.Esgehthier – um bei dem oben angeführten Beispiel zu bleiben – nicht nurdarum,obdasentwickelteProduktgenutztwird,sondernwelcheWir-kungdieNutzungerzielt,undzwarsowohlmonetär/fiskalischalsauchgesellschaftlich (Walter et al., 2007). Zu fragen ist beispielsweise, obesindemeinenoderanderenSektorVeränderungenbewirkthat.DendenkbargrößtenImpactkonntebeispielsweiseseinerzeitdieForschungzumOzonlochverbuchen:DieverursachendenStoffewurdennachundnachverboten.KürzlichkonntenSusanSolomonetal.(2016)sogareinedeutlicheVerkleinerung,wennnichtgarSchließungdesLocheskonsta-tieren.IndiesemFallhatdieForschungnichtnureinenPolitikwechselbewirkt,sonderndieserPolitikwechselhatauchErfolggezeitigt.
3.3. FORMATIVE UND SUMMATIVE EVALUATIONAuchderZeitpunktderEvaluationisteineguteDifferenzierungsmög-
lichkeit:WährenddieformativeEvaluationwährenddesForschungspro-zessesabläuftundEinflussaufdenselbennimmt,bewertetdiesumma-tiveEvaluationhingegeneinVorhabenexpost(Stoll-Kleemann,2007).
Bei der formativen Evaluation geht es nicht um eine formale oderrückblickende Evaluation, sondern um die Verbesserung des Arbeits-prozessesmitHilfevoniterativenReflexionsprozessenundMonitoring.Dies istalsSelbstevaluationdenkbar (Bergmannetal.,2005),oftwirdjedochauchSupervisionoderCoachingeingesetzt.IndiesemFallbeglei-tenneutralePersonenvonaußendietransdisziplinärzusammengesetzteArbeitsgruppe und hilft nach dem Ablauf einzelner Teilprojekte nichtnurbeider IntegrationdesWissens,sondernreflektiertauchdasMit-einanderinderGruppe(Kuhlmann,2003).Sowirdgewährleistet,dassalleSichtweisenundWerthaltungenausreichend inBetrachtgezogenwerden.
Die Evaluationen, die ex post vorgenommen werden (summativeEvaluationen)und imRückblickeinVorhabenoderein Institutbewer-ten,führtüblicherweiseeineGruppevonGutachtern(eineKommission)durch,oftimAuftragundunterBeteiligungderGeldgeber.Aufdersum-mativenEvaluationliegtderSchwerpunktdiesesPapiers.
4. BEMESSUNGSGRUNDLAGENDajedesProjektseinganzspeziellesSystemundRegelwerkhat,be-
nötigtauchjedesProjekteinendaranangepasstenEvaluationsrahmen.DahersolltevorderEvaluationeineAuswahlgetroffenwerden,welcheEvaluationskriterienambestenfürdasProjektunddieeinzelnenResul-tate–hierProduktegenannt–passen.SpezifischeKriteriensindfürdasProjektunddieeinzelnenProduktezusammenzustellen,diedieRollederBeteiligtenunddieFunktiondertransdisziplinärenProzessewiderspie-geln.
Darüber hinaus kann eine Bewertung nur anhand der jeweiligenProjektzieleerfolgen.WashabensichWissenschaftlerundPraxispartnerin ihrem Forschungsplan vorgenommen (Soll-Ist-Vergleich)? WelchenStellenwert räumen die Forschungspartner dem transdisziplinären Ko-operationsprozessein?SolltendiePraxisakteurebeispielsweisenurbeider Formulierung der Fragestellung eingebunden werden und dann(Zwischen-)Ergebnisse diskutieren oder sollten sie durchgehend mit-
33ISSUE 45 | MARCH 2018
zung(Dimension„Offenheit“inAbb.4).DiegemeinsameDiskussiondie-serAspekteimtransdisziplinärenTeambestimmtZielrichtungunddenFokusdesProjektes.UmimLaufedesKokreationsprozessesumsteuernzukönnen,wennsichdieAnforderungenderPraxispartnerineineun-erwarteteRichtungbewegen,isteineAnpassungsfähigkeitvonZielen,ZeitstruktursowieMethodikundeineentsprechendeFlexibilität inderProjektkonzeptionsinnvoll.
Lässt sich die entwickelte Problemlösung auch auf andere Skalenoder Problemfelder übertragen, erhöht das natürlich die WirksamkeitdesErgebnissesunddieHandlungsrelevanz(Kriterium„Multiplikatoref-fekt“inAbb.5).
HANDLUNGSRELEVANZWiewirddieLeitliniederHandlungsrelevanz(sieheAbb.1)zueinem
Aspekt der Evaluation? Gegenstand der (transdisziplinären) ForschungisteingesellschaftlichesProblem,daszu lösen ist.UmeinemöglichstwirksameLösunganzustreben,solltedasProblemwährenddesProzes-sesderProblemidentifikationund-strukturierungumfassendreflektiertund beschrieben werden (Dimension „Umfang“, Abb. 4). Dazu gehörteine deutliche Definition des angestrebten Zieles und der Skalen, aufdenendieLösungwirkensoll,alsoetwafüreinegewisseRegion,eineStadt, einen Sektor, einen Landschaftsraum. Das bereits vorhandeneGrundlagenwissen sowie die wissenschaftlichen Möglichkeiten undGrenzen sind offen anzusprechen, ebenso wie Grenzen in der Umset-
Abb. 4:BeispielezurEvaluationdesProzessesderProblemidentifikationund-strukturierung:Dimensionen,zugehörigeKriterienundIndikatorenwer-denaufeinanderbezogen(nachJahn&Keil,2015).
Abb. 5:BeispielezurEvaluationdesErgebnisses(PhasederIn-Wert-Setzung):Dimensionen,zugehörigeKriterienundIndikatorenkönnenineinemDreischrittentwickeltwerden(nachJahn&Keil,2015).
ISSUE 45 | MARCH 201834
derdreiAspektedenanderenmöglicherweisezuwiderläuft.EineAnaly-sedieserdreiLeitlinienundihrerWechselwirkungmussinBetrachtge-zogenwerden,umeineumfassendeVorgehensweisefürdieEvaluationauszuwählenundeineangemesseneMischungvonDimensionen,Krite-rienundIndikatorenzufindenundüberdieGewichtungdereinzelnenIndikatorenzuentscheiden.
4.2. INNOVATIONSKRAFTZusätzlich zu diesen Leitlinien wird vor allem in der jüngeren Lite-
ratur zunehmend der Innovationscharakter des generierten Wissensbeleuchtet (Brinkmann et al., 2015). Die Ergebnisse der Kokreations-prozessesollennichtnurdieGesellschaftweiterbringen,sondernesistwünschenswert,dasssieindasWissenschaftssystemzurückfließenunddenwissenschaftlichenDiskurserneutbefeuern.DieErfahrungenunddaserarbeiteteTransformationswissensindalsozuveröffentlichenundderartwiederinSystemwissenzuüberführen.
Vor allem der transdisziplinäre Ansatz aus dem Umkreis des Insti-tuts für sozialökologische Forschung (ISOE) sieht diese Belebung deswissenschaftlichenDiskursesunddasAufwerfenneuerwissenschaftli-cherFragestellungenalswichtigeAufgabetransdisziplinärerForschung(Brinkmannetal.,2015).DieHerstellungdieserwissenschaftlichenAn-schlussfähigkeitbedeutetfürtransdisziplinäreProjekteallerdingseinenerheblichenMehraufwandanRessourcen,müssendieErgebnissedochgeneralisiert werden. Zudem sehen viele Ausschreibungen transdiszi-plinärer Forschungsprojekte diese Rückführung der Ergebnisse in denwissenschaftlichenWissenspoolgarnichtvor.
EshandeltsichbeiderBewertungderInnovationskraftnichtumeintypischesEvaluationsproblemtransdisziplinärerForschung,sondernumQualitätsanforderungen an wissenschaftliche Forschung allgemein. EsliegenerprobteBewertungssystemevor,wiebeispielsweisedieBiblio-metrischeMethode (sieheAbsatz5.1).Allerdings istbei ihrerAnwen-dungderbesondereCharaktertransdisziplinärerProjekteundderJour-nale zubedenken,dieausdiesenProjektenstammendePublikationenaufnehmen.MöglicherweisehabensieeinengeringerenImpaktfaktor.
5. BEWERTUNGSMETHODEN (AUSWAHL)
InderGrundlagenforschungsindMethodenverbreitet,diesichaufdieVeröffentlichungenbeziehen,dieauseinemForschungsprojekther-vorgegangensind(Bibliometrie),sowiequantitativeAnsätzezurMengedereingeworbenenDrittmittel.DasvorliegendePapierlegtdenSchwer-punktaufdieMethodenundHerangehensweisen,diefürtransdiszipli-näreProjektewichtigundalsMethodenausanderenZusammenhängenbereitsanerkanntsind.EswerdeninderimZusammenhangmitEvalua-tiongesichtetenLiteratur(sieheAbsatz2)mehrerespezielleMethodendiskutiert,diedieAutorenimAnschlusskurzanreißen.
Die Evaluation transdisziplinärer Projekte ist gerade deshalb eineHerausforderungundquasieinneuesForschungsterrain,weilesbishernochwenigobjektive,quantitativmessbareIndikatoreninderLiteraturgibt.UmderKomplexitätderVorgängebeitransdisziplinärenProzessengerechtzuwerden,wirdhäufigfürqualitativeVerfahrenplädiert.Diesistnachvollziehbar,sobildendochreinsummarischeVerfahren,wiebei-spielsweisederAbgleichvonKennzahlen(ScoreCard),keineguteGrund-lage, um verschachtelte und interdependente Vorgänge zu bewerten.
INTEGRATION UND SYNTHESEDiesesKriteriumistimZusammenhangmitKokreationundtransdis-
ziplinärerForschungzentral.DeshalblässtessichüberallePhasendesProjektesevaluieren.InderPhasederProblemidentifikationund-struk-turierunggehtesdarum,indieForschungsfragemöglichstunterschied-licheErfahrungen,WissensartenundBedarfeeinfließenzulassen(sieheentsprechendeDimensioninAbb.4).
DieSichtweisenvonWissenschaftundPraxissinddeshalbwährendder Problemstrukturierungsphase unter Beteiligung der Praxispartnergleichermaßenzuberücksichtigen.ZurGenerierunggesellschaftlichro-bustenWissens istesausschlaggebend,unterschiedlicheSichtweisenundWertesystemeeinzubeziehen–alsosowohldiewissenschaftlichenErkenntnisseausdenunterschiedlichenbeteiligtenDisziplinenalsauchdie Expertise, Erfahrungen und Anforderungen der unterschiedlichenPraxisakteure–undeinenAustauschüberdengesamtenKokreations-prozesshinwegzugewährleisten,wennauchmöglicherweiseinPhasenunterschiedlicherIntensität(Bergmannetal.,2010).
UmeineZusammenarbeitaufAugenhöhederunterschiedlichenBe-teiligtenzuerreichen,wirdeineSymmetriezwischendenunterschiedli-chenSichtweisenimTeambenötigt.Grundvoraussetzungdazu:Diebe-troffenengesellschaftlichenInteressensgruppenwurdenberücksichtigt(KriteriumderneutralenundsystematischenAuswahlderTeilnehmer,Abb.4).
Ein Verständnis des systemischen Kontextes ist zur Lösung gesell-schaftlichrelevanterFragenunerlässlich,gehtesdochumhochkomplexeProblemlagen.DasvondenunterschiedlichenBeteiligteneingebrachteWissenüberdieunterschiedlichenSystemeisteineguteVoraussetzung,komplexe Forschungsfragen unter Berücksichtigung der unterschiedli-chenEinflüsseaufdaszuuntersuchendeSystemformulierenzukönnen.
Liegen Ergebnisse aus dem Forschungsprojekt vor, so lässt sich inder Phase der In-Wert-Setzung auch dieser Output daraufhin evaluie-ren,obeineerfolgreicheIntegrationundSynthesederWissensbeständestattgefundenhatundsichdasimGesamtergebnisniederschlagt(sieheAbb.5).
ALLGEMEINE ANWENDBARKEITDerOutputdesForschungsprojektesmussineinerArtundWeisege-
staltetsein,dassdieZielgruppeihnverstehtunddasWissenanwendenkann.DieNutzerfreundlichkeitisteineGrundvoraussetzungfüreinengu-tenGradvonOutcomeundImpact(gleichnamigeDimensioneninAbb.5).EntscheidungsträgerundanderegesellschaftlicheAkteurebenötigengutaufbereiteteErgebnisse,umwirtschaftlicheEntscheidungentreffenundgesellschaftlicheVeränderungenanstoßenzukönnen.Dabeispieltdas Material, das den Nutzern an die Hand gegeben wird, auch eineRolle (KriteriumderAusführlichkeit inAbb.5):VielleichtsindspezielleDarstellungsformen oder beispielsweise eine neue IT-Anwendung zuentwickeln (etwa ein elektronisches Tool zur Entscheidungsunterstüt-zungodereinneuesWebportal),dasdenNutzerndenZugangerleich-tert.AuchbegleitendeTrainingskönnenhiereineRollespielen.DabeiistaufleichteVerständlichkeitundArtdesMediumszuachten.
EineguteAnwendbarkeitistdiebesteVoraussetzungfüreinehoheWirksamkeit(Dimension„Impact“inAbb.5),diewünschenswerterweiseauchgesellschaftlicheVeränderungenzurFolgehat(Kriterium„Gesamt-gesellschaftlicheAuswirkungen“inAbb.5).
Zusammenfassendistfestzustellen,dassjeweilsanhanddesProjekt-zielesabgewogenwerdenkann,welchenStellenwertjedederdreige-nanntenLeitlinienimProjekthat,umdieQualitätzubewerten,dajeder
35ISSUE 45 | MARCH 2018
andere.Allenistgemeinsam,dassoffeneFragenesdemBefragtener-möglichen,ausführlichzuantwortenundsokomplexeVorgängezube-schreiben.FürdieEvaluationvontransdisziplinärerForschungbedeutetdasfürdieBefragten,konkreteundspezielleProblemeundAspektedesProzesses der Kokreation von Wissen genau beschreiben und Wider-sprücheverbalisierenzukönnen.ProfessionelleFragetechnikensindhilf-reich,weilsiekreativeunddynamischeKräfteaktivieren,wie„dieDingeseinkönnten“.WieverbreitetQualitativeInterviewszurEvaluationsind,wirdauchdadurchdeutlich,dassdieseMethode ineinergroßenZahlder fürdenLiteraturreviewgesichtetenLiteraturangegebenwird (z.B.Jahn&Keil,2015,Vaughan&Dessai,2014,Bergmann&Jahn,2008).
QUANTITATIVE INTERVIEWSDasQuantitativeInterviewimZusammenhangmittransdisziplinärer
Forschung wird oft schriftlich und beispielsweise mittels einer Likert-skalageführt (Walter et al., 2007,Masseet al., 2008).DiesedefiniertabgestuftenWerteaufeinerAchse,z.B.von1bis5.Hierheißt1„ichbinvölligandererMeinung“,5stehtfür„ichstimmevölligzu“.DieseVorge-hensweiseerlaubtes,qualitativeIndikatorendifferenzierterabzufragenalsmitdemeinfachenGegensatz„Ja“oder„Nein“.DieAntwortenblei-bendurcheineLikertskalaeinfach,erlaubenabereineVergleichbarkeitverschiedener Aspekte eines Projektes, etwa ob die Praxisakteure mitdem Management des Projektes zufriedener waren als mit der Wis-senssynthese.DarüberhinaussindVergleichezwischenverschiedenenProjekten vorstellbar: Fühlte sich beispielsweise der Praxisakteur vonProjektAoderProjektBbesserandieHandgenommen?VorallemsindquantitativeInterviewsfüreineProjektevaluationhilfreich,weilsieeineZahlenskalaliefern,dieeineVergleichbarkeitvonThemenundProjektenherstellt.ImGegensatzdazueignetsichdieseMethodewenig,wennesumdieVerbesserung laufenderProzessehandelt,weil dieGründe fürdieAussagennichtgenanntwerden.Quantitative Interviewserlaubenes,qualitativeKriterienquantitativzubewertenundkönnenentwederfürEinzelinterviewsoder inFokusgruppen(beispielsweisezubestimm-tenThemenodervonAkteurenbestimmterSektoren)eingesetztwerden.
GEMISCHTE INTERVIEWSSehrverbreitetsindInterviews,diesowohlquantitativealsauchqua-
litativeFragenbeinhalten(z.B.Hassenforderetal.,2015).Es liegtalsoeineKombinationderbeidenInterviewformenvor.
6. FAZITEswurdeerläutert,warumtransdisziplinäreForschungnichtmitdem
gleichenMaßstabzumessenist,wiedisziplinäreoder interdisziplinäreForschung. Dafür weichen die Leitlinien und Zielsetzung transdiszipli-närer Forschung zu sehr von denen der anderen Forschungsmodi ab.Zudem handelt es sich bei der Kokreation von Wissen um einen sehrkomplexen Forschungsmodus mit vielen Beteiligten und wiederholtenIterationsschleifen.DieEvaluationderartigerForschungsprojekteistda-hereinebesondereHerausforderung,dienochvielNeulandist.
SeitderinAbsatz2genanntenTagungderGesellschaftfürHuman-ÖkologiezurEvaluation2007wirdinderLiteraturimmerwiederüberdieQualitätvontransdisziplinärenProzessendiskutiert.Allgemeinkannfest-gestelltwerden,dasstransdisziplinäreForschungsichevaluierenlässt,indemmaneine„KombinationvonklassischenfachlichenKriterienmitKriterien,diediegesellschaftlich-politischeRelevanzerfassenkönnen“
AllerdingsistesausSichtderAutorendiesesPapiersdurchaussinnvoll,FragennachderQualitätübereineLikertskala(Punktesystemvonz.B.1bis5)messbarzumachenundsodieBewertungeninnerhalbeinerGut-achtergruppezuvergleichen(siehedazuauchSchuck-Zölleretal.,2017).
5.1. BIBLIOMETRISCHE METHODEHierbei handelt es sich um eine quantitative Analyse von in wis-
senschaftlichen Zeitschriften veröffentlichten Beiträgen. Die WertungerfolgtnachdemRankingwertderZeitschrift, deren ImpaktfaktorundnachderAnzahlderZitate,diedereinzelneArtikelaufweist.DieseEva-luationsmethodewirdoftverwendet,weilsieeineobjektiveVergleich-barkeit von unterschiedlichen Ergebnissen aus ganz verschiedenenArbeitsbereichen versucht (Hall et al., 2012). Als EvaluationsmethodefürtransdisziplinäreProzessewirddieBibliometriejedochsehrkritischgesehen,u.a.weil
das bei der Kokreation entstehende Wissen von seinem Charakterher nicht in die hochrangigen Journals aus der GrundlagenforschungpasstunderstnachundnachwissenschaftlicheZeitschriftengegründetwerden,diesich fürdieseArtvonWissenunddiedahinter liegendenProzesseinteressieren,
eingelungenerKooperationsprozesssonichtbewertetwerdenkann,die gesellschaftliche Wirkung während oder kurz nach dem For-
schungsprozessnochnichteingetretenistundsonichtgemessenwer-denkann.
UnterUmständenwirddieBibliometriealsMöglichkeitzurEvaluati-onvontransdisziplinärerForschungjedochmehrundmehranGewichterhalten,dadieErgebnissetransdisziplinärerForschungimmerhäufigerin immer mehr (neuartigen) Zeitschriften publiziert werden, wie bei-spielsweise imneuenJournal„ClimateServices“vonElsevier.JedochistdannabervielleichtaucheinanderesRankingderZeitschriftennot-wendig. Darüber hinaus könnte die Bibliometrie vielleicht in einer fürtransdisziplinäre Forschung geeigneten Weise genutzt werden, wenndie Bemessungsgrundlagen angepasst würden. Beispielsweise könn-tedieBandbreiteanDisziplinen,ausdeneneinArtikelzitiertwird,derBibliometrieeinenAspekthinzufügen,dergenauzurZielsetzungeinestransdisziplinärenProjektespasst.
5.2. BEFRAGUNGEN VON PROJEKTBETEILIGTEN UND NUTZERN
EinbeliebtesundsinnvollesInstrumentistdieBefragungvonProjekt-beteiligtenoderNutzern.WerdendieBeteiligtenbefragt,handeltessichnatürlichumeineInnensicht,dieaufder(Selbst)WahrnehmungderAk-teureberuht(Walteretal.,2007).DieBefragtenkönnenTeilnehmer(alsoWissenschaftleroderPraxisakteure)oderProjekt-bzw.Programmverant-wortlichesein.Bergmann2007stellteinenFragenkatalogvon23Fragenfür eine „diskursive“ Evaluation vor, die jeweils mit „Ja“ oder „Nein“beantwortetwerdenkönnen.DasZielist,mitdenProjektakteurenüberdieQualitätderArbeitwährenddesProjektesinsGesprächzukommen.DerBergmannscheFragenkatalogerscheintdenAutorendiesesPapiersauch für eine summative Evaluation nutzbar.ÜberdieAnwendbarkeitdesErgebnissesfürDrittegebenderartigeBefragungenwenigAuskunft.Auchfüreineex-postEvaluationbietensichBefragungenan,sowohlmitNutzernalsauchmitProjektbeteiligten.
QUALITATIVE (OFFENE) INTERVIEWS Es gibt verschiedene Interviewformen, z.B. das „narrative“, das
problemfokussierte, das semistrukturierte, das geleitete Interview und
ISSUE 45 | MARCH 201836
genpragmatischeMöglichkeitenzurVereinfachungvor,dieeinegerech-teEvaluationgewährleisten.
UmdieQualitätvontransdisziplinärerForschungzuverbessernundweitere verwertbare Erfahrungen zu sammeln, wäre es sinnvoll, einesummativeEvaluationtransdisziplinärerForschungsprojektezurRegelzumachen.Dadafürnatürlichsowohlzeitlichealsauchfachlichesowieper-sonelleRessourcenbenötigtwerden,könntedieMöglichkeitvonkleinenFolgeprojekten,dieandiesenZweckundaneineVeröffentlichungderEr-gebnissegebundensind,dazubeitragen,eineWissenslückezuschließen.
LITERATURBergmann M, Jahn T, Knobloch T, Krohn W, Pohl C,Brohmann B, Hoffmann E, Loibl MC, Rehaag R, Schramm E, Voß JP(2005)QualityCriteriaofTransdisciplinaryResearch-AGuidefortheFormativeEvalu-ation of Research Projects, ISOE-Studientexte, 13, Institute for Social-EcologicalResearch(ISOE),Frankfurt/M.
Bergmann M (2007)TransdisziplinäreQualitäten.Kriterienfürdiedis-kursive und formative Evaluation transdisziplinärer Forschung. Stoll-KleemannS,PohlC,Evaluationinter-undtransdisziplinärerForschung.EditionHumanökologie5,Oekom,München
Bergmann M, Jahn T (2008)IntendierteLerneffekte:FormativeEvalua-tioninter-undtransdiszipinärerForschung.MatthiesH,SimonD(Hrsg.)WissenschaftunterBeobachtung
Bergmann M, Jahn T, Knobloch T, Krohn W, Pohl C, Schramm E(2010) Methoden transdisziplinärer Forschung, Campus Verlag, Frank-furt/NewYork
Brinkmann C, Bergmann M, Huang-Lachmann JT, Rödder S, Schuck-Zöller S (2015) Zur Integration von Wissenschaft und PraxisalsForschungsmodus.Report23.ClimateServiceCenter.http://www.climate-service-center.de/products_and_publications/publications/de-tail/062692/index.php.de(abgerufenamam31.07.2015)
Climate Service Center Germany(2017)29publicationsreferringtotheevaluationofcriteriaand indicators,measuringco-creationprocesses.http://www.gerics.de/imperia/md/content/csc/gerics/literaturliste_re-view.pdf(abgerufenam26.10.2017)
Daschkeit A, Loibl M C (2007) Projektspezifische Evaluation human-ökologischer Nachhaltigkeitsforschung. In: Stoll-Kleemann S, Pohl C,Evaluationinter-undtransdisziplinärerForschung.HumanökologieundNachhaltigkeitsforschung auf dem Prüfstand. Edition Humanökologie5,Oekom,München
European Commission (2015) A European research and innovationRoadmap for Climate Services. https://publications.europa.eu/en/pub-lication-detail/-/publication/73d73b26-4a3c-4c55-bd50-54fd22752a39/language-en(abgerufenam03.01.2018)
Hall KL, Stokols D, Stipelman BA, Vogel AL, Feng A, Masimore B, Morgan G, Moser RP, Marcus SE, Berrigan D (2012)Assessing theValueofTeamScience.AmJPrevMed42(2)
(Stoll-Kleemann,2007),wählt.DadietransdisziplinärenProjekteindenunterschiedlichenForschungsfeldern jedochstarkunterschiedlichaus-geprägtsind,istfürjedesProjekteineigenesKonzeptzurEvaluationzuerstellen.EsgibtalsokeinEvaluationskonzept,dasaufalletransdiszipli-närenProjekteundProduktepasst(„One-fits-all“),dieEvaluationistfürjedesProjektundProduktindividuellzurahmen.AusschlaggebendsinddafürdieimVorhineindefiniertenZielsetzungenderBeteiligten.
DiesesEvaluationskonzeptentscheidetauchdarüber,obderProjekt-prozessoderdas-ergebnisGegenstandderEvaluationseinsoll.Darüberhinaus beinhaltet es als Bemessungsgrundlage u.a. die Auswahl derKriterien,diefür jedesProjektanhandder jeweiligenZielbeschreibungeigens vorzunehmen ist. Auch eine Gewichtung ist vorzunehmen, wiestarkdieunterschiedlichenDimensionenundKriterientransdisziplinärerProzesseindieBewertungeingehensollen.
Da die für transdisziplinäre Projekte so wichtigen Outcomes undImpactserstmiteinemgewissenzeitlichenNachlaufbewertetwerdenkönnen, spielt auch der Zeitpunkt der Evaluation eine wichtige Rolle.UnterUmständenbietetessichan,mehrstufigeEvaluationskonzeptezuentwerfen,sodassmanmitderBeurteilungvonOutcomeundImpactwartet, bis die Nutzer Zeit hatten, den Output zu testen und in ihrenArbeitsalltagzuintegrieren(Outcome).WelchengesellschaftlichenNut-zendasForschungsergebnisdannentwickelt,benötigtwiederumeinegewisseZeit.EinenangemessenenZeitpunktfürdieBewertungdesIm-pactszufinden,istschwierig.
Während zu „Transdisziplinarität“ und ihren Methoden inzwischenrelativvielMaterialvorliegt,stehtdieDiskussionüberkonkreteEvalua-tionsindikatorenundMessmethodennochamAnfang.DieAutoren,diesichdenFragenderEvaluationwidmen,plädierenzumallergrößtenTeilfürqualitativeBewertungsindikatoren.OftwerdenFragenformuliert,dienurpositivodernegativzubeantwortensindundsohelfenfestzustel-len,obgewissenAnforderungenFolgegeleistetwurde(z.B.Bergmann,2007).MessbareIndikatorenwerdenindergesichtetenLiteraturnursel-tenabgeleitet.EinengutenÜberblicküberEvaluationskonzepte liefernWolfetal.(2013).
AufderSuchenachmöglichstneutralenundgutvergleichbarenEva-luationsansätzenerscheintdiesequalitativeHerangehensweiseabernuralsersterbzw.zusätzlicherSchrittsinnvoll.EinAusweg,umqualitativeInterviews mit Projektbeteiligten und Nutzern in quantitativ messbareGrößenumzuwandeln,stellt–wieaufgezeigtwurde–dieLikertskaladar.
WieindenAbbildungen4und5beispielhaftdargestellt,erscheintessinnvoll,eineGesamtschauderEvaluationskriterienund-indikatorenzuerstellenundmitquantitativenundqualitativenIndikatorenzuverknüp-fen.Unzählige Indikatorenwurden inderLiteratur identifiziert.JedemdieserIndikatorenließesicheineMeßmethodezuordnen.
DieDiskussioninnerhalbderTransdisziplinaritäts-CommunityistvongroßerBedeutungfürdenKlimaservice.DieSichtungdervorhandenenDimensionen,KriterienundIndikatorenhatgezeigt,dassdieseaufdenKlimaserviceohneWeiteresübertragbarsind.
AUSBLICKWaskönntendienächstenSchrittesein?AufGrundlagederbereits
bestehendenÜberlegungenkönnte längerfristigeinRegelwerk fürdieEvaluationtransdisziplinärerProzesseundfürdieKokreationvonWissenabgeleitetwerden,dasinallenForschungsfeldern,diekokreativarbei-ten,zumEinsatzkommenkann.
DarüberhinaushatinzwischeneinNachdenkenüberdieMachbar-keitkomplexerEvaluationsprozesseeingesetzt.Wolfetal.(2013)schla-
37ISSUE 45 | MARCH 2018
Stoll-Kleemann S, Pohl C(Hrsg.)(2007)Evaluationinter-undtransdiszi-plinärerForschung.EditionHumanökologie5,Oekom,München
Stoll-Kleemann, S(2007)PotenzialederEvaluationinter-undtransdiszi-plinärerNachhaltigkeitsforschungundHumanökologie.Stoll-KleemannS,PohlC(Hrsg.)Evaluationinter-undtransdisziplinärerForschung.Edi-tionHumanökologie5,Oekom,München
Vaughan C, Dessai S(2014)Climateservicesforsociety:origins,institu-tionalarrangements,anddesignelementsforanevaluationframework.WIREsClimChange5
Wall TU, Meadow AM, Horganic A (2017)Developingevaluation in-dicatorstoimprovetheprocessofcoproducingusableclimatescience,Weather,Climate,andSociety,9,95-107
Walter A, Helgenberger S, Wiek A, Scholz RW(2007)Measuringso-cietaleffectsoftransdisciplinaryresearchprojects:Designansapplica-tionofanevaluationmethod.EvaluationandProgramPlanning30
Wolf B, Lindenthal T, Szerenscitis M, Holbrook JB, Heß J (2013)Eva-luatingResearchbeyondScientificImpact,GAIA,22/2,104-114
AUTHORSSUSANNE SCHUCK-ZÖLLERClimate Service Center GermanyHelmholtz-Zentrum GeesthachtE:[email protected]
JÖRG CORTEKARClimate Service Center GermanyHelmholtz-Zentrum GeesthachtE:[email protected]
DANIELA JACOBClimate Service Center GermanyHelmholtz-Zentrum GeesthachtE:[email protected]
DANKSAGUNGDie Autoren danken Stefan Füsers für die Literatursichtung und -aus-wertung.
Hassenforder E, Smajgl A, Ward JR (2015) Towards unterstandingparticipatoryprocesses:Framework,applicationandresults.JournalofEnvironmentalManagement157
Jahn T, Keil F (2015)Anactor-specificguidelineforqualityassuranceintransdisciplinaryresearch.In:Futures65
Krainer L, Winiwarter V, Pretis S, Campbell D, Haas W, Karner S, Miechtner G, Plunger P, Reitinger E, Spök A, Weisz U(2014)Trans-disziplinaritätmessen?IndikatorenfürgesellschaftlicheWirksamkeitvonForschungamBeispielderIFF,IFFKlagenfurt,Wien,Graz,Forschungs-bericht
Kuhlmann S(2003)LeistungsmessungoderLernmedium?EvaluationinderForschungs-undInnovationspolitik.Technikfolgenabschätzung.The-orieundPraxis12(1):11-19
Masse LC, Moser RP, Stokols D, Taylor BK, Marcus SE, Morgan GD, Hall KL, Croyle RT, Trochim WM(2008)MeasuringCollaborationandTransdisciplinaryIntegrationinTeamScience.AmJPrevMed35(2S)
Mauser W, Klepper G, Rice M, Schmalzbauer BS, Hackmann H, Lee-mans R, Moore H(2013)Transdisciplinaryglobalchangeresearch:theco-creationofknowledgeforsustainability,CurrentOpinioninEnviron-mentalSustainability,5,420–431
OECD(2002)Glossaryofkeytermsinevaluationandresultsbasedma-nagement http://www.oecd.org/development/peer-reviews/2754804.pdf(abgerufenam14.07.2016)
Pohl C, Hirsch Hadorn G(2006)Gestaltungsprinzipienfürdietransdis-ziplinäreForschung
Pohl C, Hirsch Hadorn G(2007)DieGestaltungsprinzipienfürdietrans-disziplinäreForschungdestd-netundihreBedeutungfürdieEvaluationIn:Stoll-KleemannS,PohlC.(2007)Evaluationinter-undtransdisziplinä-rerForschung.EditionHumanökologie5,Oekom,München
Rafols I, Laydesdorff L, O‘Hare A, Nightingale P, Stirling A (2012)Howjournalrankingscansuppressinterdisciplinaryresearch,ResearchPolicy.doi:10.1016/J.respol.2012.03.015
Schuck-Zöller S, Cortekar J, Jacob D (2017)Evaluatingco-creationofknowledge:fromqualitycriteriaandindicatorstomethods,in:AdvancesinScienceandResearch14,305-312
Schuck-Zöller S, Brinkmann C, Rödder S(2018)IntegratingResearchand Practice - What Climate Services can learn from other Fields, in:CommunicatingClimateChange InformationforDecision-Making,Ser-rao-NeumannS,CoudrainA,CoulterL(eds)Springer,Heidelberg/NewYork(inprint)
Solomon S, Ivy DJ, Kinnison D, Mills MJ, Neely III RR, Schmidt A(2016)EmergenceofhealingintheAntarcticozonelayer.ScienceVol.353,Issue6296
BACKGROUND AND GOALSResearch,TechnologyandInnovationpolicyismorethaneverchargedwithdemonstrating societal impact.Thisraisesnewissuesatalllevelsofpolicydesign,implementationandevaluation.
ThislargestEuropeanR&Ipolicyevaluationconferenceisdevotedtothechallengeofgenerating, understanding and assessing societal impact through R&I policy.ItdiscussesnewpolicyrationalesandnewdemandsforR&Ipolicyinserviceofsociety,reflectschallengesinR&Ipolicy-makingtriggeredbytheserationalesanddemands,andscrutiniseswhatisexpectedanddeliveredfromdifferentpolicyintelligenceapproaches,inparticularimpactassessmentandevaluation.
Keythemesaddressedbytheconferenceare:• Thenatureofimpact-orientedR&Ipolicy• Design,implementationandsupportofimpact-orientedR&Ipolicies• Leadingedgeconcepts,toolsandmethodstoassesssocietalimpactofR&Ipolicy• Effectsofandpolicylearningfromimpactevaluation
TARGET AUDIENCETheconferenceaimstoengage around 250 participants from all over Europe andinternationalpartnercountries.ItwillgatherRTIpolicymakers,RTIcouncils,fundingagencies,academics,evaluators,researchmanagerstodebatethesechallengingdevelopmentsinRTIpolicyandtheireffectsonevaluationtheoryandpractice.
Pleasefindmoreinformationunder www.impactevaluation.eu
SAVE THE DATE!
AUSTRIAN EU COUNCIL PRESIDENCY CONFERENCE ONIMPACT OF RESEARCH AND INNOVATION POLICY AT THE CROSSROADS OF POLICY DESIGN, IMPLEMENTATION AND EVALUATION 5-6 November, 2018
Austria Center Vienna
Bruno-Kreisky-Platz 1, 1220 Vienna, Austria
Impact of R&I Policy at the Crossroads of
39ISSUE 45 | MARCH 2018
CALL FOR PAPERSTheconferenceinvitessubmissions of extended abstracts and posters infourfocalthematicareas.Contributionsdonotneedtorefertoonlyonethematicareabutcanbecross-cutting.We explicitly encourage academic as well as policy and practice-based submissions.Thus,contributionsfrompolicy-makers,R&Icouncils,R&Ifundingagencies,policyexperts,intermediaryorganisationsandacademicsarehighlyappreciated!Papersandpostersfromotherpolicyfieldswhichdealwithmission-orientationandimpactevaluationarewelcomed.TheconferencealsoencouragescontributionswithaviewonEuropean perspec-tives.Theextendedabstractsandposterswillbepeer reviewedbytheScientificCommittee.Theselectedabstractsareinvited to make a presentationintheconference.Theyarealsoinvited to submit a full paperwhichwillbeprintedinaspecial conference proceedings issue of the fteval ‘Journal for Research and Technology Policy Evaluation’.Thesubmissionofafullpaper,however,isnot mandatoryanddoesnotaffectthepresentation.
Pleasefindmoreinformationhere: https://www.impactevaluation.eu/call_for_papers
TIMETABLE FOR THE CALL FOR EXTENDED ABSTRACTS AND POSTERS8 March 2018: Publicationofthecallforextendedabstractsandposters
15 May 2018: Submissiondeadline
15 June 2018: Selectiondeadlineandinvitationoffullpapersandposters
CONTACTAustrian Platform for Research and Technology Policy Evaluation Linke Wienzeile 2461150 ViennaAustria
Ms.DorisKaiserreinerE:[email protected]
Mr.KlausSchuchE:[email protected]
ORGANISERSTheconferenceisorganisedonbehalfoftheAustrianFederalMinistryofTransport,InnovationandTechnologyby
• fteval–TheAustrianPlatformforResearchandTechnologyPolicyEvaluation• ManchesterInstituteofInnovationResearch,UniversityofManchester• IFRIS-InstitutFrancilienRechercheInnovationSociété,Paris
ferenzNewFrontiersinEvaluation,imApril2006.Erprofessionalisierteden„Newsletter“undmachteihnzumJournalforResearchandTech-nologyPolicyEvaluation,ertriebdieEntwicklungderStandardsvoran:ftevalStandardsderEvaluierung inder Forschungs-undTechnologie-
politik.Erfasstezusammenundmoderierte, er blieb beharrlichbeimThema.InseinenHändenwuchs die Plattform von einerhastig erfundenen Veranstal-tungsreihe zu einer mächtigenund professionell geführtenOrganisation. Wer immer inÖsterreich mit Evaluationenim Forschungs- und Innovati-onsbereich zu tun hatte, hatteauchmitKlausZinöckerzutun.Zu Beginn über Joanneum Re-search,seit2005dannüberdenWiener Wissenschafts-, For-schungs-undTechnologiefondsWWTF. Auch dort hat er alsstellvertretender Geschäftsfüh-rer wesentlich zu Aufbau undEntwicklung des Fonds beige-tragen, Programme gestaltetundInstrumenteentwickelt.
ImJahr2012schließlichhat-teicheinzweitesMaldasVergnügen,mitKlausineinerOrganisationzuarbeiten:ErkamzumWissenschaftsfondsFWF,wurdedortzueinerzen-tralenStützederstrategischenArbeitundderPositionierung.ErwareinüberallgeschätzterKollege,begleiteteEvaluationenprofessionell,führteStudiendurch,beriet instrategischenFragenundunterstützteORCID.UndwirdurftenunsübertäglicheTweedsundRetweedsüberTwitterundGoogle+freuen,seineThemenreichtenvonKonferenzenundPub-likationenüberWanderroutenundKulinarikbishinzuForschungspolitikinallenFacetten.
Klaus ist am 3. März 2018 gestorben. Wir haben einen engagierten Mitstreiter, wertvollen Kollegen und besten Freund verloren. Der Verlust ist unermesslich.
KlausZinöckerwareineAusnahmeerscheinung.Einbisschenknochen-trocken auf den Punkt, ein bisschen absurde Intervention. Und sehrviel Empathie,die jabeiallemSarkasmus immeroffenda lag.ErwareinerdieserganzseltenenTalente,diezeitgenössischeForschungs-undTechnologiepolitik mit barockerSprache und alltagstauglicherKommunikation verbinden konn-te. Neben Forschungs- und In-novationspolitik, Evaluationenund Methoden zählten auch derFWF, ORCID, das Wandern unddieZubereitungeinesoberöster-reichischen Schweinsbratens zuseinenzentralenLeidenschaften.Die letzteEmail,die ichvon ihmam 7. Februar erhielt, trug denBetreff „Es gehört vielleicht vielmehrgekocht“.
Nach seinem Studium der„Volxwirtschaft“ wie er es zunennen pflegte, begann er imIHS und publizierte Studien wiebeispielsweiseBanknoteMigrati-oninStufe3Bund3CderEWU.AberwederdieThemennochdasUmfeldbegeistertenihnaufDau-erundsowechselteerkurzeZeitspäter, imJahr1998, indasdamals rechtneugegründeteJoanneumResearchinWienundlerntedortKolleginnenundKollegenkennen,dieihnGroßteilsseinLebenlangbegleiteten.Ichwareinevonihnen.
Klaus prägte Joanneum Research von Beginn an mit innovativenIdeenundneuenProjekten.Erbegannanforschungs-undinnovations-politischenThemenzuarbeiten,erevaluierteundpublizierte.Seinwohlwichtigstes Werk in den frühen 00er Jahren war die RTD EvaluationToolbox im Jahr 2002, an der er maßgeblich beteiligt war. Es folgtenweiterePublikationen,wenngleichderName„Zinöcker“ihnhäufigalsfalschgeschriebenenLetztautorpositionierte.
ErübernahmdannsehrbalddieGeschäftsführungderPlattformfürForschungs- und Technologiepolitikevaluation, konzipierte Inhalte undThemenundVeranstaltungen,allenvorandiegroßeinternationaleKon-
Die österreichische Plattform für Forschungs- und Technologiepolitikevaluierung trauert um
Klaus Zinöcker
EDITORIAL BOARDRebecca Allison, Technopolis UK; Balázs Borsi, Eszterházy Károly College; Elke Dall, Centre for Social Innovation; Michael Dinges, Austrian Institute of Technology; Leonid Gokhberg, National Research University Higher School of Economics; Wolgang Polt, Joanneum Research; Andreas Reinstaller, WIFO; Klaus Schuch, fteval (chief editor); Michael Stampfer, WWTF; Lena Tsipouri, University of Athens
AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATION (fteval)c/o ZSI – Centre for Social Innovation GmbHLinke Wienzeile 246, A-1150 ViennaT +43 1 495 04 42 - 79F +43 1 495 04 42 - 40E [email protected] www.fteval.at
DESIGNW carotte.at
PRINTDruckwerkstatt Handels GmbHHosnedlgasse 16b, 1220 Wien
AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATIONPlatform fteval members:
Agency for Quality Assurance and Accreditation Austria (AQ), Austria Wirtschaftsservice Gesellschaft mbH (AWS), Austrian Academy of Science (ÖAW), Austrian Council for Research and Technology Development, Austrian Federal Ministry of Education, Science and Research (bmbwf), Austrian Federal Ministry for Digital and Economic Affairs (bmdw), Austrian Federal Ministry of Transport, Innovation and Technology (bmvit), Austrian Institute for SME Research, Austrian Institute of Economic Research (WIFO), Austrian Institute of Technology (AIT), Austrian Research Promotion Agency (FFG), Austrian Science Fund (FWF), Centre for Social Innovation (ZSI), Christian Doppler Research Association (CDG), Convelop – Cooperative Knowledge Design GmbH, Institute for Advanced Studies (IHS), Joanneum Research Forschungsgesellschaft mbH, Ludwig Boltzmann Society (LBG), Technopolis Austria, Vienna Business Agency (a service offered by the City of Vienna), WPZ Research GmbH, Vienna Science and Technology Fund (WWTF)
c/o ZSI – Centre for Social Innovation GmbHLinke Wienzeile 246, A-1150 Vienna
The fteval Journal for Research and Technology Policy Evaluation is a forum to discuss current evaluation practices in the field of research, technology and innovation policy.
T +43 1 495 04 42 - 79F +43 1 495 04 42 - 40E [email protected] www.fteval.at
ZVR-Zahl: 937261837ISSN-Nr. 1726-6629©Vienna 2018
45