newsletter 2008 02

newsletterapríl 2008 | číslo 2 | ročník 2téma čísla

Komplexnáakreditácia ústavov SAV v roku 2007

EditorialHodnotenie kvality výskumu a akreditácia

ústavov SAV sa uskutočňujú pravidelne od roku 1992. V roku 2005 sa vedenie a zastupiteľské orgány pracovníkov SAV rozhodli uskutočniť podrobnejšie a hlbšie hodnotenie výskumnej práce ústavov SAV. Tento ambiciózny pokus sa uskutočnil v roku 2007. Stál nemálo práce a ná-mahy. Obdivuhodné je to, že na hodnotení kva-lity výskumu sa zúčastnili všetky ústavy SAV.

V úvodnom článku tohto čísla ARRA ne-wslettra podáva Peter Samuely, predseda Akre-ditačnej komisie SAV, prehľad o histórii hod-notenia ústavov SAV a o koncepcii komplexnej akreditácie v roku 2007.

V druhom príspevku predseda Akreditačnej komisie pre I. oddelenie vied SAV Štefan Olejník hovorí o niektorých podrobnostiach akreditácie tohto oddelenia a o výsledkoch.

Sme veľmi radi, že v treťom príspevku Ka-rol Iždinský, ktorý bol predsedom Snemu SAV v čase, keď komplexná akreditácia prebiehala, prezentuje svoj pohľad na akreditáciu. Slová „pohľad č. 3“ v názve jeho príspevku naznačujú, že tento pohľad bude trocha iný ako prvé dva príspevky. Ďakujeme mu za alternatívny pohľad, pretože takéto pohľady pomáhajú odstrániť exis-tujúce problémy, stimulujú diskusiu a urýchľujú vývoj.

Výsledky komplexnej akreditácie a zarade-nie ústavov do skupín A*, A, B sa prejavia aj na financovaní jednotlivých ústavov. Každý mana-žér vie, že táto úloha sa rieši oveľa ľahšie v situ-ácii, keď do systému pritekajú nove prostriedky, ako keď sú prostriedky prakticky konštantné, a pritom veľmi obmedzené.

Rozsah príspevkov v tomto čísle ARRA ne-wslettra je taký, aký zvyčajne v jednom čísle býva. Dúfame, že sa nám podarí získať aj príspevky o komplexnej akreditácii II. a III. oddelenia vied SAV a uverejníme ich čo najskôr po obdržaní v čísle venovanom týmto oddeleniam.

V roku 2007 sa uskutočnila aj evalvácia ve-rejných vysokých škôl na Slovensku Európskou asociáciou univerzít. Výsledky boli zverejnené začiatkom roku 2008. Bude zaujímavé porovnať metodiku obidvoch hodnotiacich postupov a radi uverejníme príspevky k tejto tematike.

Ján Pišút

v čísle nájdete

Komplexné hodnotenie kvality vedeckých organizácií SAVautor: Peter Samuely strana 2

Názory a komentáreAkreditačné hodnotenie vedeckých organizácií I. oddelenia vied SAV: Stálo to vôbec za to?, Štefan Olejník strana 5

Akreditačné hodnotenie vedeckých organizácií SAV v roku 2007 – pohľad č. 3, Karol Iždinský strana 8

2 ARRA newsletter | apríl 2008

Slovenská akadémia vied je spolu s vysokými školami hlavným reprezentan-tom základného a sčasti aj aplikovaného výskumu na Slovensku. Pre organizácie takéhoto typu, čerpajúce na svoju čin-nosť prostriedky z verejných zdrojov, je hodnotenie kvality výskumu mimoriadne potrebné. Vnútri hodnotenej organizácie pomáha zistiť jej miesto v domácom aj európskom výskumnom priestore. Navo-nok môže odpovedať na celý rad otázok, ktoré si kladú (veríme) tí, ktorí verejné zdroje spravujú, tí, ktorí chcú budovať vedomostnú spoločnosť, a teda efektívne investovať do výskumu a vývoja. Podobne ako v iných verejných sektoroch, aj tu sa objavuje otázka, či predtým, ako sa doň alokujú oveľa vyššie zdroje, už celý sek-tor (VŠ, SAV, rezortný výskum) prešiel vhodnou systémovou reformou a pod. V krajinách OECD, ktoré majú rozhodujú-ci podiel na výskume, vývoji a zavádzaní inovácií vo svetovom hospodárstve, sa hodnoteniu efektívnosti výskumu a vývo-ja venujú značné kapacity. V tejto oblasti pracuje niekoľkotisíc odborníkov. Hod-notenie výskumu a vývoja vo všetkých aspektoch je dnes dokonca samostatnou vednou disciplínou s prestížnymi kon-ferenciami (pozri napr. http://www.pra-gueforscience.cz/) a bohatou literatúrou. Výsledky prepracovaného systému hod-notenia na národnej úrovni majú rozho-dujúci vplyv na prideľovanie zdrojov do

Komplexné hodnoteniekvality vedeckýchorganizácií SAV v roku 2007

Hodnotenie kvality výskumu a následná akreditá-cia prebieHajú v slovenskej akadémii vied od r. 1992 každé tri-štyri roky. sav týmto pravidelným spô-sobom Hodnotí kvalitu svojicH ústavov a snaží sa skvalitňovať icH prácu a vytyčovať úloHy do budúcnosti.

doc. RNDr. Peter Samuely, DrSc.predseda Akreditačnej komisie SAV

uverejnila v roku 2006 aj prvé hodno-tenie ústavov SAV z oblasti prírodných, technických, lekárskych a pôdohospodár-skych vied a ich porovnanie s najlepšími fakultami slovenských VŠ a v súčasnosti pripravuje ďalšie. Bude zaujímavé porov-nať výsledky prístupu ARRA, založeného na sledovaní niekoľkých vybraných para-metrov (databázové publikácie a citácie, grantové zdroje, doktorandské štúdium) s komplexným hodnotením SAV, ktoré pra-covalo s mnohonásobne bohatšou bankou údajov, ale pri jej hodnotení muselo zá-konite uplatniť subjektívny pohľad posu-dzovateľov a členov komisií (peer review). Vo svete sú bežné odborné porovnávacie štúdie takýchto dvoch krajných prístupov hodnotenia, ktoré sú veľmi užitočné naj-mä pri vylepšovaní metodiky hodnotenia.

Zmeny oproti minulostiHodnotenie kvality výskumu a násled-

ná akreditácia1 prebiehajú v Slovenskej akadémii vied od r. 1992 každé tri-štyri roky. Predsedníctvo SAV, ktoré nastúpilo do funkcie v r. 2005, sa rozhodlo doterajší systém hodnotenia výskumu v SAV inovo-vať a uskutočniť komplexnú akreditáciu, zameranú na všetky aspekty výskumu svo-jich organizácií, zahŕňajúcu aj úroveň ma-nažmentu. Nové zásady hodnotenia boli vypracované Predsedníctvom SAV a jeho pomocným orgánom Akreditačnou ko-misiou SAV, za účasti členov Snemu SAV, a boli schválené Snemom SAV v r. 2006. Doteraz najkomplexnejšia akreditácia všetkých 56 vedeckých organizácií SAV prebehla v roku 2007. Pri vypracovaní nového systému hodnotenia sa SAV opie-rala o svoj doterajší systém, ale aj o skú-senosti z iných krajín EÚ. Inšpirovala sa britským systémom (Research Assessment Exercise), holandským Štandardným eva-luačným protokolom a hodnotením Aka-démie vied ČR.

Základné inovácie boli nasledujúce:1) Hodnotenie prebehlo naraz vo

všetkých organizáciách SAV, berúc do úvahy výsledky rokov 2003 až 2006, teda štvorročné obdobie. To prinieslo zvýšené nároky na organizáciu a logistiku procesu, ktorý v minulosti prebiehal po častiach. (Ročne sa hodnotila asi tretina organizá-cií, čo prinášalo riziko, že jednotný štan-1 Pod akreditáciou sa tu myslí proces vedúci k oprávneniu (akreditívu) danej organizácie vykonávať výskum z verejných zdrojov, na čo je SAV ako celok zo zákona oprávnená, ale jej organizácie sa musia „akreditovať“, resp. „re-akreditovať“.

výskumu, na celkovú politiku krajiny v oblasti výskumu, vývoja a inovácií. Spo-medzi krajín porovnateľných veľkosťou so Slovenskom možno spomenúť Fínsko s jeho rešpektovanou agentúrou TEKES (http://www.tekes.fi/eng/tekes/). Veľmi ďaleko je tiež Rakúsko, kde sa vednými politikami, vrátane hodnotenia, zaoberá viacero organizácií, ako FWF – Austrian Science Fund (www.fwf.ac.at), Platform fteval – Platform Research and Techno-logy Policy Evaluation (www.fteval.at) a pod. Bohužiaľ, v SR zatiaľ neexistuje veľ-mi potrebný jednotný národný protokol alebo postup, ktorým by sa kvalita výsku-mu a vývoja v jednotlivých organizáciách hodnotila podľa rovnakého metra. Tento stav komplikuje možnosť vytvoriť si kom-plexný obraz o stave a kvalite výskumu, ale aj univerzitného štúdia (minimálne jeho tretieho stupňa) v SR. V súčasnosti sa v pripravovaných dokumentoch Minis-terstva školstva SR, resp. v pripravovanej novelizácii zákona o podpore výskumu a vývoja jednotný systém hodnotenia znovu spomína. Takéto snahy boli aj v minulos-ti, ale z rôznych dôvodov sa nenaplnili. Aktivity súkromnej Akademickej rankin-govej a ratingovej agentúry (ARRA) po-važujem tiež za užitočný pokus priniesť jednoduchý, objektívne merateľný systém hodnotenia kvality výskum a vývoja na Slovensku. Po hodnotení slovenských vy-sokých škôl (prebehlo už trikrát) ARRA

ARRA newsletter | apríl 2008 3

dard sa mohol v priebehu rokov meniť.)2) Zvýšila sa špecializácia hodno-

tiacich komisií a dôraz na autonómiu odlišných skupín vied. V novom systéme vznikli tri hodnotiace akreditačné komisie (AKOV), zamerané na tri oddelenia vied SAV, pre vedy o neživej prírode, o živej prírode a pre spoločenské a humanitné vedy. Tri oddelenia vied ešte delia organi-zácie do troch vedných pododborov2:

I. oddelenie vied o neživej prírode: vedy o Zemi a vesmíre; matematicko-fyzi-kálne vedy a informatika; technické vedy,

II. oddelenie vied o živej prírode a chemických vedách: lekárske vedy; biolo-gické a chemické vedy; poľnohospodárske a veterinárne vedy,

III. oddelenie vied o spoločnosti a kul-túre: vedy o dejinách; vedy o človeku a spoločnosti; vedy o kultúre a umení.

Úlohou AKOV bolo zohľadňovať aj špecifiká vedných pododborov.

3) Viac ako tretinu členov komisií AKOV tvorili odborníci mimo SAV.

Jedným z rozhodujúcich faktorov ino-vovaného systému hodnotenia bola po-žiadavka, aby každá samostatná vedecká organizácia, bez ohľadu na jej vedné zame-ranie, zdokumentovala plnenie siedmich ukazovateľov, resp. siedmich „vitálnych činností“, ktorými si zabezpečuje miesto v slovenskom a európskom výskumnom priestore. Úlohou troch 12-členných AKOV bolo vyhodnotiť organizáciu podľa týchto siedmich ukazovateľov.

Sedem základných ukazovateľov:1. hodnotenie počtu a kvality vedec-

kých publikácií,2. hodnotenie ohlasov na vedecké

publikácie (tieto údaje sú prístupné z medzinárodných databáz, ako je Web of Science),

3. dokumentovanie postavenia organi-zácie v európskom kontexte,

4. získavanie grantových prostriedkov, najmä z medzinárodných a zahraničných zdrojov,

5. výchova doktorandov a pedagogický proces,

6. aplikácie výsledkov v praxi a popu-larizácia,

7. manažment a rozvoj vlastnej in-fraštruktúry.

Sedem základných ukazovateľov bolo

2 Medzinárodne uznávaný Frascati manuál klasi-fikuje 6 základných vedných odborov a 20 podod-borov.

podrobne špecifikovaných do mnohých podpoložiek v excelovskom databázovom súbore Questionnaire3, ktorý obsahoval tiež základné informácie o hodnotenej organizácií, jej organizačnej a personál-nej štruktúre, financovaní a pod. Orga-nizáciou vyplnený dotazník umožňoval pomerne podrobnú analýzu a normova-nie údajov. Jeho súčasťou bola tiež vízia organizácie na ďalšie obdobie. Ďalšie in-formácie o hodnotenej organizácii boli získané zo 4 výročných správ za jednotli-vé roky hodnoteného obdobia. Dotazník aj výročné správy boli verejne prístupné na webovskej stránke organizácií SAV, čo umožňovalo nielen jednoduchý prístup, ale aj kontrolu zverejnených údajov.

Jednotlivé ukazovatele sa hodnotili na-sledujúcimi stupňami:

vynikajúco – 4 body,veľmi dobre – 3 body,dobre – 2 body,dostatočne – 1 bod,nedostatočne – 0 bodov.

AKOV mali možnosť stanoviť si váhu jednotlivých ukazovateľov v záverečnom hodnotení. AKOV-I pridelil všetkým siedmim ukazovateľom rovnakú váhu, no AKOV-II a AKOV-III preferovali ukazo-vatele základného výskumu, najmä rozsah a kvalitu publikačnej činnosti. AKOV sa tiež pokúsili stanoviť orientačné požia-davky v jednotlivých ukazovateľoch na stupeň „dobre“, pričom mali k dispozícií rôzne analýzy, ako sú napr. mediány im-pakt-faktorov svojich vedných odborov a pododborov (zo zdrojov, ako je Web of Science) a pod.

Keďže 12 odborníkov, členov AKOV, nepokrylo všetky vedné odbory v hod-notených organizáciách, mala každá or-ganizácia od AKOV pridelených troch posudzovateľov-špecialistov. Minimálne dvaja z týchto posudzovateľov boli zo za-hraničia, pričom jeden bol z krajín V4 a jeden zo „starých“ krajín Európskej únie. Posudzovatelia vypracovali písomné po-sudky do jednotne koncipovaného for-mulára, vyjadrili sa v nich k jednotlivým ukazovateľom s cieľom zaradiť organizácie do európskeho rebríčka kvality. Vzniklo tak 168 štruktúrovaných posudkov pre 56 posudzovaných organizácií, ktoré boli východiskom AKOV pri kvalifikovanom

3 Slovenskú verziu dotazníka možno nájsť na adrese http://www.sav.sk/uploads/d0070806865/Quest_sk.pdf

hodnotení. AKOV aj posudzovatelia pra-covali s akreditačnými dotazníkmi (väčši-nou v anglickom jazyku) a s výročnými správami ústavov. Keďže posudzovatelia na rozdiel od členov AKOV posudzova-li len jednu organizáciu, ich referenčné hladiny, resp. nároky boli zákonite rôzne. Preto úloha konsenzuálneho panelu, a teda aj záverečné hodnotenie organizácie pripadlo AKOV, pričom posudky posu-dzovateľov boli pre AKOV významným ukazovateľom. Na základe celkového hod-notenia AKOV navrhla zaradenie vedeckej organizácie do jedného z piatich stupňov výkonnosti:

Organizácia akreditovaná v kategórii A* (80 % bodov a viac)

Vynikajúca organizácia, v ktorej väč-šia časť výskumu spĺňa medzinárodný štandard. AKOV v takom prípade vydáva návrh na zaradenie organizácie s hodno-tiacim protokolom bez podstatných pri-pomienok k činnosti organizácie a úloh na ďalšie obdobie.

Organizácia akreditovaná v kategórii A (60 % bodov a viac)

Veľmi dobrá organizácia s niektorými výskumnými skupinami na medzinárod-nej úrovni. AKOV v takom prípade vydá-va návrh na zaradenie organizácie s hod-notiacim protokolom, v ktorom uvedie pripomienky k činnosti organizácie.

Organizácia akreditovaná k kategórii B (40 % bodov a viac)

Organizácia s prevažne dobrými ve-deckými výsledkami, ktoré ale nedosa-hujú medzinárodný štandard. AKOV v takom prípade vydáva návrh na zaradenie organizácie s hodnotiacim protokolom, v ktorom uvedie výhrady k činnosti organi-zácie formou pripomienok a konkrétnych úloh, ktoré musí organizácia splniť do ďalšieho pravidelného hodnotenia.

Organizácia akreditovaná v kategórii C (20 % bodov a viac)

Organizácia s prevažne slabými vedec-kými výsledkami. AKOV v takom prípade vydáva návrh na zaradenie organizácie s hodnotiacim protokolom, v ktorom uve-die výhrady k činnosti organizácie for-mou pripomienok a konkrétnych úloh, ktoré musí organizácia plniť pred ďalším pravidelným hodnotením. AKOV postúpi návrh na zaradenie s hodnotiacim proto-kolom P SAV a odporučí ďalší postup.


Organizácia neakreditovaná – kategória D (menej ako 20 % bodov)

Organizácia, ktorá neplní úlohy ulo-žené zriaďovacou listinou. AKOV v ta-kom prípade vydáva návrh na zaradenie organizácie s hodnotiacim protokolom, v ktorom uvedie dôvody neodporúčať pod-porovanie ďalšej činnosti organizácie.

V priebehu dvoch mesiacov, od 15.

mája do polovice júla 2007, prebehli pre-zenčné hodnotenia všetkých organizácií. Na hodnoteniach sa zúčastnili členovia akademickej obce hodnotenej organi-zácie, členovia AKOV, posudzovatelia, zástupcovia oddelení vied a Snemu SAV. Hodnoteniu väčšiny organizácií bol ve-novaný jeden deň. Napriek náročnosti celej akcie sa dosiahla vysoká účasť, ktorá svedčí o veľkom záujme o hodnotenie v radoch všetkých zainteresovaných. Účasť členov AKOV bola 77 % a účasť posudzo-vateľov zo všetkých kútov Európy až 84 %. V priebehu júla a augusta 2007 AKOV vyhodnotili celý proces. Navrhli zaradiť organizácie do troch z piatich možných výkonnostných stupňov a vypracovali podrobné hodnotiace protokoly, ktoré deklarujú silné a slabšie stránky organizá-cie a navrhujú prípadné zmeny.

Ku konkrétnym výsledkom: AKOV rozdelili 56 vedeckých organizácií SAV do 3 výkonnostných kategórií. Skonštatovali, že po dôkladnej reforme, vrátane zrušenia desiatich organizácií v deväťdesiatych ro-koch minulého a začiatkom tohto storo-čia, nie sú už v SAV organizácie, ktoré by nemohli súťažiť v európskom výskumnom priestore.

Komisie dospeli k záveru, že:- 15 organizácií možno označiť ako or-

ganizácie kategórie A*; - 32 organizácií patrí do kategórie A; - 9 organizácií patrí do kategórie B.

Činnosť troch komisií AKOV koor-dinovala centrálna Akreditačná komisia, zložená z vybraných členov AKOV, pri-čom jej predsedom bol člen Predsedníc-tva SAV zodpovedný za priebeh celého hodnotiaceho a akreditačného procesu. Úlohou AK SAV okrem vypracovania ce-lej metodiky bolo tiež dohliadať na do-držanie rovnakej náročnosti hodnotenia vo všetkých troch vedeckých oddeleniach SAV. AK podporila návrhy jednotlivých AKOV a predložila ich na schválenie P

SAV, ktoré ich akceptovalo a zaslalo hod-noteným organizáciám spolu s podrobný-mi protokolmi, ktoré obsahovali analýzu výsledkov a návrhy na prípadné zmeny.

V priebehu októbra 2007 mali orga-nizácie možnosť odvolania sa voči výsled-kom hodnotenia. Organizácie zaslali cel-kovo 8 odvolaní. Akreditačná komisia sa s AKOV dohodli na jednotnom postupe pri prerokovaní odvolaní. Tento postup akcentoval najmä potrebu prerokovať tie základné ukazovatele, v ktorých sa hod-notená organizácia cítila nedocenená, a zvážiť, či existujú relevantné argumenty, na ktoré AKOV nebrala ohľad už pri pô-vodnom hodnotení. Pri tomto postupe sa ukázala vysoká konzistentnosť postojov AKOV, ktoré po veľmi podrobnom prero-kovaní odvolaní trvali na svojom pôvod-nom stanovisku v 7 odvolaniach. Jedine v prípade odvolania sa Ústavu ekológie lesa SAV, AKOV-II zvýšila hodnotenie v uka-zovateli „2. Ohlasy na vedecké publiká-cie“, čo viedlo následne k návrhu zaradiť ústav do kategórie A. Poznamenávam, že tento ústav bol zo všetkých hodnotených ústavov SAV najbližšie ku hranici medzi kategóriami.

P SAV po odvolaniach rozdelilo or-ganizácie SAV takto:

A*: 15 organizáciíA : 33 organizáciíB : 8 organizácií

Finančné dopady akreditácie Predsedníctvo SAV zohľadní výsledky

komplexného hodnotenia vo finančnej bonifikácii úspešnejších organizácií. Po schválení Zásad rozdelenia rozpočtu SAV pre rok 2008 Snemom 19. 12. 2007 sa počíta so zvýšením mzdového fondu ústa-vu kategórie A* o sumu do 4 %, čo zod-povedá jednej ročnej valorizácii vo verej-nom sektore, so zvýšením prideľovaných bežných výdavkov na tovary a služby o 10 až 20 % a s priorizáciami v kapitálových zdrojoch.

Analýza systému komplexného hod-notenia

Komplexné hodnotenie kvality ve-deckých organizácií SAV v r. 2007 bolo založené na kombinácii dvoch prístupov, tzv. peer review, teda posudku kvalifiko-vaných kolegov (členov AKOV a posu-dzovateľov), a hodnotení 7 parciálnych ukazovateľov, pričom niektoré z nich boli

podrobne kvantifikované (počty CC pub-likácií, počty autorských hárkov v mo-nografiách, počty citácií, počty vysoko citovaných publikácií, získané projektové zdroje a pod., a toto všetko v rôznych nor-movaniach: per capita, na mzdový fond a pod.). Takáto kombinácia mala zaručiť čo najväčšiu objektívnosť výsledku. Samo-zrejme, nastavenie systému malo mnoho voľných parametrov a jeho výsledný tvar bol kompromisom vzniknutým v mno-hých diskusiách v P SAV, Sneme SAV a jeho komorách, AK SAV, ale aj na špeciál-nych fórach k tomu zvolaných v prípravnej fáze. V takej zložitej a kontroverznej zále-žitosti, ako je hodnotenie kvality vedeckej práce, je vždy mnoho protichodných ná-zorov. Z mnohých sporných otázok spo-meniem len jeden príklad: spojenie popu-larizačných aktivít a aplikácií do jedného ukazovateľa. V prospech tohto spojenia sa argumentovalo tým, že každá organizácia musí ukázať „daňovému poplatníkovi“ svoju užitočnosť. Ak má možnosť, dokáže to cez aplikáciu svojich výsledkov v praxi, ak nie, tak popularizáciou svojej hlavnej vedeckej činnosti. V neprospech spojenia sa uvádzalo, že ide o málo porovnateľné činnosti, popularizovať sa požaduje od každého, ale absencia aplikácií sa nieko-mu jednoducho a ľahko „odpustí“ kvôli jeho zameraniu.

Mimoriadne náročný problém v celom svete predstavuje hodnotenie spoločen-ských a humanitných vedných disciplín. Tie – na rozdiel od prírodných, technic-kých, či lekárskych vied –nemajú ani zďa-leka tak podrobne rozvinutý databázový systém, akými sú Web of Knowledge či Scopus, ktoré sú skôr „šité“ na hodno-tenie vyššie spomínaných odborov. Ako malý bonmot poznamenávam, že samot-né hodnotenie vedeckej činnosti je oveľa viac spoločenská než prírodovedecká dis-ciplína, čo nepochybne skomplikuje jeho „metaanalýzu“. Ale nič iné nám neostáva, ako sa s touto úlohou vyrovnať. Prišiel čas celý systém vyhodnotiť. AKOV spracova-li veľké množstvo údajov a analýz, ktoré ponúkajú do diskusie. Tá by mala uká-zať, nakoľko je použitý systém robustný, t. j. ako je celkový výsledok toho-ktoré-ho hodnoteného pracoviska odolný voči zmene v systéme, spojeniu, či rozdeleniu niektorého parciálneho parametra a pod. O čo bude záujem vedeckých pracovníkov o takúto diskusiu väčší, o to bude užitoč-nejšia a o to viac môže poslúžiť zlepšova-niu vedeckej kultúry v celej spoločnosti.


Hodnotenie vedeckých organizácií I. OV SAV prebehlo podľa ustanovení „Zásad pra-videlného hodnotenia organizácií SAV“. Tie sa nerodili ľahko, peripetie ich vzniku, ako aj pravidlá akreditácie boli načrtnuté v príspev-ku predsedu AK SAV doc. Samuelyho.

I. oddelenie vied SAV – oddelenie vied o neživej prírode – tvorí 15 vedeckých organi-zácií, ktoré spadajú do troch skupín: vedy o Zemi a vesmíre, matematicko-fyzikálne vedy a informatika, technické vedy. Organizácie hodnotila Akreditačná komisia I. OV SAV (AKOV-I), ktorú tvorili 8 pracovníci z ústa-vov I. OV a 4 externí členovia (po jednom z STU v Bratislave, TnUAD v Trenčíne, TU a UPJŠ v Košiciach), pričom každá skupina vied mala v AKOV-I po 4 zástupcoch. Ex offo boli členmi bez hlasovacieho práva podpred-seda SAV pre I. OV a predseda I. komory Snemu SAV.

I. Priebeh a výsledky hodnoteniaJedným z hlavných podkladov k akre-

ditačnému hodnoteniu boli jednotné akre-ditačné dotazníky. Tie spoločne s textami záverečných správ za jednotlivé roky hodno-teného obdobia poskytli posudzovateľom a komisii informácie o činnosti hodnotených organizácií. Pre každú organizáciu boli vybra-tí traja posudzovatelia: jeden bol z vedeckého pracoviska na Slovensku, jeden z krajín tzv. Višegrádskej štvorky okrem SR (t. j. z Českej republiky, Maďarska alebo Poľska) a jeden z pôvodných („starých“) krajín Európskej únie (mimo V4). V dvoch prípadoch bol miesto slovenského posudzovateľa vybratý posudzo-vateľ z ČR.

Posudzovatelia mali hodnotiť bodmi od 0 po 4 iba parciálne indikátory č. 1 až 4 (po-zri príspevok doc. Samuelyho alebo nadpisy stĺpcov v tabuľke 1), pričom stupeň 3 („veľmi

dobre“) mal zodpovedať medzinárodnému štandardu. Ich hodnotenie bolo v priemere veľmi vysoké (3,11) a malo len malý rozptyl (od 2,75 po 3,33). Komisia tak profitovala oveľa viac zo slovných komentárov a pripo-mienok posudzovateľov ako z číselných hod-notení. Pri príprave pravidiel akreditácie bola diskutovaná otázka, či by posudzovatelia ne-mali navštíviť hodnotené ústavy ešte pred na-písaním svojho posudku. Komisia však veľmi často získala užitočné postrehy o činnosti or-ganizácií práve od tých posudzovateľov, ktorí s organizáciami nemali v minulosti žiadnu skúsenosť a hodnotili dosiahnuté výsledky a plány do budúcnosti iba na základe akredi-tačných podkladov a vlastných predstáv. Prí-padné nepresnosti v posudkoch, ktoré boli zapríčinené nedostatočnou znalosťou reálnej situácie výskumu v SR, boli prediskutované počas návštevy pracovísk.

Prezenčné hodnotenia vedeckých orga-nizácií I. OV SAV sa uskutočnili v období od polovice mája do júla 2007. V 12 z 15 ústavov boli na prezenčných hodnoteniach prítomní všetci traja posudzovatelia, vo zvyš-ných 3 ústavoch boli prítomní po dvaja po-sudzovatelia. Vysoká bola aj prezencia AKO-V-I na zasadnutiach. Účasť členov s právom hlasovacím bola v priemere takmer 78-per-centná. Komisia sa podrobne oboznámila s činnosťou organizácie, navštívila vybrané od-delenia, pracoviská a/alebo laboratóriá, dis-kutovala s vedením organizácií, pracovníkmi a posudzovateľmi. Špeciálna pozornosť bola venovaná diskusii, keď posudzovatelia použili odlišnú referenčnú úroveň a ich hodnotenia sa výrazne líšili.

Vzhľadom na malý rozptyl v hodnote-niach posudzovateľov dôležitú úlohu pri hodnotení organizácií zohrala AKOV-I. Pri záverečnom hodnotení komisia vychádzala:

1. zo štandardizácie jednotlivých parciál-nych indikátorov,

2. z posudkov externých posudzovateľov, z ich bodového a slovného hodnotenia,

3. z vlastných poznatkov z návštev v ústa-voch a z diskusií s posudzovateľmi,

4. z komplexného porovnania podkladov v akreditačných dotazníkoch.

Vzhľadom na odlišný charakter výskumu, publikačné zvyklosti a možnosti, možnosti získavania prostriedkov z externých zdrojov v troch skupinách vied I. OV sa komisia tiež usilovala prihliadať na špecifiká jednotlivých vedných odborov.

Bodovanie jednotlivých parciálnych in-dikátorov činnosti vedeckých pracovísk sa uskutočnilo po skončení všetkých prezenč-ných hodnotení v ústavoch na zasadnutí AKOV-I v júli 2007. Výsledky zhŕňa tabuľka 1 a obrázok 1.

Akreditačné hodnotenie vedeckých organizáciíI. oddelenia vied SAV: Stálo to vôbec za to?

Štefan Olejník Fyzikálny ústav SAV a predseda Akreditačnej komisie I. OV SAV

“akreditácia vedeckýcH organizácií sav v roku 2007 si vyžiadala nemalé úsilie všetkýcH zain-teresovanýcH: členov akreditačnýcH komisií, posudzovateľov, predsedníctva sav, manažmentu a pracovníkov HodnotenýcH organizácií. stála tiež nemalé finančné prostriedky. výsledky Hod-notenia v i. oddelení vied sav sa pritom výrazne nelíšia od týcH, ktoré vzišli z predcHádzajúcej akreditácie. otázka v nadpise je teda na mieste. analýzou výsledkov v i. oddelení vied sav sa pokúsim zHromaždiť niekoľko argumentov pre kladnú odpoveď.”


Pri pozornom pohľade na obrázok by malo byť zrejmé, že v rozdelení ústavov sa pri-rodzene črtajú tri skupiny, ktoré zodpovedajú zaradeniu do stupňov A* (spolu 5 ústavov), A (6 ústavov) a B (4 ústavy). Z tohto rozdele-nia sa mierne vymykajú iba dva ústavy: geo-logický medzi 1. a 2. skupinou a geofyzikálny blízko hranice medzi 2. a 3. skupinou.

AKOV-I po hodnotení tiež vypracovala hodnotiace protokoly, v ktorých zhrnula bo-dové a sformulovala stručné slovné hodnote-nie všetkých ústavov, ďalej celkové hodnotenie a – podľa zaradenia ústavu do akreditačného stupňa – zoznam odporúčaní, pripomienok alebo konkrétnych úloh, ktoré by sa mali re-alizovať do ďalšieho hodnotenia.

AK SAV postúpila návrhy na zaradenie organizácií do hodnotiacich stupňov spoloč-ne s hodnotiacimi protokolmi Predsedníctvu SAV, ktoré ich schválilo na zasadnutí dňa 2. 10. 2007. Proti svojmu zaradeniu sa v sta-novenom termíne odvolal iba jediný ústav I. OV, jeho odvolanie však P SAV zamietlo.

II. Analýza výsledkov hodnoteniaUžitočné a poučné je podrobiť výsledky

bodovania komisie podrobnejšej analýze. Takáto analýza vždy predstavuje určitú hru s číslami a vyžaduje si ich osobnú interpre-táciu, usiloval som sa však, aby závery boli podložené dostatočne presvedčivými argu-mentmi.1

Z analýzy výsledkov vyplynulo viacero zaujímavých skutočností:

1. Žiaden ústav nepatrí všetkými indiká-tormi do rovnakej kategórie, aj organizácie s výsledným hodnotením A* majú rezervy a dosahujú aspoň v jednom indikátore iba úro-veň A; naopak, ústavy zaradené do stupňa B vo viacerých indikátoroch dosahujú vyššiu úroveň. Výsledné zaradenie zodpovedá zara-deniu vo väčšine parciálnych indikátorov.

2. V jednotlivých parciálnych indikáto-roch získali najvyššie hodnotenie výlučne ústavy kategórie A*, pričom každý z nich bol najlepší aspoň v jednom parciálnom indiká-tore. Naopak, ústavy kategórie B mali spravi-dla po dve umiestnenia na najnižšej pozícii.

3. Pozoruhodná bola pomerne vysoká zhoda v hodnotení členov AKOV-I. Nebola však úplná; nielen posudzovatelia, aj členovia AKOV-I mali latku hodnotenia posadenú na rôzne vysokej úrovni. Napriek odlišnostiam však bol zrejmý vysoký stupeň konsenzu pri všetkých ústavoch, ktoré patria výsledne do kategórie A*, resp. B; to tiež dokumen-

1 Úplný text analýzy s tabuľkami a obrázkami je dostupný na webstránkach SAV: http://www.sav.sk/uploads/d0081731470/sprava_AKOV1_pre_PSAV.pdf.

Výsledky bodovania

0,00 20,00 40,00 60,00 80,00 100,00

Fyzikálny ústav

Elektrotechnický ústav

Ústav experimentálnej fyziky

Matematický ústav

Astronomický ústav

Geologický ústav

Ústav materiálov a mechaniky strojov

Ústav materiálového výskumu

Ústav stavebníctva a architektúry

Ústav informatiky

Ústav geotechniky

Geofyzikálny ústav

Geografický ústav

Ústav merania

Ústav hydrológie

% max. počtu bodov

1 2 3 4 5 6 7

Organizácia I. OV SAV

Ved

ecké

výs

tupy

Ohl

as v

edec

kých

výs

tupo

v

Ved

ecké

pos

tave

nie

v

med

ziná

r. a

dom

ácom

kon

text

e

Pro

jekt

ová

štru

ktúr

a, v

ýsku

mné

gr

anty

a in

é zd

roje

fina

ncií

O

rgan

izác

ia d

okto

rand

. štú

dia,

in

é pe

dago

g. a

ktiv

ity

Spo

loče

nské

výs

tupy

(apl

ikác

ie,

popu

lari

záci

a)

Infr

aštr

uktú

ra a

man

ažm

ent

Spo

lu

% z

max

. poč

tu

Akr

edita

čný

stup

eň

Astronomický ústav (ZV) 3,55 3,18 3,18 2,64 2,82 4,00 3,55 22,91 81,82 A* Elektrotechnický ústav (TV) 3,82 3,55 3,73 4,00 3,36 2,82 3,64 24,91 88,96 A* Fyzikálny ústav (MFI) 3,91 4,00 3,73 3,82 3,09 3,18 3,27 25,00 89,29 A* Geofyzikálny ústav (ZV) 1,64 2,09 2,27 2,64 2,55 3,09 2,27 16,55 59,09 B Geografický ústav (ZV) 2,09 1,73 2,36 1,55 1,91 3,00 2,73 15,36 54,87 B Geologický ústav (ZV) 3,00 3,55 3,09 2,82 2,82 2,91 3,00 21,18 75,65 A Matematický ústav (MFI) 3,82 3,55 3,36 2,45 3,91 3,00 3,09 23,18 82,79 A* Ústav experimentálnej fyziky (MFI) 3,91 4,00 3,73 3,45 3,27 2,91 3,27 24,55 87,66 A* Ústav geotechniky (TV) 2,45 2,55 2,00 3,27 2,82 2,00 2,55 17,64 62,99 A Ústav hydrológie (ZV) 1,91 1,55 2,09 2,64 2,18 2,27 2,45 15,09 53,90 B Ústav informatiky (MFI) 1,91 1,55 3,00 3,82 2,36 2,64 2,82 18,09 64,61 A Ústav materiálov a mechaniky strojov (TV) 2,09 2,36 2,82 3,82 2,27 2,91 3,00 19,27 68,83 A Ústav materiálového výskumu (TV) 2,73 2,36 2,82 2,91 2,73 2,55 2,82 18,91 67,53 A Ústav merania (TV) 1,64 1,73 2,00 2,45 2,45 2,55 2,36 15,18 54,22 B Ústav stavebníctva a architektúry (TV) 2,82 2,64 2,73 2,82 2,00 2,73 2,64 18,36 65,58 A

Tabuľka 1. Výsledky bodovania parciálnych indikátorov Ústavy I. OV sú zoradené podľa abecedy, skratka v zátvorke označuje skupinu: ZV – vedy o Zemi a vesmíre, MFI – matematicko-fyzikálne vedy a informatika, TV – technické vedy. Žltá farba zvýrazňuje hodnotenie zodpovedajúce kategórii A*, bledožltá kategórii A, bledošedá kategórii B, šedá kategórii C.

Obrázok 1. Výsledky bodovania

1 2 3 4 5 6 7

Ve

de

ck

é v

ýs

tup

y

Oh

las

ve

de

ck

ýc

h v

ýs

tup

ov

Ve

de

ck

é p

os

tav

en

ie v

me

dzi

ná

r.

a d

om

ác

om

ko

nte

xte

Pro

jek

tov

á š

tru

ktú

ra,

vý

sk

um

né

g

ran

ty a

in

é z

dro

je f

ina

nc

ií

Org

an

izá

cia

do

kto

ran

d.

štú

dia

, in

é p

ed

ag

og

. a

kti

vit

y

Sp

olo

če

ns

ké

vý

stu

py

(a

pli

ká

cie

, p

op

ula

rizá

cia

)

Infr

aš

tru

ktú

ra a

ma

na

žme

nt

Koeficient korelácie 0,944 0,935 0,946 0,525 0,790 0,495 0,902

Tabuľka 2. Koeficient korelácie výsledného hodnotenia s parciálnymi indikátormiPresnú definíciu korelačného koeficientu a diskusiu jeho vlastností možno napr. nájsť vo Wikipedii, pozri http://en.wikipedia.org/wiki/Correlation. Zjednodušene: ak je absolútna hodnota koeficientu pod 0,3, je korelácia slabá, strednej korelácii zodpovedá koeficient s absolútnou hodnotou od 0,3 po 0,5; silnú koreláciu indikuje hodnota nad 0,5. Interpretácia silnej/slabej korelácie však závisí aj od kontextu a počtu údajov.


tuje robustnosť výsledkov hodnotenia voči odchýlkam v hodnotení posudzovateľov a prípadným chybám v bodovaní niektorých indikátorov.

4. Najvyšší priemerný rozptyl v hodnote-ní členov komisie sa vyskytol v prípade Geo-grafického ústavu SAV a Ústavu informatiky SAV. Domnievam sa, že to možno pripísať problematickému zaradeniu týchto pracovísk do I. OV SAV, resp. do skupín v rámci I. OV SAV. Časť činnosti geografického ústavu spa-dá svojím zameraním do I. OV, no časť má skôr charakter výskumu v III. OV. Podobne ústav informatiky je síce zaradený do skupi-ny matematicko-fyzikálno-informatických vied, no značnou časťou činnosti skôr zapadá medzi vedy technické. Rozdiely v hodnotení členov AKOV-I tak pravdepodobne súvisia s tým, že toto špecifikum spomenutých praco-vísk viacerí reflektovali odlišne.

5. Zaujímavou otázkou je, do akej miery ovplyvnili zaradenie ústavov do kategórií A*, A a B parciálne indikátory č. 5 až 7 (dok-torandské štúdium; spoločenské výstupy; in-fraštruktúra a manažment), ktoré sa hodno-tia ťažšie ako kritériá č. 1 až 4 a tiež sa ťažšie kvantifikujú a štandardizujú. Názornú odpo-veď poskytuje obrázok 2. V ňom je vynesený graf závislosti bodového zisku (v %) z indi-kátorov č. 1 až 4 (merajúcich predovšetkým vedecké výstupy, ich ohlas a postavenie pra-coviska) od celkového bodového zisku (v %) zo všetkých indikátorov. Z grafu je zrejmé, že indikátory č. 5 až 7 výsledky ovplyvnili minimálne, iba v jedinom prípade zaradenie ústavu podľa indikátorov č. 1 až 4 nezodpo-vedá jeho celkovému zaradeniu (ide o Astro-nomický ústav SAV, ktorému k zaradeniu do kategórie A* napomohlo vysoké hodnotenie spoločenských výstupov a manažmentu). Koeficient korelácie týchto dvoch veličín je veľmi vysoký, 0,985. Ukazuje sa ďalej (pozri

tabuľku 2), že celkový bodový zisk ústavov zo všetkých 7 hodnotených indikátorov bol iba stredne korelovaný s indikátormi č. 6 (spo-ločenské výstupy) a 4 (projektová štruktúra); naopak, veľmi silná bola korelácia s indiká-tormi č. 3 (vedecké postavenie), 1 (vedecké výstupy) a 2 (ohlas), o niečo slabšia s č. 7 (infraštruktúra a manažment), ešte slabšia s indikátorom č. 5 (organizácia doktorandské-ho štúdia). Výsledok sa dá interpretovať tak, že hodnotenie pracoviska podstatne viac zá-viselo od excelentnosti a významu dosiahnu-tých vedeckých výsledkov než od množstva získaných prostriedkov a od výstupov do spoločenskej praxe. Rovnako ho však mož-no pripísať problémom pri kvantifikovaní a štandardizácii indikátorov č. 4 až 7 a proble-matickosti porovnávania výstupov rozličných ústavov I. OV v týchto indikátoroch. Zdá sa prirodzené, že indikátory, ktoré sa dajú ťažšie objektívne zhodnotiť, sa na výsledku odráža-jú slabšie než kvantifikovateľné indikátory.

6. Hodnotenia indikátorov č. 1 až 4 člen-mi AKOV-I a externými posudzovateľmi sa vo viacerých prípadoch odlišovali. Túto sku-točnosť možno podľa môjho názoru pripísať niekoľkým faktorom:

(a) Hodnotenie posudzovateľov bolo vysoké (v priemere takmer 78 % maxima), komisia ho musela korigovať, vychádzajúc z porovnania pracovísk aj s prihliadnutím na prijatú špecifikáciu a štandardizáciu parciál-nych indikátorov, a to spravidla smerom na-dol (v priemere udelila iba 70 % z maxima bodov).

(b) Komisia – viac ako posudzovatelia – rozovrela „nožnice“ medzi najvyššie a najniž-šie hodnotenými ústavmi.

(c) Vo viacerých prípadoch sa komisia nestotožnila s hodnoteniami posudzovateľov, ak ich nepovažovala za úplne objektívne ale-bo dospela k záveru, že sa posudzovatelia ne-

40

60

80

100

40,00 60,00 80,00 100,00

% bodov z indikátorov B1 až B7

% b

odov

z in

diká

toro

v B

1 až

B4

Obrázok 2. Závislosť bodového zisku pridŕžali pokynov v hodnotiacom formulári, resp. chybne interpretovali údaje v akreditač-ných materiáloch.

Posuny smerom nahor alebo nadol však neboli iba výsledkom singulárneho hodnote-nia jedného alebo niekoľkých členov AKO-V-I, ale aj v nich bol zrejmý značný konsen-zus.

III. Všeobecnejšie závery z akreditačné-ho procesu

Z procesu hodnotenia činnosti organizá-cií I. OV SAV za r. 2003 – 2006 vyplynulo niekoľko všeobecnejších záverov. Stručne zhr-niem tie, ktoré ešte neboli uvedené vyššie:

1. Rozdiely v priemernej výkonnosti me-dzi ústavmi sú menšie ako rozdiely medzi jednotlivcami a skupinami v rámci jednot-livých ústavov. Vo väčšine pracovísk I. OV SAV jadro najlepších výsledkov a ohlasov produkuje relatívne malá časť výskumných pracovníkov. V riešení tohto problému tkvie silný rozvojový potenciál.

2. Priemerný vek tvorivých pracovníkov vo väčšine ústavov je vysoký a počet dokto-randov a postdoktorandov je nízky. Problém nedostatku doktorandov je sčasti zapríčinený nedostatočným záujmom vysokých škôl o spoluprácu s ústavmi SAV, nerovnoprávnym postavením SAV v novom systéme dokto-randského štúdia a skutočnosťou, že niektoré programy doktorandského štúdia nie sú na VŠ akreditované a nemôžu byť preto akredi-tované ani v SAV, kde je dostatok potenciál-nych garantov a školiteľov.

3. Väčšina ústavov má relatívne zastaralú experimentálnu bázu a infraštruktúru. Bez podstatných investícií nebude možné udržať konkurencieschopnosť so zahraničím.

4. Do skupiny najvyššie hodnotených pracovísk patria spravidla väčšie ústavy, na-opak, v skupine nižšie hodnotených sú zväčša malé pracoviská. Počet tvorivých pracovníkov v niektorých pracoviskách je podkritický na to, aby mohli dosahovať veľmi dobré výsled-ky vo všetkých hodnotených indikátoroch.

5. Vo viacerých ústavoch sa riešia úlohy podobného zamerania bez toho, aby tieto pracoviská tesnejšie spolupracovali.

6. Bolo by užitočné zintenzívniť spolu-prácu s VŠ, predovšetkým s „mladšími“ uni-verzitami mimo Bratislavy a Košíc.

IV. Teda: Stálo to za to?Je zrejmé, že výsledky akreditačného pro-

cesu bude treba ďalej analyzovať a vyvodiť z nich dôsledky v prospech ďalšieho skvalitne-nia činnosti pracovísk SAV a výsledkov ich výskumu. Niet pochýb, že proces hodnotenia je možné ďalej vylepšovať a objektivizovať. Akreditácia v roku 2007 však podľa môjho


názoru predstavuje výrazný krok správnym smerom. V tomto kontexte je vhodné spome-núť, že viacerí posudzovatelia ústavov I. OV SAV so skúsenosťami z hodnotenia činnosti vedeckých organizácií v zahraničí skonštato-vali, že akreditačný proces v SAV je podobný a podobne nastavený ako v zahraničí.

V čom vidím hlavné pozitíva ukončené-ho hodnotenia v I. OV SAV:

1. Po prvýkrát sa uskutočnila komplexná analýza výsledkov pracovísk I. OV „na jed-nej čiare“, za rovnaké časové obdobie, jednou hodnotiacou komisiou z I. OV, no s ohľadom na špecifiká jednotlivých oblastí a s vypoču-tím kvalifikovaného názoru externých posu-dzovateľov.

2. Členmi akreditačnej komisie oddelenia vied boli aj pracovníci mimo SAV.

3. Latka náročnosti nebola postavená níz-ko, snahou bolo odvodiť hodnotenie činnosti stupňom „veľmi dobre“ nie od lokálnych, ale od medzinárodných štandardov.

4. Aj keď sa konečný „rebríček“ ústavov výrazne nelíši od predchádzajúcich hodnote-ní, vyššia je úroveň jeho spoľahlivosti, a tým aj výpovedná hodnota.

5. Zatiaľ čo v predchádzajúcich akre-ditáciách sa väčšina organizácií „tlačila“ v najvyššej kategórii a iba zlomok pracovísk bol v nasledujúcej, teraz sa ústavy rozvrstvi-li do troch stupňov výkonnosti, pričom do najvyššieho ich spadá iba tretina v I. OV a štvrtina v celej SAV. Potešujúcim zistením je, že do dvoch najnižších stupňov C a D nie je možné s čistým svedomím zaradiť žiadnu organizáciu, čo je zrejme aj dôsledkom seba-očistného procesu, ktorým SAV prešla v 90. rokoch a ktorý niektoré iné organizácie vedy a výskumu a VŠ stále iba čaká.

6. Organizácie dostali od posudzovateľov celý rad podnetov, ktoré môžu prispieť k ďal-šiemu skvalitneniu ich činnosti. Súčasne po-sudzovatelia často poukázali na problémy, o ktorých sme si niekedy mysleli, že ich vidno iba „znútra“ a navonok sa neprejavujú; v po-sudkoch boli mnohé neomylne odhalené.

7. Aj keď sa niektoré prvky hodnotiaceho procesu v spätnom pohľade javia pravdepo-dobne ako chybné (napr. spojenie popula-rizácie a aplikácií do jedného hodnoteného ukazovateľa), akreditačné zaradenie organizá-cií výrazne neovplyvnili.

Na záver osobný postreh: Kytica činností a výsledkov ústavov I. OV SAV, s ktorou som počas hodnotenia mal potešenie zoznámiť sa, sa ukázala neobyčajne pestrá, hýrila farbami a vôňami. Ak v priebehu nasledujúcich rokov pribudnú kvety nové, staré si uchovajú svie-žosť a niektoré mierne povädnuté zmiznú, tak prostriedky a úsilie na hodnotenie v roku 2007 neboli vynaložené zbytočne.

Pravidelné hodnotenie ústavov (akredi-tácia) je výsledkom interakcie a spolupráce Predsedníctva SAV, Snemu SAV a Akreditač-nej komisie P SAV. P SAV je zodpovedné za pravidelné hodnotenie ústavov, Snem SAV schvaľuje základné dokumenty, podľa ktorých má prebehnúť, a Akreditačná komisia SAV je bezprostredným vykonávateľom hodnotenia v zmysle schválených dokumentov. Ide o vy-vážený systém právomocí, ktorý nevyhnutne vyžaduje vzájomnú spoluprácu a dohodu.

Hneď na úvod chcem povedať, že ako zástupca Ústavu materiálov a mechaniky strojov SAV v Sneme SAV, a v priebehu akre-ditácií aj jeho predseda, som bol od začiatku pri tvorbe a pripomienkovaní základných akreditačných dokumentov a absolvoval som množstvo diskusií najmä na úrovni snemu a predsedníctva. Naopak, keďže ústav nemal svojho zástupcu v žiadnej z hodnotiacich komisií, nemôžem sa vyjadrovať k spôso-bu, akým dospeli ku konečným výsledkom. Keďže akreditácie prebiehali do istej miery autonómne vo všetkých troch oddeleniach vied, moje postrehy sa budú týkať najmä I. oddelenia vied SAV, do ktorého je zaradený aj náš ústav.

Súčasný model akreditácií je odvodený od modelu evalvácií, t. j. ročného hodnotenia činnosti ústavov, ktoré je plne v kompetencii oddelení vied a prvýkrát sa uskutočnilo v roku 2006. Cieľom evalvácií bolo okrem iné-

ho najmä predstaviť výsledky ústavov dosiah-nuté v predchádzajúcom roku, prideliť týmto výsledkom určitú bodovú hodnotu, zoradiť ústavy podľa výkonnosti a použiť uvedené hodnotenie na prerozdelenie približne 1 % mzdového fondu oddelenia. Prvé hodnotenie vykonávala 10-členná evalvačná komisia, na-vrhnutá P SAV tak, aby svojou odbornosťou pokrývala zameranie 15 ústavov I. oddelenia vied. Hodnotenie ich činnosti prebiehalo na základe posúdenia výkonnosti v 6 vybraných kritériách:

- publikovanie výsledkov,- ohlas,- medzinárodná spolupráca,- získavanie prostriedkov,- aplikácia výsledkov a ich popularizácia,- výchova.

V diskusiách, ktoré prebiehali pred sa-motným evalvačným hodnotením, najväčšia kritika smerovala k tomu, že takýto systém kladie nesplniteľné nároky na spravodlivé rozhodovanie členov komisie, nedáva im do rúk nástroje, ktoré by im to dostatočne uľahčovali, a súčasne vytvára neodstrániteľný konflikt záujmov, keďže budú rozhodovať či už priamo, alebo nepriamo aj o svojich ústa-voch.

Prvý problém spočíval v tom, že členovia komisie museli hodnotiť aj ústavy, ktorých činnosť bola veľmi vzdialená ich odbornému

Akreditačné hodnotenie vedeckých organizácií SAV v roku 2007 – pohľad č. 3

Karol IždinskýÚstav materiálov a mechaniky strojov SAV

“prijal som výzvu na napísanie môjHo poHľadu na pravidelné Hodnotenie ústavov sav. rád by som ním prispel do mozaiky názorov, ktoré dokreslia samotnú prípravu, priebeH a dôsledky toHto mi-moriadne náročnéHo procesu, spolu s ťažkosťami, ktoré Ho prirodzene sprevádzajú.”


zameraniu, ba aj takých, ktorých zameranie nebolo v komisii zastúpené žiadnym jej čle-nom. Druhý problém súvisel s tým, že hoci niektoré z hodnotených kritérií sa dali veľmi presne kvantifikovať a vyčísliť – napríklad publikovanie výsledkov a ich ohlas (počty CC publikácií, impact-faktory, počty citá-cií), iné – napr. medzinárodná spolupráca, výchova doktorandov alebo aplikácia výsled-kov a ich popularizácia – zďaleka nie. Všetky kritériá totiž veľmi úzko súvisia s danou ve-deckou oblasťou, no s tými, ktoré postrádajú jednoznačný merateľný kvantitatívny rozmer, sa pracuje o to ťažšie. Tieto námietky boli v tom čase odmietané s tým, že experti z eval-vačnej komisie si svojou vedeckou erudíciou poradia s medzerami, ktoré vyplývajú z nie celkom presne definovaných kritérií.

Keby som mal použiť športovú termino-lógiu, tak by som uvedený systém hodno-tenia prirovnal k súťaži, v ktorej proti sebe nastúpia reprezentanti rôznych športových disciplín – pre jednoduchosť si zvoľme naprí-klad skoky. Napadá mi skok do diaľky, skok do výšky, trojskok, skok o žrdi, ale aj skoky do vody z dosky alebo z veže, gymnastické preskoky, skoky na trampolíne, skoky na ly-žiach klasické i akrobatické... Ide o čiastočne podobné, ale súčasne aj veľmi odlišné činnos-ti, v ktorých sa vyžadujú rozmanité schop-nosti, zručnosti, talenty, fyzické predpoklady, tešia sa rôznej miere popularity a mediálnej pozornosti. Pritom platí, že niektoré z týchto disciplín sa hodnotia na základe jednoznačne merateľných kritérií (dĺžka, výška), v iných rozhoduje obtiažnosť a náročnosť akroba-tických prvkov a kvalita ich vykonania. O poradí súťažiacich má na základe porovnania vybraného súboru ukazovateľov hlasovaním rozhodnúť komisia, zložená zo špičkových odborníkov na niektoré disciplíny. Mimo-riadna obtiažnosť takéhoto rozhodovania je zjavná.

Možno sa tento príklad zdá ako nepri-meraný, ale v I. oddelení vied sa skutočne vedľa seba postavili veľmi rozdielne disciplí-ny – matematika, geológia, fyzika, geografia, elektrotechnika, stavebníctvo, astronómia, materiálové inžinierstvo, informatika a hyd-rológia. Členovia evalvačnej komisie dostali nesmierne ťažkú úlohu zoradiť tieto roz-manité ústavy podľa výkonnosti. Jedinými spoľahlivo merateľnými kritériami sa stali publikácie a citácie, a tie nakoniec rozhodli. Predpokladané korekcie zohľadňujúce sku-točnosť, že v každej vednej disciplíne leží úro-veň medzinárodného štandardu kdesi inde a že z povahy disciplíny samotnej vyplýva, že je zameraná na plnenie trochu iných cieľov, sa nijako zvlášť v hodnotení evalvačnej komisie neprejavili.

Bola to veľmi dobrá skúsenosť získa-ná tesne pred akreditáciami, ktorá vyvolala potrebu nastaviť proces hodnotenia trochu inak. Snem, ktorý schvaľoval zásady akredi-tácie, vyslal jasný signál, že v akreditáciách je nevyhnutné pristupovať ku každej vednej disciplíne s ohľadom na jej špecifiká. Išlo o to, neporovnávať neporovnateľné (t. j. ústavy navzájom), ale porovnávať ústavy voči akejsi hodnote medzinárodného štandardu (ben-chmarking), typickému pre jednotlivé vedné disciplíny.

Novozriadená akreditačná komisia v I. oddelení vied (AKOV-I) veľmi korektne skonštatovala, že nie je v jej silách, stanoviť tieto štandardy pre jednotlivé ústavy, pretože rozmanitosť ich zamerania je taká veľká, že je nemožné nastaviť kritériá tak, aby spra-vodlivo odrážali ich výkonnosť. Riešenie sa našlo v dohode o prizvaní externých posu-dzovateľov do hodnotiaceho procesu. Mali to byť medzinárodne uznávaní odborníci, ktorí nepotrebujú pracovať s nejakými vopred sta-novenými štandardmi, keďže to, že v danej disciplíne získali medzinárodnú reputáciu, jednoznačne svedčí o tom, že veľmi dobre ve-dia, kde leží medzinárodná úroveň.

Boli s tým spojené riziká, že posudzovate-lia nenastavia rovnakú mieru prísnosti a ich hodnotenie niektorým ústavom ublíži a iným nezaslúžene pomôže. Preto v zásadách ostala možnosť, že o výsledku akreditácie nakoniec rozhodne akreditačná komisia s prihliadnu-tím na posudky expertov. Tu sa však opäť ob-javilo riziko, že akreditačná komisia skĺzne do porovnávania ústavov medzi sebou. Toto rizi-ko bolo o to väčšie, že táto komisia začiatkom roku 2007 vykonala druhú evalváciu ústavov a svojím rozhodnutím akoby prejudikovala výsledky akreditácie. Uvedené riziko sme sa v sneme pokúšali eliminovať návrhom, aby akreditačná komisia mala právo rozhodnutia expertov buď prijať, alebo odmietnuť a požia-dať o nové posudky, ale nemeniť ich rozhod-nutie ďalším hlasovaním. Myslím, že obavy z toho, že by mohlo dôjsť ku strate kontroly nad akreditačným procesom, boli príliš veľké a tak tento návrh neprešiel.

Nevyužila sa ani možnosť lepšie nastaviť kritériá hodnotenia. Mimoriadne konfúzne kritérium z môjho pohľadu od samého za-čiatku boli aplikácie výsledkov v praxi a ich popularizácia. Ide o dve celkom iné činnosti, ktoré sú možno rovnako dôležité, ale keď sa dajú do jedného kritéria, tak sú nevyhodno-titeľné. Objektívne sa asi nedá dokázať, koľko popularizačných akcií sa vyrovná zavedeniu nejakej technológie do výroby, a tak zrejme neostáva iné než určiť body len na základe subjektívneho hodnotenia posudzovateľa, ktoré sa však vo väčšine prípadov opiera o

znalosti a skúsenosti z celkom iných oblastí. Nikde pritom neboli kritéria hodnotenia

definované lepšie ako v „Memorande Slo-venskej akadémie vied k rozvoju a situácii vo vede a technike v Slovenskej republike“, pri-jatom pred parlamentnými voľbami v roku 2006. V uvedenom memorande sa konštatu-je, že činnosť SAV spočíva na nasledujúcich 6 pilieroch:

- excelentnosť,- vzdelávanie,- aplikácie,- medzinárodná vedecko-technická spo-

lupráca,- expertízna činnosť,- popularizácia.

Uvedené kritériá sú podľa môjho názoru úplne jasné, zreteľné, navzájom si nekolidujú a neporovnateľne lepšie a vyváženejšie reflek-tujú činnosť ústavov SAV. Je skutočne ško-da, že sa ich dlhodobo a opakovane nedarí presadiť aj ako evalvačné, resp. akreditačné kritériá.

Najzávažnejšou zmenou v akreditáciách oproti jednoročným evalváciám bola účasť medzinárodne uznávaných posudzovateľov, ktorí vo svojich posudkoch vyjadrili svoj názor na kvalitu jednotlivých ústavov. Z ich hodnotenia vyplynulo, že medzi akade-mickými ústavmi v I. oddelení vied nie je až taký rozdiel vo výkonnosti, aký sa opakovane objavoval pri dvoch predchádzajúcich evalvá-ciách. Toto sa stretlo s väčším pochopením a s určitou satisfakciou u tých menej úspeš-ných, naopak, s menšou mierou pochopenia u tých úspešnejších. Súčasne to naznačovalo, že predchádzajúci systém hodnotenia nemusí byť až taký spoľahlivý, ako sa niektorým jeho zástancom zdá. Bola tu, samozrejme, aj mož-nosť, že posudzovatelia boli príliš benevo-lentní v prípade ústavov, ktoré pri predchá-dzajúcich evalváciách skončili medzi horšie hodnotenými a naopak, oveľa prísnejší boli pri ústavoch, ktoré sa umiestnili na prvých miestach hodnotenia. Keďže tento trend bol prakticky rovnaký u všetkých ústavov, ťažko sa dalo hovoriť o nejakej náhodnej fluktuá-cii.

V tejto chvíli urobila AKOV-I dosť prob-lematický krok. V záujme zvýšenia rozdielov vo výkonnosti v záverečnom hlasovaní „na-pravila“ rozhodnutia posudzovateľov – tým úspešným z evalvácií pridala a tým neúspeš-ným ubrala z bodového hodnotenia posu-dzovateľov.

Myslím, že sa tým dosť nešťastne sprob-lematizovali a spochybnili konečné výsledky. AKOV-I sa stala arbitrom vo virtuálnom spore o kvalitu medzi posudzovateľmi a ňou samotnou. Svojím rozhodnutím sproble-


matizovala účasť expertov tým, že ich hod-notenie brala do úvahy len v takej miere, v akej to uznala za vhodné. Je veľmi pravde-podobné, že hodnotenie ústavov by bolo dopadlo rovnako aj bez ich účasti. Oprava hodnotenia posudzovateľov opäť pripome-nula neodstrániteľný konflikt záujmov, s jeho nejasným dopadom na výsledné hodnotenie. Žiaľ, súčasná slovenská hodnotová kultúra sa len veľmi výnimočne dokáže efektívne brániť vplyvu konfliktu záujmov, a to aj vtedy, keď sa rozhoduje o výsledkoch znamenajúcich priamy finančný dopad.

Oveľa transparentnejším, než plošné opravenie výsledkov, by bol postup vyžia-dania nových posudkov v prípadoch, keď posudzovatelia evidentne pochybili. Taktiež formulovanie stanoviska, odôvodňujúceho príčiny neakceptovania hodnotenia posudzo-vateľov, by veľmi pomohlo spriehľadniť celý proces. Spor sa tak mohol dostať na odbornú úroveň, ktorá by umožnila porovnať argu-menty oboch strán.

Najhoršie je azda to, že vďaka takémuto postupu sme sa v určitom zmysle dostali zno-va na začiatok, keď sa porovnávala výkonnosť ústavov navzájom a nevyužila sa ponúkaná príležitosť posunúť sa kvalitatívne ďalej. Exis-tuje veľké množstvo údajov o výkonnosti jed-notlivých ústavov a tieto je možné navzájom v rôznych obmenách porovnávať. Nepochyb-ne z nich vyplýva, že stanovené poradie je správne. Nie sú mi však známe žiadne údaje, okrem hodnotení posudzovateľov, ktoré po-rovnávajú výkonnosť ústavov voči ich vlast-nému medzinárodnému štandardu. A práve toto porovnanie sa malo stať základom hod-notenia a celkového poradia.

Ku cti všetkým zúčastneným treba po-vedať, že celý proces prebehol z formálneho hľadiska veľmi korektne. Snem mal možnosť od začiatku do konca vyjadrovať sa k procesu pravidelného hodnotenia a schvaľoval všetky rozhodujúce dokumenty. Ich konečná podo-ba je tiež prienikom toho, na čom sa jeho čle-novia boli schopní dohodnúť. AKOV sa mu-seli podriadiť týmto pravidlám aj vtedy, keď cítili, že by bolo vhodnejšie a spravodlivejšie konať inak. P SAV dané výsledky akceptova-lo a nepokúšalo sa ich ďalej meniť.

Uvedomujem si, že môj pohľad na pro-ces hodnotenia môže vyvolať nesúhlas v ur-čitej časti akademickej obce. Línia odporu a možno nepochopenia sleduje hranicu medzi tým, čo by sme mohli nazvať „zvedavosťou motivovaný“ (curiosity driven) výskum, a „problémovo orientovaným“ (problem sol-ving) výskumom. V oboch prípadoch ide o základný výskum, i keď jeho ťažisko je po-sunuté k iným prioritám. Zrejme je to už predurčené povahou jednotlivých vedeckých

disciplín. Je pochopiteľné, že astronómia musí sledovať celkom iné ciele a využívať celkom iné postupy ako napríklad vývoj nových materiálov. Mohli by sme možno pripustiť aj to, že zatiaľ čo výsledky „zve-davosťou motivovaného“ výskumu sú obrazne povedané balené do publikácií a reflektované citáciami, výsledky „problé-movo orientovaného“ výskumu sú balené do patentov, máp, výrobkov, prototypov a pod. K určeniu ich hodnoty nie je možné pristúpiť jednoduchým sčítaním. Podmien-ky, v akých vznikajú, sú takisto diametrálne odlišné. Keď vyvíjame principiálne nový materiál pre renomovaného priemyselného partnera, ide spravidla o takú citlivú záleži-tosť, že nielenže nemôžeme o danej veci nič publikovať, ale nemôžme ani nikde uviesť, pre koho ju vyvíjame.

Hlavný problém vidím v tom, že súčas-né kritériá hodnotenia sú nastavené tak, že oveľa lepšie zohľadňujú výsledky spojené so „zvedavosťou motivovaným“ než s „prob-lémovo orientovaným“ výskumom. Stačí napríklad, aby väčšina členov hodnotiacej komisie mala bližšie k prvému typu výsku-mu a hodnotenie musí nevyhnutne dopad-núť tak, že príslušné ústavy skončia lepšie než tie ostatné. Samozrejme, platilo by to aj naopak. Zrejme oveľa objektívnejšie by bolo hodnotiť ústavy podľa ich prevažujú-cej orientácie dvoma nezávislými komisia-mi. Tieto by sa nemuseli obmedzovať len na ústavy jedného oddelenia vied.

Myslím si, že Snem SAV dostatočne citlivo vníma tieto skutočnosti, a preto cel-kom jednoznačne schválil pomerne mier-ne finančné dopady výsledkov akreditácií. Nepochybne niektoré očakávania v tomto smere boli na začiatku procesu oveľa odváž-nejšie.

S tým bezprostredne súvisí problém spojený s financovaním vedy ako takej. Potreba lepšieho finančného ohodnotenia excelentného výskumu oprávnene rezonuje nielen na pôde SAV už dlhé roky. V pod-mienkach nedostatočnej finančnej podpo-ry štátu sa určitým riešením javí prerozde-lenie vnútorných prostriedkov SAV. Keďže financovanie je také nízke, často nie je kde vziať. Do úvahy potom prichádza zrušenie neefektívnych pracovísk a podpora tých najefektívnejších. V určitej etape sa mohlo zdať, že aj výsledky akreditácií by mohli podporiť takéto riešenie. Dnes je zrejmé, že výsledky nepotvrdili existenciu takých slabých ústavov, ktoré by bolo potrebné ru-šiť. Tu ale nastáva problém, ktorý vyplýva z uzavretosti sústavy, v rámci ktorej sa rieši. Keby všetky ústavy zvýšili svoju publikač-nú aktivitu diskrétnym skokom o 100 %,

nezmenilo by sa s najväčšou pravdepodob-nosťou vôbec nič. Štát by svoju podporu pre vedu asi nezvýšil. Ako teda zabezpečiť rast v odvetví, v ktorom ročná podpora rastie tempom možno 3 %, zatiaľ čo národné hos-podárstvo rastie tempom 8 %. Už i súčasný obrovský rozdiel v platoch medzi verejným a súkromným sektorom sa nedarí ani len stabi-lizovať, a ďalej sa zväčšuje. Kráčame k ďalšie-mu prebudeniu, keď dostaneme svoje platy v eurách a mnohí doktorandi zistia, že ich 500 – 600 eur pri súčasnom tempe rastu dosiahne prijateľnú úroveň za desiatky rokov. Obávam sa masívneho exodu všetkých, ale najmä tých najschopnejších.

Určité riešenie vidím v ďalšom otvorení celého systému. Prostriedky je jednoznačne potrebné hľadať najmä mimo SAV a aspoň časť akadémie by mala svoju budúcnosť spá-jať s rozširovaním svojich schopností v ich získavaní. Vo vedomostiach a skúsenostiach pracovníkov SAV sú ukryté miliardy a tie je potrebné vytváraním vhodných podmie-nok uvoľniť. Realita je taká, že málokto je ochotný zaplatiť milión za vedecký článok, ale je dosť tých, ktorí zaplatia aj oveľa viac, ak okrem článku dostanú aj dôkaz o tom, že uvedená vec skutočne funguje, dá sa vy-robiť v reálnych podmienkach a má potom aj očakávané vlastnosti. Z našich skúseností vyplýva, že je dosť kapitálu, ktorý je pripra-vený podporiť, zaplatiť, alebo okamžite kúpiť výsledky výskumu, ktoré majú šancu konku-rovať súčasným, alebo priniesť nové riešenia.

Uzavretím jedného cyklu pravidelného hodnotenia vedeckých organizácií SAV nič nekončí. Stojíme na prahu nových a svojimi účinkami nepochybne významnejších výziev a cieľov. Rozpočtové pravidlá pre príspevkové organizácie nútia zrušiť organizáciu v prípa-de, že jej príjmy sú na úrovni príspevku zo štátneho rozpočtu. Ústavy, ktoré sa priblížili alebo už dnes sú na tejto hranici, stoja pred prirodzenou prekážkou svojho ďalšieho roz-voja. Zmena týchto pravidiel by veľmi po-mohla a nestála by vôbec nič. Stojíme pred začiatkom čerpania štrukturálnych fondov na vedu a výskum. Tieto, pokiaľ budú rozumne využité, môžu dramaticky zmeniť obraz nie-len SAV, ale celej slovenskej vedy.

Aj po skončení akreditácií je stále o čo bojovať.

V nasledujúcom čísle plánujeme:

Diskusia o pohľade zamestnávateľov na slovenské vysoké školy a ich absolventov


arra newsletter

www.arra.sk

číslo 2, ročník 2, rok 2008

issn 1337-3471

šéfredaktor:ján pišút

vydáva:© akademická rankingová a ratingová agentúrai. bukovčana 16, bratislava(korešpondenčná adresa:arra, partizánska 2, 811 03 bratislava 1)

arra newsletter je recenzovaný.

informácia pre prispievateľov:svoje príspevky, námety a komentáre môžete zasielať e-mailom na adresu [email protected](v predmete správy uveďte „newsletter“).akceptujeme príspevky vo formáte ms Word, resp. kompatibilnom. nevyžiadané príspevky sa nevracajú.foto: flickr.com

články prezentujú názory autorov, ktoré nemusia nutne odzrkadľovať názory redakcie newslettera arra.

newsletter 2008 02

Documents