Teaduse kvaliteedi hindamisest

Raivo Stern

Kas eesti teadus areneb erakordselt edukalt? Mitte kõik, mida saab loendada, ei loe ja mitte kõike, mis loeb, ei saa loendada. Albert Einstein Eesti teaduse arengut taasiseseisvumisest arvates on valdavalt hinnatud erakordselt edukaks. Tavapäraselt on võrdlusbaasiks endised liiduvabariigid, kõrvutustes vähem kannatanud naabritega ollakse õigustatult vaoshoitud – oli ju neil seal üle 50 aasta võimalus teha kõike kõige paremini ja häda neile, kui nad seda võimalust maksimaalselt ei kasutanud. Selles mõttes on teadusse suhtumine kohati isegi koomiliselt sarnane suhtumisega sporti, muusikasse või kunsti – ühelt poolt tunnustatakse unikaalseid loomulikke andeid, aga ilma võrdlemisvõimaluseta maailma parimatega jääb kõik ikkagi poolikuks ja kahtlaseks. Kui spordis (maailmameistrivõistlused ja olümpia) ning muusikas (tunnustatud rahvusvahelised konkursid) on asi selge (teatriga on juba keerulisem, kuna siin on põhiskaalaks kohalik kultuur), siis teaduse ja konkreetse teadlase või tema asutuse ehk allüksuse hindamine on tavamõistusele raskesti hoomatav. Kuidas anda hinnangut millelegi, mis on sedavõrd uus ja tundmatu, et tüüpilise ametniku koolikogemus on kasutu esitatava mõistmiseks?

Ega sellest kimbatusest olegi väga palju pääseteid – üks võimalus on vaeva näha ja õppida ennast enam-vähem võrdseks (ingl peer) hinnatavaga, teine püüda moondada hinnatava looming ja tegevus kuidagi mõõdetavaks, loendatavaks. Võistlus ja sünergia nende kahe pooluse vahel kirjeldabki üllatavalt hästi teaduse rahastamise ja pingereastamise rindejoonel toimuvat.

Ülemaailmselt on ainsaks tunnustatud, sisuliseks ja toimivaks teaduse hindamisviisiks eelretsenseerimine (ingl peer review, otsetõlkes ’võrdse arvustus’). Sisuliselt on tegemist teadlaste iseorganiseerumisega mitteteadlaste vastu, kus kvaliteeti kontrollib ning nõu ja soovitusi jagab aktiivselt samal alal tegutsev kolleeg, mitte asjatundmatu kõrvaltvaataja. Eelretsenseerimine on kvaliteedikontrolliks teadusartiklite jõudmisel avalikkuse ette, uurimistaotluste hindamisel ja reastamisel ning poliitikutele tagasiside ja soovituste andmisel. Eelretsenseerimise süsteem ise ei ole eriliselt kiire ega mugav, see eeldab pühendumist ja vastutustundlikkust hindamisele asuja poolt. Hindamise korraldajale on sobivate hindajate leidmine ja nende nõusoleku saamine tihti raske ja keeruline tegevus, eriti kui hoolikalt järgida teaduseetika seatud tingimusi (hindajateks kutsutakse ainult teadlasi, kellega retsenseeritavatel pole tihedaid teaduslikke või muid ametialaseid kontakte), mistõttu otsitakse lihtsamaid, „automaatseid” hindamisvõimalusi.

Digitaalajastu tulekul tekkis suurte andmebaaside loomise ja pideva analüüsi võimalus, millest areneski teadlaste tegevust hinnata lubavaid tööriistu. Läbilöönuim ja enim kasutust leidev andmebaas on eraomanduses Thomson Reutersi korporatsiooni hallatav ja arendatav Teadmisveeb (Web of Knowledge, WoK). Üha suurenevat hulka teadusväljaandeid hõlmav digitaalne andmekogu võimaldab ülevaadet suurest arvust olulistest parameetritest (autori või institutsiooni poolt avaldatud teadusüllitiste arv, nende nähtavus ja tsiteeritus) ja lubab neid analüüsida veel ka ajalises dünaamikas. Nii tekib puhtalt kvantitatiivne ja näivalt objektiivne raamistik, millega peaks saama läbi viia teadlaste ja teadusasutuste hindamist ka nende tegevust sisuliselt mitte täielikult mõistvate statistikute ja ametnike poolt.

Viimastel aastatel ongi teadlaste edukuse (kas individuaalse või grupi) hindamisel kiiresti kasvanud bibliomeetriliste näidikute ja mõõdikute kasutamine. Nendest on saanud keskne, tihti otsustav tegur uurimistoetuste taotluste hinnete arvutamisel. Näidikud ja mõõdikud ise on mitmesugused: teadlase avaldatud kindla teadusartikli tsiteeritus, avaldamiseks kasutatavate ajakirjade nn mõjutegurid (impact factor), mõõdikud, mis kirjeldavad mahuliselt teadlase personaalset panust pikema ajaperioodi (kogu tegevusaja) jooksul nagu Hirschi H-indeks ja selle korrigeeritud variatsioonid, nagu G-indeks jm.

Kuigi selliste mahuliste mõõdikute appivõtmine võib esmapilgul jätta mulje hindamisse objektiivsuse toomisest, võib nende üha laienev kasutamine teaduse kvaliteedi mõõtmiseks tekitada laiaulatuslikke ja olulisi moonutusi, eelkõige kui rakendatakse lihtsameelselt ja ümbritsevat teadusruumi arvesse võtmata. Kuigi enamik rahastajaid teab seda, kinnitab kogemus, et üksikteadlaste ja projektide hindamisel nii riigi kui ka üleeuroopalisel tasandil tugineb hindamine ülemäära numbriliste parameetrite kasutamisele. Teadusüldsus on selle üle suurenevas mures ja teema on leidnud ülemaailmselt laialdast arutlemist. Üleeuroopaliste, prantsuse, inglise ja rootsi üles kirjutatud eelretsenseerimise ja bibliomeetria kasutamise juhendite alusel on formuleeritud soovitused heaks praktikaks (antud sõnastuses eelkõige füüsikutele sobivaks kohendatud), mille meelespidamisest ka väikses Eestis võiks kasu tõusta.

Hinnang tuleks anda ainult kasutades sama tegevusala aktiivseid teadlasi (peers), kes peavad olema sõltumatud ja kel ei tohi olla hindamises huvide konflikti. Nad peavad rangelt järgima eelnevalt avaldatud tegevusjuhendit. Tunnistades küll konfidentsiaalsuse rolli mõnede hindamiste puhul, tuleb ekspertide nimed üldjuhul avalikustada, kas siis enne või pärast hindamismenetlust vastavalt läbiviidava hindamise vajadustele.

Nii üksikteadlaste kui ka teadusprojektide teaduslikule kvaliteedile erapooletu hinnangu andmisel bibliomeetriliste indeksite abil tuleb arvesse võtta mitmeid tegureid, näiteks: teaduslik sisu, teadusringkonna suurus, majanduslik ja administratiivne kontekst ja antud valdkonnas kirjastamise traditsioon. Kirjastamise harjumused ja traditsioonid erinevad märkimisväärselt eri teadusvaldkondades (isegi füüsika eri alamvaldkondade vahel) ning kajastuvad näiteks sellistes üksikasjades nagu nimede järjestusreeglid autorite nimekirjas ja eriti veel ajakirjade valikus, kus tulemusi avaldada. Eriliseks näiteks võiks tuua kirjastamise füüsika suurte rajatiste valdkonnas (sünkrotron- ja neutronkiirguse allikad), kus traditsioonid on väga erinevad paljudest teistest valdkondadest. Näiteks kiirendifüüsikud avaldavad oma tööd eelistatult konverentsikogumikes, vaid väike osa nende tööst ilmub eelretsenseeritavates ajakirjades. Teiseks näiteks on avaldamise poliitika suure arvu koostööpartneritega koostöövõrgustikes, nagu tavaks eksperimentaalses osakestefüüsikas (CERN). Sellised võrgustikud rakendavad ranget korda tulemuste võrgustikusisesel hindamisel ja tulemuste kinnitamisel ning väline tulemuste avaldamine on heaks kiidetud täielikus koostöös. Sellest tulenevalt on kõnealuse poliitika tulemusel nende artiklid tunnustatud ajakirjades sageli väga pika autorite nimekirjaga, järjestatuna rangelt tähestikulises järjekorras.

Aastas avaldatavad tunnustatud (eelretsenseeritud) ajakirjade mõjutegurid (impact factors) on keskmistatud ja kirjastamine mõjukas ajakirjas ei garanteeri, et iga artikkel saab võrdselt kõrgelt viidatud. Sellised teadlaste publikatsioonide arvul ja/või nende tsiteerituse statistikal põhinevad kvantitatiivsed mõõdikud on hindamise üks aspekt, kuid nad ei saa ega tohi asendada teadlaste tegevuse laiemat, sama tegevusala kolleegide ülevaatamist.

Nende pisut ehk liialt hindamisprotseduuri üksikasjadesse kaldunud märkuste järel tahaksin kommenteerida prof Jüri Alliku vahendatud värsket Eesti edukaimate teadlaste tabelit. Esmalt tõdemus, et kui tabelis esinevad teadlased on vaieldamatult väga tublid, ei tähenda tabelist puudumine sugugi vähem tubli olemist. Tabelisse jõudmine sõltub tihti teadusala alampiirkondade spetsiifikast: kui bio- ja keskkonnateadused on pigem kiiret reaktsiooni tekitavad, on keemias, füüsikas ja mitmelgi teisel valdkonnal oluliselt suurem viivis või nn tsiteerimiskoste. Näiteks on KBFI füüsikud Urmas Nagel ja Toomas Rõõm avaldanud oma hiljutisi tulemusi ajakirjades PNAS, Nature Physics ja Physical Review Letters, viimases on sooloartikleid üllitanud ka meie edukas olümpiaadivedaja TTÜ küberneetika instituudist Jaan Kalda, aga kümne aasta tsiteerituimate artiklite nimekirja nad veel jõudnud ei ole. Selgelt on WoK ESI andmebaasil ikka ja jälle ka vigu – peale Jüri Alliku osutatute on 133 Eestiga seotud tsiteerituma teadusartikli loendist jäänud välja üks Jüri Alliku enda ja Anu Realo autorsusega 94 korda viidatud artikkel, puudu on TÜ arvutiteadlase Jaak Vilo kaasautorsusega 298 tsiteeringut kogunud artikkel (2003) ja meditsiiniteadlase Irja Lutsari kaasautorsusega 226 (2002) ja 331 (2003) korda viidatud artiklid. Nagu Jüri Allik juba osutab, on kogu andmebaas jaotatud jämedaimas jaotuses 22 teadusvaldkonda. Jaotusreeglid näivad kohati juhuslikud, nii on näiteks üheks keemia valdkonda esindavaks artikliks KBFI osakestefüüsikute CERNi koostöö artikkel.

Kõigi nende pisipuuduste kiuste pakub ESI Eesti osa kokkuvõte siiski mitmeti õpetlikku meie teaduse ja teadlaste hetkeseisukorra peegeldust. Üleriigiliselt, kõiki teadusasutusi ja teadlasi hõlmavat tagasisidet ei ole ülemäära lihtne saada. Traditsiooniliselt kasutavad poliitikud/valitsusasutused selleks üleriigilist teaduse evalvatsiooni. Eestis vastu võetud viimased seadusemuudatused tekitasid kõiki valdkondi katvast evalveerimisest kvalifitseerumisvõistluse üksikutele teadusasutustele, andmata üldist ja ammendavat vastust teaduse üldseisu kohta. Valdkondlikud süvaevalvatsioonid on tasapisi alanud, aga katnud vaid üksikud teadusharud. Seega on kõnealune ESI värske kokkuvõte pea ainuke üldistusele kvalifitseeruv tagasiside teaduse hetkeseisust. Jüri Allik osutab juba olulisimatele esmastele järeldustele: väga hästi läheb keskkonna-, taime- ja loomateadlastel ning molekulaarbioloogidelgeneetikutel. Seda just neil aladel avaldatavate teadusartiklite kõrge tsiteeritavuse mõttes muu maailma kolleegidega võrreldes. Samuti on pigem arenguruumi matemaatikutel ja mõnevõrra üllatuslikult ka kosmoseteadlastel. See valdkond peaks küll lähiajal saama tugeva stiimuli Eesti hiljutisest ühinemisest Euroopa Kosmoseagentuuriga (ESA). Valisin juhuslikeks võrdlusmaadeks meile mitmeti lähedase ja vaid pisut suurema Sloveenia ning teaduse musterlapse Šveitsi. Kogu teadusloome keskmistamisel oleme oma teadusartikli keskmise tsiteeritavusega (9,4 korda) maailma keskmisele (10,3) väga lähedal, Sloveeniast (7,0) tublisti ees ja Šveitsile (16,4) 2/3 piirile lähenemas. Teadusalade struktuuri poolest on Sloveenia meist kõige märgatavamalt erinev just inseneriteaduse, füüsika ja keemia otsustavalt suuremate mahtude poolest, milles ta üllatavalt sarnaneb Šveitsiga.

Kas ESI pakutavast peegelpildist on midagi õppida poliitikutel ja strateegidel, kes näiteks soovivad, et „teadus peaks olema selgemini suunatud meie oma (kohaliku) ühiskonna, sh ettevõtete aga mitte ainult ettevõtete, vajadustele”? Kindlasti, seda eelkõige teadussuundade strateegilise finantseerimisproportsiooni läbiarutamise ja kehtestamisega. Mitmed Eesti tugevamad teadusrühmad on väga oskuslikult suutnud ära kasutada Euroopa Komisjoni seatud teadusprioriteete ning toonud peamise finantseeringu väljastpoolt. Eesti enda riiklike huvide kindlustamiseks peaks olema võimalik ka meil oluliselt enam toetada riiklike vahenditega meie endi vajadustele orienteeritud teadusvaldkondi.

Lõpetuseks: äsja Eestis rahvusvahelise füüsikaolümpiaadi raames kohtumisi ja loenguid pidanud nobelist Sir Harold Kroto rõhutas lisaks viitamisele ülaltoodud Einsteini tsitaadile veel fakti, et aastatel 1991–1996 oli ta Briti enimtsiteerituselt teine keemik. Tsiteeritavuse edetabelit juhtis aga hoopis prof Martin Fleischmann, tuntud kui „külma” tuumasünteesi „avastaja” …