Teaduse mõõtmise raske probleem

Endel Põder

Kommentaariks Jüri Alliku artiklile „Ei saa me läbi bibliomeetriata” See jutt jätkab Eesti ajakirjanduses toimuvat arutelu teadustulemuste mõõtmise teemal. Mitmed varasemad autorid on kritiseerinud kvantitatiivsete bibliomeetriliste indikaatorite kasutamist ja arvanud, et need ei mõõda ikka päriselt seda, mida vaja. Viimases artiklis kaitseb Jüri Allik selliste näitajate kasutamist ning väidab, et nende kritiseerimiseks pole erilist põhjust. Ma olen kindlasti nõus Jüri Allikuga, et bibliomeetriliste indikaatorite kasutamine on mõistlik ja vajalik. See on lihtne, odav ja üsnagi usaldusväärne võimalus hinnata teadlaste produktiivsust ja töö kvaliteeti. Sageli on see objektiivsem kui ühe-kahe juhusliku eksperdi arvamus. Aga siiski ma arvan, et ka bibliomeetria kriitikute jutus on oluline tõetera: praegu üldiselt kasutatavad indikaatorid tõepoolest ei mõõda õigesti teadlase töö tulemuslikkust. Põhiline viga on seejuures äärmiselt elementaarne ja soovi korral lihtsalt parandatav. On mitmeid sotsiaalseid, psühholoogilisi ja poliitilisi põhjusi, mis teevad selle parandamise keerukaks. Võimalik, et see mõõtmisviga on kujundanud oluliselt tänapäeva teaduse halbu ja võib-olla ka mõningaid häid külgi.

Viga seisneb selles, et publikatsioonide ja viidete loendamisel ei arvestata õigesti mitme autoriga artikleid. Seetõttu need, kes teevad oma uurimistööd (või vähemalt publitseerivad oma töid) koos suurema arvu kaasautoritega, saavutavad võrdsete teadustulemuste korral mitmeid kordi kõrgemaid formaalseid näitajaid. Selle vea parandamiseks ja korrektsete näitajate saamiseks tuleks nii publikatsioonide kui ka viidete loendamisel kaaluda neid autorite arvu pöördväärtusega (jagada autorite arvuga).

See mõõtmisviga seletab olulisel määral (kuigi mitte täielikult) humanitaarteadlaste (ka matemaatikute) „mahajäämust” võrreldes loodusteadlastega formaalsete indikaatorite alusel. Kui esimesed avaldavad enamasti oma töid üksikautorina, siis teiste puhul on keskmine autorite arv praegu umbes neli (mis tähendab võrdse töö eest keskmiselt neli korda rohkem punkte). Samasugune ebaõiglane hindamine toimib ka teadusharude sees. Näiteks teoreetiline füüsik, kes kirjutab oma artikleid üksinda, peaks töötama sada korda efektiivsemalt, et konkureerida oma eksperimentaalse kolleegiga, kes publitseerib oma tulemusi sajast autorist koosneva grupina.

Kollektiviseeriv uurimistöö

Kuna selline tugevalt kallutatud tagasiside on kestnud juba enam-vähem 50 aastat, siis oleks imelik, kui see poleks teadusele mingit mõju avaldanud. Kõige ilmsem on surve kollektiviseerimise suunas: kui suuremas grupis on lihtsam edukas olla, siis võib arvata, et grupid hakkavadki suurenema. Midagi sellist on viimase 50 aasta jooksul tõesti toimunud. Sellega käivad kaasas nähtused, mis paljudele ei meeldi: bürokraatia kasv, avastuste anonüümsus, vastutuse hajumine ja autorid, kes ei ole oma publikatsioone läbigi lugenud. Need, kes eelistavad arendada omaenda ideid, mis enamiku arvamusega kokku ei sobi, peavad arvestama, et neil on mitu korda raskem leida tunnustust ja finantseerimist.

Arvatavasti toimuvad ka mingid nihked teadusalade ja uurimisvaldkondade vahel. Raha ja inimesed liiguvad valdkondadesse, mis sobivad hästi kollektiivseks tööks (kus on näiteks vaja suure hulga andmete kogumist ja töötlemist). See, mida ei saa või on raske suure grupiga uurida, jääb uurimata (sest seal pole võimalik kallutatud indikaatoritega mõõdetud edu saavutada).

Samad tendentsid peegelduvad ka ka teaduspoliitikas. Me kõik oleme kuulnud uurimisgrupi kriitilisest massist, alla mille ei tasuvat uurimistööd teha või finantseerida. Kuigi mõne uurimisvaldkonna puhul võib sellisel jutul olla ka objektiivne alus, siis üldise nõudena jääb see üsna mõistatuslikuks.

Lisaks vaadeldud tendentsidele pakub praegune hindamissüsteem suurepärast võimalust otseseks manipuleerimiseks. Näiteks ma võin ilma igasuguse täiendava teaduspanuseta kahekordistada oma publikatsioonide ja viidete arvu, kui ma lepin sõbraga kokku, et mina märgin tema ja tema märgib end minu tööde kaasautoriks. Ja see ei häiri mitte kedagi.

Mõned inimesed ja organisatsioonid on püüdnud nende tendentside vastu sõdida. Näiteks Nobeli preemia laureaat David Hubel on kutsunud uurimisgruppide juhte üles organiseerima väiksemaid gruppe, loobuma bürokraatlikest ülesannetest ja osalema isiklikult eksperimentide läbiviimisel. Mõned ajakirjad on kehtestanud artikli autorite arvule ülempiiri; mõned nõuavad, et iga autor peab märkima, mida ta antud artikli juures täpselt tegi. Siiski tundub ebareaalne, et selliste abinõudega oleks võimalik üldist kollektiviseerimishoogu peatada.

Muidugi võib kollektiivsusel olla ka positiivseid külgi, näiteks tööjaotus ja tihedam informatsiooni vahetamine võivad tõsta töö efektiivsust, ja kindlasti leidub inimesi, kellele praegused tendentsid väga meeldivad.

Kuigi kirjeldatud tendentsid teaduse arengus tulenevad loogiliselt vildakate indikaatorite kasutamisest ja sobivad kokku ka ajaliselt, on põhjuslikud seosed siiski hüpoteetilised ja võib-olla vajaksid kindlamat tõestust. Aga see, et kasutatavad indikaatorid on vildakad ja kuidas neid tuleks korrigeerida, on minu meelest selge ilma igasuguse uurimiseta. Muidugi ei lahenda lihtne jagamistehe kõiki teadustulemuste mõõtmisega seotud probleeme, kuid muudaks selle oluliselt täpsemaks ja õiglasemaks. Ja ilmselt lõpetaks ära ka põhjendamatu kollektiviseerimismaania.

Lugejal tekib arvatavasti mitu küsimust. Kas ma äkki midagi segi ei aja? Kas keegi pole seda viga siis varem märganud? Miks pole seda ära parandatud? Kas need, kes selliseid indikaatoreid toodavad ja levitavad, ei tea, milles asi on?

Kui ma paar aastat tagasi selle probleemi otsa komistasin, siis arvasin tõesti, et küllap ma midagi segi ajan. Et selline asi pole võimalik. Aga hiljem leidsin paar artiklit 1980. aastatest, kus asja olemus ja sellest tulenevad soovitused on väga selgelt kirja pandud (ühe autoriks on tuntud saientomeetria klassik Solla de Price ja see ilmus ajakirjas Science 1981. a). Millegipärast ei ole praktikud vajalikke järeldusi teinud ja ka probleemi olemus on aja jooksul suurel määral ununenud. Akadeemilises saientomeetrias on seda mõnikord abstraktsel või matemaatilisel tasemel arutatud, kuid on välditud igasuguseid praktilisi järeldusi. On siiski olemas ka mõned huvitavad argumendid, miks Solla de Price’i ja teiste lihtsat soovitust ei saa järgida.

Näiteks öeldakse, et autorite arvuga jagamine eeldab, et kõikide kaasautorite panus on võrdne. Kuna tegelikud panused võivad olla väga erinevad, siis olevat jagamine halb. Sealjuures unustatakse ära, et praegu kasutatav kokkulugemine eeldab täpselt samuti, et panused on võrdsed ja jagamine ei tee midagi halvemaks. Samal ajal kõrvaldab jagamine erinevast autorite arvust tingitud süstemaatilise ja kohati väga suure vea. Oleks muidugi tore, kui saaks täpselt hinnata iga kaasautori panust ja kasutada vastavaid kaale. Vaatamata igasugustele huvitavatele ideedele ei ole sellele probleemile seni head lahendust. Aga ei ole mingit põhjust neid asju kokku panna ja väita, et kui me üht viga ei oska parandada, siis ei tohi me parandada ka teist.

Väheveenvad argumendid

Teine levinud argument on see, et praegune süsteem stimuleerib koostööd (mis on muidugi tõsi), ja kui see stiimul kaob, siis teadlased enam omavahel koostööd ei tee ja see mõjub teadusele kohutavalt halvasti. Teoreetiliselt on tõesti võimalik, et teadlaste koostöö ja kogu teaduse edukus võlgneb tänu vildakale teadustulemuste mõõtmisele. Mina siiski ei usu, et teadlased oleksid hullemad individualistid kui teised inimesed ja et neid tuleks mingi võltsitud präänikuga koostööle meelitada. Ma arvan, et kui praegune kallutatud tagasiside asendada korrektse informatsiooniga tulemuste kohta, siis see ei takista ratsionaalset koostööd, mis annab tõesti paremaid tulemusi kui individuaalne töö. Ja koostöö stimuleerimiseks on olemas mitmeid eetiliselt korrektsemaid meetodeid kui töö tulemuste kallutatud hindamine.

Sageli saadakse asjast aru nii, et on olemas lihtsalt mitmeid võimalusi, kuidas teadustulemusi mõõta. Igal variandil on head ja halvad küljed, ja ükski pole põhimõtteliselt õigem kui teine. Ja me võiksime neid variante kuidagi kombineerida, leida mingi kompromissvariandi. Minu meelest on selline loogika antud juhul vildakas, sest on olemas üks variant, mis mõõdab parimal teadaoleval viisil seda, mida me mõõta tahame, ja teine, mis mõõdab seda märkimisväärse süstemaatilise veaga. Kui ma usun, et 2 x 2 = 4 ja keegi teine arvab, et 2 x 2 = 5, siis tundub natuke rumal arutada kompromissvarianti, et 2 x 2 = 4,5.

Väidetakse, et Thomson Reuters olevat autorite arvuga jagamise ideed arutanud ja leidnud, et korrigeeritud indikaatorid erinevad üldjoontes vähe korrigeerimata indikaatoritest ja seetõttu pole neid vaja arvutada. See, et nad üldjoontes sarnanevad, on muidugi tõsi. Aga kui neid andmeid tahetakse kasutada konkreetsete teadlaste töö hindamiseks, siis sellest üldjoontes sarnasusest ei piisa. Ka näiteks inimese kaal ja pikkus on üldiselt omavahel tugevas korrelatsioonis. Milleks siis üldse kedagi kaaluda, võiks ju kaalu asemel kasutada pikkust? Aga sellepärast, et iga konkreetse inimese puhul annab kaalumine oluliselt õigema tulemuse kui pikkuse järgi kaalu ennustamine. Sama lugu on ka korrigeeritud ja korrigeerimata teadustulemuste indikaatoritega. Kuigi Toivo Maimets viitab Thomson Reutersi tähtsale ametnikule, kes olevat öelnud, et nende andmed ei olegi mõeldud üksikteadlaste kohta mingite järelduste tegemiseks, ei saa seda väga tõsiselt võtta. Igaüks võib nende veebilehelt lugeda, et nad siiski on ka selleks mõeldud.

Minu arvates pole toodud argumendid piisavalt tõsised, et eelistada praegust süsteemi ja loobuda parandusest, mis lahendaks mitmed probleemid. Mõned võivad muidugi teisiti arvata.

Lapsepõlve vangid

Mulle näib, et asi ei ole niivõrd ühes või teises konkreetses argumendis, vaid et paljudele inimestele selline muudatus lihtsalt ei meeldi.

On võimalik, et see hoiak peegeldab tõesti mingit sügavamat tarkust. Võib-olla on teadustöös (ja ka kunstiloomingus) midagi sellist, mis ei luba rakendada tavapärast „majanduslikku” ettekujutust ressurssidest, panustest ja töö tulemuste õiglasest jagamisest.

Teine seletus on see, et ka kõige targemate inimeste mõtlemist mõjutavad isiklikud huvid ja elu jooksul kujunenud maailmapilt. Praegused teadlased on kogu oma elu elanud kallutatud indikaatorite maailmas. Nad on teinud kõik tähtsad otsused lähtudes eeldusest, et see maailm on igavene. Taibukamad on lisaks erialastele teadmistele kasutanud enda huvides ka hindamissüsteemi kallutatust. Ja siiski on nad uskunud, et süsteem on õiglane ja selle kallutatus on paratamatu nagu loodusseadus. Ja nüüd öeldakse, et maailm ei olegi selline, et nad peaksid hakkama teistsuguste reeglite järgi käituma, võib-olla senised saavutused ümber hindama, võib-olla raskustega kättevõidetud positsioonidest loobuma. Ei, sellist reformi küll vaja ei ole!

Kas see tähendab, et senine kurss jätkub? Selles ei saa siiski päris kindel olla. Arusaamine, et praegustel indikaatoritel on midagi viga, on üsna laialt levinud. Teadlased, kes üldiselt hindavad ratsionaalsust, loogilist mõtlemist ja objektiivsust, ei saa ilmselt rahule jääda ebaloogilise ja ebaõiglase süsteemiga. Samuti on asjade uut moodi nägemine osa nende põhitööst. Ning praeguse süsteemi probleemid muutuvad aja jooksul veelgi ilmsemaks. On tekkinud ja tekivad alternatiivsed bibliomeetrilise info pakkujad ning mõned nendest võimaldavad ka korrigeeritud indikaatorite arvutamist. Näiteks Publish or Perish (http://www. harzing.com/pop.htm) arvutab Google Scholari andmete alusel nii traditsioonilise viidete arvu kui ka korrektselt kaalutud viidete ja publikatsioonide arvud (viited ja artiklid autori kohta), samuti lisaks Hirchi originaalsele h-indeksile ka Saksa füüsiku Schreiberi soovitatud õiglase h-indeksi. Samasuguste funktsioonidega programmid on olemas ka Mozilla Firefoxi lisadena. Märt Põder koostas hiljuti lihtsa programmi (http://p6drad-teel.net/isi-report), mis arvutab Thomson Reutersi ISI Web of Knowledge’i publikatsioonide tabeli põhjal korrigeeritud publikatsioonide ja viidete arvu.

Olen varem avaldanud arvamust, et Eesti võiks olla esimene koht maailmas, kus teadusraha jagamisel arvestatakse korrektseid teadustulemuste näitajaid. Tegelikult on see üsna rumal ettepanek. Kuna enamik maailmast kasutab praegust süsteemi, siis viiks see ilmselt Eesti teadustulemuste langusele maailmas kasutatavate näitajate alusel ja rahvusvaheliste finantseeringute vähenemisele. Järelikult on ainus reaalne võimalus sõita edasi maailmateaduse viltu vajuvas laevukeses ja püüda seda jõudumööda õiges suunas kallutada. Ma loodan, et käesolev jutt aitab natuke kaasa selle raske ülesande mõistlikule lahendamisele.