Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 2. Az alapkutatási tevékenység értékelése B. R. Martin és /. Irvine

II.2. AZ ALAPKUTATÁSI TEVÉKENYSÉG ÉRTÉKELÉSE* - különösen az USA-ban. Ezt nem-formális kölcsönös idézési megállapodások révén gyakran „idézési körnek nevezik. wNoha az idézetszám különböző „torzító tényezőinek" lehetséges hatásait Cole és Cole

8 (369 old.) tárgyalja, feltételezik, hogy az üyen effektusok ritkán fordulnak elő és nagyságuk elhanyagolható. Így aztán kijelenthetik, hogy „az idézetek általában a lefolyás mérvadó indikátorait képviselik . (Meg kell jegyezni, hogy ez már óvatosabb hangvétel, mint korábbi állításuk, miszerint az idézetek száma a munka minőségét jelzi - lásd Cole és Cole

7 (379 old.). "Kaplan

2

4 (182—3 old.) felvet néhány kérdést, amelyekkel egy ilyen empirikus tanulmányban foglalkozni kell, pl. „mi a hatása a szervezeti közegnek és kutató kollegáinak? Vannak-e íratlan szabályok arra, hogyan kell kollegák munkáit, különösképpen a fölöttesekét idézni? ^Egy további probléma az, hogy néhány standard eljárás, még tökéletes elteijedtségében is, kiváltja az eredeti cikkre történő hivatkozásokat (ezt láttuk az „s lábjegyzetben a fehéije meghatározási módszerekkel kapcsolatban) míg mások (pl. az apertura-szintézis a rádiócsülagászatban) ezt nem teszik. Az idézési szokásokban megnyilvánuló ilyen különbségek további empirikus vizsgálatot igényelnek. Tükrözik-e az idézési szokások a kutatók érték és normatívarendszereinek jelentős elemeit? Ezek a kérdések azóta is jórészt megválaszolatlanok, noha Chubin és Moitra,

5 és Moravcsik és Murugesan

3

9'

40 végeztek vizsgálatokat az idézetek szövegösszefüggési osztályzására — ez a munka végülis megválaszolhatja a fenti kérdéseket. ZA tanulmány készítése során megkérdezett 69 kutató közül 76% vélte úgy, hogy a peer-ek bírálata a legjobb módszer, és 19%-nak volt az a véleménye, hogy egyenértékű a közleményszámolással vagy az idézetelemzéssel. Igen hasonló eredményeket kapott Chan az egyetemi oktatókon és adminisztrátorokon végzett vizsgálataiban a különböző eredményességi mutatók viszonylagos fontosságára nézve az alapkutatás hatékonyságában. Legreálisabb mutatóknak a peer-ek által végzett értékelést és a „tekintélyes folyóiratokban közölt cikkeket tekintették, noha ebben a tanulmányban nem teljesen világos, vajon csak a közlemények számáról van benne szó, vagy pedig a tanulmány során megkérdezettek ezt úgy értették, hogy ezen cikkek befolyásának vagy minőségének valamiféle értékelését is magában foglalja. (A „peer evaluation"-el kapcsolatos kételyeket Id. Hamad

5

6. A szerk.) ^Vö. Mitroff és Chubin

3

6 (199 old.) érvelésével azzal kapcsoaltban, hogy a peer-módszer eredményeit csak úgy tölthetjük meg tartalommal, hogy a bírálók gondolkodási stílusát is vizsgálat tárgyává tesszük. ®így nem várható, hogy a peer-módszer eredményei teljesen függetlenek legyenek más kvantitatív mutatóktól, így a közlemények és az idézetek számától. Az előző az utóbbiakhoz kapcsolódik abban az értelemben, hogy a peer-módszer részben a folyóiratirodalomra támaszkodik, és a folyóiratirodalom bizonyos aspektusai (pl. a cikkek közlésre való elfogadása, más cikkek idézése egy közleményben) részben viszont épp a peermódszer által határoztatnak meg (lásd Moravcsik

3

8). Abban a néhány tanulmányban, amelyek a peer-módszert a tudományos haladás más mutatóival kombinálva használták, úgy találták, hogy a különböző értékelési módszerek viszonylag jól egybevágnak (lásd előbb idézett irodalmat). n A korábbi elemzések többségében, amelyek a tudományos hozzájárulások nagyságának becslésére irányultak, elsősorban nem kutatócsoportokkal, hanem az egyéni kutatókkal foglalkoztak — noha elszigetelt egyének ma már alig-alig tevékenyek a kutatásban. Az a néhány szerző, aki kutatócsoportokat hasonlított össze, Westbrook 5

4 Larabi,

2

6'

2

7 Matheson

3

3 és Andrews

1 volt. ^Egyének esetében valószínűtlen, hogy egy nagyobb mintát találjunk olyan kutatókból, akik (eléggé szűk) kutatási érdeklődése egybevágó vagy majdnem teljesen átfed. Csoportok esetében azonban a kutatási érdeklődés szélesebb területeit lehet lefedni, és így nagyobb a valószínűsége annak, hogy jelentősebb átfedést valósítsunk meg.