Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 1. Mérhető-e a tudományos kutatás minősége? J. R. Cole és S. Cole

86 MÉ RHETÖ-E A TUDOMÁNYOS KUTATÁS MINŐSÉGE? utasít. Ezeknek a kritikus hangvételű idézeteknek a többsége nagy számú cikk között oszlik el, úgyhogy a legtöbb kritikusan idézett cikkre mindössze egy-két idézet jut. Ugyanilyen típusú eloszlást találunk a „pozitív" idézetek esetében is. Jusson, mondjuk huszonöt kritikus idézet egy bizonyos munkára. Véleményünk szerint az a kutatási eredmény, amely ilyen széleskörű kritikát ébresztett, valójában további kutatásra ösztökélt. Következésképpen ez ugyan hibás munkának tekintendő, azonban jelentősnek is, tehát úgy kell felfognunk, mint a jövő tudományos kutatására hatást gyakorló munkát. Azonos súlyúak-e az idézetek? Ha a cikkekre kapott idézeteket egyformán súlyozzuk, akkor a kutatás hatásának becslésében hibát követhetünk el. Azt a munkát, amelyet széleskörűen idéznek elsőrendű kutatók, nem tekinthetjük egyenrangúnak egy olyannal, amelyet elsősorban a jelentéktelenebb felfedezéseket tevő kutatók idéznek. Tekintve, hogy az idézeteknek nincs egyforma jelentése, jelentősége, vajon kezelhetjük-e őket egyenértékűként, vagy pedig az idézeteket magukat is osztályoznunk kell az idéző szerző érdemei szerint? Más szóval, vezetne-e a tudományos munkák minőségének magasabb rendű becslésére, ha az idézetelemzésbe bevezetnénk az idéző által képviselt kutatás súlyfaktorát is? Adatokat gyűjtöttünk, amelyek választ kívánnak erre a kérdésre. 1308 egyetemi fizikusból álló mintánkból részmintát vettünk és az őket idéző szerzőket részletesen megvizsgáltuk. Adatokat gyűjtöttünk a 171 fizikust tartalmazó részminta egyes tagjait idéző szerzők egy-egy véletlenszerűen kiválasztott mintájára. Ez lehetővé tette, hogy a?'egyes fizikusokat idézőik érdemei alapján osztályozzuk. Azáltal, hogy az egyes idéző szerzőket a saját munkáikra eső idézetszámmal súlyoztuk,

8 a részminta fizikusainak kutatási színvonalát idézőik érdemein keresztül mérhettük. Az így kapott mutatószám, és a részminta fizikusainak idézettsége közötti korreláció r = 0,40. Hogy ez a korreláció miért nem szorosabb, arra nézve két magyarázatunk van. (1) Minthogy a vizsgálat szubsztantív célú, és nem metodikai szándékú volt, mindegyik fizikusra maximálisan tizenöt idézőt vettünk figyelembe. Ezeknek aránya az idézők össz-számához képest fizikusról fizikusra változik. (2) Miután az idézetek egy aránytalanul nagy része egy igen produktív és gyakran idézett kis kutatócsoporttól származik, ugyanazokat nagy valószínűséggel találjuk a magasszínvonalú és az alacsony színvonalú munkák idézői között. így a viszonylag alacsony színvonalú munkák idézőinek 62%-a, míg a viszonylag magas színvonalú munkák idézőinek 70%-a kapott tíz, vagy ennél több idézetet a saját munkájára. Noha a két minőségi mutatószám - a teljes idézetszám és az idézők érdemeire alapozott mutató — egymással nincsenek erős korrelációban, mégis hasonló korrelációkra vezetnek más változókkal. Például egy kutatóegység rangja r = 0,19 szerint korrelált a közönséges idézetszámmal, és r - 0,22 szerint az imént leírt mutatószámmal. A végkövetkeztetés az, hogy egy olyan mutató, amely az idéző szerzők jellemzőit is figyelembe veszi, valószínűleg hasonló lényegi következtetésekre vezetne, mint az a mutatószám, amelynek számításában minden idézet azonos súlyú. A kutatói termelékenység mennyiségi és minőségi oldala Egy kutató munkájára vonatkozó összes idézetszám függhet attól is, hogy összesen hány művet publikált. Azok a kutatók, akik egyenként ritkán idézett cikket publikálnak,