Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)
II. KÜLFÖLD - 1. Mérhető-e a tudományos kutatás minősége? J. R. Cole és S. Cole
MÉRHETŐ-E A TUDOMÁNYOS KUTATÁS MINŐSÉGE? 89 ellentmondásban. A súlyozási technika célja nem az, hogy megjósolja azoknak az idézeteknek a számát, amelyeket a közlemények a múltban kaptak, hanem, hogy figyelembe vegye és kontrollálja az egyre növekvő össz idézetszámot. A tudomány exponenciális növekedése miatt a jelentős tudományos eredményeket tartalmazó munkák manapság sokkal idézettebbek, mint hasonlóan jelentős munkák a múltban. Ha egy munka öt idézetet kap, nem számít a legidézettebbek közé. Ezzel szemben, ha a múlt században egy cikkre öt hivatkozás utalt, valószínűleg az akkor legidézettebb munkák közé tartozott volna. Ezért azután ha különböző időszakokban írt műveket hasonlítunk össze, standardizálnunk kell az össz idézetszám szerint. Az alapvető elvek integrálódása Széleskörben ismert alapelveket sokszor felhasználnak a kutatók munkáikban, anélkül, hogy idéznék a jól ismert forrásmunkát. Van-e olyan szerző manapság, aki felsorolja az Annalen der Physik-ben megjelent cikket, ha használja az E = mc 2 összefüggést? Azoknak a tudósoknak az esetében, akik elérték az elismertség egyik legmagasabb szintjét, az eponimiát — tehát akiknek nevével elméleteket vagy tudományos módszereket jelölnek — a formális idézetszám idővel csökkenhet. A „Mössbauer effektus" példa egy olyan viszonylag újkeletű tudományos felfedezésre, amely tökéletesen integrálódott az általános tudásanyagba és csak ritkán utal rá formális hivatkozás. Vizsgáljuk meg ezeket az eseteket a mi mértékeink szerint. Egy kutató, akit felfedezései eponimikus elismertségi szintre emeltek, valószínűleg produkál egyéb, kiváló kutatási eredményt is, amelyre a kutató-társadalom intenzíven hivatkozik. így a Mössbauer-típusú tudósok kutatómunkáját „magasszintű"-nek ítélhetjük, annak ellenére, hogy egyik kiemelkedő eredményükre viszonylag kevés formális hivatkozás esik. 1 5 Mindazonáltal igaz, hogy egy felfedezés beépülése a tudásanyagba hibákra vezethet, ha e felfedezés értékét idézetelemzéssel óhajtjuk megállapítani. Az idézetek felhasználása a minőség megállapítására bizonyos hibákat magában foglal. Az eddig tárgyalt és később említendő bizonyítékok azonban arra mutatnak, hogy noha ezek a hibák egyedi esetekben igen lényegesek lehetnek, elhanyagolhatóvá válnak, ha elfogadhatóan nagy méretű cikk-, vagy szerzőmintával dolgozunk. Az idézési gyakoriság időbeli stabilitása Ha adott munkákra, vagy kutatókra vonatkozó idézetek évről évre nagyon változók lennének, ez azt jelentené, hogy az idézési gyakorlat véletlenszerű és az idézetszámot nem lehet megbízhatóan minőségmérésre használni. A helyzet azonban nem ez. A Physical Reviews folyóiratban 1963-ban publikált cikkek vizsgálata során kiderült, hogy az 1964 és 1966 évi idézetek számai között 0,72-es korreláció van, és két, egymást követő évre még erősebb a korreláció. Nemrégiben végzett elemzéseink szerint egy-egy kutató össz-idézetszáma időben elég stabilnak mutatkozik. E vizsgálatok azokra az idézetekre vonatkoznak, amelyeket férfi és női kutatók az 1961—70 időszakban kaptak 1 6, (lásd az 1. táblázatot). Mindegyik korreláció viszonylag szoros. Ahogy az várható is a változók időbeli viselkedésének mérésében, minél közelebb esnek időben a mérési pontok, annál kifejezettebb a korreláció két mérés között. Bármely egymást követő két évben a kutatókra eső idézetek száma között 0,90 vagy ennél nagyobb a korreláció. Még akkor is meglehetősen erős korrelációt kapunk (r = 0,55), ha az 1961 és 1970 évi idézetszámok közötti kapcsolatot vizsgáljuk. így nyugodtan kimond-
