Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 1. Mérhető-e a tudományos kutatás minősége? J. R. Cole és S. Cole

MÉRHETŐ-E A TUDOMÁNYOS KUTATÁS MINŐSÉGE? 87 végülis ugyanannyi idézetet gyűjthetnek, mint azok akiknek kevés, de sokszor idézett publikációja van. Egy 120 egyetemi fizikusból álló mintára 0,60-es korrelációt találtunk egy fizikus összes cikkének száma, és a rá vonatkozó összes SCI idézetszám között. Ezzel szemben r = 0,72, ha a korrelációt a kutató az összes cikkének száma, és a három leggyakrabban idézett munkájára kapott összes idézetek száma között mérjük. (Ez utóbbi idézetszám valószínűleg nem a publikációk mennyiségének műterméke). Ez pontosan ellentétes azzal, amit akkor várhatnánk, ha a teljes idézetszám a teljes cikkszámnak lenne elsősorban a függvénye, így arra következtethetünk, hogy a teljes idézetszám a publikációk minőségének alkalmas mutatószáma. Több tanulmányunkban finomabb idézeti mértékeket használtunk, mivel ezek az adott problémára alkalmasabbnak tűntek. Így például egyik munkánkban, amely fizikusok publikációinak mennyisége és minősége közötti összefüggést vizsgálja, a minőség mérésére az egyes fizikusok három legidézettebb munkáira vonatkozó idézetszámot használtuk. Ennek az volt a célja, hogy kiküszöböljük a puszta produktivitásnak a teljes idézetszámra gyakorolt hatását. Továbbá; mint hogy a fizikában elért eredmények tipikusan nem egy-egy cikkben öltenek formát, hanem általában valamilyen cikksorozatban, így mérési egység gyanánt nem az egy cikkre vonatkozó idézetszámot használtuk, hanem az egy-egy év termékére vonatkozókat.

9 Egy további megjegyzést is tehetünk a kutatómunka minősége és mennyisége közötti összefüggésről. Mivel a fizikában e két változó között erős korreláció van, arra a következtetésre juthatunk, hogy amikor az idézetszámokat nem könnyű meghatározni (pl. a régebbi kutatások esetében), a közlemények száma hozzávetőleges mutatószáma a kutató munkája jelentőségének. Legújbb vizsgálataink során úgy találtuk, hogy a publikációk minősége és mennyisége más tudományterületeken is szoros korrelációban van egymással.

10 Ha az idézetek száma megállapítható, ezt kell használni, mert a cikkszámmal szemben határozottan előnyösebb. A tudományterületek mérete Az idézetek használata a minőség mérésére azzal a potenciális problémával is találkozik, hogy a különböző tudományterületek méretei eltérők. Ha két kutató munkája nagyjából egyforma színvonalú, vajon az aki egy nagyobb tudományágat művel, több idézetet fog kapni? Nem helyes olyan kutatók minőségi összevetése, akik eltérő tudományterületeken dolgoznak. Valóban, hogyan is állíthatnánk, hogy egy kiemelkedő fizikus „jobb", mint mondjuk egy kiváló biokémikus? Egy ilyen összehasonlításnak az az egyedüli módja, hogy előbb megállapítjuk az egyes kutatók viszonylagos „helyezését" saját területükön. így azoknak a fizikusoknak és biokémikusoknak a munkája, kik az idézetelemzés alapján területük legfelső egy százalékához tartoznak, nagyjából egyenértékűnek vehető. Azt ajánljuk tehát, hogy ha egy vizsgálat több tudományág kutatóira terjed ki, akkor az idézési adatokat minden egyes területre külön statisztikailag standardizálni kell, és az így kapott eredményeket kell felhasználni a végső elemzésben.

1

1 A fenti szabványosítás a legközvetlenebb út arra, hogy a tudományterületek méretkülönbségeivel megbirkózzunk. Nehezebb az eset akkor, ha ezt a módszert arra akarjuk használni, hogy egy adott tudományterület ágainak méretkülönbségeit vizsgáljuk, mert sokszor igen nehéz meghatározni egy kutató szakterületét. Sok kutató munkája több alterületre is kiterjed. Vajon erősen befolyásolni fogja-e egy kutató idézetszámait a tudományterületén dolgozó kutatók száma? Ha szilárdtest fizikában több cikk jelenik meg, mint a részecskefizikában, akkor joggal várhatjuk, hogy két azonos hatású cikk közül (a saját szakterületű-