Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 2. Az alapkutatási tevékenység értékelése B. R. Martin és /. Irvine

II.2. AZ ALAPKUTATÁSI TEVÉKENYSÉG ÉRTÉKELÉSE* tozhat (vö. 50 irodalom, 230—231 old.). A két fő módszer, amelyet a közlemények minőségi mutatójának előállítására használnak, a tématerületen jártas szakértőkkel való véleményeztetés (peer evaluation) módszere és az idézetelemzés.i Hogy e módszerek müyen kapcsolatban vannak a tudományos haladással, arról a későbbiekben lesz szó. Ha a minőségi különbségeket nem vesszük figyelembe, akkor az egyszerű közleményszámolás — noha a kutatási produkció mérőszáma gyanánt szolgálhat — nem méri a tudományos haladást. Ehelyett olyasmit szolgáltat, amit mi a tudományos haladás részmutatójának)

k fogunk nevezni, azaz egy olyan változót, amelyet részben meghatároz egy egyén vagy egy csoport tudományos fejlődésének szintje (aj, de ugyancsak befolyásol, más tényező is, úgymint a különböző társadalmi és politikai hatások (b). Ezek közé tartoznak a munkáltató intézmény (az aktuális és a korábbi intézmények - lásd 11 irodalom, 703 old.), az ország és a művelt kutatási terület publikációs gyakorlata. Egy másik tényező a publikációk számának súlya az előléptetés, az állandó státus vagy kutatási támogatások megszerzése.

1 A helyzetet bonyolítja az a tény, hogy ezek az „egyéb tényezők" nemcsak tudósról tudósra, kutatócsoportról csoportra, de még időben is változhatnak."

1 Ezen túlmenően probléma az is, hogy vajon (a) dominál-e (b) fölött? A priori nem feltételezhető, hogy (a) viszonya (b)hez jelentéktelen, de még az sem, hogy egy olyan teljesen véletlen hatások összességéből áll, amelyek nagyobb kutatócsoportokra, vagy hosszabb időtartamokra kioltják egymást. (Lehet, hogy néhány effektus véletlenszerű, de mások rendszeres természetűek, az adott társadalmi és politikai körülményektől függően). Az (a) és (b) tényezők viszonylagos fontossága a közleményszámokban csak tapasztalatilag állapítható meg. Röviden, arra is gondolni kell, hogy miért közölnek a kutatók, és fel kell ismerni, hogy ezt nemcsak azért teszik, mert értékes eredményeket óhajtanak közreadni, hanem társadalmi, politikai és karrierszempontok is vezérelhetik őket. A közleményszámokat tudományos haladás mértéke helyett annak részmutatójaként kezelve a legjobb úton vagyunk, hogy lássuk, miért lehet veszélyes az egyén, sőt még egy kisebb csoport kutatási eredményeit is a publikációk száma alapján becsülni. Ennek oka az, hogy ezekben az esetekben a (b) tényezők relatív hatásaiban nagy és alkalmasint előre meg nem jósolható változások lehetnek. Nagyobb csoportok esetében azonban lehetséges gondosan összeválogatott csoportokat kiszemelni az összehasonlítás céljaira, úgy, hogy (b) bizonyos hatásait minimalizálni tudjuk. Ez elérhető, ha azonos tudományágban, hasonló szervezési és támogatási rendszerben dolgozó, és ugyanazokban a folyóiratokban hasonló típusú cikkeket közlő csoportokat választunk ki. Ilyenkor esetleg azt tapasztalhatjuk, hogy (b) hatásait (a)-hoz képest eléggé csökkenteni tudjuk ahhoz, hogy a közleményszámokat a tudományos haladás hasznos mutatójává tegyük. E cikk későbbi részében találhatók ezzel kapcsolatos előzetes empirikus eredmények is. Idézetek Az általános vélemény szerint az idézetelemzés célja a „minőségi tényező" beépítése a tudományos közlemények értékelésébe. Az idézetelemzés korábbi alkalmazásainak zömében az volt az alapfeltételezés, hogy egy tudományos cikk hatása a későbbi kutatási közleményekre gyakorolt befolyásában rejlik és, hogy ez a befolyás minden esetben abban nyilvánul meg, hogy a befolyásolt munka visszautal a befolyásolóra.

3

8 Ennek a bizonyos fokig támadható feltételezésnek az alapján az idézetelemzés lelkesebb követői azt állítják, hogy egy közleményre történő hivatkozások száma e közlemény minőségét, színvonalát képviseli (lásd pl. 7 irodalom, 379 old.)." Ezt az állítást különböző bizonyítékokkal támasztották