Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 2. Az alapkutatási tevékenység értékelése B. R. Martin és /. Irvine

II.2. AZ ALAPKUTATÁSI TEVÉKENYSÉG ÉRTÉKELÉSE* alá, pl. Clark hatszoros korrelációt talál az idézetek és a minőség között, és arra következtet, hogy az idézetszám a rendelkezésre álló legjobb mutatója a kutatómunka „értékének". Egy másik fajta bizonyíték állítólag a Nobel-díjasoktól származik, akik többsége a leggyakrabban idézett szerzők 0,1%-nyi csúcskategóriájába tartozik (vö. 19 irodalom, 485 old.). Ennek alapján javasolták

1

6 a Nobel-díj nyertesek „előrejelzését" az idézettségi adatokból. Ilyen és hasonló bizonyítékok alapján

0 egyesek olyan következtetést vontak le, hogy az idézetek „a kutatás értékének legpraktikusabb mutatói".

4

6 Kérdés, mennyire jogosult ez az állítás? Mint a legtöbb idézetelemző készségesen beismeri, az idézetszámlálás több technikai és néhány lényegi problémába ütközik (lásd 9 irodalom, 24 old.). A technikai nehézségek abból a tényből erednek, hogy az ilyen vizsgálatokban általánosan használt Science Citation Index (SCI) nem nyújt teljesen pontos képet a hivatkozási szerkezetről.

3

8 Például a többszerzős cikkek idézetei csak az első helyen álló szerző neve alatt található meg. Mivel úgy tűnik, hogy az így kapott idézetszám szoros korrelációban van a teljes idézetszámmal (amit úgy kapnak, hogy egy kutató összes cikkének listáját végignézik, függetlenül attól, hogy az illető azokban első szerző-e vagy sem) általában föltételezik, hogy a kizárólag első helyen álló szerzőnevek használata nem jár jelentős hibával (vö. 9 irodalom, 32—34 old.) Bár ez igaz lehet általában a legtöbb kutatóra, lényeges különbségek okozója lehet néhány, egyedi kutató esetében,

2

9 és különösen hátrányos helyzetbe hozza azokat, akik sok társszerzővel publikálnak. Emiatt olyan kutatócsoportok összehasonlításában, akik kutatómunkájukban eltérő mértékben támaszkodnak társszerzőkre az első név szerinti idézettség használata jelentős szisztematikus hibákra vezethet. Ez okból a következőkben leírt tapasztalati munkában teljes idézettségi adatokat használunk. A második technikai probléma azokkal kapcsolatos, akik több név alatt is szerepelnek a Science Citation Indexben esetleg azén, mefTneha égy" néha két keresztnevet használnak, vagy mert nevük a házasságban megváltozik. Gyanú esetén az ilyen eseteket könnyű felderíteni. Hasonlóképpen vannak nevek, amelyek kibetűzése az idéző szerzőknek nezézséget okoz, ilyenkor esetleg több, különböző lehetőség szerint kell az SCI-1 végignézni. Ismét csak probléma lehet, ha két szerző neve teljesen megegyezik, de általában ezt is meg lehet oldani, feltéve, hogy az érintett kutatók szakterületét és a folyóiratokat, amelyekben általában publikálnak, ismerjük. A később tárgyalt empirikus tanulmányban azokkal a preprintekkel (még nem közölt kézirat) volt probléma, amelyek az Selben a „közlés alatt" rovatban találhatók. Néhány társszerzős cikk esetében nem lehetett határozottan megállapítani, hogy vajon az idézett preprint a vizsgált kutatócsoportból, vagy egy másik kutatóközpontból származik-e, de az ilyen esetek a mi tanulmányunkban nagyon ritkák voltak (az összes idézeteknek kevesebb, mint 0,5%-a). Végül vannak idéző szerzők, akik elvétik a lapszámot, a kötetszámot, vagy a folyóirat nevét. Az ilyen hibákat általában azonosítani lehet, ha az illető kutató publikációinak teljes és pontos listája rendelkezésre áll. Röviden, a legtöbb technikai probléma tisztázható gondos és szorgalmas munkával, és ez az erőfeszítés úgy tűnik kifizetődő, ha elfogadjuk Porter becslését

4

6 (264 old.), ami szerint ezek a hibák, ha nincsenek korrigálva, akár 25%-os eltérést is okozhatnak az idézetszámban. Az idézetanalízissel kapcsolatos lényegi problámák bonyolultabbak és súlyosabbak. Az első annak a magas színvonalú kutatási munkának az esete, amellyel szemben eleinte ellenállás van, vagy amelyet mellőznek, talán mert „kora nem érti meg", és amely így kevés idézetet kap. Az az állítás, hogy az ilyen esetek ritkák (lásd pl. 9 irodalom, 24—25 old.), több tapasztalati igazolást igényel, mint egy már híres példa említése - így Mendelé - és azután annak kijelentése, hogy ezek igen ritkán következnek be. Másodszor, gyenge minőségű munkákat esetleg sokszor idéznek, mert vagy ellentmondásokat vagy „hibákat" tartalmaznak