Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)
II. KÜLFÖLD - 2. Az alapkutatási tevékenység értékelése B. R. Martin és /. Irvine
II.2. AZ ALAPKUTATÁSI TEVÉKENYSÉG ÉRTÉKELÉSE* nia, és melyiknek nem. Azt azonban meg tudjuk állapítani, hogy melyik központból származnak a legidézettebb cikkek, és noha - mint azt korábban láttuk — vannak nehézségek az idézetelemzés egyedi cikk-összehasonlító funkciójában - ez valamiképpen jelzi, hogy a kulcsfontosságú cikkek hogyan oszlanak meg a négy kutatóközpont között. p A 14. táblázatban tüntettük fel a legidézettebb cikkek felső 1%-ára vonatkozó adatokat (amelyeket évente 15 vagy több alkalommal idéznek). Látható, hogy 1969 és 1978 között a Cambridge csoport tizenkét ilyen cikket közölt, és a holland csoport ennek felét, míg a két másik csoport csak egy-egy üyen cikket publikált. Ezen cikkek közül némelyiket csak rövid ideig idéztek gyakran, azután pedig hatásuk gyorsan csökkenni látszik. A 14. táblázat második sora úgy veszi figyelembe az eltéréseket e rövidéletű cikkek és azok között, amelyeket több éven át gyakran idéztek, hogy bemutatja, hány alkalommal sikerült e cikkeknek évi tizenöt vagy ennél több idézetet kapni egy évben. Ebből a szempontból is hasonló kép alakult ki, bár a négy csoport közötti különbségek még növekedtek is. A 14. táblázat azoknak a cikkeknek is megadja a számát, amelyeket évente hússzor vagy többször, illetve tizenkétszer vagy többször idéztek. Így elkerültük azt a látszatot, hogy a gyakran idézett cikkeknek ez az eloszlása valami módon annak az eredménye, hogy a sokszor idézett és kevésbé gyakran idézett cikkek között önkényesen az évi tizenöt idézetnél húztuk meg a határt. Mindkét esetben a négy központ között hasonló eloszlás adódott. A peer-módszer Annak a közel hetven beszélgetésnek a során, amelyeket a két brit csoport gyakorlatilag te(jes tudományos személyzetével, és a holland és német csoportok kb. egyharmadával (az összes idősebb csillagászokkal) folytattunk, a kutatókat arra kértük, hogy nevezzék meg a saját kutatóközpontjuk által 1969 és 1978 között elért nagyobb tudományos hozzájárulásokat, továbbá azokat amelyeket még nyolc nagyobb rádiócsillagászati centrum* 3 ért el. Ez a csoport felölelte az összes olyan rádiócsillagászati obszervatóriumot, amelyet a felmérésünkben résztvevő csillagászok a terület legkiválóbb centrumainak tekintettek. Ezek után megkértük a csillagászokat, hogy rangsorolják ezeket a központokat, annak megfelelően, hogy rangsorolják ezeket a központokat, annak megfelelően, hogy a tízéves periódusban milyen mértékben gyarapították a tudományos ismeretanyagot. 1 1 Majd megvizsgáltuk az egyes kutatóközpontokon belüli értékelések következetességét, illetve, hogy a különböző központokból kapott értékelések egymás között mennyire konzisztensek. Különösen a csoportok közötti szisztematikus különbségekre figyeltünk, pl. arra, hogy van-e tendencia a saját központok túlértékelésére. Az egyes központokra kapott átlagos rangsorolást (1 és 9 között, mivel kilenc központról van szó s) a 15. táblázat tartalmazza. Az eredményekkel kapcsolatban néhány megjegyzést lehet tenni. Elsősorban is, mind egy-egy kutatóközponton belül, mind pedig a különböző központok között az eredmények meglehetősen nagy konzisztenciát mutattak. Valóban, ha a négy központra kapott eredményeket átlagoljuk, akkor a nagy többség (36-ból 31) T egy egységre vagy azon belül egyezik mind a négy kutatóközpontra kapott átlagos rangsorolásban. Másodszor, van a kutatókban bizonyos tendencia, hogy a saját csoportjuk tudományos haladását túlértékeljék, de míg ez a tendencia a négy központ közül kettőben 1 1 jelentékeny volt, mégsem volt olyan markáns, mint azt gondolnánk, és semmiképpen nem elég nagy ahhoz, hogy kételyt ébresszen a peer-módszer általános jelentőségével kapcsolatban.
