Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)
II. KÜLFÖLD - 6. Az egyetemi kutatási tevékenység értékelése E. Garfield
182 AZ EGYETEMI KUTATÁS ÉRTÉKELÉSE Az idézettségvizsgálat kezdőpontja a jelölt teljes bibliográfiája. Ez általában az állásra pályázó jelöltektől megkapható. Egy külső bíráló, vagy egy betöltetlen állásra pályázó személy bibliográfiájának beszerzése azonban nehezebb lehet mint sokan gondolnák. Az ilyen bibliográfia összeállításának terhe az értékelést végző adminisztrátorok vagy könyvtárosok vállaira nehezedik. A legtöbb szerző rendelkezik készenléti bibliográfiával, de ezek gyakran hiányos vagy téves információt is tartalmazhatnak. Például önéletrajzukban a szerzők gyakran használják ezt a megjelölést: , JÍY-nal közösen publikált munka". Ebből nem derül ki, hogy a többszerzős munkában ki az első szerző. Ilyen esetekben az SCI Source Index-e alapján ellenőrizhető, hogy mi volt a szerzők eredeti sorrendje. Ezt még azelőtt kell megtenni, mielőtt a Citation Index-et elővennénk, ugyanis ott a cikkek csak az első szerző neve alatt szerepelnek. A legtöbb esetben azonban az előléptetésre jelöltek elegendő időt fordítanak egy teljes és pontos bibliográfia elkészítésére. Ez mindig előnyös, különösen akkor, ha a jelöltek nevei esetleg homográfok (betűről betűre azonosak). Ha a jelölt homográfikus névvel rendelkezik, akkor az ő cikkeit külön kell választani egyéb olyan szerzők munkáitól, akik családneve és keresztnév rövidítései vele azonosak. Az idézetvizsgálat fontos alapszabálya, hogy egy-egy kutató értékelése önmagában, összefüggéseiből kiragadva nem végezhető el. Az értékelést mindig csoportonként kell megtenni. Soha ne hasonlítsunk össze egy fizikust egy szociológussal, vagy egy botanikust egy kémikussal. A feladat a jelölt összehasonlítása az ugyanazon tudományterületen vagy méginkább ugyanabban a témában dolgozó kutatókkal. Több módszer is áll rendelkezésre, hogy jelöltünk „láthatatlan kollégiumának" (invisible college) 27-2 9 tagjait azonosítsuk. Erre gyakran használják az „idézésii ciklus" rendszerét 6. Azzal kezdjük a vizsgálatot, hogy megállapítjuk, kiket idéz a jelölt legfrissebb munkáiban. Ezután az SCZ-ból kikeressük azokat a szerzőket, akik nem csupán idézik jelöltünket, hanem akikre jelöltünk is rendszeresen hivatkozik. Ezt egy vagy több iterációs lépésben meg lehet tenni. A jelölt munkái fontosságának felmérésében hasznos lehet az „idézettségi befolyás térképek" felvázolása, amelyek a területen megjelent cikkek és szerzők közötti kapcsolatokat jelzik. Egy ilyen térképet mutatunk be az 1. ábrán. Ezt egy olyan tanulmánnyal kapcsolatban készítettük el, amelyben idézettségi elemzéssel vizsgáltuk Lester R. Aronson munkáját. 2 7 Egyetlen idézési-hivatkozási kapcsolat két szerző között általában nem megbízható mutatója annak, hogy ugyanazon a területen dolgoznak. Ezt a bizonytalanságot úgy küszöbölhetjük ki, hogy listánkba csak azokat a szerzőket vesszük fel, akik legalább két publikációjukban utaltak a jelölt munkájára. Az 1. ábrán csak azokat a szerzőket tüntettük fel, akiket a jelölt legalább háromszor idézett. Ilymódon 21 kutatót találtunk, akik Aronson láthatatlan kollégiumába tartoznak. A huszonkét szerző közötti idézetkapcsolatokat is feltünteti az 1. ábra. A szakterületek felmérésére szolgáló technikákról egyre bővülő irodalom szól. Peter Lenk (University of Michigan) olyan módszert ajánl, amelyben az ilyen térképek készítéséhez szakmai bírálók kijelölését használja. 2 8 Az analízis megkívánt mélységétől függgően ezek az eljárások vagy gyorsak vagy időigényesek. Azt azonban sohasem állítottuk, hogy az idézetanalízis könnyű dolog. Szerencsére áll rendelkezésre egy közvetlenebb forrás is a legtevékenyebb láthatatlan kollégiumok azonosítására. Az ISI/BIOMED, ISI/CompuMath és ISI/GeoSciTéch adatbázisok irodalmának osztályozására az együtt-idézési (cocitation) analízis technikát használták. Egy év teljes multidiszciplináris SCI adatbázisát felhasználva az Index to Scientific Reviews (ISR) számára több mint 2000 altémát vagy kuta-
