Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 6. Az egyetemi kutatási tevékenység értékelése E. Garfield

184 AZ EGYETEMI KUTATÁS ÉRTÉKELÉSE léptek, vagy állandó egyetemi státuszt nyertek el. Ha a jelöltre és ezen más egyetemi kutatókra vonatkozó idézetek száma között kiugró különbségek vannak, ezeket a különbségeket tegyék vizsgálat tárgyává.

2

2 Az idézettséghálózati térkép alapján kiválasztott láthatatlan kollégiumi tagok véleményét ki lehet kérni a jelölt munkaminőségére vonatkozóan. Tekintve, hogy ezek a kutatók azonos vagy rokonterületeken működnek, a munka jelentőségét megítélendő a legelőnyösebb helyzetben vannak. A láthatatlan kollégium az analízist végző személyt el tudja látni egy olyan kutató névsorral is, amellyel a jelölt összehasonlítása elvégezhető. Ennek az összehasonlításnak a során néhány tényezőt számításba kell venni. Az első és talán legfontosabb az, hogy az idézetek számában lévő kis különbségek statisztikusán általában jelentéktelenek. Képtelen az a következtetés, hogy egy tizenöt idézettel bíró jelölt befolyásosabb, mint a tízszer idézett. Ez a probléma különösképpen akuttá válhat a tartós állások pályázati értékelésében, hiszen a jelöltek esetleg még nem publikáltak elegendő hosszú ideig ahhoz, hogy jelentősebb számú idézetre szert tettek volna. Ezért Cole úgy véli, hogy az idézettségi adatok leghasznosabbak a docensi státuszból (associate professor) a professzori állásba (full professor) történő előléptetésekben. Megállapította, hogy ,,a kutató pályafutásának ebben a szakaszában már fel kell tudni ismerni munkája hasznavehetőségének valami nyomát az idézettségi adatokban.

2

2 Másszóval, kivéve a korai tehetségek ritka esetét, az alacsonyabb egyetemi pozíciókban levő jelöltek értékelésében talán nem is helyénvaló idézetanalízist alkalmazni. A docenseket általában kétszer hároméves időszakokra szerződtetik. Az „American Association of University Professors" (Amerikai Egyetemi Oktatók Szövetsége) szabályzata szerint az előléptetési döntést hét éven belül meg kell hozni. A legtöbb egyetemen a döntést a jelölt hatodik évében hozzák meg. A külső bírálókhoz kiküldendő aktacsomagot a docensek ötödik és hatodik szolgálati éve közötti nyáron állítják össze. Sok ilyen dosszié mintegy 25%-ban preprintet vagy nem közölt kéziratot tartalmaz. A jelen tanulmány sok bírálója hangsúlyozta, hogy a jelöltek legjobb eredeti cikkek a kiértékelést követő egy vagy két évben jelennek meg. Ezeket a szakmai véleményezők preprint formájában kapják kézhez. Általában nincs elegendő idő arra, hogy ezekre a cikkekre utalás történhessék. így azután pontosan abban az időben, amikor az idézettségi adatok a leghasznosabbak lennének, még nem hozzáférhetők. A kemény döntést tehát gyakran a művek elolvasása és értékeik egyszerű becslése alapján kell megtenni abban az előnytelen helyzetben, hogy nem áll rendelkezésre a munka értékére vonatkozóan a tudományos közösség formális jelzése. A sok szakértő között, akik a jelen esszét bírálták, Roald Hoffman (Cornell University, Ithaca) is szerepelt. Ö egy fontos kísérletet indítványozott. Válasszunk ki egy olyan évet, és egy olyan szakterületet, amelyben egy tucat docens kezdi meg pályafutását. Válasszunk ki pl. olyan kémikusokat, aki, 1970-ben kezdték karrieijüket. Vegyünk ezek közül hatot, akik 1976-ban az állandó státusz rangjára emelkedtek, és hat olyant, akiknek ez nem sikerült. Végezzünk az 1970-1975 időszak alapján idézetanalízist. Ismételjük meg az analízist az 1978—1983-as időszakban is. Állapítsuk meg, hogy van-e korreláció az állandó állásra vonatkozó döntések előtti idézettség, ezen döntések és a hosszabb távra szóló analízis eredményei között. A fiatal egyetemi kutatók munkájának azonosítására felhasználhatók a leggyakrabban idézett munkákról készülő évi összeállításaink — bár ez a módszer a jelöltek csupán kisebb csoportjára korlátozódik. Feltéve, hogy képesek lennénk az olyan társszerzős munkák kiszűrésére, amelyben az idősebb kutatók szerepe döntő, akkor minden évben kijelölhetnénk a tartós státuszra érdemes kutatókat. Az életkor azonban önmagában nem használható biz-