Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 2. Az alapkutatási tevékenység értékelése B. R. Martin és /. Irvine

II.2. AZ ALAPKUTATÁSI TEVÉKENYSÉG ÉRTÉKELÉSE* az idézettséget a hatás részmutatójaként használjuk, föltéve hogy tudatában vagyunk, ez nem rokonértelmű a fontossággal, amely egymást követő cikkgenerációkon olymódon áttevődő minőség, hogy az idézetek nem tárják fel az ősapa közleményt. Már foglalkoztunk a negyedik problémával, azzal, hogy szűk, nem igazán népszerű területek magas színvonalú cikkeit kevésbé idézik, mint az ugyanilyen jó munkákat az aktív, nagy szakterületeken. Az idézetek kisebb számát úgy értelmeztük, mint a tudományos ismeretek fejlődésére gyakorolt kisebb hatást (abban az értelemben, hogy kevesebb kutató munkájára gyakorol befolyást). Hasonlóképpen azt, hogy bizonyos fajta kutatási közlemények (vagy olyan cikkek, amelyeket „láthatóbb" kutatók írtak) az átlagnál több idézetet kapnak aképpen értelmezhetjük, hogy az üyen munkák — bármilyen minőségűek legyenek is - átlagnál szélesebb hatással rendelkeznek. Egy cikk például, amely valamely szokványos módszer kisebb tökéletesítését írja le, viszonylag kis vagy alacsony színvonalú hozzájárulás lehet a tudományos tudásanyaghoz, de egyéb hozzájárulásokkal összesítve mégis nagy hatással lehet a tudományos tevékenységekre (és így az ebből eredő tudományos haladásra), mert megváltoztatja egy szabványos és széleskörben használt technika valamely eljárását, és ez idézettségében valószínűleg tükröződni fog — legalábbis addig amíg végképp beolvad a tudományos tudásanyagba.

y Az ön-idézés kérdése egy kissé bonyolutabb abban az értelemben, hogy az idézettségnek a hatás részmutatójakénti használatában nem tökéletesen magától értetődő, hogy kizáijuk-e az ön-idézést vagy sem. Ügy is lehet pl. gondolkodni, hogy azok a személyek vagy kutatócsoportok, akik magas szinten űzik az ön-idézést, azért teszik ezt, mert korábbi saját munkájuk jelenlegi kutatásukra nagy kihatással van. Ugyanakkor azonban azt is tekintetbe kel venni, hogy az ön-idézések esetében a (b), az „egyéb tényezők" néha sokkal nagyobb viszonylagos hatásúak az idézettségre, mint a „normális" idézetek esetében. Talán a legjobb megoldás egy olyan tapasztalati vizsgálat, amely magába foglalja mind az ön-idézés, mind pedig a házonbelüli idézés (a kutatóközpontban dolgozó kollegák munkáira való hivatkozások) effektusait, annak érdekében, hogy kiderítsük vajon a hatás jelentős-e vagy sem. Ezt fogjuk megkísérelni az alább részletezendő empirikus tanulmányban. Az azonos tématerületen kutató szakemberek bírálatán alapuló értékelés (peer evaluation) A tudományos ismeretanyaghoz való hozzájárulások értékelési módszerei közül a kutatók nyilvánvaló módon az azons tématerületeken kutató szakemberektől jövő bírálatot (peer evaluation) helyezik előnybe.

2 A közleményszámoláshoz és idézetelemzéshez hasonlóan azonban a kartársak bírálata sem szolgáltat a tudományos haladás mérésére egyszerű eszközt. A nehézség e módszer szubjektivitásában összpontosul, a peer-ek bírálatán alapuló eljárás (következőkben röviden: peer módszer, eljárás stb.) alapja az egyes kutatók képalkotása arról, hogy mások mennyiben járulnak hozzá a tudományos fejlődéshez. Ehhez a képhez bonyolult intellektuális és társadalmi folyamatokon keresztül jutnak el, amelyek a vizsgált kutatás minőségén, fontosságán vagy hatásán kívül egyéb tényezők közvetítésével zajlanak. Ez az peer módszer alkalmazásában három problémacsoport felmerülésével jár, és ha ezt a módszert a tudományos haladás egy további részmutatójaként kívánjuk alkalmazni, e problémáknak tudatában kell lennünk. Elsőként és mint legfontosabbat a tudományos közösségen belüli politikai és társadalmi hatásokat kell felismernünk, amelyek bizonyos kutatókra hatnak kollegáik értékének becslésében. A modern tudomány intenzív versengés, amelyben a kutatócsoportok tekin-