Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)
II. KÜLFÖLD - 2. Az alapkutatási tevékenység értékelése B. R. Martin és /. Irvine
110 II. 2. AZ ALAPKUTATÁSI TEVÉKENYSÉG ÉRTÉKELÉSE* 2. táblázat A tudományos haladás különböző részmutatóinak főbb problémái és hatásaik minimalizálásának lehetőségei A részmutató alapja Probléma Hogyan lehet a hatásokat minimalizálni* A. Közlemények száma B. Idézetelemzés 1. Az egyes közlemények nem gyarapítják egyforma mértékben a tudományos ismereteket 2. A közleménygyakoriság függése a szakterülettől és az intézményi környezettől 1. A Science Gtation Index technikai korlátai: a) csak az első szerző szerint tünteti fel az adatokat b) névváltozatok c) azonos nevű szerzők d) elírások e) a folyóiratbázis nem teljes 2. Az idézettség változásai a cikk élettartama alatt - egyfelől fel nem ismert tudományos haladás, másfelől az alapelvek integrálódása 3. Bíráló idézetek 4. „Dicsfény-effektus ' idézetek 5. Az idézettség változása a cikk típusától és a szakterülettől függően 6. ön-idézés és ,,házon belüli" idézés (öl és HBI) Az idézetek használata a csoport cikkei átlagos hatásának jelzésére, és a sokszor idézett cikkek azonosítása Egy tudományterületen belül hasonló típusú cikkeket közlő csoportok kiválasztása Kutatócsoportoknál ez nem okoz problémát Manuálisan ellenőrizendő A „nagy tudományra" nem komoly probléma Nem probléma, ha az idézeteket a hatás mutatójának, nem pedig a minőség vagy fontosság jelzésének tekintjük Egy szakterületen belül hasonló tipusú cikkeket közlő csoportok kiválasztása Empirikusan ellenőrizendő, és az eredményeket módosítani kell, ha öl és HBI változik a csoportok között C) Peer-módszer 1. A saját kutatóközpontra és a 1. versenytársakra előre látható következményekkel befolyásolhatják az értékelést 2. A tudományos eredmények 2. egyéni értékelése függ az értékelő saját (nagyon eltérő) társadalmi és gondolati „lokációjától" 3. „Konformista" értékelések 3. (pl. „dicsfény-effektus"), amelyeket tovább torzít a különböző 4. kutatóközpontok hozzájárulásaira vonatkozó tudatlanság Használjunk teljes mintát, vagy nagy, reprezentatív mintát (25%ot, vagy többet) Alkalmazzunk szóbeli és nem írásbeli felmérést, így rá lehet kérdezni, ha gyanús, hogy a kifejtett vélemény és a tényleges álláspont különböznek. Biztosítsuk az értékelőket az értékelés bizalmas voltáról Keressük a különböző értékelőcsoportok közötti szisztematikus különbségeket *Csak olyan mutatókat használtunk, amelyek konvergens eredményeket szolgáltatnak.
