Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 3. Mennyiségi mutatószámok alapkutatási programok és tervezetek (projektek) értékelésére J. Davidson Frame

143 MUTATÓSZÁMOK ALAPKUTATÁSI PROGRAMOK É RTÉKELÉSE E módszer az alábbi előnyökkel jellemezhető: — a kiértékelő sok különböző témát és sokféle folyóiratot dolgozhat fel, — a kiértékelő gyűjtőstratégiájában nagyfokú rugalmasság lehetséges. Az analízis során egyszerűen átlapozhatja az indexeket/referáló folyóiratokat, a cikkeket változatos címszók alapján keresheti ki, stb. — az indexekről és referáló folyóiratokról könnyen lehet másolatokat kapni (különösen egyetemi könyvtárakból) és ezekkel könnyű dolgozni. Néhány hátrány az alábbi: — a cikkek kiválogatása időigényes és unalmas munka, — néha problémák merülhetnek fel azt illetően, hogy egy cikk szerzője valójában ki, ha a kutatónak nagyon hétköznapi neve van, pl. John Smith (ezt a problémát homonim problémának nevezik), — néhány referáló folyóirat/index csak az első szerző nevét adja meg, úgyhogy ha egy kutató második szerző, esetleg munkájáért semmi elismerést sem kap, hiszen neve a referáló folyóiratban/indexben nem fog megjelenni (ezt az „első szerző" problémának nevezik), — a referáló folyóiratok és indexek folyóiratbázisa szélességben, mélységben és egységes állományát tekintve igen változó. Olyan referáló folyóiratok/indexek, amelyek választéka szűk, nem homogén, sekélyes, esetleg pontatlan eredményt szolgáltatnak a cikkszámlálásban. 4. Referáló folyóiratok és indexek alapján számítógéppel előállított cikkszámlálás A referáló folyóiratok és indexek egy része mágnesszalagon ishozzáférhető. Ez lehetővé teszi a kiértékelőknek, hogy a cikkszámlálást elektronikus eszközökkel végezzék el. Két lehetőség is rendelkezésre áll: on-line bibliográfiai rendszerek segítségével (pl. Dialog, Orbis, Medline, stb.), illetve a bibliográfiai információt tartalmazó mágnesszalagok off-line feldolgozásával. Az on-line rendszereknek egyetlen igazi előnye van, segítségükkel nagyon gyorsan lehet speciális információhoz hozzájutni. Ugyanakkor értékelési célokra ezek az on-line rendszerek több szempontból előnytelenek. Az egyik hátrány, hogy a kérdésenkénti ár igen magas. A másik az, hogy az on-line keresési paramétereket igen precízen kell megfogalmazni. Ha ezt elmulasztjuk, a keresés végeredménye hiányos és megtévesztő lesz. Végül, hacsak valakinek nincs közvetlen hozzáférése az on4ine rendszerekhez, akkor esetleg nem túl kényelmes (vagy kifizetődő) a használatuk. Ha az elemzést végző személy igen nagy vizsgálandó kutatómintával dolgozik (pl. több ezer személlyel), akkor kifizetődhet megfelelő mágnesszalagokat bérbe venni és az adatokat off-line feldolgozni. Ennek az eljárásnak fő hátránya, hogy az adatoknak a szalagról történő kigyűjtésére költséges szoftver vásárlásra vagy fejlesztésre van szükség. Az idézetelemzés az értékelésben Míg a közleményszámlálás lehetővé teszi, hogy képet alkossunk adott kutatók által végzett kutatás mennyiségéről, az ezekre a közleményekre vonatkozó idézetek száma viszont e kutatás hatásáról mond valamit. Feltehető, hogy a kutatók azért hivatkoznak egy-egy cikkre sokszor, mert úgy gondolják hasznos információt vagy elképzeléseket tartalmaz.