Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

I. MAGYARORSZÁG - 5. Kutatócsoportok publikációs tevékenységének összehasonlító értékelése hivatkozás és idézetelemzés segítségével Schubert András és Zsindely Sándor

65 KUTATÓCSOPORTOK PUBLIKÁCIÓS TEVÉKENYSÉGÉNEK ÉRTÉKELÉSE mértékét. Tudnunk kell azonban, hogy egy folyóiratcikk idézettségét több tényező is alapvetően befolyásolhatja. 1. Különböző folyóiratokban megjelenő cikkek lényegesen eltérő idézettsége a folyóiratok nyelvi, népszerűségi, terjesztési stb. különbségeinek is tulajdonítható, amelyek - a cikkek esetleges szakmai minőségi különbségeivel együtt - a folyóiratok impact factorában tükröződnek. 2. Ugyanazon folyóiratban megjelent cikkek idézettsége eltérő lehet inherens értékeik (újdonság, fontosság, szabatosság stb.) különbözősége miatt. E minőségi különbségek a tényleges és az impact factor alapján számított várható idézettség összevetéséből értékelhetők ki. Ennek megfelelően az átlagos impact factorral jellemezhetjük a kutatócsoport által használt publikációs csatornák (folyóiratok) átlagos minőségét, a relatív idézettséggel pedig a kutatócsoport relatív hozzájárulását az igénybevett folyóiratok idézettségéhez. A mutatószámok érdembeni összehasonlítása csak a hibájukra vonatkozó becslés ismeretében végezhető el. A vizsgálandó és az összehasonlító mintára vonatkozó mutatószámok értékének és hibájának birtokában t-próbával dönthető el, hogy az értékek egy adott megbízhatósági szinten szignifikánsan különböznek-e. A mutatószámok értékét és hibáját a /-statisztika értékét, a szabadsági fokok számát és a /-próba eredményét a 4. táblázatban foglaljuk össze. 4. táblázat A vizsgálandó és az összehasonlító minta tudománymetriai mutatószámai Mutatószám Vizsgálandó minta (10 közlemény összehasonlító minta (14 közlemény) /-statisztika Szabadsági fokok száma 90% f-pr eredn 95% óba lénye 99% 99,9% Az idézett publikációk aránya Egy idézett publikációra eső átlagos idézetszám Átlagos impact factor Relatív idézettség 0,500 ±0,158 4,800 ± 2,332 1,224 ±0,031 1,961 ± 1,111 0,714±0,121 12,700±4,602 3,421 ±0,106 2,652 ±1,054 1,075 1,531 19,89 0,451 22 13 22 22 • + + + A táblázatból kitűnik, hogy a kis mintanagyság miatt a mutatószámok csak igen nagy hibával határozhatók meg (egy-egy „véletlenül" előforduló, kiugróan nagy idézettségű cikk a mutatószámok értékét alapvetően befolyásolhatja). Így — bár az eltérések néhol tetemesnek látszanak az összehasonlító minta javára — az átlagos impact factor kivételével a két minta megfelelő mutatószámai között 90%-os megbízhatóság mellett nincs szignifikáns különbség. A publikációk várható idézettsége, az átlagos impact factor azonban még 99,9%-os megbízhatóság mellett is szignifikánsan különbözik. Ez, az előzőekben említettek szerint arra utal, hogy a vizsgált kutatócsoport által használt publikációs csatornák átlagos színvonala elmarad a hasonló témában megjelent közlemények által igénybevett csatornák nemzetközi átlagától. A felhasznált folyóiratok idézettségi átlagához képest a kutatócsoport közleményeinek idézetekben megnyilvánuló hatása azonban nem különbözik szignifikánsan az összehasonlító minta közleményeié tői.