Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)

II. KÜLFÖLD - 1. Mérhető-e a tudományos kutatás minősége? J. R. Cole és S. Cole

85 MÉ RHETÖ-E A TUDOMÁNYOS KUTATÁS MINŐSÉGE? Noha az idézetelemzés egy fejlettebb módszert jelent arra, hogy egy kutató munkájának minőségét vagy hatását megítéljük, e módszer alkalmazásánál bizonyos problémák lépnek fel. E problémák többsége nem egyszerűen technikai, hanem alapvető, elvi jellegű. Vegyük sorra először a lényegi problémákat. Értékelési hibák Alkalmanként „hibák" fordulhatnak elő a tudományos munka értékelésében. Egy-egy kutató munkájának jelentőségét nem mindig ismerik fel azonnal. Az új elgondolások (különösen azok, amelyek alapvető tudományos paradigmák megváltoztatásához vezetnek) néha ellenállásba ütköznek vagy egyszerűen figyelmen kívül hagyják őket.

7 Vannak nagy tudományos újítók, akik saját korukban ismeretlenek maradnak, és csak haláluk után ismerik el őket. Mendel a klasszikus példája azoknak a tudósoknak, akiknek munkáját kortársaik nem értékelték, de későbbi tudósgenerációk nagy tisztelettel övezték. Ha az idézeteket használjuk a minőség mérésére, szükségképpen helytelenül osztályozzuk azokat a műveket, amelyekkel szemben éppen ellenállást fejtenek ki, vagy amelyeket helytelenül ítélnek meg. Mivel az, hogy mely munkák ütköztek ellenállásba, vagy melyeket ítéltek meg igazságtalanul, csak történelmi távlatban derül ki, ejárásunk hibája vitathatatlan. A jelentős művekkel szembeni ellenállás problémája azonban a jelenkor tudományában kevésbé égető, mint a múltban. Annak érdekében, hogy a tudományos felfedezések késleltetett elismerését tanulmányozzuk, a cikkekre vonatkozó idézési tendenciákat az idő függvényében tanulmányoztuk. Egy 177 cikkből álló minta analízisében, amelyek a Physical Review-ból származtak, erős korrelációt találtunk a cikkekre a megjelenésük után egy évvel történt idézetek száma, és a három évvel későbbi idézetek száma között (r = 0,72). Amikor különböző tudományterületeken 1950 és 1961 között publikált cikkek idézési tendenciáit vizsgáltuk, hasonló erős korrelációt találtunk az idézetszámok között az 196 l-es, illetve az 1966-os SCI kötetekben. Noha a tudományos felfedezések késleltetett felismerésének ideális vizsgálatában hosszabb időtartamokat kellene vizsgáljunk, az előbbi adatok legalábbis utalnak arra, hogy a modern tudomány közlési és értékelő rendszerei eléggé hatékonyan működnek ahhoz, hogy kicsiny legyen azon esetek száma, amelyekben a műveket megjelenésükkor nem veszik figyelembe, de később fontosnak ismernek el. Természetesen mindig adódnak az értékelő rendszerben hibák. Ha ezek a hibák véletlenszerűen oszlanak meg, akkor az idézeteknek a minőség mértékeként való használata nem befolyásolja a lényegi következetéseket. Bennünket szociológusokat nem az egyedi esetek, hanem a társadalmilag meghatározott szabályszerűségek érdekelnek inkább. Kritikus idézetek Előfordulhat, hogy az idézetek a hivatkozott cikket bírálják, vagy elutasítják. Az azonban valószínűtlen, hogy értéktelen munkát részletes bírálatra érdemesnek tartsanak. Ha a munkában olyan hiba van, hogy gyakori kritikát vált ki, akkor — bár a cikk hibás — mégis valószínűleg jelentős hozzájárulást képvisel. Egy munka jelentőségét nem határozza meg szükségképpen, hogy tartalmaz-e hibát, vagy sem. Mint már előbb említettük, a tudomány sok nagy történelmi alakjának munkája volt „hibás" vagy téves valamilyen értelemben. Valószínűtlen, hogy bármely hibás munka, amelynek hibája nem „hasznos hiba", valaha is nagyszámú idézetre tegyen szert. Tegyük fel, hogy van összesen ezer, tudományos munkára vonakozó idézetünk, és ezek közül száz valamilyen munkákat kritizál, avagy értéktelenként el-