Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)
II. KÜLFÖLD - 6. Az egyetemi kutatási tevékenység értékelése E. Garfield
185 AZ EGYETEMI KUTATÁS ÉRTÉKELÉSE tonsággal, mivel — különösen a humán tudományokban — az emberek mintegy tíz év alatt válnak docenssé (associate professor). Egy további szempont az, hogy a jobban ismert kutatók esetenként több idézetre tesznek szert, mint a kevésbé ismertek. Ezt részben az magyarázza, hogy az idősebb tudományos munkás cikkei már hosszabb ideje vannak „forgalomban". Ezért kívánatos, hogy a kutatókat a láthatatlan kollégium olyan számításbajövő tagjaival hasonlítsuk össze, akik durván ugyanannyi év gyakorlattal rendelkeznek. 3 1 Ez megfelelőbb eljárás, mint az azonos korú kutatók összehasonlítása, mivel pályafutásuk kezdő életkora szempontjából a kutatók között nagy különbségek vannak. A kiértékelést végző személy arra is figyeljen, hogy a csoportmunkában publikáló kutatók esetleg produktívabbak. így feltehetően több idézetet gyűjtöttek össze. 3 2 Gondosan kell azt is figyelni, hogy kik azok, akik rendszeresen a „legkisebb közölhető egységet" publikálják. Az ilyen „fragmentáció" akkor következik be, amikor a szerzők egy hosszabb, összesített munka helyett több rövidebb közleményt írnak. 3 3 Másfelől az is lehetséges, hogy azonos vagy átfedő adatok alapján két vagy több cikket is publikálnak. Végül, noha bizonyos mérvű önidézés ésszerű és el is várható a tudományban, az értékelők közül többen különösen érzékenyek a túlzott önidézéssel szemben. Edward Anders (Enrico Fermi Institute, University of Chicago) a jelölt bibliográfiáját azoknak a cikkeknek a listájával veti össze, amelyekben a jelöltet idézik. 3 4 Ezzel a módszerrel olyan munkákban is megtalálja az önidézést, amelyekben a jelölt csak másodlagos szerző. Ez szükséges eljárás, ugyanis mint már említettük, az SCZ-ben a cikkek felsorolása az első szerző szerint történik. Néha fontosabb azt vizsgálni, hogy hány szerző, vagy hány cikk idézte a jelöltet, mint az idézeteket magukat. Ez különösen a társadalomtudományokban és a humán tudományokban fontos, ahol egy-egy szerzőt ugyanabban a cikkben többször is idéznek. Analíziseinkben, amelyeket a művészetek és a humán tudományok területén végeztünk ez különösen fontosnak bizonyult. 3 5 Amikor már megállapítottuk, hogy a jelölteket milyen gyakran és kik idézik, esetleg arra is kíváncsiak vagyunk, hogy miért figyeltek fel munkáikra más kutatók. Ezt a fajta információt csak úgy lehet beszerezni, hogy a jelölt munkájára hivatkozó cikkeket is megvizsgáljuk. Az idézési szövegösszefüggés (kontextus) és az idézetek tartalmi analízise segítségével, azaz elolvasva a cikkek azon bekezdéseit vagy mondatait, ahol a szóbanforgó munka említésre kerül, kihámozhatjuk, hogy az idézés minek köszönhető. Az idézetek tartalmi analízise általában arról informál, hogy a cikk mely vonatkozását említette meg a többi publikáló szerző és azt is elárulja, hogy ezek a szerzők pl. kritizálják-e vagy támogatják-e a közleménynek valamely vonatkozását. Míg a korábban leírt térképezési technika azt mutatja ki, hogy bizonyos szerzők vagy cikkek kapcsolatban vannak egymással, a szövegösszefüggési és tartalmi analízis viszont gyakran abban segít, hogy felderítsük, hogyan illeszkednek bele az idézett cikkek, a szakterület fejlődésébe. 3 6 Az ISI-nél Henry Small 1978-ban végzett a kémiai szakirodalommal kapcsolatban elemzést. A szövegösszefüggési analízis segítségével próbálta azokat a koncepciókat kikeresni, amelyeket egy közleményben leginkább jutalmaznak. Mindenegyes alap közlemény esetében összeállított egy mintát az azt idéző cikkekből. Feljegyezte azokat a mondatokat és kifejezéseket, amelyek szerint utalás történt ezekre a sokatidézett cikkekre. Ezeket a „szövegformákat" használva meghatározta, hogy az alkalmak hány százalékában azonosították az alapközleményt egy meghatározott, specifikus fogalommal. Small úgy találta, hogy minél gyakrabban idéznek egy közleményt, annál nagyobb fokú az egyetértés azt illetően, hogy mi a legjelentősebb benne. Az idézési szövegösszefüggési analízis felhasználható arra, hogy megállapítsuk milyen gyakran idéznek a kutatók egy jelöltet azzal a céllal, hogy munkájukban egy koncepciót
