Braun Tibor, Bujdosó Ernő (szerk.): A tudományos kutatás minősége (A MTAK Informatikai És Tudományelemzési Sorozata 4., 1984)
II. KÜLFÖLD - 2. Az alapkutatási tevékenység értékelése B. R. Martin és /. Irvine
II.2. AZ ALAPKUTATÁSI TEVÉKENYSÉG ÉRTÉKELÉSE* 15. táblázat A kilenc rádiócsillagászati központ* rangsorolása peer-módszerrel Központ Peer értékelés Átlagos rangsorolás mind a négy központra Átlagos rangsorolás az önrangsorolás nélkül Központ Cambridge (n=ll)** Jodrell Bank (n=19)** NFRA (n=13)** MPI (n=18)** Átlagos rangsorolás mind a négy központra Átlagos rangsorolás az önrangsorolás nélkül Arecibo 7,8 7,3 7,0 6,7 7,2 (±0,4) 7,2 (±0,4) Caltech 4,6 6,0 6,7 5,3 5,7 (±0,8) 5,7 (±0,8) Cambridge 2,0 3,1 1,9 1,6 2,2 (±0,6) 2,2 (±0,6) Jodrell Bank 5,7 3,8 6,1 6,1 5,4 (±1,0) 6,0 (±0,2) MPI 6,3 4,8 4,3 5,3 5,2 (±0,7) 5,1 (±0,8) Nancay 8,7 8,9 8,9 8,9 8,8 (±0,1) 8,8 (±0,1) NFRA 2,5 3,3 1,6 2,7 2,5 (±0,6) 2,8 (±0,3) NRAO 3,2 4,3 2,8 2,6 3,2 (±0,7) 3,2 (±0,7) Parkes 4,0 3,6 5,7 5,6 4,7 (±0,9) 4,7 (±0,9) •Rangsorolva a tudományos ismeretanyag gyarapításának mértéke szerint 1969 és 1978 között. Az utolsó két oszlopban a zárójelben levő számok a különböző központok által adott rangsorolások közötti négyzetes középhiba négyzetgyökét adják meg. •*n=mintaméret. Harmadsorban észlelhető volt bizonyos speciális tényezők hatása ezekre a rangsorolásokra. így pl. a Cambridge-i rádiócsillagászok hajlamosak voltak az interferométeres központokat kissé feljebb, míg néhány nagy antennás központot lejjeb értékelni, mint az átlag tette, ami arra utal, hogy az egyes központok felszerelésének mivolta és az ott folyó kutatások típusa esetleg befolyásolhatja a peer-módszer eredményeit. Hasonlóképpen azok a rádiócsillagászok, akik előzetesen valamelyik más központban dolgoztak, magasabbra értékelték ezt a központot, mint az átlag. Például a holland és német központokban dolgozó amerikai csillagászok egynémelyike az amerikai rádiócsillagászati központokat az átlagnál valamivel magasabbra értékelte. Ezek a példák rámutatnak a peer-módszer lehetséges problémájára, éspedig arra, hogy a kutatók esetleg kedvezőbben ítélik meg azokat a központokat, amelyek munkájában a legismerősebbek. Eredményeink azonban azt mutatják, hogy míg ez a megállapítás egyes kutatókra helyénvaló, addig e speciális, kivételezési tényezők aligha jelentősek, ha a bírálók elegendően nagy mintájával dolgozunk. 1 7 A peer-módszer eredményeinek nagyfokú egyöntetűsége az ön-értékelés és egyéb kivételezési tényezők viszonylag kicsiny effektusaival együtt megalapozza azt a hitet, hogy a peer-módszer - legalábbis akkor, ha nagy és reprezentatív kutatómintát választunk gondosan összeválogatott csoportokból — elfogadhatóan jó mutató a kutatócsoportok tudományos haladáshoz való hozzájárulásának megítélésére. Ha bizalommal vagyunk is a peer-módszer eredményeivel szemben, fel kell tennünk a kérdést: mit is tükröznek valójában ezek az eredmények? A kilenc csoport átlagos rangsorolását az 1. ábra mutatja be, v ezeket az átlagokat úgy kaptuk, hogy az ön-rangsorolást kizártuk, azon az alapon, hogy azok néha kicsiny, de mindazonáltal jelentékeny hatással lehetnek az eredményekre. Az ábrából látható, hogy az 1969-78 években a világ rádiócsillagászatának éllovasai kétségtelenül a Cambridge-i és a holland csoport, az USA-beli National Radio Astronomy Observatory-val (NRAO) együtt. Ezeket követi egy négy obszervatóriumból álló csoport, amiben a Jodrell Bank és Bonn is szerepel, az előbbi csoport gyengébb felében. A fennmaradó két csoport ebben az időszakban lényegesen kisebb mértékben járult hozzá a tudományos előrehaladáshoz. w Azon négy csoport közül, amelyek bennünket elsősorban érdekelnek, az 1978-ig terjedő
