Das Peer-Review-prinzip für wissenschaftliche Publikationen ist in der Theorie eine gute Idee. In der Praxis jedoch gibt es immer wieder Löcher im System. Hier ein aktueller Fall bei Retraction Watch …
Startseite » Beitrag verschlagwortet mit 'peer-review'
Schlagwort-Archive: peer-review
Welche ist die bessere Publikation?
Wie kann man den Wert einer wissenschaftlichen Publikation messen?
Woran kann ich in einem Stapel Paper die wichtige(re)n erkennen?
Diese Fragen beschäftigen Wissenschaftler, Forschungsförderer und Nutzer wissenschaftlicher Information seit Jahrzehnten. Aber außer dem etablierten Science Citation Index ist bisher nicht viel dabei herausgekommen.
Beim Science Citation Index wird der Wert einer Publikation über einen Relevanzgrad für das Journal ermittelt. Je öfter Publikationen in einem „peer-reviewed“ Journal von anderen Publikationen zitiert werden, desto mehr Punkte bekommt dieses Journal (den sogenannten „Impact Factor„).
Die Annahme ist, dass Publikationen, die öfter zitiert werden, wichtiger seien und hochwertigere wissenschaftliche Aussagen enthalten. Und ein Journal, welches mehr öfter zitierte Publikationen enthält, hätte damit einen höheren Stellenwert. Gemessen wird die Wertigkeit also über den Umweg des grundsätzlichen Stellenwertes einer wissenschaftlichen Zeitschrift.
Doch sind diese ganzen Annahmen so richtig? Wer ein grösseres wissenschaftliches Team hat, dadurch viel publiziert und sich dabei selber fleißig zitiert, hat schon einen Vorsprung. Genauso, wer viele wissenschaftliche Freunde hat, gut vernetzt ist und deswegen öfter zitiert wird. Genauso, derjenige, der eher die Lehrmeinung vertritt oder für Kollegen passende Daten veröffentlicht, gegenüber einem Kollegen mit abweichender Meinung oder Daten. Und so weiter, und so weiter …
Der Bekanntheitsgrad und die Vernetzung in der wissenschaftlichen Community können also mindestens genauso wichtige Faktoren sein, wie die Publikationsqualität. Der Citation Index ist daher ohne Zweifel ein ausgezeichnetes Mittel, um die „Gurus“ und (key) opinion leader eines wissenschaftlichen Feldes zu ermitteln.
Bei der inhaltlichen Bewertung muss der Citation Index aber scheitern. Denn gute Vernetzung und wissenschaftliche Etabliertheit sind nicht zwangsläufig ein Qualitätsmerkmal für einzelne Publikationen. Ich wage sogar zu behaupten, dass es Beispiele gab, bei denen es genau umgekehrt war. Und wichtige oder neue wissenschaftliche Ergebnisse und Erkenntnisse sind eben oft auch in Publikationen von Journalen enthalten, die im Zitatranking weiter unten stehen. Die neuen, reinen Onlinejournale fallen sogar ein Stück weit komplett aus dem Raster.
Deswegen ist der Citation Index schon seit langem nicht nur fest etablierter Bestandteil der wissenschaftlichen Systeme, sondern auch in der Kritik. Weil er eben direkt über den wissenschaftlichen Stellenwert einer einzelnen Publikation doch wieder nichts aussagt. Auf der anderen Seite hat bisher niemand ein besseres System gefunden. Und ich gehe mal davon aus, dass sich schon viele extrem schlaue Köpfe reichlich Gedanken darüber gemacht haben.
About 39,000,000 papers were published in scientific journals between 1817 and 2010. To map the explosion of research, technology analyst M’hamed el Aisati graphed unique publications based on information in Elsevier’s Scopus database.
Zugegeben, die Fragestellung ist wirklich nicht trivial. Und mit der ansteigenden Menge wissenschaftlicher Publikationen verschärft sich das Problem von Jahr zu Jahr. Wie findet man in der Publikationsflut bloß das, was wirklich wichtig ist? Ist das Zitatranking tatsächlich das einzige probate Mittel, um Wertigkeiten – zumindest in Annäherung – zu ermitteln?
Ich habe mir vorgenommen, mich ein wenig mit diesem sehr spannenden Thema zu beschäftigen. Die ersten Arbeiten zum Thema stapeln sich schon auf meinem Tisch.
Ich verspreche, meine Erkenntnisse und Ideen an dieser Stelle zu teilen. Und ich lade ganz herzlich dazu ein, sich an der Diskussion darüber zu beteiligen, was eine gute wissenschaftliche Publikation ausmacht, und wie man dieses „was“ messen könnte.
Ich freu mich drauf.
