3. Peer Review-Verfahren und ihre Rahmenbedingungen

vorgelegt von Constanze Baum (Forschungsverbund MWW/HAB Wolfenbüttel) und Esther Chen (MPIWG Berlin)

1. Digitale Gutachterkulturen

Gutachterkulturen werden in zunehmendem Maß als relevant für wissenschaftliches Publizieren in den Geisteswissenschaften eingestuft. Für das digitale Publizieren gelten Peer Review-Verfahren dabei in gesondertem Maß als Garant für eine durchgeführte Qualitätskontrolle, die nicht nur die Seriosität des wissenschaftlichen Werks selbst belegt, das bewertet wird, sondern zugleich auch die Legitimität der digitalen Plattform stärkt, auf der publiziert wird. Fördergeber setzen zunehmend voraus, dass Forschungsergebnisse in digitalen Publikationsumgebungen mit einem nachgewiesenen Review-Verfahren veröffentlicht werden. Etabliert ist durch die Printmedien das sogenannte Peer Reviewing – oft fälschlicherweise synonym mit dem double-blind Verfahren gebraucht –, das als eine Form von Bewertung durch anerkannte Autoritäten im Fach verstanden wird. Dies birgt jedoch bereits Setzungen, die vom Wissenschaftsbetrieb nicht unkritisch gesehen werden. Denn viele Faktoren beeinflussen den Begutachtungsprozess und prägen die Gutachterkultur, angefangen von der Auswahl der Gutachter über Fragen der quantitativen Selektion eines Publikationsmediums bis hin zu Verfahren der Kommunikation über die Entscheidungsfindung. Je nach Betrachtungsweise lassen sich Gutachterverfahren demnach zwischen einer Unkultur von etablierten Seilschaften und Machtkonstellationen einerseits und der Vorstellung einer angenommenen Idealität wissenschaftlicher Fairness mit dem Ziel einer objektiven Beurteilung andererseits verorten. Faktoren, die den Begutachtungsprozess bestimmend lenken, betreffen darüber hinaus Fragen der Ökonomisierung, die mit einer Textvermarktung einhergehen (z.B "Author Pays"-Debatte). Es stellt sich zudem die Frage, ob die angestrebte Anonymität bei Review-Verfahren dem Prozess einer Öffnung von Wissenschaftskulturen im Sinne einer Open Science entgegensteht (Blind-Verfahren vs. Open Review).

Diese kurze Bestandsaufnahme zeigt bereits, dass ein einheitliches Bild einer Gutachterkultur nicht zu erhalten ist. Gutachterkulturen spiegeln vielmehr ein Verständnis der Wissenskultur wider, aus der sie stammen und die sie begleiten und bewerten. Für das digitale Publizieren können die Konventionen des Peer Review grundsätzlich überdacht werden, da es im digitalen Raum andere Möglichkeiten und noch keine ausgereiften Konventionen gibt, wie Begutachtungsprozesse als Bestandteil eines Werks abzubilden und ggf. sogar offenzulegen sind. Automatisierungen ermöglichen auch neue Optionen für die Blind-Verfahren, so dass sich hier anders gelagerte Gutacherkulturen ausprägen können.

2. Mögliche Review-Verfahren

Digitale Begutachtungen lassen sich grundsätzlich zu zwei unterschiedlichen Zeitpunkten im Veröffentlichungsprozess ansetzen.^[4] Es ist sowohl möglich, die Begutachtung vor der Veröffentlichung eines Werks durchzuführen und diese ggf. sogar zu verhindern (Pre Publication Review), als auch eine Begutachtung nach der Veröffentlichung eines Werkes anzusetzen, was ggf. zur Revision eines Werkes führt (Post Publication Review).

Pre- wie Post Publication Review haben in ihren möglichen Ausformungen große Schnittmengen. Blind-Verfahren stehen dabei solchen gegenüber, die eine maximale Offenlegung und Transparenz im Sinne eines Open Review anstreben. Es ergeben sich jedoch auch eine Vielzahl an Mischformen, in denen z.B. nur Gutachten, nicht aber die Gutachter/innen selbst intern (Pre-) oder extern (Post-) bekannt gemacht werden. Im Folgenden geben wir einen Überblick über die Grundsatzverfahren. Spielarten und Varianten sind je nach Publikationsprojekt und -umgebung denkbar.

§ 1 Editorial Pre-Review

Ein redaktionsinterner Vorab-Review (Editorial Pre-Review), der die formalen Eigenschaften prüft, reguliert und ggf. zur Nachbesserung auffordert, ggf. aber auch schon eine inhaltliche Vorsortierung vornimmt, wird in den meisten Fällen eingesetzt. Bei Post Publication Review-Verfahren ist dieser Prozess die Voraussetzung für eine formale Qualitätssicherung, denn kein Publikationsformat kann eine Veröffentlichung von unsauberen Texten befürworten, die den Regelstandards der Grammatik und Orthographie sowie den Styleguide-Vorgaben oder dem Profil des Publikationsmediums nicht entspricht.

Projekte mit einem ausgewiesenen Editorial Pre-Review:

F1000 Research: Immediate & Transparent Publishing: http://f1000research.com/

ZfdG - Zeitschrift für digitale Geisteswissenschaften: http://www.zfdg.de (im Aufbau)

§ 2 Single Blind Peer Review

Peer Review ist als Form der Qualitätssicherung wissenschaftlicher Texte das inzwischen am weitesten verbreitete Verfahren. Single Blind bedeutet hier, dass der Autor/die Autorin des Textes zwar dem Gutachter/der Gutachterin bekannt ist, umgekehrt der Autor/die Autorin aber nicht weiß, wer seinen/ihren Text begutachtet. Diese Intransparenz gibt häufig Anlass zur Kritik, da sie Verzerrungen im Prozess der Begutachtung aus persönlichen Motiven heraus begünstigt.

§ 3 Double Blind Peer Review

Bei dem in den Printmedien  bereits seit langem anerkannten und weit verbreiteten Double Blind Verfahren sind sowohl Gutachter/in als auch Beiträger/in anonymisiert. Moderiert wird das Verfahren von einer dritten Instanz, in der Regel der Redaktion oder dem Herausgeber/der Herausgeberin. Double Blind Reviews sind in aller Regel transparent für die Moderation (Editor transparent), die die Anonymisierung durchführt und begleitet. Auch die Double Blind Verfahren stehen häufig in der Kritik intransparent zu sein. Sowohl beim Single als auch beim Double Blind Verfahren kommt es (dies zeigen Vergleiche mit den Ergebnissen aus Triple Blind Verfahren) zur Bevorzugung anerkannter Thesen und Wissenschaftler/innen. Eine Möglichkeit, die Transparenz in diesem Verfahren zu steigern, liegt in der nachträglichen Veröffentlichung der Gutachten. Auf diese Weise finden die Gutachten, die in der Regel mit viel Zeit und Mühe erstellt werden, Eingang in den Prozess der wissenschaftlichen Wertschöpfung und die Veröffentlichung beugt zudem den oben erwähnten Mechanismen der Verzerrung vor.

Peer-Review process: http://www.edition-open-sources.org/eos/instructions.html#peerreview

§ 4 Triple Blind Peer Review

In Triple Blind Verfahren sind nicht nur Gutachter/in und Autor/in einander unbekannt, auch der Moderation gegenüber erscheint der Autor/die Autorin nur anonymisiert. Dieses Verfahren kommt derzeit noch wenig zum Einsatz, digitale Publikationsumgebungen bieten hier das Potential, dies sinnvoll zu nutzen: In digitalen Umgebungen kann das Review-Verfahren soweit automatisiert werden, dass Beiträge in einem Portal eingereicht und ohne personellen Zugriff anonymisiert und qua selektierter Schlagwörter wiederum automatisiert Gutachtern/Gutachterinnen zugewiesen werden, deren Klarnamen der Moderation nicht bekannt sind. So ließe sich eine relativ sichere, in dieser Form nur in digitalen Umgebungen durchsetzbare Anonymität im Begutachtungsprozess erreichen.^[5] Der Vorteil von Anonymität liegt vor allem darin, dass sie sozialen Verzerrungen im Begutachtungsprozess vorbeugt und weniger renommierten Wissenschaftlern/Wissenschaftlerinnen die Chance bietet, sich mit ihrer Veröffentlichung durchzusetzen.

ZfS - Zeitschrift für Soziologie, Hinweise für Autorinnen und Autoren: http://www.zfs-online.org/autoren/

§ 5 Open (Peer) Review

Open (Peer) Review-Verfahren gelten als Alternative zu den oben beschriebenen etablierten Blind Peer Review-Verfahren. Im Vergleich zu letzteren sind sie noch wenig standardisiert und umfassen verschiedene Verfahren offener Begutachtung. Die weitestgehende Öffnung liegt in diesem Verfahren vor, wenn sowohl Autor/innen- wie auch Gutachter/innen- und Gutachtentransparenz besteht. Offene Review-Verfahren schließen auch die Option einer nachträglichen Veröffentlichung des Begutachtungsverfahrens als ‘Begleittexte’ einer Publikation mit ein. Attraktiv kann es aber auch sein, Texte zunächst in einer Art Preprint zu veröffentlichen, um diese dann offen von der entsprechenden Forschungs-Community begutachten zu lassen, bevor ein/e Autor/in den Text ggf. erneut überarbeitet und zur Veröffentlichung freigibt. Zur Begutachtung kann entweder jeder oder eine vordefinierte Peer-Group zugelassen werden. Über interaktive Elemente ist es auch möglich, dass Autor/in und Gutachter/in in einen Dialog miteinander treten. In offenen digitalen Verfahren besteht die Möglichkeit zeilen- oder absatzpräzise zu kommentieren und dies entsprechend zu visualisieren. Ein großer Vorteil dieser Verfahren ist neben der angestrebten Transparenz, dass wissenschaftliche Ergebnisse schnell und direkt in der Forschungs-Community  verbreitet werden können und ein ebenso schnelles Feedback zu erhalten ist. In der Praxis wird das Verfahren bislang unterschiedlich gut angenommen, was auch auf eingefahrene Gewohnheiten in den unterschiedlichen Fachdisziplinen zurückzuführen ist. Digitale Publikationsumgebungen bieten in Hinblick auf offene Review-Verfahren viel Spielraum in der Ausgestaltung und können von Programmierseite auch auf eine sukzessive Offenlegung hin angelegt oder schrittweise angepasst werden oder für Beiträger/innen wie Gutachter/innen Optionen bereithalten, selbst über den Status der Offenlegung zu entscheiden (Gutachter/in möchte öffentlich genannt werden oder nicht, Gutachten können öffentlich eingesehen werden oder nicht).

Open Peer Reviewed-Projekte:

Immediate & Transparent Publishing - How it Works: http://f1000research.com/

Philica - The instant, open-access Journal of Everything: http://www.philica.com/

Kunstgeschichte - Open Peer Reviewed Journal: http://www.kunstgeschichte-ejournal.net/

Informationspraxis - Open-Access-Zeitschrift der Fachcommunity aus Bibliothek, Archiv und Informationswesen: http://informationspraxis.de/

ScienceOpen - research + publishing network: https://www.scienceopen.com/home

ZfdG - Zeitschrift für digitale Geisteswissenschaften: http://www.zfdg.de (im Aufbau)

3. Fazit und Empfehlungen

Der grundsätzliche Einsatz von Review-Verfahren in digitalen Publikationsumgebungen erscheint sinnvoll, da dadurch die Qualität digitaler Publikationen moderiert gestärkt wird und dies zur Konsolidierung des WWW als verlässlicher Publikationsort und -archiv wissenschaftlicher Arbeiten insgesamt beitragen kann. Die verschiedenen operativen Optionen im Review-Verfahren zeigen, dass es eine vielfältige Palette an möglichen Gestaltungen gibt, die es im jeweiligen Einzelfall zu prüfen und für den jeweiligen Einsatz abzuwägen gilt und die in digitalen Umgebungen an das Profil und die Bedingungen der spezifischen Form der Publikation binnendifferenziert angepasst werden können. Der DHd empfiehlt dabei solche Verfahren umzusetzen, die einer Liberalisierung von Wissens- und Wissenschaftsdiskursen Rechnung tragen: Verfahren, die eine Transparenz von Ideen fördern, sind daher Exklusionsmechanismen vorzuziehen. Abzuwägen bleibt, inwiefern Blind-Verfahren hermetisch organisiert sein müssen, denn auch hier bieten sich Möglichkeiten der Offenlegung. Dhd befürwortet digitale Publikationen, die ihr Peer Review-Verfahren klar benennen und deren Bedingungen und Richtlinien offen darlegen.

Literatur

Eva Amsen: What is open peer review? Blog-post, veröffentlicht 21.05.2014 http://blog.f1000research.com/2014/05/21/what-is-open-peer-review/.

Eva Amsen: What is post-publication peer review? Blog-post in: F1000research. Open Science news am 7. Juli 2014, http://blog.f1000research.com/2014/07/08/what-is-post-publication-peer-review/.

Andreas Fahrmeir: Bloggen und Open Peer Review in der Geschichtswissenschaft: Chance oder Sackgasse? In: historyblogosphere. Bloggen in den Geschichtswissenschaften, hg. von Peter Haber und Eva Pfanzelter, 2013, Abschnitt: Open Peer Review, http://historyblogosphere.oldenbourg-verlag.de/open-peer-review/fahrmeir/#17

Ulrich Herb: Offenheit und wissenschaftliche Werke: Open Access, Open Review, Open Metrics, Open Science & Open Knowledge. In: Open Initiatives: Offenheit in der digitalen Welt und Wissenschaft, hg. von Ulrich Herb, Saarbrücken 2012, S. 11-44,  http://scidok.sulb.uni-saarland.de/volltexte/2012/4866/pdf/Herb_mit_Deckblatt.pdf.

Stefan Hornbostel / Meike Olbrecht: Peer Review in der DFG: Die Fachkollegiaten. In: iFQ-Working Paper No.2 (November 2007), S. 5-10,http://www.forschungsinfo.de/publikationen/Download/working_paper_2_2007.pdf.

Susan van Rooyen / Fiona Godlee / Stephen Evans / Nick Black / Richard Smith: Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial, in: British Medical Journal 318 (2. Januar 1999), S. 23–27, http://www.ncbi.nlm.nih.gov/pmc/articles/PMC27670/.

Steven W. Sowards: What is Peer Review, and Does it Have a Future? In: Bibliothek Forschung und Praxis 39 (Juni 2015), Heft 2, S. 200-205,  http://www.degruyter.com/view/j/bfup.2015.39.issue-2/bfp-2015-0024/bfp-2....

• [4] In Printmedien ist dies formal getrennt in einen internen Peer Review und die von außen ansetzende Rezension, die der Publikation nachgeordnet ist.
• [5] Anonymität von Einreichungen kann von Gutachterseite mittels einfacher, auch digitaler Verfahren allerdings unterlaufen werden, da spezifische Themen oft mit einer relativ leicht einzuschränkenden Forschergruppe identifiziert werden können. Die Tilgung von Namen reicht oft nicht aus, um eine Identifizierung von Autoren/innen oder Autorengruppen auszuschließen. Eine vollständige, ideal angenommene Anonymität kann es deshalb nicht geben. Eine Verpflichtung der Gutachter/innen zu wissenschaftlicher Fairness sollte deshalb jeden Review-Prozess begleiten.