Projectomschrijving

Wetenschappelijke tijdschriften beoordelen de kwaliteit van wetenschappelijke artikelen via redactionele procedures, waaronder steeds vaker een plagiaatscan, maar ook door ze voor te leggen aan andere wetenschappers, het proces van ‘peer review’. Om dat proces te verbeteren, zijn de afgelopen jaren veel innovaties gesuggereerd, die echter zelden werden geëvalueerd en ook maar weinig worden overgenomen door andere tijdschriften. IMPER onderzocht welke vormen van peer review beter in staat zijn om te verhinderen dat publicaties later alsnog moeten worden ingetrokken. Zo blijkt bijvoorbeeld dat het anonimiseren van auteurs wel degelijk een effect heeft en dat al te veel prioriteit voor onderzoek met impact of grote nieuwswaarde vaker tot terugtrekkingen leidt. Verder bleek ook dat de beoordelingsprocedures vaak verrassend onduidelijk zijn. Dat is niet alleen onredelijk naar auteurs, maar maakt het werk van reviewers en onderzoek naar peer review ook moeilijker. IMPER organiseerde dan ook een oproep aan wetenschappelijke tijdschriften voor meer transparantie.

Conclusies

Het IMPER project leidt tot een aantal conclusies over het review systeem van wetenschappelijke tijdschriften.
Ten eerste concludeert het dat de verwachtingen van het peer review systeem complex zijn en sterk uiteen lopen binnen verschillende betrokkenen bij het systeem (auteurs, redacteuren, uitgevers, bibliothecarissen, etc.). Deze verwachtingen hebben zich historisch ontwikkeld en blijven in beweging. De introductie van nieuwe, digitale hulpmiddelen zal dit proces in de toekomst mogelijk verder versterken.

Ten tweede constateert IMPER dat het van veel wetenschappelijke tijdschriften verrassend onduidelijk is hoe ze hun peer review en redactionele beoordeling hebben georganiseerd. Op basis van de websites van tijdschriften en hun “instructions for
authors” is het voor auteurs die artikelen indienen vaak niet duidelijk hoe een publicatie precies zal worden beoordeeld.

Ondanks toenemende variatie in peer review en redactionele procedures, blijkt het systeem als geheel toch redelijk conservatief: traditionele vormen van peer review domineren nog steeds (blind of dubbelblind, vóór publicatie). Alleen ‘plagiaatscanners’ zijn snel verspreid geraakt, tot ongeveer twee derden van de tijdschriften.Om te begrijpen waarom tijdschriftredacties innovaties wel of niet oppakken, moeten we de bedrijfsmatige overwegingen van uitgevers meenemen. Hoewel verbeterde integriteit een verkoopargument kan zijn, zijn tijdschriften ook genoodzaakt om de kosten van innovaties zorgvuldig af te wegen tegen opbrengsten, waarbij doorstroomsnelheid en steun van auteurs en reviewers cruciale factoren blijken.

Reviewprocedures

Daarnaast geeft IMPER enkele aanwijzingen dat sommige reviewprocedures wel degelijk in staat zijn om retractions te voorkomen, al is er onzekerheid door de complexiteit van het fenomeen retractions. We troffen met name minder retractions aan bij: dubbelblinde review (geanonimiseerde auteurs) tegenover enkel blind (enkel anonieme reviewers); bij het gebruik van de bredere wetenschappelijke gemeenschap bij review; bij het inzetten van digitale ondersteuning (zoals plagiaatscanners); bij het beperken van interactie tussen auteurs en reviewers; en bij vooraf reviewen van onderzoeksprotocollen (‘registered reports’). Meer retractions komen voor bij bijvoorbeeld tijdschriften die veel belang hechten aan impact en nieuwswaarde van publicaties. De details zijn echter complex en voor sommige van deze eigenschappen is er variatie tussen onderzoeksvelden of redenen voor retraction.

Als laatste signaleert IMPER dat er achter de tegenstrijdige claims over wat peer review kan of moet beogen, uiteenlopende opvattingen schuil gaan over de aard van het wetenschappelijk publicatiesysteem: als archief van verricht onderzoek, of als database van ontdekte feiten. Het verschil in deze opvatting kan gevolgen hebben voor de manier waarop men het review systeem inricht.

Naar boven
Direct naar: InhoudDirect naar: NavigatieDirect naar: Onderkant website