Mobiele menu

The returns from Health Care Efficiency Research in the Netherlands

Projectomschrijving

RAND Europe Leiden heeft in kaart gebracht wat de eerste vier jaar van het ZonMw-programma DoelmatigheidsOnderzoek (2001-2004) heeft opgeleverd. Hiervoor zijn 34 projecten van dit programma onder de loep genomen. De onderzoekers keken naar wat het project heeft opgeleverd in termen van wetenschappelijke kennis (publicaties in vakbladen), hoeveel wetenschappers op het onderzoek zijn gepromoveerd, of naar de resultaten wordt verwezen (landelijke) behandelrichtlijnen, of het project heeft geleid tot (landelijke) invoering van een nieuwe werkwijze en of er algemene verbeteringen in de volksgezondheid zijn toe te schrijven aan het project. Het onderzoek maakt duidelijk dat met name de laatste drie thema’s kort na het afronden van een onderzoeksproject (nog) niet goed in kaart zijn te brengen. Vaak zijn deze gevolgen van het onderzoek pas na 3 tot 5 jaar zichtbaar. Ook lijkt het zinvol om bij het kijken naar de ‘opbrengst’ van het onderzoek aan elkaar gerelateerde projecten samen te beoordelen.

Producten

Titel: Monitoring the impact of DO01-04 studies
Titel: De maatschappelijke waarde van wetenschappelijk onderzoek
Magazine: Kwaliteit in Beeld

Verslagen


Eindverslag

Met deze studie wordt beoogd een bijdrage te leveren aan de systematische analyse van het DO01-04 programma op basis van een methode die de maatschappelijke waarde van individuele doelmatigheidsstudies in kaart brengt. De methode is gebaseerd op het zogenaamde 'payback framework' (gericht op het in kaart brengen van de resultaten van onderzoek) dat reeds in o.a. Engeland wordt toegepast. Aan de hand van dossieronderzoek en een vragenlijst aan penvoerders van alle 43 gehonoreerde DO studies is een inventarisatie gemaakt van de resultaten van 34 doelmatigheidsstudies. Vervolgens is de impact van 26 studies, die reeds een eindverslag hadden ingediend, beoordeeld door 10 experts aan de hand van een ontwikkelde scoringsexercitie. Vervolgens zijn 5 studies geselecteerd voor een casestudy analyse. Daarvoor is additioneel dossieronderzoek uitgevoerd en is een aantal sleutelactoren geïnterviewd. Deze studies zijn vervolgens opnieuw beoordeeld door de experts, waarbij de scoring plaatsvond op basis van gedetailleerde informatie. De 34 DO studies resulteerden reeds in een diversiteit aan 'payback', verdeeld over de verschillende 'payback' categorieën: A. Knowledge Production (bijv. meer dan 101 peer reviewed publicaties) B. Research Benefits (bijv. meer dan 25 promovendi) C. Informing Policy (bijv. een referentie in 4 richtlijnen)* D. Changing Health Practice (bijv. implementatie van een nieuwe behandeling op het gebied van longkanker)* E. Broader Impacts on Health (in het algemeen ontbrak bewijs om resultaten aan te wijzen)* (* - vaak was de studie nog maar net afgerond, waardoor lange termijn resultaten nog niet zichtbaar waren) De experts die de resultaten van de 26 afgeronde studies hebben beoordeeld, vonden de scoringsexercitie moeilijk, onduidelijk of beide. Als gevolg hiervan is tijdens een expert meeting vooral gesproken over de methodologische aspecten van de exercitie, zoals de operationalisatie van de scoringsmogelijkheden. Tevens is gebleken dat aan de hand van een casestudy analyse inzichtelijk kan worden gemaakt hoe en waarom 'payback' tot stand komt. Op basis van deze bevindingen kunnen we concluderen dat: - Het meten van de impact van DO studies, direct na afronding van het onderzoek, problematisch is. Het is waarschijnlijk het beste om 3-5 jaar te wachten met het meten van de impact op beleid en praktijk, terwijl publicaties, aantal promovendi etc. eerder in kaart kunnen worden gebracht. - Als scoring van DO studies relevant wordt geacht, de methode voor impactmeting van DO onderzoek zal moeten worden aangepast. Het betreft met name de operationalisatie van de schalen waarmee wordt gescoord, (hoeveelheid) relevante informatie en de scoringsexercitie. Communicatie naar experts en het coördineren van expert opinies staat daarbij centraal. - Het meten en monitoren van de impact van gerelateerde projecten waardevol kan zijn. Het meten van de impact van onderzoek gefinancierd door Ontwikkelingsgeneeskunde is van belang om de maatschappelijke waarde van doelmatigheidsonderzoek evalueren en te monitoren. Tevens zal het samenbrengen van resultaten van gerelateerde projecten waarschijnlijk resulteren in een grotere impact in vergelijking met de impact van individuele studies. Op basis van de conclusies doen we de volgende aanbevelingen waarmee ZonMw zich een oordeel vormen over hoe het in de toekomst de impact van onderzoek kan meten, eventueel op een meer routinematige basis. Vervolgens kan dit ZonMw's onderzoek- en aanbestedingstrategieën verbeteren: 1. ZonMw zou het doel/de doelen voor impactmeting moeten bepalen, waardoor duidelijkheid ontstaat over het meten van 'payback' en de daarvoor geschikte methoden. 2. ZonMw zou afhankelijk van het doel moeten bepalen welke methode(n) gebruikt moet(en) worden om de 'payback' van DO studies te meten. 3. Als ZonMw kiest voor het systematisch kwantificeren van de 'payback' van verschillende soorten onderzoek, dan zou de scoringsexercitie moeten worden verbeterd: - Ontwikkel

Samenvatting van de aanvraag

Measuring the returns from research is a hot topic. Research-funding organisations are under pressure to demonstrate accountability and added value of research to policy-makers and society. This also applies to the Dutch Health Care Efficiency Research Programme (DO Programme) that aims to support research to improve patient care and rational decision-making. More specifically, Health Care Efficiency Research (DO) involves 'the evaluation of new or existing medical provisions or the organisation surrounding a medical provision and is aimed at decision-making. The evaluation concerns both the medical effectiveness and the costs aspects. Other aspects such as legal and ethical aspects can also be involved in the evaluation where relevant' (ZonMw, 2002). The research must focus on a health care intervention of which the efficacy is proven. The objective of the proposed evaluation study is to assess the output (products or services stemming from the activities of the DO Programme such as presentations, publications and further research) and outcome (i.e. significant and external consequences attributable to the DO activities such as influence on policy and practice) of health care efficiency research that was funded in the DO Programme 2001-2004. We will create an evaluation framework based upon the 'payback model' of Buxton and Hanney to conduct this evaluation study. The payback model breaks down the process by which DO research translates into practice and provides a multi-dimensional categorisation of benefits from research as well as a way to organise the assessment of these benefits. Using this framework we will summarise all research grants of the DO Programme 2001-2004 (N=43) using a survey of principal investigators. In addition, we will conduct five purposively selected case studies, including in-depth interviews, to provide good examples and understanding of how payback occurs. These methods will trace the outputs and outcomes of the research. To allow quantitative assessment of payback from the grants, we will use and further develop a novel scoring system, asking experts to score the grants on the payback categories. Using the information collected we will: · Explore the factors associated with the translation of research into practice and policy · Test whether the payback model proves useful in periodically reviewing the payback of DO research in the Netherlands · Formulate recommendations to help ZonMw develop a system for possible use in prioritising future research

Kenmerken

Projectnummer:
94515001
Looptijd: 100%
Looptijd: 100 %
2005
2006
Onderdeel van programma:
Gerelateerde subsidieronde:
Projectleider en penvoerder:
Dr. W.J. Oortwijn
Verantwoordelijke organisatie:
RAND Europe