Setting research priorities, optimizing study design, and guiding the choice of relevant outcome measures in the evaluation of diagnostic (imaging) tests: An ancillary study of project numbers 1015 and 1139.
Projectomschrijving
Bij onderzoek waarin twee diagnostische testen (voor eenzelfde doel) met elkaar vergeleken worden, ontlopen de testen elkaar doorgaans maar weinig wat betreft kosteneffectiviteit. Dit roept de vraag op of dit soort vergelijkend onderzoek wel nodig is en of het onderzoek wel naar de juiste uitkomsten kijkt. In Rotterdam is een model ontwikkeld dat beter in staat is voor vergelijkend onderzoek naar diagnostische testen – in het bijzonder beeldvormende technieken – aan te geven of het onderzoek voldoende zal opleveren om de kosten van het onderzoek te rechtvaardigen en – als onderzoek inderdaad zinvol is - naar welke uitkomsten het onderzoek moet kijken. Met het ontwikkelde model is een aantal onderzoeken naar het gebruik van beeldvormende technieken gesimuleerd. Hierbij werden de kosten van het onderzoek berekend, rekening houdend met allerlei variabelen tijdens het onderzoek. De belangrijkste uitkomst hiervan is dat dergelijk onderzoek vooral rekening moet houden met de uitkomsten op de lange termijn van de testen.
Producten
Auteur: Groot Koerkamp B, Nikken JJ, Oei EH, Stijnen T, Ginai AZ, Hunink MG, Value of information analysis used to determine the necessity of additional research: MR imaging in acute knee trauma as an example.
Magazine: Radiology
Auteur: Groot Koerkamp B, Hunink MGM, Stijnen T, Weinstein MC.
Magazine: Health Economics
Auteur: Groot Koerkamp B, Hunink MG, Stijnen T, Hammitt JK, Kuntz KM, Weinstein MC.
Magazine: Medical Decision Making
Verslagen
Eindverslag
Samenvatting van de aanvraag
Evaluating and comparing diagnostic test strategies generally demonstrates only very small benefits from replacing one diagnostic strategy with another. This calls into question whether elaborate large diagnostic research studies are necessary, whether the currently used study designs are efficient, and whether the chosen outcome measures are relevant. The objective of the proposed project is to guide future diagnostic research, in particular related to imaging tests. The specific objectives are to: 1) develop and apply methods to determine whether a new diagnostic study provides sufficient information to justify research funding, and thus set future research priorities 2) guide the choice of efficient diagnostic study designs 3) guide the choice of relevant (composite) outcome measures in diagnostic research Approach (1) A generic probabilistic decision model of diagnostic testing strategies will be developed considering both short-term and long-term outcomes. (2) Based on clinical diagnostic studies (including #1139 and #1015), we will create and analyze several scenarios of competing diagnostic technologies. (3) We will calculate the expected benefit of removing all uncertainty around all parameter estimates for varying underlying conditions. This analysis will identify which situations warrant obtaining more information. (4) The value of obtaining information for individual parameters and sets of parameters will be determined (in particular, the value of measuring long-term outcomes). This will identify which parameters have the highest informational value, which will guide the choice of relevant (composite) outcome measures in future studies. (5) We will simulate various diagnostic study designs for each of the scenarios and estimate the costs of the study, which will provide insight into which study design is efficient depending on the situation. (6) Next, we will determine for varying underlying conditions and sample size, the value of information that can be obtained from a study with finite sample size, the costs of the research study, and the difference. With this analysis we will determine how the underlying conditions affect the expected net benefit of performing future diagnostic studies and the optimal sample size. (7) Finally, we will apply the model and the obtained insights to recently completed, ongoing, and planned studies and we will summarize our insights in guidelines. Time schedule: 3 years SAMENVATTING De evaluatie en vergelijking van diagnostische test strategieën laat over het algemeen maar hele kleine verschillen in effectiviteit en kosten zien. Dit roept de vraag op of uitgebreide diagnostische onderzoeken wel nodig zijn, of de gebruikte studie ontwerpen wel efficient zijn, en of de gekozen uitkomstmaten wel relevant zijn. Doel van het voorgstelde project is om sturing te geven aan toekomstig diagnostisch onderzoek, in het bijzonder van beeldvormende testen. Specifieke doelen zijn: 1) het ontwikkelen en toepassen van methoden om te bepalen of een toekomstige diagnostische studie voldoende informatie zal opleveren om de onderzoeks gelden te rechtvaardigen, waarmee onderzoeks prioriteiten gesteld kunnen worden 2) sturing geven aan de keuze van efficiente diagnostische studie ontwerpen 3) sturing geven aan de keuze van relevante (samengestelde) uitkomstmaten in diagnostisch onderzoek Plan van aanpak: (1) Een generisch probabilistisch besliskundig model van diagnostische testen zal worden gemaakt. (2) Vervolgens zullen wij scenarios maken van concurrerende diagnostische technologieën welke bepaald worden door de waarden van de input parameters. (3) Dan zullen wij de verwachte waarde berekenen van het wegnemen van alle onzekerheid van alle parameters, uitgaande van diverse onderliggende condities. Hiermee identificeren wij in welke situaties nieuwe diagnostische studies gerechtvaardigd zijn. (4) Vervolgens zullen wij berekenen wat de waarde is van het verkrijgen van meer informatie over individuele parameters en combinaties van parameters. Hiermee identificeren wij de parameters met de hoogste informatie waarde, welke sturing geeft aan de keuze van (samengestelde) uitkomstmaten. (5) Diverse diagnostische studie ontwerpen zullen met een computer simulatie model worden nagebootst en de kosten van de studies zullen worden geschat. Deze stap zal inzicht geven in welke studie ontwerp efficient is afhankelijk van de situatie. (6) Vervolgens zullen wij, voor varierende condities en studie omvang, het verschil van opbrengst aan informatie en kosten van de studie bepalen. Hiermee bepalen wij hoe de onderliggende condities de verwachte netto waarde van toekomstig onderzoek en de optimale studie omvang beïnvloedt. (7) Tot slot zullen wij het model en verkregen inzichten toepassen op recentelijk voltooide, lopende, en geplande studies en zullen wij onze inzichten samenvatten in richtlijnen. Tijdschema: 3 jaar