Mobiele menu

Setting research priorities, optimizing study design, and guiding the choice of relevant outcome measures in the evaluation of diagnostic (imaging) tests: An ancillary study of project numbers 1015 and 1139.

Projectomschrijving

Bij onderzoek waarin twee diagnostische testen (voor eenzelfde doel) met elkaar vergeleken worden, ontlopen de testen elkaar doorgaans maar weinig wat betreft kosteneffectiviteit. Dit roept de vraag op of dit soort vergelijkend onderzoek wel nodig is en of het onderzoek wel naar de juiste uitkomsten kijkt. In Rotterdam is een model ontwikkeld dat beter in staat is voor vergelijkend onderzoek naar diagnostische testen – in het bijzonder beeldvormende technieken – aan te geven of het onderzoek voldoende zal opleveren om de kosten van het onderzoek te rechtvaardigen en – als onderzoek inderdaad zinvol is - naar welke uitkomsten het onderzoek moet kijken. Met het ontwikkelde model is een aantal onderzoeken naar het gebruik van beeldvormende technieken gesimuleerd. Hierbij werden de kosten van het onderzoek berekend, rekening houdend met allerlei variabelen tijdens het onderzoek. De belangrijkste uitkomst hiervan is dat dergelijk onderzoek vooral rekening moet houden met de uitkomsten op de lange termijn van de testen.

Producten

Titel: Analyzing study designs of clinical studies for the evaluation of diagnostic modalities.
Titel: Value of Information analysis for Diagnostic Test Evaluations.
Titel: Analyzing Clinical Diagnostic Study Designs: Optimizing the Use of Research Resources.
Titel: Treeage model
Titel: Simulatie model diagnostische studies.
Titel: Guiding Future Clinical Cost-Effectiveness Studies of Non-Invasive Diagnostic Imaging Tests for Peripheral Arterial Disease.
Titel: Value of information analysis used to determine the necessity of additional research: MR imaging in acute knee trauma as an example.
Auteur: Groot Koerkamp B, Nikken JJ, Oei EH, Stijnen T, Ginai AZ, Hunink MG, Value of information analysis used to determine the necessity of additional research: MR imaging in acute knee trauma as an example.
Magazine: Radiology
Titel: Identifying key parameters in cost-effectiveness analysis using value of information: a comparison of methods.
Auteur: Groot Koerkamp B, Hunink MGM, Stijnen T, Weinstein MC.
Magazine: Health Economics
Titel: Limitations of Acceptability Curves for Presenting Uncertainty in Cost-Effectiveness Analysis.
Auteur: Groot Koerkamp B, Hunink MG, Stijnen T, Hammitt JK, Kuntz KM, Weinstein MC.
Magazine: Medical Decision Making

Verslagen


Eindverslag

Achtergrond De evaluatie en vergelijking van diagnostische test strategieën laat over het algemeen maar hele kleine verschillen in effectiviteit en kosten zien. Dit roept de vraag op of uitgebreide diagnostische onderzoeken wel nodig zijn, of de gebruikte studie ontwerpen wel efficient zijn, en of de gekozen uitkomstmaten wel relevant zijn. Doelstelling Doel van het project was om sturing te geven aan toekomstig diagnostisch onderzoek, in het bijzonder van beeldvormende testen. Specifieke doelen waren: 1) het ontwikkelen en toepassen van methoden om te bepalen of een toekomstige diagnostische studie voldoende informatie zal opleveren om de onderzoeks gelden te rechtvaardigen, waarmee onderzoeks prioriteiten gesteld kunnen worden 2) sturing geven aan de keuze van efficiente diagnostische studie ontwerpen 3) sturing geven aan de keuze van relevante uitkomstmaten in diagnostisch onderzoek Methode: Een generisch probabilistisch besliskundig model van diagnostische testen is ontwikkeld. Met dit model simuleerde wij scenarios van concurrerende diagnostische technologieën op basis van de input parameters met hun bijbehorende onzekerheid. De verwachte waarde is berekend van het wegnemen van alle onzekerheid van alle parameters, uitgaande van diverse onderliggende condities, waarmee wij situaties identificeerde waarin nieuwe diagnostische studies gerechtvaardigd zijn. Vervolgens berekende wij de waarde van het verkrijgen van meer informatie over individuele parameters en combinaties van parameters. Hiermee identificeerde wij de parameters met de hoogste informatie waarde, welke sturing geeft aan de keuze van uitkomstmaten in toekomstig onderzoek. Een computer simulatie programma is ontwikkeld om diverse diagnostische studieontwerpen na te bootsen. Dit programma berekent de totale kosten en tijdsduur van het doen van een klinische diagnostische studie, het gebruik van de beeldvormende apparatuur, en de duur van de diagnostische work-up. Hierbij worden meegenomen de variatie in instroom van patienten, het totaal aantal patienten in de studie, ‘’no-shows’’ voor de beeldvormende testen, de beschikbaarheid van de diagnostische testen, maximum acceptabele wachttijd, de kosten van de testen, de kosten van wetenschappelijk personeel, opstart kosten aan het begin van een studie, de variabele kosten per geincludeerde patient, en extra ‘’penalty’’ kosten als een gereserveerde tijdslot voor een beeldvormende test niet wordt benut. Tot slot hebben wij de modellen toegepast op recentelijk voltooide diagnostische studies nl. 1) het gebruik van MRI in de acute fase bij knie letsel, 2) beeldvormende diagnostiek bij perifeer vaatlijden, 3) het gebruik van een predictieregel voor de indicatie stelling van een CT bij licht traumatisch schedel-/hersenletsel, en 4) toepassing van CT coronaire angiographie (CTCA) als eerste beeldvormende test bij verdenking op kransslagaderverkalking in plaats van direct conventionele angiografie. Conclusies Met simulatie modellen kan de verwachte informatie waarde van toekomstig onderzoek worden geschat en de kosten van verschillende studie opzetten worden berekend om de netto winst van nieuw onderzoek te bepalen. De resultaten zijn situatie afhankelijk. Over het algemeen vonden wij dat de grootste waarde van toekomstig diagnostisch onderzoek verwacht kan worden van het meten van de a priori kans op ziekte en de langere termijn uitkomsten.
De evaluatie en vergelijking van diagnostische test strategieën laat over het algemeen maar hele kleine verschillen in effectiviteit en kosten zien. Dit roept de vraag op of uitgebreide diagnostische onderzoeken wel nodig zijn, of de gebruikte studie ontwerpen wel efficient zijn, en of de gekozen uitkomstmaten wel relevant zijn. Doel van het voorgstelde project is om sturing te geven aan toekomstig diagnostisch onderzoek, in het bijzonder van beeldvormende testen. Specifieke doelen zijn: 1) het ontwikkelen en toepassen van methoden om te bepalen of een toekomstige diagnostische studie voldoende informatie zal opleveren om de onderzoeks gelden te rechtvaardigen, waarmee onderzoeks prioriteiten gesteld kunnen worden 2) sturing geven aan de keuze van efficiente diagnostische studie ontwerpen 3) sturing geven aan de keuze van relevante (samengestelde) uitkomstmaten in diagnostisch onderzoek Plan van aanpak: (1) Een generisch probabilistisch besliskundig model van diagnostische testen zal worden gemaakt. (2) Vervolgens zullen wij scenarios maken van concurrerende diagnostische technologieën welke bepaald worden door de waarden van de input parameters. (3) Dan zullen wij de verwachte waarde berekenen van het wegnemen van alle onzekerheid van alle parameters, uitgaande van diverse onderliggende condities. Hiermee identificeren wij in welke situaties nieuwe diagnostische studies gerechtvaardigd zijn. (4) Vervolgens zullen wij berekenen wat de waarde is van het verkrijgen van meer informatie over individuele parameters en combinaties van parameters. Hiermee identificeren wij de parameters met de hoogste informatie waarde, welke sturing geeft aan de keuze van (samengestelde) uitkomstmaten. (5) Diverse diagnostische studie ontwerpen zullen met een computer simulatie model worden nagebootst en de kosten van de studies zullen worden geschat. Deze stap zal inzicht geven in welke studie ontwerp efficient is afhankelijk van de situatie. (6) Vervolgens zullen wij, voor varierende condities en studie omvang, het verschil van opbrengst aan informatie en kosten van de studie bepalen. Hiermee bepalen wij hoe de onderliggende condities de verwachte netto waarde van toekomstig onderzoek en de optimale studie omvang beïnvloedt. (7) Tot slot zullen wij het model en verkregen inzichten toepassen op recentelijk voltooide, lopende, en geplande studies en zullen wij onze inzichten samenvatten in richtlijnen.

Samenvatting van de aanvraag

Evaluating and comparing diagnostic test strategies generally demonstrates only very small benefits from replacing one diagnostic strategy with another. This calls into question whether elaborate large diagnostic research studies are necessary, whether the currently used study designs are efficient, and whether the chosen outcome measures are relevant. The objective of the proposed project is to guide future diagnostic research, in particular related to imaging tests. The specific objectives are to: 1) develop and apply methods to determine whether a new diagnostic study provides sufficient information to justify research funding, and thus set future research priorities 2) guide the choice of efficient diagnostic study designs 3) guide the choice of relevant (composite) outcome measures in diagnostic research Approach (1) A generic probabilistic decision model of diagnostic testing strategies will be developed considering both short-term and long-term outcomes. (2) Based on clinical diagnostic studies (including #1139 and #1015), we will create and analyze several scenarios of competing diagnostic technologies. (3) We will calculate the expected benefit of removing all uncertainty around all parameter estimates for varying underlying conditions. This analysis will identify which situations warrant obtaining more information. (4) The value of obtaining information for individual parameters and sets of parameters will be determined (in particular, the value of measuring long-term outcomes). This will identify which parameters have the highest informational value, which will guide the choice of relevant (composite) outcome measures in future studies. (5) We will simulate various diagnostic study designs for each of the scenarios and estimate the costs of the study, which will provide insight into which study design is efficient depending on the situation. (6) Next, we will determine for varying underlying conditions and sample size, the value of information that can be obtained from a study with finite sample size, the costs of the research study, and the difference. With this analysis we will determine how the underlying conditions affect the expected net benefit of performing future diagnostic studies and the optimal sample size. (7) Finally, we will apply the model and the obtained insights to recently completed, ongoing, and planned studies and we will summarize our insights in guidelines. Time schedule: 3 years SAMENVATTING De evaluatie en vergelijking van diagnostische test strategieën laat over het algemeen maar hele kleine verschillen in effectiviteit en kosten zien. Dit roept de vraag op of uitgebreide diagnostische onderzoeken wel nodig zijn, of de gebruikte studie ontwerpen wel efficient zijn, en of de gekozen uitkomstmaten wel relevant zijn. Doel van het voorgstelde project is om sturing te geven aan toekomstig diagnostisch onderzoek, in het bijzonder van beeldvormende testen. Specifieke doelen zijn: 1) het ontwikkelen en toepassen van methoden om te bepalen of een toekomstige diagnostische studie voldoende informatie zal opleveren om de onderzoeks gelden te rechtvaardigen, waarmee onderzoeks prioriteiten gesteld kunnen worden 2) sturing geven aan de keuze van efficiente diagnostische studie ontwerpen 3) sturing geven aan de keuze van relevante (samengestelde) uitkomstmaten in diagnostisch onderzoek Plan van aanpak: (1) Een generisch probabilistisch besliskundig model van diagnostische testen zal worden gemaakt. (2) Vervolgens zullen wij scenarios maken van concurrerende diagnostische technologieën welke bepaald worden door de waarden van de input parameters. (3) Dan zullen wij de verwachte waarde berekenen van het wegnemen van alle onzekerheid van alle parameters, uitgaande van diverse onderliggende condities. Hiermee identificeren wij in welke situaties nieuwe diagnostische studies gerechtvaardigd zijn. (4) Vervolgens zullen wij berekenen wat de waarde is van het verkrijgen van meer informatie over individuele parameters en combinaties van parameters. Hiermee identificeren wij de parameters met de hoogste informatie waarde, welke sturing geeft aan de keuze van (samengestelde) uitkomstmaten. (5) Diverse diagnostische studie ontwerpen zullen met een computer simulatie model worden nagebootst en de kosten van de studies zullen worden geschat. Deze stap zal inzicht geven in welke studie ontwerp efficient is afhankelijk van de situatie. (6) Vervolgens zullen wij, voor varierende condities en studie omvang, het verschil van opbrengst aan informatie en kosten van de studie bepalen. Hiermee bepalen wij hoe de onderliggende condities de verwachte netto waarde van toekomstig onderzoek en de optimale studie omvang beïnvloedt. (7) Tot slot zullen wij het model en verkregen inzichten toepassen op recentelijk voltooide, lopende, en geplande studies en zullen wij onze inzichten samenvatten in richtlijnen. Tijdschema: 3 jaar

Kenmerken

Projectnummer:
945042639
Looptijd: 100%
Looptijd: 100 %
2004
2007
Onderdeel van programma:
Gerelateerde subsidieronde:
Projectleider en penvoerder:
Prof. dr. M.G.M. Hunink
Verantwoordelijke organisatie:
Erasmus MC