Verslagen

Eindverslag

Samenvatting
Dit item is dichtgeklapt
Dit item is opengeklapt

Artsen kunnen risicomodellen gebruiken om diagnoses en prognoses van patiënten te bepalen. Dergelijke modellen worden ontwikkeld met patiëntengegevens en vervolgens getest in nieuwe patiënten. Als de prestaties van een model onvoldoende zijn in een nieuwe patiëntengroep, moet het model aangepast worden.

In dit onderzoek ontwikkelden we methoden om risicomodellen aan te passen met nieuwe patiëntengegevens. Het aantal patiënten dat gebruikt kon worden voor de analyses groeide in de tijd.

 

Resultaten
Dit item is dichtgeklapt
Dit item is opengeklapt

We ontwikkelden een zgn ‘closed testing procedure’ om de beste methode voor het aanpassen van risicomodellen te selecteren. Aan het begin van het aanpassingsproces, als er nog maar weinig patiënten verzameld zijn, is een eenvoudige methode aan te bevelen, die niet te veel aanpassingen aan het model doet. Als er in de loop van de tijd meer patiënten verzameld zijn, kunnen uitgebreidere methoden worden gebruikt. Ons onderzoek liet weinig verschillen in prestaties zien van de drie uitgebreidere methoden, die we onderzochten.

Voortgangsverslag

Samenvatting
Dit item is dichtgeklapt
Dit item is opengeklapt

Externe validatie van predictiemodellen toont vaak aan dat de modellen slechter presteren in nieuwe patiënten dan verwacht. Predictiemodellen kunnen dan aangepast worden naar een specifieke setting. Steeds meer modellen worden geïmplementeerd in elektronische systemen. Dit maakt het mogelijk om de modellen continue aan te passen met patiëntgegevens van de relevante setting. Dynamische update methoden zijn nodig om de groeiende steekproef correct te analyseren. In het 1e jaar van dit project ontwikkelen wij methoden om predictiemodellen dynamisch te updaten, zoals uiteengezet in de onderzoeksaanvraag.

Resultaten
Dit item is dichtgeklapt
Dit item is opengeklapt

In het 1e jaar van dit project ontwikkelden wij methoden om predictiemodellen dynamisch te updaten. Het dynamische karakter is gesimuleerd met groeiende patiëntsteekproeven. Aandacht is ook besteed aan heterogeniteit tussen settings. Dit is in lijn met de onderzoeksaanvraag. Binnenkort zal een artikel met deze resultaten worden aangeboden aan een tijdschrift. (Vergouwe et al. Continuous updating of predictive models. A proposal for a parsimonious approach. In preparation).

Samenvatting van de aanvraag

Samenvatting
Dit item is dichtgeklapt
Dit item is opengeklapt

Many prediction rules have been published over the past years, including several rules for pediatric care as addressed in the main study. External validation may show various differences between the predictions from the model and the actual outcomes. This motivates updating of the model to the specific setting. We have previously shown that a parsimonious updating strategy may be preferable to more extensive model revisions, in the situation of a fixed size of the validation sample. With the implementation of rules in a clinical decision support system (CDSS), a continuous improvement of rules will become feasible, which requires a dynamic updating method.

 

The aim of the HTA substudy is to develop and apply methods for dynamic updating of prediction rules. Specific questions include:

1. Dynamic updating: How can we translate the framework developed for updating with a fixed sample size in a validation study to the situation of continuously increasing sample size in a CDSS?

2. Heterogeneity: How should the expected heterogeneity between settings influence our updating strategy?

3. Implementation: How can a dynamic updating strategy be implemented in a CDSS for continuous improvement of patient care?

 

As statistical framework for dynamic updating, we start with updating of the model intercept, next the intercept plus a calibration slope, next the values of individual regression coefficients, and finally extension of the model with new predictors. To prevent too rigorous updating, we can first test for differences between and validation setting, if coefficients from the development setting are known. If differences are non-significant, we may accept the previously developed model. If significant, we update the model. In the updating, we can shrink the differences between development and validation setting to zero, such that any changes are incorporated smoothly into the updated model.

In a Bayesian formulation this type of shrinkage corresponds to using a non-informative prior. We may however expect a certain degree of heterogeneity between settings, which motivates a quicker adaptation of the model to the validation setting. Also sample sizes are crucial: required sample sizes will increase for the more ‘data-hungry’ updating methods. Alternative updating methods will be evaluated in simulation studies, assuming various degrees of heterogeneity. We will work with traditional statistical methods (in R software), but also with the WinBUGS program, which can easily incorporate prior information. Predictive performance of the models will be expressed as usual in measures such as calibration, discrimination, and overall measures such as the Brier score.

Finally, the most promising method will be considered for implementation in the CDSS. This may pose specific challenges in the software. Possibly some simpler approaches can be implemented easier than more sophisticated approaches. The results of the simulation studies will guide us to make informed choices on these issues.

 

Time schedule: month 0-12: simulation studies for various methods and under various assumptions of heterogeneity; month 12-18: application to the prediction rules considered in the main application; month 19-24: reporting and implementation in the CDSS.

 

Naar boven
Direct naar: InhoudDirect naar: NavigatieDirect naar: Onderkant website