Mobiele menu

Evaluation of methods for handling missing data in diagnostic research

Projectomschrijving

De medische wereld maakt vaak gebruik van modellen die op basis van gegevens van een patiënt inschatten hoe groot de kans is op bijvoorbeeld de aanwezigheid van een ziekte of op het succes van een behandeling. Deze modellen worden opgebouwd aan de hand van tal van gegevens van een grote groep patiënten. In de praktijk ontbreek vaak van sommige patiënten een aantal gegevens. De vraag is hoe hiermee om te gaan bij het ontwikkelen van het model. Alleen de patiënten gebruiken van wie alle gegevens voor handen zijn? Of een schatting maken van de ontbrekende waarden? Dit laatste kan door één waarde te schatten (enkelvoudige imputatie) of verschillende waarden (meervoudige imputatie). In Utrecht is aan de hand van een bestaande set (complete) gegevens onderzocht wat de gevolgen zijn voor de betrouwbaarheid van het model als op verschillende manieren ontbrekende waarden worden geschat. De methode van meervoudige imputatie blijkt te leiden tot de beste benadering van de werkelijkheid.

Verslagen


Samenvatting van de aanvraag

Een steeds veelvuldiger toegepaste analysemethode in diagnostisch onderzoek is multivariate logistische regressie. Hoewel vele vragen wat betreft opzet en analyse van diagnostisch onderzoek nog onbeantwoord zijn, willen we ons in deze aanvraag gezien de beschikbare tijd en financiën beperken tot een specifiek methodologisch probleem dat vooral ook het gebruik van multivariate analyse technieken met zich meebrengt: ontbrekende (missende) waarnemingen. Hoezeer onderzoekers het proberen te voorkomen treden missende waarden op in elke vorm van (medisch) onderzoek, niet alleen in de grote multicenter trials maar ook in de doorgaans kleine diagnostische onderzoeken. Missende waarden worden vaak simpelweg uit analyses gelaten. Vele onderzoekers weten echter niet dat dit behalve de betrouwbaarheid meestal ook de validiteit van de resultaten aantast omdat ontbrekende waarden meestal niet willekeurig zijn. Zorgvuldig omgaan met missende waarden in de analyse is dus cruciaal. De in de praktijk veel gebruikte indicatormethode geeft wel betrouwbaar ogende schattingen, maar ook deze zijn meestal niet valide. Enkelvoudige imputatiemethoden kunnen valide schattingen geven, maar leveren vaak weer een onderschatting van de standaardfouten. Moderne technieken, zoals de Maximum Likelihoodmethode en multipele imputatiemethoden lossen in veel voorkomende gevallen al deze problemen op. De beschrijving van deze moderne technieken heeft zich echter vooral beperkt tot theoretische artikelen in de statistische literatuur en is nog maar zeer weinig geïllustreerd aan empirische gegevens. De weinige illustraties die er zijn beperken zich bovendien vooral tot etiologische onderzoekingen en betreffen niet predictie-onderzoek, zoals diagnostisch onderzoek. Objective. Evaluatie en illustratie van mogelijkheden en limitaties van de verschillende methoden voor het omgaan met missende waarden in diagnostisch onderzoek. Research question. Om te voorkomen dat het onderzoek te theoretisch en abstract wordt richten wij ons tot 3 concrete vraagstellingen die beantwoord zullen worden aan de hand van empirische gegevens. Deze vragen zijn geselecteerd aangezien ze ons inziens de hoogste prioriteit hebben gezien de huidige stand van kennis op dit gebied. De vragen zijn:1. Hoe kunnen moderne methoden voor omgaan met missende data het beste geïntegreerd worden in multivariate analyse van diagnostisch onderzoek? 2. Welke van deze methoden is in de praktijk het meest bruikbaar met het oog op de resultaten en de implementatie?3. Wanneer zijn de methoden niet meer bruikbaar: Hoe kan dit getoetst worden en wat zijn in die gevallen alternatieven? Study design. Er wordt gebruik gemaakt van drie databestanden van recent uitgevoerde diagnostische onderzoeken. Elk onderzoek had als doel de mate waarin de onderzochte diagnostiek (varierend van anamnese, lichamelijk onderzoek tot aanvullende, invasieve testen) bijdroeg aan het aantonen of uitsluiten van de betreffende ziekte te kwantificeren. Elk van de onderzoeken is uitgevoerd in een andere klinische setting (interne geneeskunde, kindergeneeskunde en huisartsgeneekunde) en is verschillend qua grootte, opzet, aantal missende waarden en multivariate analyse methode. Per onderzoek worden verschillende (multivariate) analyses uitgevoerd, waarbij verschillende methoden om met missende data om te gaan met elkaar vergeleken worden (zie data analysis). Study population / data sources. Er worden geen nieuwe patiënten onderzocht. De drie databestanden van diagnostisch onderzoek uitgevoerd in verschillende klinische domeinen zijn direct voor het hier aangevraagde onderzoek beschikbaar Intervention / study selection. N.V.T. Outcome measurements. N.V.T. Data analysis. Per databestand worden verschillende (multivariate) analyses gedaan. Er is altijd een analyse waarbij geen gebruik wordt gemaakt van de moderne technieken om met missende data om te gaan. Verder zijn er een aantal analyses waarbij op verschillende manieren de moderne technieken geïntegreerd worden in het proces om diagnostische (predictie) modellen te 'bouwen'. Er wordt nagegaan hoeveel tijd de verschillende integratievormen vragen en welke integratievorm het meeste gebruikersgemak met zich meebrengt. De modellen uit elke analyse worden vergeleken met betrekking tot hun inhoud (welke diagnostische predictoren) en hun diagnostische ofwel discriminerende waarde. Er wordt gekeken naar de invloed van het percentage missende observaties en hoe stabiel de uitkomsten zijn afhankelijk van schendingen van de assumpties van elke methode. Het onderzoek moet resulteren in een praktische handleiding voor het omgaan met missende observaties in de (multivariate) analyse van diagnostisch onderzoek. Time schedule. 2 jaar.

Kenmerken

Projectnummer:
94510006
Looptijd: 100%
Looptijd: 100 %
2001
2003
Onderdeel van programma:
Gerelateerde subsidieronde:
Projectleider en penvoerder:
Prof. dr. J.L.L. Kimpen
Verantwoordelijke organisatie:
Universitair Medisch Centrum Utrecht