Onderzoek naar de validiteit en betrouwbaarheid van het Actuarieel Risicotaxatie Instrument voor Jeugdbescherming (ARIJ)
Projectomschrijving
Het goed inschatten van (het risico op) een onveilige opvoedingssituatie is van groot belang om kinderen te kunnen beschermen.
Actuarieel Risicotaxatie Instrument voor Jeugdbescherming (ARIJ)
De ARIJ bestaat uit een veiligheidstaxatie, een risicotaxatie en een dynamisch risicoprofiel waarmee aanknopingspunten worden verkregen voor interventie en waarmee verandering in risico kan worden vastgesteld.
Het onderzoek
In dit onderzoek zijn de betrouwbaarheid en validiteit van de ARIJ onderzocht bij verschillende jeugdzorginstanties. Op basis van de resultaten van de verschillende deelstudies is de ARIJ verbeterd en is een nieuwe versie van het instrument ontwikkeld. Met deze versie kan de huidige en toekomstige onveiligheid van kinderen goed worden ingeschat en daarmee kunnen gezinnen beter worden toegeleid naar passende hulpverlening waardoor kinderen naar verwachting eerder veilig zijn en het risico op onveiligheid in de opvoedingssituatie afneemt.
Verslagen
Eindverslag
Professionals werkzaam in de jeugdbescherming moeten vaak moeilijke en complexe beslissingen nemen over de uithuisplaatsing van kinderen. Het gaat hierbij om vragen als: Is de situatie zo ernstig dat direct handelen nodig is, en is uithuisplaatsing te voorkomen met ambulante interventies? Essentieel bij deze vragen is een goede inschatting van de mate waarin de opvoedingscapaciteiten van de ouders en de behoeften van het kind uit balans zijn, oftewel de mate waarin sprake is van een onveilige opvoedingssituatie. Echter, de ontwikkeling en validatie van instrumenten om een dergelijke inschatting te maken staan wereldwijd nog in de kinderschoenen. Vaak worden hiervoor klinische instrumenten gebruikt, terwijl onderzoek consequent laat zien dat actuariële instrumenten beter presteren. In Nederland werd tot voor kort grootschalig gebruikgemaakt van de LIRIK, maar onderzoeken hebben laten zien dat de betrouwbaarheid en de predictieve validiteit van de LIRIK onvoldoende zijn. Het was dan ook urgent dat een alternatief instrument beschikbaar kwam voor de jeugdzorg waarmee op valide en betrouwbare wijze de directe en toekomstige onveiligheid van kinderen kan worden ingeschat. Tegen deze achtergrond is de ARIJ ontwikkeld door de UvA en Jeugdbescherming Regio Amsterdam. De ARIJ bestaat uit een veiligheidstaxatie, een risicotaxatie en een dynamisch risicoprofiel waarmee vooruitgang kan worden gemonitord en aanknopingspunten worden verkregen voor interventie. In de praktijk is veel vraag naar de ARIJ en inmiddels wordt deze in heel Nederland veelvuldig gebruikt. Daarom was het hoofddoel van het huidige project om de validiteit en betrouwbaarheid van de ARIJ-Veiligheidstaxatie (ARIJ-VT) en de ARIJ-Risicotaxatie (ARIJ-RT) te onderzoeken en indien mogelijk te verbeteren. Om dit doel te bereiken werden de volgende deelstudies uitgevoerd. Ten eerste werd de betrouwbaarheid van de ARIJ-VT en ARIJ-RT onderzocht door casussen te laten beoordelen op meerdere momenten en door professionals van verschillende organisaties. Ten tweede werd zowel de inhoudsvaliditeit als de concurrente validiteit van de ARIJ-VT onderzocht middels literatuuronderzoek, interviews met gebruikers en deskundigen, en oordelen van expertpanels. Tot slot werd de predictieve validiteit van de ARIJ-RT prospectief onderzocht bij 3.681 casussen die beoordeeld waren door professionals van jeugdhulp, wijkteams, specialistische jeugd-ggz, en jeugdbescherming. Hierbij werd ook onderzocht of de predictieve validiteit kon worden verbeterd door het laten meewegen van de experimentele items en het aanpassen van de risico-indeling. Op basis van de resultaten van deze studies zijn nieuwe versies van de ARIJ-VT en de ARIJ-RT ontwikkeld. De ARIJ-VT is verbeterd door deze uit te breiden met meer valide mogelijke bedreigingen van de directe kindveiligheid. De volgende bedreigingen van de directe kindveiligheid zijn toegevoegd aan het instrument: ernstige emotionele mishandeling, schade toegebracht door anderen (waartegen de opvoeder het kind niet kan beschermen), psychiatrische problematiek van de opvoeder, en psychiatrische problemen van het kind waardoor het kind zichzelf in direct gevaar brengt. Daarnaast zijn de instructies van het instrument uitgebreid met een definitie van directe kindveiligheid, en een instructie over welke aspecten meegewogen kunnen worden om de ernst van de bedreiging te beoordelen. Ook de uitkomsten van de ARIJ-VT werden aangepast om verwarring over consequenties van de uitkomst te voorkomen. Tot slot werden de items en beschrijvingen herschreven om de leesbaarheid te vergroten en de inhoud te verduidelijken. De ARIJ-RT werd verbeterd door nieuwe valide risicofactoren aan de risico-indeling toe te voegen. Bovendien werd de risico-indeling alleen nog gebaseerd op de somvariabele van de risicofactoren, zodat de risico-indeling breder toepasbaar werd voor verschillende organisaties in de jeugdzorg. Dit is belangrijk omdat veel organisaties die aan verschillende doelgroepen hulp verlenen de ARIJ zijn gaan gebruiken. Ook is het risico hiermee eenvoudiger zelf te berekenen, en is inzichtelijker hoe het risico verlaagd kan worden. Daarnaast is de dynamische risico-indeling aangepast waardoor deze kleinere, maar significante, veranderingen in het risico kan meten. Jeugdzorgorganisaties worden aangeraden deze nieuwe versies van de ARIJ-VT en ARIJ-RT te gebruiken. Het is hierbij belangrijk om rekening te houden met de beperkingen van de instrumenten. Zo is de voorspelkracht van de ARIJ-RT niet voor alle typen jeugdzorgorganisaties even sterk. Naar verwachting zal de implementatie van deze nieuwe versie van de ARIJ leiden tot betere risico- en veiligheidstaxatie en een betere toeleiding naar passende interventies. Zo zijn kinderen eerder veilig, worden gezinnen beter toegeleid naar passende interventies, en zijn er minder onnodige uithuisplaatsingen.
De items en de veiligheidsconclusie van de ARIJ-Veiligheidstaxatie (ARIJ-VT) lieten een redelijke tot goede betrouwbaarheid zien. De betrouwbaarheid van de items van de ARIJ-Risicotaxatie (ARIJ-RT) liet een meer wisselend beeld zien: acht items hadden een redelijke tot bijna perfecte interbeoordelaarsbetrouwbaarheid, maar voor de overige 22 items was deze lager dan redelijk of schommelde deze tussen redelijk en goed. Daar stond tegenover dat de intrabeoordelaarsbetrouwbaarheid van de risicotaxatie-items redelijk tot bijna perfect was voor de meeste items. De betrouwbaarheid van het eindoordeel van de risicotaxatie was bijna perfect, wat betekent dat de risico-conclusie zeer betrouwbaar is. Deze resultaten zijn veelbelovend en rechtvaardigen het gebruik van het instrument in de praktijk.
Om de validiteit van de ARIJ-VT te onderzoeken zijn 4 studies uitgevoerd. Allereerst werd in een literatuur-review een overzicht gemaakt van de aspecten van directe kind(on)veiligheid die in wereldwijd gebruikte veiligheidstaxatie-instrumenten worden gemeten. Op basis hiervan werd onderzocht of bepaalde veiligheidsaspecten ontbraken in de ARIJ-VT.
Daarnaast werden twee kwalitatieve studies uitgevoerd om de inhoudsvaliditeit van de ARIJ-VT te onderzoeken, waarbij professionals van verschillende typen jeugdzorginstellingen werden geïnterviewd. De meeste aspecten van kind(on)veiligheid die de ARIJ-VT meet vonden de professionals belangrijk voor het beoordelen van de directe kindveiligheid. Daartegenover stond dat in beide studies ook aspecten van kind(on)veiligheid naar voren kwamen die nog ontbraken in het instrument, namelijk: ernstige emotionele mishandeling, lichamelijke en/of psychische schade aan het kind toegebracht door anderen (waartegen de opvoeder het kind niet kan beschermen), psychiatrische problematiek van de opvoeder, en psychiatrische problemen van het kind waardoor het kind zichzelf in direct gevaar brengt.
Tot slot werd de concurrente validiteit van de veiligheidstaxatie onderzocht in een vignet-studie met expertpanels. De veiligheidsconclusies van de taxaties die uitgevoerd werden met de ARIJ-VT kwamen redelijk overeen met de veiligheidsconclusies van de expertpanels. Over het algemeen werden de casussen vaker als onveilig beoordeeld in de ARIJ-taxaties dan door de expertpanels. Daarnaast identificeerden de panels twee bedreigingen van de directe kindveiligheid die nog niet in de ARIJ-VT gemeten werden: bedreiging van de veiligheid het eigen gedrag van het kind en bedreiging van de veiligheid door anderen dan de opvoeders.
Deze 4 studies leidden tot een nieuwe versie van ARIJ-VT. Door de veiligheidsaspecten uit deze studies aan het instrument toe te voegen werd de validiteit van het instrument verbeterd.
Om te onderzoeken of de predictieve validiteit van de ARIJ-RT kon worden verbeterd, werd een aantal experimentele items aan het instrument toegevoegd. Dit betroffen items die volgens meta-analyses naar risicofactoren voor kindermishandeling voorspellend zijn voor kindermishandeling, maar die nog geen onderdeel uitmaakten van de ARIJ-RT. Allereerst werd de voorspelkracht onderzocht van deze experimentele items en de originele risicofactoren van de ARIJ-RT.
Alle experimentele en originele risicofactoren van de ARIJ-RT bleken significant samen te hangen met toekomstige kindonveiligheid. Daarom werden alle experimentele variabelen definitief toegevoegd aan het instrument en werd een nieuwe somvariabele en risicoclassificatie ontwikkeld. De risicoclassificatie werd bovendien versimpeld om het instrument breder toepasbaar te maken bij verschillende typen jeugdzorginstellingen. Deze nieuwe simpelere risicoclassificatie bleek een redelijke predictieve validiteit te hebben voor de populaties van alle gezamenlijke organisaties. Tussen de populaties van de verschillende organisaties bleek de predictieve validiteit te verschillen. Zo bleek deze goed voor jeugdhulporganisaties en specialistische jeugd-ggz, redelijk voor wijkteams en matig voor jeugdbescherming (maar nog steeds significant beter dan een klinische inschatting).
Tot slot werd de wijze waarop verschillende (veroorzakende en instandhoudende) risicofactoren met elkaar samenhangen onderzocht met netwerkanalyses. De risicofactoren voor kindermishandeling bleken sterk met elkaar samen te hangen. Deze bevindingen zijn in lijn met theorieën over kindermishandeling die beschrijven dat kindermishandeling in gezinnen ontstaat door interacties tussen factoren. Drie risicofactoren bleken het meest centraal in het ontstaan van kindermishandeling: Opvoeder(s) was zelf slachtoffer van kindermishandeling, Huiselijk geweld in het verleden, en Opvoeder(s) is emotioneel afwezig. Deze factoren kunnen belangrijke aanknopingspunten voor effectieve behandeling bieden.
Samenvatting van de aanvraag
De Richtlijn Uithuisplaatsing is ontwikkeld om professionals te helpen systematisch een beslissing over uithuisplaatsing te nemen. Het gaat hierbij om vragen als: In hoeverre zijn opvoedingscapaciteiten van ouders en ontwikkelingsbehoeften van de jeugdige uit balans; Is de situatie zo ernstig dat direct handelen nodig is, en; Is uithuisplaatsing te voorkomen door de inzet van ambulante interventies? Essentieel bij deze vragen is een goede inschatting van de mate waarin de opvoedingscapaciteiten van de ouders en de behoeften van het kind uit balans zijn oftewel de mate waarin sprake is van een onveilige opvoedingssituatie. De ontwikkeling en validatie van instrumenten om een dergelijke inschatting te maken staan echter wereldwijd nog in de kinderschoenen. Er wordt veelvuldig gebruik gemaakt van klinische instrumenten, terwijl onderzoek consequent laat zien dat actuariële instrumenten beter presteren[1-10]. In Nederland wordt grootschalig gebruik gemaakt van de LIRIK, maar recente onderzoeken laten zien dat de betrouwbaarheid en de predictieve validiteit van de LIRIK zo laag zijn dat de inschatting van het risico op toekomstige onveiligheid niet beter is dan een inschatting op basis van ‘toeval’[11-12]. Dit leidt tot veel verkeerde inschattingen, hetgeen kan resulteren in blijvende onveiligheid of onterechte uithuisplaatsingen. Het is dan ook urgent dat een alternatief instrument beschikbaar komt voor de jeugdzorg waarmee op valide en betrouwbare wijze de huidige en toekomstige onveiligheid van kinderen kan worden ingeschat ter ondersteuning van de beslissing tot uithuisplaatsing. Tegen deze achtergrond is recentelijk de ARIJ ontwikkeld door de UvA en JBRA[12-14]. De ARIJ bestaat uit (a) een veiligheidstaxatie, (b) een risicotaxatie en (c) een dynamisch risicoprofiel waarmee vooruitgang kan worden gemonitord en aanknopingspunten worden verkregen voor interventie. De ARIJ is een veelbelovend instrument omdat (a) het actuarieel is, (b) de praktijk erg positief is, en (c) de resultaten van een eerste valideringsonderzoek lijken te wijzen op een significant betere betrouwbaarheid[15] en predictieve validiteit[13]van de ARIJ ten opzichte van de LIRIK. Het risicotaxatie-onderdeel van de ARIJ is ontwikkeld op basis van de LIRIK, met als belangrijk verschil dat de items in de ARIJ op een vaststaande (empirisch bepaalde) manier worden gewogen en gecombineerd tot een risico-inschatting, terwijl met de LIRIK een professional zelf bepaalt hoe zwaar hij factoren weegt en combineert in een eindoordeel. Daarnaast is een aantal experimentele items aan de ARIJ toegevoegd waarvan uit verschillende reviews is gebleken dat deze sterk samenhangen met toekomstige onveiligheid. De ARIJ wordt inmiddels ingezet door JBRA, SPIRIT, HVO-Querido en Altra Jeugdhulp. Daarnaast hebben veel andere instellingen aangegeven met de ARIJ te willen gaan werken, waaronder verschillende Gecertificeerde Instellingen, zorgaanbieders, ouder-kind-teams en wijkteams, alsmede Veilig Thuis Nederland. Gezien de grote vraag uit de praktijk naar de ARIJ is het belangrijk de predictieve validiteit van de ARIJ te onderzoeken bij gebruik in de dagelijkse praktijk door verschillende jeugdzorginstanties. Daarnaast is het belangrijk te onderzoeken in hoeverre de predictieve validiteit van de ARIJ kan worden verbeterd door het laten meewegen van de experimentele items. Ondanks dat de ARIJ beter lijkt te presteren dan de LIRIK en vergelijkbaar presteert met andere risicotaxatie-instrumenten die wereldwijd worden ingezet[29,39-41], is de predictieve validiteit van de ARIJ matig en dient te worden verbeterd. De inhoudsvaliditeit van de veiligheidstaxatie van de ARIJ wordt onderzocht middels literatuuronderzoek en interviews met deskundigen en de concurrente validiteit op basis van oordelen van een expertpanel. De predictieve validiteit van de risicotaxatie van de ARIJ wordt prospectief onderzocht bij circa 2.900 casussen van JBRA, SPIRIT, HVO-Querido, Altra Jeugdhulp en BJZ Limburg. Hierbij wordt ook onderzocht in hoeverre de predictieve validiteit kan worden verbeterd door het laten meewegen van de experimentele items. De betrouwbaarheid van de ARIJ wordt onderzocht door casussen te laten beoordelen op meerdere momenten en door meerdere professionals. Op basis van de resultaten van dit project zal de weging van de items (inclusief experimentele items) worden geoptimaliseerd en zullen mogelijk nieuwe experimentele items worden toegevoegd. De validiteit zal hierna opnieuw moeten worden onderzocht in vervolgonderzoek. De ARIJ is een belangrijke aanvulling op de Richtlijn Uithuisplaatsing om risico’s zo goed en uniform mogelijk in te schatten. Naar verwachting zal gebruik van de ARIJ leiden tot betere risico- en veiligheidstaxatie en een betere toeleiding naar passende interventies waardoor kinderen eerder veilig zijn, gezinnen beter worden toegeleid naar passende interventies en er minder onnodige uithuisplaatsingen zijn.