Mobiele menu

Measurement Instrument for Determinants of Implementation (MIDI)

Projectomschrijving

Welke determinanten bevorderen het ‘gebruik zoals bedoeld’?

Vraagstuk

Interventies in de gezondheidszorg worden niet altijd gebruikt zoals ze bedoeld zijn. Verschillende instrumenten helpen professionals bij het gericht invoeren van interventies. Er is een algemene lijst met 60 factoren (determinanten) die implementatie beïnvloeden, maar de geldigheid van deze determinanten was nog niet definitief vastgesteld. Is er een eenvoudig diagnose- of meetinstrument te ontwikkelen?

Onderzoek

In dit project zijn gegevens uit acht eerdere onderzoeken gecombineerd tot één database. Ontbrekende delen zijn aangevuld door te analyseren welke determinanten het gebruik van interventies voorspellen.

Uitkomst

Een groep implementatiedeskundigen uit beleid, onderzoek en praktijk beoordeelde de operationalisatie van verschillende determinanten. Dit resulteerde in een instrument met 29 determinanten om vooraf in kaart te brengen welke factoren het gebruik van een (nieuwe) interventie beïnvloeden. De oorspronkelijke lijst van 60 determinanten is zo ingekort (en deels aangescherpt) en veel hanteerbaarder gemaakt.

Producten

Titel: Towards a measurement instrument for determinants of innovations
Auteur: MARGOT A.H. FLEUREN, THEO G.W.M. PAULUSSEN, PAULA VAN DOMMELEN AND STEF VAN BUUREN

Verslagen


Eindverslag

In de preventie en zorg is relatief weinig bekend over de condities voor succesvolle invoering van innovaties (richtlijnen, interventies en programma’s). Doel van dit project is het ontwikkelen van een generiek en kort diagnose-/meetinstrument om te kunnen bepalen wat de determinanten van een succesvolle implementatie van innovaties zijn. In 2002 stelde TNO een lijst samen met 50 potentieel relevante determinanten die kritiek geacht worden voor succesvol gebruik van innovaties. De lijst kwam tot stand via een literatuurreview, met aansluitend een Delphi-onderzoek onder implementatiedeskundigen. Sinds 2002 zijn er, op basis van empirische studies, 10 determinanten toegevoegd aan de oorspronkelijke lijst. Bij aanvang van dit project bestond de lijst dus nu uit 60 potentieel relevante determinanten. Deze lijst is vanaf 2002 door TNO gebruikt in acht onderzoeken met betrekking tot de invoering van preventieve innovaties in de Jeugdgezondheidszorg en het onderwijs. In elk onderzoek werd op vergelijkbare wijze de mate van gebruik van de innovatie gemeten alsook welke determinanten in welke mate het gebruik bepaalden. Voor dit project zijn de gegevens van de acht databronnen gecombineerd tot één dataset, waarbij ontbrekende delen zijn aangevuld met behulp van multipele imputatie. Geanalyseerd is welke determinanten het gebruik voorspellen: afzonderlijk én in combinatie met andere determinanten. De resultaten zijn vervolgens voorgelegd aan 22 implementatiedeskundigen, afkomstig uit beleid, onderzoek en praktijk. Zij beoordeelden de operationalisatie van deze 22 determinanten. Ook beoordeelden zij op basis van hun kennis en ervaring of determinanten uit de oorspronkelijke lijst die niet in de 8 beschikbare onderzoeken onderzocht werden, gehandhaafd moesten blijven. Dit resulteerde in instrument met 29 determinanten. Dit instrument kan worden gebruikt om in kaart te brengen welke determinanten het gebruik van de in te voeren of ingevoerde innovatie beïnvloeden.

Inleiding
Implementatie is een jong vakgebied met nog veel witte vlekken. In de preventie/zorg is relatief weinig bekend over de condities voor succesvolle invoering van innovaties (richtlijnen, interventies en programma’s). In de (onderzoeks)praktijk worden diverse innovatiemodellen en werkwijzen gehanteerd, die een belangrijk gemeenschappelijk uitgangspunt hebben. Eerst dient een analyse van determinanten (belemmerende en bevorderende factoren) plaats te vinden. Dit is nodig om vervolgens gerichte invoerstrategieën te kunnen ontwikkelen die aangrijpen op de determinanten. Het meten van determinanten is daarmee een eerste en basale activiteit voor alle onderzoekers.
Tot nu toe ontbreekt een valide instrument voor het meten van determinanten. Wel is er een lijst met 50 potentieel relevante determinanten die generiek is, maar waarvan de validiteit nog niet is vastgesteld. De lijst kwam in 2002 tot stand via een literatuurreview met aansluitend een Delphi-onderzoek onder implementatiedeskundigen. De determinanten in deze lijst zijn sinds 2002 in acht onderzoeken met betrekking tot de invoering en het gebruik van preventieve interventies in de Jeugdgezondheidszorg en het onderwijs onderzocht.

Doel
Doelstelling is het ontwikkelen van een generiek en qua aantal determinanten beperkt diagnose-/meetinstrument om, liefst voorafgaande aan de invoering van een innovatie, te kunnen bepalen wat kritieke determinanten van een succesvolle implementatie zijn en daarmee aangrijpingspunten voor gerichte invoerstrategieën.
Specifieke doelstellingen zijn:
1. Nagaan welke determinanten in algemene zin van invloed zijn op de invoering van preventieve innovaties op het terrein van de Jeugdgezondheidszorg en het onderwijs.
2. Nagaan welke determinanten innovatie en/of context specifiek zijn.
3. Nagaan welke determinanten -a priori- voldoende inhoudelijk samenhang vertonen om ze zinvol samen te kunnen nemen, om zodoende de lijst met 50 potentieel relevante determinanten te kunnen reduceren.

Methode
In elk van de acht onderzoeken werd op vergelijkbare wijze de mate van gebruik van de preventieve innovaties gemeten. De ontwikkelaars stelden de kernelementen van iedere innovatie vast. De respondenten (JGZ-professionals en docenten) gaven per kernelement aan in hoeverre zij het betreffende kernelement hadden toegepast. Als mate van gebruik werd de proportie genomen van alle voorgeschreven kernelementen die de respondent had uitgevoerd, ook wel completeness of use genoemd.
De gegevens van de acht databronnen werden gecombineerd tot één database. Ontbrekende delen werden aangevuld met behulp van multipele imputatie. Op elke dataset werd apart de relatie tussen iedere determinant en de uitkomstmaat (gebruik) geschat, waarna de resultaten werden samengenomen met behulp van Rubin’s pooling regels. Geanalyseerd werd welke determinanten het gebruik voorspellen. De predictieve waarde van iedere determinant werd geschat: de afzonderlijk invloed én de invloed in combinatie met andere determinanten.
Vervolgens werden de resultaten van de analyses voorgelegd implementatie-onderzoekers, implementatie-adviseurs en beleidsmedewerkers. Zij werden gevraagd de uitkomsten te beoordelen op bruikbaarheid voor onderzoeksdoeleinden en voor de dagelijkse implementatiepraktijk. Ook werden ze gevraagd een aanvulling te geven van determinanten die ontbreken en die, op basis van uitkomsten van meta-analyses, nog toegevoegd moeten worden.

Resultaten
Nog niet beschikbaar. Beschikbaar in juli 2012.

Samenvatting van de aanvraag

Introduction One of the main problems with the introduction of innovations in the (preventive) health care system is that professionals do not –automatically- use the innovations as intended by the developers. This means that a substantial proportion of patients/clients will not receive the intended care in a way that they benefit from these innovations. Several models exist on how to implement innovations effectively. All these models follow the same planning sequence in designing innovation strategies: 1. Innovations should be introduced systematically to maximise the probability of them actually being used, and 2. A planned innovation strategy should be tailored to the determinants that facilitate or impede the intended innovation process. Therefore, a systematically derived insight into the determinants of the process of implementation is a prerequisite for the successful introduction of innovations. Problem definition There are no valid instruments available for assessing determinants of the innovation process. However, there is a generic list of 50 potential relevant determinants. To obtain an overview of determinants of innovations in health care organisations, the applicants conducted a literature review and a Delphi study (Fleuren et al 2004). The literature review only included empirical studies in which innovations were implemented in practice and levels of implementation as well as its determinants were assessed. Next, a Delphi study was conducted to facilitate consensus among experts about the determinants identified in the literature review. The results of the literature review matched those found in the Delphi study. So, 50 potentially relevant determinants of innovation processes were identified. Since 2002 the applicants have used the list of 50 potential relevant determinants in eight empirical studies concerning the implementation of preventive innovations in the Dutch Preventive Child Health Care as well as in Dutch schools. Based on the data from these eight studies, we will develop a measurement instrument for assessing determinants of the implementation of preventive health innovations. Since there is no valid measurement instrument available yet, the project outcomes will be of interests to all implementation researchers as well as implementation consultants/advisors. Aim of the study The aim of the project is the development of a generic and short measurement instrument for determinants of implementation. The instrument is to be used before the innovation is introduced, to gain a better understanding of the critical determinants that may impede or enhance the introduction, in order to design an appropriate innovation strategy. Methods In the eight studies, the levels of implementation were assessed in comparable ways. The developers of the innovations selected the key activities in the innovation they developed. The self-reported levels of implementation were measured by asking the respondents to indicate, for each key activity whether they had implemented that activity. In this way the level of implementation was measured as the proportion of all prescribed activities the professionals had applied in their practice; also referred to as completeness of use. The data that have been collected in the eight studies will be combined into one data set. Since different studies assessed partially overlapping sets of determinants, the combined data set will look like patchwork, with no single complete record on all determinants. Such data cannot be analyzed by conventional techniques. We will apply multiple imputation of the missing data to solve this problem. The technique replaces the missing entries by plausible values, thus creating one or more complete data sets which itself are amenable to conventional techniques. Though the general idea is already quite old (Rubin, 1987), flexible techniques for creating plausible imputations in multivariate incomplete data have only recently become available. TNO pioneered such techniques (Van Buuren 1999, 2007), which are now increasingly being adopted in the international medical and epidemiological literature (e.g. Sterne 2009; Lee 2010). Outcome The goal of the analysis is to infer how success depends on the set of 50 determinants. The determinants that are strong predictors will be identified and selected for inclusion into the instrument for measuring the determinants of implementation.

Onderwerpen

Kenmerken

Projectnummer:
200400008
Looptijd: 100%
Looptijd: 100 %
2011
2012
Onderdeel van programma:
Gerelateerde subsidieronde:
Projectleider en penvoerder:
Dr. M.A.H. Fleuren
Verantwoordelijke organisatie:
TNO