Mobiele menu

The use of Entrustable Professional Activities in Assessment in General Practice Specialty Training.

Projectomschrijving

De opleiding van artsen in opleiding tot specialist (aios) huisartsgeneeskunde vindt vooral plaats in de huisartsenpraktijk. Om het leren van de aios te bevorderen, krijgen ze frequent feedback van hun opleiders: de ervaren huisartsen. Op dit moment gebeurt dat, wereldwijd, aan de hand van 7 rollen zoals die gedefinieerd zijn voor de arts:

  • vakexpert
  • communicator
  • professional
  • academicus
  • organisator
  • samenwerker
  • maatschappelijk handelaar

Probleem

Het blijkt echter lastig om praktijksituaties onder te brengen bij die 7 rollen. Om die reden zijn voor de opleiding Entrustable Professional Activities (EPA’s) gedefinieerd. Dit zijn activiteiten die typisch zijn voor het handelen van de huisarts, waarop de opleider de aios feedback kan geven.

Doel

Dit project onderzocht hoe de EPA’s toegepast kunnen worden bij de formele beoordeling van aios en bekeek hoe haalbaar, betrouwbaar en valide het oordeel over de aios was met een dergelijk systeem.
Als een arts in opleiding tot specialist (aios) alle EPA’s van een vakgebied beheerst is hij/zij klaar voor het vak. Een belangrijk kenmerk van EPA’s is dat op grond hiervan de opleider beoordeelt in hoeverre hij/zij de aios een taak toevertrouwt zelfstandig veilig uit te voeren.

Resultaat

De context van het vakgebied van een medische vervolgopleiding en de opbouw van een medische vervolgopleiding hebben grote invloed op de implementatie van EPA’s in het curriculum van de medische vervolgopleiding en het gebruik van de EPA’s in de dagelijkse praktijk. Ontwikkelaars van onderwijsprogramma’s voor medische vervolgopleidingen moeten overdenken welke functies van EPA’s zij belangrijk vinden voor hun opleidingsprogramma, voordat zij aanpassingen doen aan het concept van de EPA’s voor een betekenisvolle implementatie van EPA’s in hun curriculum. EPA’s zijn echter niet de heilige graal voor het leren van aios, het veilig toevertrouwen van patiëntenzorg aan aios en voor het zelfstandig werken van aios. Opleidingssituaties met een veilige leeromgeving en een sterke wederzijdse vertrouwensrelatie tussen aios en opleider, zoals vaak wordt gezien in longitudinale stages, leveren een belangrijke bijdrage aan het leren en de beoordeling van aios. Longitudinale stages zouden de bijdrage van EPA’s aan leren en beoordelen van aios kunnen versterken. Implementatie van EPA’s in een medische vervolgopleiding zou daarom betekenisvoller kunnen worden als gebruik wordt gemaakt van longitudinale stages.

Interview: wat kan en moet een aio leren?

In een interview vertelt Nynke van Dijk hoe opleiders huisartsgeneeskunde feedback gaan geven aan hun aios aan de hand van Kenmerkende Beroepsactiviteiten (KBA), die het eenvoudiger maken te benoemen wat een aio kan en moet leren.

> lees het interview

Tips/aanbevelingen

Het feit dat de onderzoeker op dit project ook aios was had een sterk positieve invloed op zowel de inhoudelijke input als de werving van deelnemers aan het project. De constructie waarbij de aios een jaar op en een jaar af onderzoek/ opleiding doet in deze levensfase (voor deze aios ook 2 keer verlofperiode) blijft complex qua planning, doorloop van de projecten/ publicaties en motivatie. De aanwezigheid van een goede onderzoeksondersteuner is hierbij zeer belangrijk.

Producten

Titel: Feasibility, and validity aspects of Entrustable Professional Activity (EPA)-based assessment in general practice training
Auteur: Bonnie LHA; Nasori M; Visser MRM; Kramer AWM; van Dijk N.
Magazine: Educ Prim Care
Titel: Longitudinal training models for entrusting students with independent patient care?: A systematic review
Auteur: Bonnie LHA, Cremers GR, Nasori M, Kramer AWM, van Dijk N.
Magazine: Medical Education
Titel: Benefits of EPAs at risk? The influence of the workplace environment on the uptake of EPAs in EPA-based curricula
Auteur: van Loon KA; Bonnie LHA; van Dijk N; Scheele F
Magazine: Perspectives on Medical Education
Titel: Insight in the development of the mutual trust relationship between trainers and trainees in a workplace-based postgraduate medical training programme: a focus group study among trainers and trainees of the Dutch general practice training programme
Auteur: Bonnie, Linda H.A., Visser, Mechteld R.M., Kramer, Anneke W.M., van Dijk, Nynke
Magazine: BMJ Open
Link: https://bmjopen.bmj.com/content/10/4/e036593
Titel: Trainers' and trainees' expectations of entrustable professional activities (EPAs) in a primary care training programme.
Auteur: Bonnie LHA, Visser MRM, Bont J, Kramer AWM, van Dijk N.
Magazine: Educ Prim Care
Link: https://www.tandfonline.com/doi/full/10.1080/14739879.2018.1532773
Titel: Mutual trust in workplace-based medical training programs
Auteur: Linda Bonnie, Academic Medical Center - University of Amsterdam, Amsterdam, Netherlands Mechteld Visser, Academic Medical Center - University of Amsterdam, Amsterdam, Netherlands Anneke Kramer, Leiden University, Leiden, Netherlands Nynke van Dijk, Academic Medical Center - University of Amsterdam, Amsterdam, Netherlands

Verslagen


Eindverslag

Dit project onderzocht de toepassing van Entrustable Professional Activities (EPA’s) in medische vervolgopleidingen. EPA’s beschrijven onderdelen van de dagelijkse praktijk van een medisch specialisme. Als een arts in opleiding tot specialist (aios) alle EPA’s van een vakgebied beheerst is hij/zij klaar voor het vak. Een belangrijk kenmerk van EPA’s is dat op grond hiervan de opleider beoordeelt in hoeverre hij/zij de aios een taak toevertrouwt zelfstandig veilig uit te voeren. EPA’s kunnen in de opleiding zowel gebruikt worden voor de beoordeling als voor het leren van aios. De breedte van het vakgebied en de opbouw van een opleiding hebben grote invloed op de implementatie en het gebruik van EPA’s. Belangrijk daarbij is af te wegen welke functies van EPA’s belangrijk zijn voor leren en werken in de zorgpraktijk. Een veilige leeromgeving met een sterke wederzijdse vertrouwensrelatie tussen aios en opleider, zoals in longitudinale stages, zijn belangrijk voor het leren en beoordelen van aios.
Dit onderzoek wordt uitgevoerd door een aioto huisartsgeneeskunde (arts in opleiding tot huisarts en onderzoeker). Zij combineert in projectperiode van 6 jaar haar opleiding tot huisarts (3 jaar) met de uitvoering van dit onderzoeksproject (3 jaar), dat moet leiden tot een promotie. In het afgelopen projectjaar zijn grote stappen gezet in de data verzameling en analyse van verschillende onderdelen van dit project. Het twee artikelen met de resultaten van het project zijn gepubliceerd in een tijdschrift en er zijn 2 stukken ingestuurd. Daarnaast heeft de onderzoeker haar bevindingen gepresenteerd op een internationaal congres. De Corona-crisis heeft enige invloed gehad op de laatste fase van het project. Niet alleen konden we - ethisch gezien – in een bepaalde periode huisartsen en aios huisartsgeneeskunde niet vragen om tijd vrij te maken voor ons onderzoek, ook was er op geen enkele manier meer sprake van een normale opleidingssituatie, zeker niet op de huisartsenpost waar ons onderzoek plaats vond. Omdat de inclusie voor dat project plaatsvindt per cohort en al liep hebben we niet de complete studie kunnen uitvoeren. Wel hebben we naar verwachting voldoende data om inzicht te krijgen in de relatie tussen KBA en competentie-beoordelingen en over de invloed van Corona op de opleiding van aios huisartsgeneeskunde.

Samenvatting van de aanvraag

Postgraduate GP specialty training mainly takes place as workplace-based learning. To enhance the professional development of GP trainees, continuous feedback on their performance in the workplace, aligned with the goals of the curriculum, is needed. Currently, methods for assessing clinical competence focus on the 7 isolated roles as defined in the CanMEDS system. In daily clinical practice, these roles are never applied in isolation, therefore assessing clinical competence in such a manner lacks ecological validity and is considered a difficult task for trainers. Assessing trainees using Entrustable Professional Activities (EPA) is a recently suggested method, describing meaningful, integrated, daily clinical activities, combining the relevant CanMEDS roles. These activities are well known to clinical trainers, and the extent to which they trust the trainee to take care of their patients with the problem as described in the EPA is considered an adequate manner to assess medical competence. Possible drawbacks of the use of EPA in assessment are the large number of EPA needed to cover the total spectrum adequately, resulting in low feasibility, an unknown added value over current assessment systems and unknown validity of the use for high-stakes decisions. For the Dutch General Practice training programs EPA are currently being developed as basis for the new nation-wide learning plan for GP training. This results in a need, and at the same time provides an excellent opportunity, to assess the feasibility, reliability and validity of an EPA-based assessment program for the documentation of readiness for practice of trainees. For this 3-year project we therefore have the following aims: 1) To develop an assessment program using EPA and explore how this program can be used in a feasible manner in GP specialty training programs; 2) To explore reliability and validity aspects of EPA-based assessment. In this implementation study, mixed-methods methodology, involving all stakeholders, is used to fulfill the above aims. The project can be subdivided into two main parts following from the projects aims. In part 1 the development and evaluation of an EPA-based assessment program will be based on the methods as described by the Medical Research Council for the development and evaluation of complex interventions. As a first step, one or more literature-based outline(s) of possible formats for an EPA-based assessment program will be described. This outline(s) will be used as basis for a focus group study, using focus groups composed of all stakeholders, with the aim to identify all relevant considerations regarding EPA-based assessment in Dutch GP training. Based on the results of these studies, an expert group will develop a concrete proposal for EPA-based assessment in the Dutch GP training programs. At least 20 trainers and trainees will be asked to complete selections of the assessment-program while thinking aloud it to gain insight in the consistency of the terminology used and the requirements and training needed to work with the program successfully. Preliminary feasibility of the system will be tested by means of a pilot implementation with a duration of 3 months in 8 GP training practices, related to 4 of the GP training institutes. Individual interviews with trainers and trainees will focus on the feasibility of the program. If necessary, at any stage adjustments will be made to the program, and a new pilot will be performed. In part 2, an in-depth study of feasibility, reliability and validity aspects of EPA-based assessment is made using a mixed-methods design. To do so we will include at least 40 trainer-trainee couples in at least 4 training institutes. After training, included couples will be required to execute the newly developed assessment system and the current assessment system simultaneously for comparison, at 3 and 6 months after inclusion, and answer additional questions on questionnaires regarding feasibility and validity. Using three-step-test-interviews, additional qualitative data will be collected from trainers. Also trainees and administrative staff will be interviewed. Feasibility will be studied by analyzing the questionnaires, the number and completeness of assessments. Interviews are analyzed for possible barriers and facilitators regarding the implementation. By studying the uniformity of interpretations of the EPA we will assess reliability. Validity will be assessed in terms of face validity, content-validity, divergent validity, convergent validity, and formative validity. During the last part of the project, an expert team will develop a final advice on the contents and implementation of EPA-based assessment, for the heads of the 8 GP training institutes.

Kenmerken

Projectnummer:
839130004
Looptijd: 100%
Looptijd: 100 %
2015
2021
Gerelateerde subsidieronde:
Projectleider en penvoerder:
Prof. dr. N. van Dijk Arts
Verantwoordelijke organisatie:
Amsterdam UMC - locatie AMC
Afbeelding

Onderzoek van onderwijs

Om de kwaliteit van de opleidingen tot huisarts en specialist ouderengeneeskunde te verbeteren, financieren we onderzoek van onderwijs. Dit project is één van die onderzoeken. Bekijk de andere projecten.