The use of Entrustable Professional Activities in Assessment in General Practice Specialty Training.
Projectomschrijving
De opleiding van artsen in opleiding tot specialist (aios) huisartsgeneeskunde vindt vooral plaats in de huisartsenpraktijk. Om het leren van de aios te bevorderen, krijgen ze frequent feedback van hun opleiders: de ervaren huisartsen. Op dit moment gebeurt dat, wereldwijd, aan de hand van 7 rollen zoals die gedefinieerd zijn voor de arts:
- vakexpert
- communicator
- professional
- academicus
- organisator
- samenwerker
- maatschappelijk handelaar
Probleem
Het blijkt echter lastig om praktijksituaties onder te brengen bij die 7 rollen. Om die reden zijn voor de opleiding Entrustable Professional Activities (EPA’s) gedefinieerd. Dit zijn activiteiten die typisch zijn voor het handelen van de huisarts, waarop de opleider de aios feedback kan geven.
Doel
Dit project onderzocht hoe de EPA’s toegepast kunnen worden bij de formele beoordeling van aios en bekeek hoe haalbaar, betrouwbaar en valide het oordeel over de aios was met een dergelijk systeem.
Als een arts in opleiding tot specialist (aios) alle EPA’s van een vakgebied beheerst is hij/zij klaar voor het vak. Een belangrijk kenmerk van EPA’s is dat op grond hiervan de opleider beoordeelt in hoeverre hij/zij de aios een taak toevertrouwt zelfstandig veilig uit te voeren.
Resultaat
De context van het vakgebied van een medische vervolgopleiding en de opbouw van een medische vervolgopleiding hebben grote invloed op de implementatie van EPA’s in het curriculum van de medische vervolgopleiding en het gebruik van de EPA’s in de dagelijkse praktijk. Ontwikkelaars van onderwijsprogramma’s voor medische vervolgopleidingen moeten overdenken welke functies van EPA’s zij belangrijk vinden voor hun opleidingsprogramma, voordat zij aanpassingen doen aan het concept van de EPA’s voor een betekenisvolle implementatie van EPA’s in hun curriculum. EPA’s zijn echter niet de heilige graal voor het leren van aios, het veilig toevertrouwen van patiëntenzorg aan aios en voor het zelfstandig werken van aios. Opleidingssituaties met een veilige leeromgeving en een sterke wederzijdse vertrouwensrelatie tussen aios en opleider, zoals vaak wordt gezien in longitudinale stages, leveren een belangrijke bijdrage aan het leren en de beoordeling van aios. Longitudinale stages zouden de bijdrage van EPA’s aan leren en beoordelen van aios kunnen versterken. Implementatie van EPA’s in een medische vervolgopleiding zou daarom betekenisvoller kunnen worden als gebruik wordt gemaakt van longitudinale stages.
Interview: wat kan en moet een aio leren?
In een interview vertelt Nynke van Dijk hoe opleiders huisartsgeneeskunde feedback gaan geven aan hun aios aan de hand van Kenmerkende Beroepsactiviteiten (KBA), die het eenvoudiger maken te benoemen wat een aio kan en moet leren.
Artikelen en nieuwsberichten
Tips/aanbevelingen
Het feit dat de onderzoeker op dit project ook aios was had een sterk positieve invloed op zowel de inhoudelijke input als de werving van deelnemers aan het project. De constructie waarbij de aios een jaar op en een jaar af onderzoek/ opleiding doet in deze levensfase (voor deze aios ook 2 keer verlofperiode) blijft complex qua planning, doorloop van de projecten/ publicaties en motivatie. De aanwezigheid van een goede onderzoeksondersteuner is hierbij zeer belangrijk.
Producten
Auteur: Bonnie LHA; Nasori M; Visser MRM; Kramer AWM; van Dijk N.
Magazine: Educ Prim Care
Auteur: Bonnie LHA, Cremers GR, Nasori M, Kramer AWM, van Dijk N.
Magazine: Medical Education
Auteur: van Loon KA; Bonnie LHA; van Dijk N; Scheele F
Magazine: Perspectives on Medical Education
Auteur: Bonnie, Linda H.A., Visser, Mechteld R.M., Kramer, Anneke W.M., van Dijk, Nynke
Magazine: BMJ Open
Link: https://bmjopen.bmj.com/content/10/4/e036593
Auteur: Bonnie LHA, Visser MRM, Bont J, Kramer AWM, van Dijk N.
Magazine: Educ Prim Care
Link: https://www.tandfonline.com/doi/full/10.1080/14739879.2018.1532773
Auteur: Linda Bonnie, Academic Medical Center - University of Amsterdam, Amsterdam, Netherlands Mechteld Visser, Academic Medical Center - University of Amsterdam, Amsterdam, Netherlands Anneke Kramer, Leiden University, Leiden, Netherlands Nynke van Dijk, Academic Medical Center - University of Amsterdam, Amsterdam, Netherlands
Verslagen
Eindverslag
Samenvatting van de aanvraag
Postgraduate GP specialty training mainly takes place as workplace-based learning. To enhance the professional development of GP trainees, continuous feedback on their performance in the workplace, aligned with the goals of the curriculum, is needed. Currently, methods for assessing clinical competence focus on the 7 isolated roles as defined in the CanMEDS system. In daily clinical practice, these roles are never applied in isolation, therefore assessing clinical competence in such a manner lacks ecological validity and is considered a difficult task for trainers. Assessing trainees using Entrustable Professional Activities (EPA) is a recently suggested method, describing meaningful, integrated, daily clinical activities, combining the relevant CanMEDS roles. These activities are well known to clinical trainers, and the extent to which they trust the trainee to take care of their patients with the problem as described in the EPA is considered an adequate manner to assess medical competence. Possible drawbacks of the use of EPA in assessment are the large number of EPA needed to cover the total spectrum adequately, resulting in low feasibility, an unknown added value over current assessment systems and unknown validity of the use for high-stakes decisions. For the Dutch General Practice training programs EPA are currently being developed as basis for the new nation-wide learning plan for GP training. This results in a need, and at the same time provides an excellent opportunity, to assess the feasibility, reliability and validity of an EPA-based assessment program for the documentation of readiness for practice of trainees. For this 3-year project we therefore have the following aims: 1) To develop an assessment program using EPA and explore how this program can be used in a feasible manner in GP specialty training programs; 2) To explore reliability and validity aspects of EPA-based assessment. In this implementation study, mixed-methods methodology, involving all stakeholders, is used to fulfill the above aims. The project can be subdivided into two main parts following from the projects aims. In part 1 the development and evaluation of an EPA-based assessment program will be based on the methods as described by the Medical Research Council for the development and evaluation of complex interventions. As a first step, one or more literature-based outline(s) of possible formats for an EPA-based assessment program will be described. This outline(s) will be used as basis for a focus group study, using focus groups composed of all stakeholders, with the aim to identify all relevant considerations regarding EPA-based assessment in Dutch GP training. Based on the results of these studies, an expert group will develop a concrete proposal for EPA-based assessment in the Dutch GP training programs. At least 20 trainers and trainees will be asked to complete selections of the assessment-program while thinking aloud it to gain insight in the consistency of the terminology used and the requirements and training needed to work with the program successfully. Preliminary feasibility of the system will be tested by means of a pilot implementation with a duration of 3 months in 8 GP training practices, related to 4 of the GP training institutes. Individual interviews with trainers and trainees will focus on the feasibility of the program. If necessary, at any stage adjustments will be made to the program, and a new pilot will be performed. In part 2, an in-depth study of feasibility, reliability and validity aspects of EPA-based assessment is made using a mixed-methods design. To do so we will include at least 40 trainer-trainee couples in at least 4 training institutes. After training, included couples will be required to execute the newly developed assessment system and the current assessment system simultaneously for comparison, at 3 and 6 months after inclusion, and answer additional questions on questionnaires regarding feasibility and validity. Using three-step-test-interviews, additional qualitative data will be collected from trainers. Also trainees and administrative staff will be interviewed. Feasibility will be studied by analyzing the questionnaires, the number and completeness of assessments. Interviews are analyzed for possible barriers and facilitators regarding the implementation. By studying the uniformity of interpretations of the EPA we will assess reliability. Validity will be assessed in terms of face validity, content-validity, divergent validity, convergent validity, and formative validity. During the last part of the project, an expert team will develop a final advice on the contents and implementation of EPA-based assessment, for the heads of the 8 GP training institutes.