Vroegtijdig ziektebeelden herkennen met AI-taalmodellen

Om volledig te begrijpen wat BERT en ERNIE inhoudt, gaan we terug naar de COVID-19 pandemie. Begin 2020 werden taalmodellen en machine learning verder ontwikkeld en ingezet. Zo ontstond bij Maarten en zijn team de vraag of deze taalmodellen ook konden worden ingezet om COVID-19 consulten te herkennen uit huisartsendata. Hiervoor werd het bestaande open source taalmodel BERT (Bidirectional encoder representations from transformers) getraind om COVID-19 consulten te herkennen en te onderscheiden van andere ziektebeelden, puur op basis van teksten geschreven na een huisartsconsult. 

Het gebruik van BERT voor COVID-19 herkenning was onderdeel van het GRIP3-project. In dat project bundelden de 7 Nederlandse vakgroepen huisartsgeneeskunde en het NIVEL hun krachten vanuit het Consortium Onderzoek Huisartsgeneeskunde. In nauw overleg met patiëntvertegenwoordigers en andere stakeholders werkten zij 3 onderzoeken (werkpakketten) uit naar verschillende aspecten van COVID-19-zorg in de huisartspraktijk, namelijk betere herkenning en behandeling van COVID-19 patiënten én een sterkere onderzoeksinfrastructuur. GRIP3 ontving hiervoor een ZonMw Parel. 

Al snel ontstond het idee om het AI-model uit te breiden naar andere diagnoses, met als doel ziekte-uitbraken te kunnen voorspellen. Op die manier kan er in de zorg beter worden geanticipeerd en kunnen ziekten worden ingeperkt voordat ze uitgroeien tot een uitbraak. Maar met deze uitbreiding kwam ook de vraag naar een complexer AI-model. In een metafoor legt Maarten uit: ‘We vragen het model niet meer om appels van peren te onderscheiden, maar om aan de hand van kenmerken van 1 vrucht, zelf alle andere fruitsoorten te herkennen.’ Daarmee ontstond het framework ERNIE, een samenvoeging van meerdere bestaande AI-tools. In feite is met de combinatie van BERT en ERNIE een model ontwikkeld dat klachten die afwijken van het normaal herkent, groepeert en karakteriseert. Dit gebeurt in een aantal stappen:

1. Het herkennen van afwijkende contacten: de eerste component is een auto-encoder. Deze breekt de data als het ware op in zo klein mogelijke stukjes en probeert deze vervolgens weer te reconstrueren. Als er dan nieuwe symptomen zijn die niet passen in het plaatje, lukt het systeem het minder goed om alles te reconstrueren. Deze verlaagde reconstructiescore duidt daarmee op een afwijkend contact.
2. Het clusteren van afwijkende contacten: Een clusteringsalgoritme zoekt in de afwijkende contacten welke vergelijkbaar zijn en groepeert deze.
3. Unieke termen zoeken in de clusters: in de derde stap worden de clusters achter elkaar geplakt en gaat het algoritme op zoek naar unieke termen die wel vaak voorkomen in de afwijkende clusters, maar niet in de baselinedata.
4. Tenslotte worden de gevonden unieke karakteristieken gevisualiseerd.

De validatie van het model was redelijk complex. Maarten zegt: ‘Op data uit de echte wereld kan je niet direct sensitiviteit en specificiteit meten, omdat het gaat over veranderingen ten opzichte van de baseline, niet of iets goed of fout is. Bij simulatiedata voeg je bewust afwijkingen toe, waardoor je wel kan meten of het model die afwijkingen herkent.’ Om dit te ondervangen hebben Maarten en zijn team het model vanuit meerdere perspectieven gevalideerd. ‘We hebben gekeken of het model eerdere bekende uitbraken, bijvoorbeeld die van het RSV-virus in de zomer van 2021 herkent en of het model met simulatiedata goed afwijkende contacten oppikt en clustert. Van de 30 gesimuleerde contacten werden er 29 als afwijkend gelabeld door het model. Dit betekent dat het model een sensitiviteit heeft van 0.97, een bijna perfecte score.’

‘Er is zoveel informatie beschikbaar waar we niks mee doen. We kunnen daar vroegtijdig patronen in herkennen’, vertelt Maarten. Uit elk huisartsenconsult volgt namelijk een zogeheten ‘SOEP-verslag’. Dit verslag bestaat uit 4 vaste onderdelen, namelijk Subjectief, Objectief, Evaluatie en Plan. Het verslag bevat open tekstvelden waar elke huisarts op zijn of haar eigen manier aantekeningen in maakt. Voor onderzoeksdoeleinden wordt vaak alleen de verplicht te koppelen ICPC code gebruikt. Dat is een systematisch kader voor het coderen van ziekten en aandoeningen in de huisartsenpraktijk. Zo blijft er dus een schat aan informatie liggen. 

Maar veel beschikbare data brengt ook veel verantwoordelijkheid met zich mee. In Nederland zijn zorggegevens goed dichtgetimmerd en zoveel mogelijk geanonimiseerd om zo de privacy van patiënten te bewaken. Ook benoemt Maarten dat er voor elk type onderzoek, ongeacht een AI-component, kritisch door een medisch-ethische commissie wordt gekeken of al die gegevens wel nodig zijn. 

Het succes van dit project wijdt Maarten aan samenwerking. Binnen het GRIP3-project is al een uitgebreide infrastructuur opgesteld. Daardoor was het vervolg in de vorm van BERT en ERNIE heel soepel verlopen. Daarnaast werkt Maarten in zijn multidisciplinaire team direct samen met een medisch-microbioloog en een data scientist, wat verschillende perspectieven met zich meebrengt en leidt tot nieuwe relevante onderzoeksvragen.

De toekomst van AI in de zorg ligt wat Maarten betreft open. Zelf is hij vooral geïnteresseerd in personalized medicine. ‘We werken nu met richtlijnen, maar deze zijn gebaseerd op een hele groep. Met AI kunnen we veel persoonsgerichter kijken op basis van alle data. Misschien heeft mevrouw Jansen wel direct zwaardere antibiotica nodig bij een urineweginfectie, omdat de data suggereert dat ze meer kans heeft om een nierbekkenontsteking te ontwikkelen.’

Toch moet er, mede vanuit het ethische standpunt, ook een grens aan de voorspellingsmogelijkheden zitten. ‘We kunnen misschien voorspellen dat iemand over 20 jaar mogelijk ernstig ziek wordt, maar willen we dat ook? We moeten altijd kritisch blijven’, zegt Maarten. Daarnaast blijft het belangrijk om vanuit een duidelijke vraag te beginnen. Maarten: ‘AI is een tool. Het begint altijd bij het doel van het onderzoek en welke antwoorden je wil krijgen.’