Onderwerpen gezocht voor Focus Meeting LLM's in de zorg

[Pim Volkert]

Na de succesvolle focus meeting over textmining en spraakinput in oktober vorig jaar, komt er dit najaar een vervolg.
Vanuit de community Text mining & NLP, onderdeel van het Kennisplatform Digitale uitwisseling in de zorg, willen we dit keer aandacht besteden aan Large Language Models (LLM's)!
Specifiek gaat het over de (mogelijke) toepassingen van LLM's in de zorg. Welke kansen zien we? Welke bedreigingen zijn er? Waar wordt het al toegepast?
We hebben ook jouw hulp nodig!
Welke onderwerpen mogen volgens jou niet ontbreken op een de focus meeting over LLM's in de zorg? Laat het ons weten en wie weet zie jij jouw onderwerp terug op onze focus meeting dit najaar!

 

[Heyobeentje]

Clareco richt zich op het vastleggen van de arts-patient communicatie in het algemeen en voor anderstaligen in het bijzonder.

We hebben 2 apps: de eerste is online en door iedereen te gebruiken, de ander is nog in een testfase maar zal binnen 6 tot 8 weken live zijn.

De eerste app richt zich op het vastleggen van arts-patiënt communicatie. Daartoe neemt de arts -na toestemming- het gesprek op in de app op zijn mobiele telefoon, en zodra het gesprek ten einde is wordt de opname direct omgezet in platte tekst. De arts ontvangt dat document per e-mail en de patiënt ontvangt een SMS met een koppeling. Zodra de patiënt de toegezonden link opent kan hij/zij de tekst bekijken,downloaden maar evt ook realtime vertalen naar een andere taal.

Transcriptie en vertaling worden gedaan met behulp van artificial intelligence waardoor taalherkenning en sprekersherkenning mogelijk zijn.

AVG issues en beveiliging van gegevens zijn afgedekt.

De 2e app bedient een (anderstalige) patiënt die tegen de app kan spreken en kan uitleggen wat zijn/haar klacht is. De AI engine stelt terzakedoende vragen om meer gegevens te verzamelen omtrent de klacht. De app geeft dan de patiënt het advies om een afspraak te maken bij de huisarts om betere diagnose mogelijk te maken.

Ondertussen hebben wij de gegevens, die de patiënt verstrekt heeft, vertaald en samengevat en als schriftelijk document aan de betrokken arts gestuurd. Wanneer de patiënt bij de arts op consult komt weet de arts al min of meer wat de klacht is en kan van daaruit sneller handelen en gericht onderzoek doen.

Deze app is nog in ontwikkeling en we zouden graag meet feedback van huisartsen willen krijgen om de app te optimaliseren.

 

[Marije van Melle]

Ik wil graag op de agenda zetten hoe land/taalafhankelijk LLMs zijn en hoe we internationale vergelijkingen kunnen doen vanuit een land. Of hebben we daar internationale terminologiestelsels nodig als tussenstation?

 

[Pim Volkert]

Ik wil graag op de agenda zetten hoe land/taalafhankelijk LLMs zijn en hoe we internationale vergelijkingen kunnen doen vanuit een land. Of hebben we daar internationale terminologiestelsels nodig als tussenstation?

Goede vragen!

 

[bverhoeff]

Ik ben benieuwd naar de vorderingen op het vlak van ontwikkelen van LLM's in NL: als klein taalgebied zijn wij minder interessant voor grote ontwikkelaars. ChatGPT van OpenAI zijn eigenlijk de enige groep LLM's die Nederlands enigszins fatsoenlijk ondersteunen. Uitrollen van gebruik van ChatGPT is interessant voor studiedoeleinden (kwaliteit, ethisch, legaal?) maar in mijn ogen niet wenselijk voor de lange termijn vanwege de lockin die gecreëerd wordt. Als je gebruik wilt maken van open source LLM's dan zijn er volgens mij verschillende opties voor NL:

- gebruik van LLM's in 3 stappen: eerst automatisch vertalen van een prompt naar engels en vervolgens voeden aan open source LLM. Resultaat weer vertalen naar NL.
- trainen van een nederlands LLM (monolinguaal)
- internationale/Europese samenwerking om LLM te creëren dat alle (Europese) talen ondersteunt.

Bovenstaande lijken me de meest logische denkrichtingen en moeten in mijn ogen worden uitgewerkt. Gezien de snelle ingebruikname van ChatGPT in Epic is het van belang dat we als NL ook snel hier een visie op ontwikkelen voordat er een push vanuit de zorg ontstaat die ons een kant op dwingt...

 

[Heyobeentje]

Zoals ik al eerder schreef is dit ook een issue voor onze app Clareco. Wij maken gebruik van verschillende API’s om een goede transcriptie te maken van arts - patientgesprekken. Omdat de verschillende LLM onvoldoende aandoeningen kennen zijn we eerst begonnen te inventariseren wat de modellen wel herkennen en wat niet. Aambei en griep zijn geen probleem bijvoorbeeld. Nu zijn we gestart om aan de hand van lijsten met medische aandoeningen ons model te trainen. Dat houdt in dat die lijsten moeten worden voorgelezen door mannen/vrouwen, verschillende tempo’s en accenten. Wij blijven (nu nog) zoveel mogelijk weg van Latijnse benamingen omdat we vinden dat die ook niet thuis horen in dergelijke gesprekken. De gemiddelde patiënt begrijpt die ook niet.
Volgende stappen zijn de namen van organen en botten, daarna zijn de namen van medicijnen aan de beurt. Daarnaast kijken we naar de kwaliteit van transcripties en pikken er woorden uit die stelselmatig verkeerd worden geschreven. Zo is ‘a la minute’ zo’n term die (hoewel weinig voorkomend) steeds verkeerd gaat.

Het is een flinke klus maar het is niet anders. Gelukkig zijn er LLM’s die in het Engels, Spaans en Frans al wel redelijk goed werken zodat we in die talen minder problemen werk hoeven te verzetten.

 

[bverhoeff]

Zoals ik al eerder schreef is dit ook een issue voor onze app Clareco. Wij maken gebruik van verschillende API’s om een goede transcriptie te maken van arts - patientgesprekken. Omdat de verschillende LLM onvoldoende aandoeningen kennen zijn we eerst begonnen te inventariseren wat de modellen wel herkennen en wat niet. Aambei en griep zijn geen probleem bijvoorbeeld. Nu zijn we gestart om aan de hand van lijsten met medische aandoeningen ons model te trainen. Dat houdt in dat die lijsten moeten worden voorgelezen door mannen/vrouwen, verschillende tempo’s en accenten. Wij blijven (nu nog) zoveel mogelijk weg van Latijnse benamingen omdat we vinden dat die ook niet thuis horen in dergelijke gesprekken. De gemiddelde patiënt begrijpt die ook niet.
Volgende stappen zijn de namen van organen en botten, daarna zijn de namen van medicijnen aan de beurt. Daarnaast kijken we naar de kwaliteit van transcripties en pikken er woorden uit die stelselmatig verkeerd worden geschreven. Zo is ‘a la minute’ zo’n term die (hoewel weinig voorkomend) steeds verkeerd gaat.

Het is een flinke klus maar het is niet anders. Gelukkig zijn er LLM’s die in het Engels, Spaans en Frans al wel redelijk goed werken zodat we in die talen minder problemen werk hoeven te verzetten.

Maken jullie een open source LLM?

 

[Tuur Leeuwenberg]

Als suggestie (deels nav dit project: Raise-2), mogelijk interessant, een toepassingen kan ook zijn: de inzet van LLMs binnen klinisch onderzoek (bijv. als basis voor extractiemodellen die bepaalde studievariabelen uit vrije tekstverslagen / dossiers halen). Uitdagingen zitten dan bijv. in mogelijke fouten in extractie van informatie (en inschatting maken van de verwachte fouten) en hoe om te gaan met deze te weten meetfout in de resultaten. Maar zelfs bij perfecte extractie hoe om te gaan met mogelijk selectieve rapportage en impact/bias op/in uiteindelijke onderzoeksresultaten.