• Beste gast, wij willen dit platform constant verbeteren maar hebben daarbij jouw hulp nodig!
    Wil je een paar minuten van je tijd spenderen aan deze korte enquête?

Onderwerpen gezocht voor Focus Meeting LLM's in de zorg

Pim Volkert

Well-known member
Moderator
Organisatie
Een (landelijk) programma
Na de succesvolle focus meeting over textmining en spraakinput in oktober vorig jaar, komt er dit najaar een vervolg.
Vanuit de community Text mining & NLP, onderdeel van het Kennisplatform Digitale uitwisseling in de zorg, willen we dit keer aandacht besteden aan Large Language Models (LLM's)!
Specifiek gaat het over de (mogelijke) toepassingen van LLM's in de zorg. Welke kansen zien we? Welke bedreigingen zijn er? Waar wordt het al toegepast?
We hebben ook jouw hulp nodig!
Welke onderwerpen mogen volgens jou niet ontbreken op een de focus meeting over LLM's in de zorg? Laat het ons weten en wie weet zie jij jouw onderwerp terug op onze focus meeting dit najaar!
LLM in de zorg.jpg
 
Laatst bewerkt:
Clareco richt zich op het vastleggen van de arts-patient communicatie in het algemeen en voor anderstaligen in het bijzonder.

We hebben 2 apps: de eerste is online en door iedereen te gebruiken, de ander is nog in een testfase maar zal binnen 6 tot 8 weken live zijn.

De eerste app richt zich op het vastleggen van arts-patiënt communicatie. Daartoe neemt de arts -na toestemming- het gesprek op in de app op zijn mobiele telefoon, en zodra het gesprek ten einde is wordt de opname direct omgezet in platte tekst. De arts ontvangt dat document per e-mail en de patiënt ontvangt een SMS met een koppeling. Zodra de patiënt de toegezonden link opent kan hij/zij de tekst bekijken,downloaden maar evt ook realtime vertalen naar een andere taal.

Transcriptie en vertaling worden gedaan met behulp van artificial intelligence waardoor taalherkenning en sprekersherkenning mogelijk zijn.

AVG issues en beveiliging van gegevens zijn afgedekt.

De 2e app bedient een (anderstalige) patiënt die tegen de app kan spreken en kan uitleggen wat zijn/haar klacht is. De AI engine stelt terzakedoende vragen om meer gegevens te verzamelen omtrent de klacht. De app geeft dan de patiënt het advies om een afspraak te maken bij de huisarts om betere diagnose mogelijk te maken.

Ondertussen hebben wij de gegevens, die de patiënt verstrekt heeft, vertaald en samengevat en als schriftelijk document aan de betrokken arts gestuurd. Wanneer de patiënt bij de arts op consult komt weet de arts al min of meer wat de klacht is en kan van daaruit sneller handelen en gericht onderzoek doen.

Deze app is nog in ontwikkeling en we zouden graag meet feedback van huisartsen willen krijgen om de app te optimaliseren.
 
Ik wil graag op de agenda zetten hoe land/taalafhankelijk LLMs zijn en hoe we internationale vergelijkingen kunnen doen vanuit een land. Of hebben we daar internationale terminologiestelsels nodig als tussenstation?
Goede vragen!
 
Ik ben benieuwd naar de vorderingen op het vlak van ontwikkelen van LLM's in NL: als klein taalgebied zijn wij minder interessant voor grote ontwikkelaars. ChatGPT van OpenAI zijn eigenlijk de enige groep LLM's die Nederlands enigszins fatsoenlijk ondersteunen. Uitrollen van gebruik van ChatGPT is interessant voor studiedoeleinden (kwaliteit, ethisch, legaal?) maar in mijn ogen niet wenselijk voor de lange termijn vanwege de lockin die gecreëerd wordt. Als je gebruik wilt maken van open source LLM's dan zijn er volgens mij verschillende opties voor NL:

- gebruik van LLM's in 3 stappen: eerst automatisch vertalen van een prompt naar engels en vervolgens voeden aan open source LLM. Resultaat weer vertalen naar NL.
- trainen van een nederlands LLM (monolinguaal)
- internationale/Europese samenwerking om LLM te creëren dat alle (Europese) talen ondersteunt.

Bovenstaande lijken me de meest logische denkrichtingen en moeten in mijn ogen worden uitgewerkt. Gezien de snelle ingebruikname van ChatGPT in Epic is het van belang dat we als NL ook snel hier een visie op ontwikkelen voordat er een push vanuit de zorg ontstaat die ons een kant op dwingt...
 
Zoals ik al eerder schreef is dit ook een issue voor onze app Clareco. Wij maken gebruik van verschillende API’s om een goede transcriptie te maken van arts - patientgesprekken. Omdat de verschillende LLM onvoldoende aandoeningen kennen zijn we eerst begonnen te inventariseren wat de modellen wel herkennen en wat niet. Aambei en griep zijn geen probleem bijvoorbeeld. Nu zijn we gestart om aan de hand van lijsten met medische aandoeningen ons model te trainen. Dat houdt in dat die lijsten moeten worden voorgelezen door mannen/vrouwen, verschillende tempo’s en accenten. Wij blijven (nu nog) zoveel mogelijk weg van Latijnse benamingen omdat we vinden dat die ook niet thuis horen in dergelijke gesprekken. De gemiddelde patiënt begrijpt die ook niet.
Volgende stappen zijn de namen van organen en botten, daarna zijn de namen van medicijnen aan de beurt. Daarnaast kijken we naar de kwaliteit van transcripties en pikken er woorden uit die stelselmatig verkeerd worden geschreven. Zo is ‘a la minute’ zo’n term die (hoewel weinig voorkomend) steeds verkeerd gaat.

Het is een flinke klus maar het is niet anders. Gelukkig zijn er LLM’s die in het Engels, Spaans en Frans al wel redelijk goed werken zodat we in die talen minder problemen werk hoeven te verzetten.
 
Zoals ik al eerder schreef is dit ook een issue voor onze app Clareco. Wij maken gebruik van verschillende API’s om een goede transcriptie te maken van arts - patientgesprekken. Omdat de verschillende LLM onvoldoende aandoeningen kennen zijn we eerst begonnen te inventariseren wat de modellen wel herkennen en wat niet. Aambei en griep zijn geen probleem bijvoorbeeld. Nu zijn we gestart om aan de hand van lijsten met medische aandoeningen ons model te trainen. Dat houdt in dat die lijsten moeten worden voorgelezen door mannen/vrouwen, verschillende tempo’s en accenten. Wij blijven (nu nog) zoveel mogelijk weg van Latijnse benamingen omdat we vinden dat die ook niet thuis horen in dergelijke gesprekken. De gemiddelde patiënt begrijpt die ook niet.
Volgende stappen zijn de namen van organen en botten, daarna zijn de namen van medicijnen aan de beurt. Daarnaast kijken we naar de kwaliteit van transcripties en pikken er woorden uit die stelselmatig verkeerd worden geschreven. Zo is ‘a la minute’ zo’n term die (hoewel weinig voorkomend) steeds verkeerd gaat.

Het is een flinke klus maar het is niet anders. Gelukkig zijn er LLM’s die in het Engels, Spaans en Frans al wel redelijk goed werken zodat we in die talen minder problemen werk hoeven te verzetten.
Maken jullie een open source LLM?
 
Als suggestie (deels nav dit project: Raise-2), mogelijk interessant, een toepassingen kan ook zijn: de inzet van LLMs binnen klinisch onderzoek (bijv. als basis voor extractiemodellen die bepaalde studievariabelen uit vrije tekstverslagen / dossiers halen). Uitdagingen zitten dan bijv. in mogelijke fouten in extractie van informatie (en inschatting maken van de verwachte fouten) en hoe om te gaan met deze te weten meetfout in de resultaten. Maar zelfs bij perfecte extractie hoe om te gaan met mogelijk selectieve rapportage en impact/bias op/in uiteindelijke onderzoeksresultaten.
 
Inmiddels is bekend geworden dat er een Nederlands Chat GPT model ontwikkeld gaat worden. Het zou natuurlijk mooi zijn als deze ook voor Nederlandse zorg data goed zal gaan werken, maar ik vraag me af welke training data er AVG proof hiervoor gebruikt kan worden.
EPD's bevatten veel open tekst velden. Zal het gebruik van LLM's een verbetering van de kwaliteit van die tekstvelden gaan opleveren? En zal wellicht dan ook meer gestructureerde informatie uit de open tekst velden gehaald kunnen worden ?
 
Inmiddels is bekend geworden dat er een Nederlands Chat GPT model ontwikkeld gaat worden. Het zou natuurlijk mooi zijn als deze ook voor Nederlandse zorg data goed zal gaan werken, maar ik vraag me af welke training data er AVG proof hiervoor gebruikt kan worden.
EPD's bevatten veel open tekst velden. Zal het gebruik van LLM's een verbetering van de kwaliteit van die tekstvelden gaan opleveren? En zal wellicht dan ook meer gestructureerde informatie uit de open tekst velden gehaald kunnen worden ?
Op beide dagen zullen mensen van TNO aanwezig zijn die antwoord kunnen geven op je vragen: https://www.aanmelder.nl/llm2/home
 
Ik heb zo mijn twijfels of het überhaupt een goed idee is om een nieuw LLM te (laten) ontwikkelen. Het geld dat hiervoor op tafel moet komen kan ook anders besteed worden en als dat model er eenmaal is (over 2,3,4 jaar?) zal het zich moeten bewijzen en zullen de investeringen moeten worden terugverdiend op een relatief klein aantal gebruikers. In de tussentijd zijn partijen die hun producten verrijken met ai al een stuk verder mbv bestaande modellen en is het de vraag of die voorsprong ooit zal worden ingelopen. Of zie ik dit verkeerd?

Helaas ben ik de 30e verhinderd.. (vind ik echt jammer)
 
Ik heb zo mijn twijfels of het überhaupt een goed idee is om een nieuw LLM te (laten) ontwikkelen. Het geld dat hiervoor op tafel moet komen kan ook anders besteed worden en als dat model er eenmaal is (over 2,3,4 jaar?) zal het zich moeten bewijzen en zullen de investeringen moeten worden terugverdiend op een relatief klein aantal gebruikers. In de tussentijd zijn partijen die hun producten verrijken met ai al een stuk verder mbv bestaande modellen en is het de vraag of die voorsprong ooit zal worden ingelopen. Of zie ik dit verkeerd?

Helaas ben ik de 30e verhinderd.. (vind ik echt jammer)
Verschillende overheidsdiensten (bijv Justitie en Defensie) mogen de commercieel beschikbare LLM's niet gebruiken. Dat is de reden dat men nu aan GPT-NL gaat werken.
 
Verschillende overheidsdiensten (bijv Justitie en Defensie) mogen de commercieel beschikbare LLM's niet gebruiken. Dat is de reden dat men nu aan GPT-NL gaat werken.
Toevallig geeft de overheid vandaag antwoord waarom ze denkt dat het nodig is: https://www.rijksoverheid.nl/docume...isie-generatieve-ai-artificiele-intelligentie:

Met de ontwikkeling van een eigen open taalmodel, GPT-NL, is het startschot gegeven voor het stimuleren van de ontwikkeling van (open) Nederlandse en Europese large language models, in lijn met publieke waarden. GPT-NL wordt een virtuele faciliteit die open staat voor partners die met data en kennis willen bijdragen aan een taalmodel en toepassingen willen ontwikkelen, bijvoorbeeld op het gebied van veiligheid, gezondheid, onderwijs en overheidsdienstverlening. Tegelijkertijd zal er gewerkt worden aan ethische kaders voor het verantwoord gebruik van generatieve AI in de doorontwikkeling van het implementatiekader voor algoritmen (IKA) voor gebruik van de overheid.
 
Ik ben benieuwd naar de vorderingen op het vlak van ontwikkelen van LLM's in NL: als klein taalgebied zijn wij minder interessant voor grote ontwikkelaars. ChatGPT van OpenAI zijn eigenlijk de enige groep LLM's die Nederlands enigszins fatsoenlijk ondersteunen. Uitrollen van gebruik van ChatGPT is interessant voor studiedoeleinden (kwaliteit, ethisch, legaal?) maar in mijn ogen niet wenselijk voor de lange termijn vanwege de lockin die gecreëerd wordt. Als je gebruik wilt maken van open source LLM's dan zijn er volgens mij verschillende opties voor NL:

- gebruik van LLM's in 3 stappen: eerst automatisch vertalen van een prompt naar engels en vervolgens voeden aan open source LLM. Resultaat weer vertalen naar NL.
- trainen van een nederlands LLM (monolinguaal)
- internationale/Europese samenwerking om LLM te creëren dat alle (Europese) talen ondersteunt.

Bovenstaande lijken me de meest logische denkrichtingen en moeten in mijn ogen worden uitgewerkt. Gezien de snelle ingebruikname van ChatGPT in Epic is het van belang dat we als NL ook snel hier een visie op ontwikkelen voordat er een push vanuit de zorg ontstaat die ons een kant op dwingt...
Vandaag heeft de NL overheid haar visie gepubliceerd: https://open.overheid.nl/documenten/9aa7b64a-be51-4e6a-ad34-26050b8a67ef/file
 
Artsen geven aan dat de meerwaarde niet voldoende is om breed gebruik te willen maken van LLM's in patiënt-arts gesprekken.
Reden is dat het (nog) niet gestructureerd weggeschreven kan worden in het EPD.
'We gaan dan weer terug in de tijd om ongestructureerde data op te nemen in ons EPD en daardoor niet uitwisselbaar is'; aldus een arts.

Zijn er al ervaringen die positiever uitwijzen?

Even een vrije gedachte:
Is er een manier waarbij de ongestructureerde tekst (Speech-to-Text) herkend kan worden (NLP) en omgezet kan worden in codes (terminologie-server?) en dat daarvan een bijvoorbeeld een FHIR-bericht kan worden samengesteld (Transcript via LLM in FHIR-formaat)?
 
Artsen geven aan dat de meerwaarde niet voldoende is om breed gebruik te willen maken van LLM's in patiënt-arts gesprekken.
Reden is dat het (nog) niet gestructureerd weggeschreven kan worden in het EPD.
'We gaan dan weer terug in de tijd om ongestructureerde data op te nemen in ons EPD en daardoor niet uitwisselbaar is'; aldus een arts.

Zijn er al ervaringen die positiever uitwijzen?

Even een vrije gedachte:
Is er een manier waarbij de ongestructureerde tekst (Speech-to-Text) herkend kan worden (NLP) en omgezet kan worden in codes (terminologie-server?) en dat daarvan een bijvoorbeeld een FHIR-bericht kan worden samengesteld (Transcript via LLM in FHIR-formaat)?
LLM's/NLP kan je voor meerdere doelen inzetten. Mijn doel is eraan mee te werken dat vrije tekst of spraak omgezet wordt naar gestructureerde en gecodeerde data.
Daar heb ik alleen nog maar demo voorbeelden in de VS van gezien. Door Nuance. Niet toevallig ook aanwezig met een stand op het congres dinsdag 30 januari. Zie het programma: https://www.aanmelder.nl/llm2/home. Het is een kwestie van tijd dat het in de Nederlandse XIS-en gaat werken.

Grappig trouwens dat artsen denken terug in de tijd te gaan. Veel waardevolle informatie staat nu juist in vrije tekst weggeschreven. Medisch codeurs durven de codering van artsen niet te gebruiken. Idem het verhaal van een AI ontwikkelaar. Huisartsen die vrije teksten in hun inbox krijgen.
Reden genoeg om gas te geven op de ontwikkeling van LLM's in de zorg!
Die ontwikkelaars komen trouwens op de volgeboekte maandagmiddag. Met ook een mooi programma: https://www.aanmelder.nl/llm/home

Overigens hoorde ik gisteren een huisarts die Juvoly gebruikt zeggen met het 'simpel' structureren in de SOEP velden hem al ca. 3 minuten per consult aan tijd oplevert.
 
Dank voor je reactie Pim.
Volledig mee eens dat we door moeten blijven ontwikkelen.
Overigens doen wij ook mee met het AI-gestuurd coderen initiatief van DHD.
 
Bij Juvoly merken we dat zowel gestructureerd als ongestructureerd rapporteren van groot belang zijn, zo kan een anamnese voor een huisarts informatie bevatten waar geen codering voor bestaat (althans, een codering die echt goed kan beschrijven waar het om ging).

We richten onze pijlen nu wel op het doorontwikkelen van onze LLM (met als basis https://huggingface.co/HuggingFaceH4/zephyr-7b-beta - tot nu toe de beste LLM voor de Nederlandse taal) om FHIR uit patient-arts gesprekken te halen. Als "AI ontwikkelaar" mis ik eigenlijk vooral de volgende resources:
- Openbare anonieme datasets van Nederlandse patient-arts gesprekken
- Openbare anonieme datasets van Nederlandse FHIR resources (die bij deze gesprekken zouden horen)

Een van de grootste uitdagingen van LLMs is het daadwerkelijk in gebruik nemen van LLMs: een huisarts heeft geen zin om meer dan 10 seconden te wachten ("Ik typ wel sneller"). Dus vaak heb je wel een stuk of 4 sterke GPUs nodig om redelijke performance te bieden aan zorgverleners.

Ik denk dat GPT-NL een mooie ontwikkeling is - wel zien we al behoorlijk wat "Nederlandstalige" LLMs voorbij komen die al behoorlijk goed werken. In the end zal het altijd gaan om het verkrijgen van data, vooral in de zorg hebben we de domein-specifieke gegevens nodig om een LLM zo goed mogelijk te trainen om een zinnige output te krijgen. (P.s. "Geitje" https://goingdutch.ai/nl/ is een van de krachtigste Nederlandstalige LLMs die ik tot nu toe heb kunnen gebruiken. In de zorg mogelijk nog niet, maar wel in het algemeen).

Is er een manier waarbij de ongestructureerde tekst (Speech-to-Text) herkend kan worden (NLP) en omgezet kan worden in codes (terminologie-server?) en dat daarvan een bijvoorbeeld een FHIR-bericht kan worden samengesteld (Transcript via LLM in FHIR-formaat)?
We komen steeds dichterbij een wereld waar dit inderdaad mogelijk is. Het probleem van "dialoog" naar FHIR is wel iets anders dan "klinische notitie" naar FHIR - eigenlijk worden LLMs vooral gebruikt voor het laatste. Wij (Juvoly) zijn in ieder geval hard bezig met onze LLMs steeds een beetje slimmer te maken op dit gebied, maar het is zeker niet eenvoudig.
 
Terug
Bovenaan