Afgelopen vrijdag 3 juni organiseerde het lectoraat Human Experience & Media Design van de Hogeschool Utrecht een symposium over Conversational Interfaces in de Gezondheidszorg. Een niet te missen evenement voor MERLINQ - digitale vernieuwers in zorg en welzijn. Wij zien conversational als een prachtige hefboom voor mensgerichte vernieuwing waar individuen, organisaties en samenleving sterker van worden. Mijn taalwetenschappelijke achtergrond speelt daar natuurlijk een rol in. Hierbij mijn belangrijkste observaties.

Generatieve taalmodellen missen context en controle

De ochtend was gereserveerd voor de wetenschap. Professor Stephan Raaijmakers (Leiden en TNO) pakte in de openingspresentatie meteen de koe bij de hoorns. De markt wordt overspoeld met conversationele oplossingen met GPT-3 onder de motorkap. Ze werken soms verrassend goed, maar zullen nooit tot werkelijke menswaardige communicatie leiden. Want GPT-3 is een generatief taalmodel: het creëert tekst uit tekst zonder oog voor betekenis en context.

Professor Raaijmakers vindt niet dat we moeten afstappen van GPT-3. Er zijn grote voordelen van dergelijke 'transformers' boven de arbeidsintensieve gescripte en regelgebaseerde toepassingen. Er zijn twee grote toevoegingen nodig om er vertrouwde communicatie mee mogelijk te maken: 

1. Context. Bijvoorbeeld door te leren uit de breekpunten in mens-tot-mens-dialogen en chatbotdialogen.

2. Een persoonlijk model (wat heeft de AI tot nu toe over mij geleerd?) dat je zelf kunt resetten. Bijvoorbeeld door een controlelaag om generatieve modellen te bouwen met behulp van metadata. 

Raaijmakers eindigde met een fascinerend dilemma: hoe natuurlijker een chatbot is, des te gevoeliger voor hacking. Menswaardige conversationele communicatie en veiligheid als communicerende vaten.

Ouderen in gesprek over welzijn: serieus of spielerei?

Dr. Iris Hendrickx, computationeel taalkundige bij de Radboud Universiteit, vertelde over het NWO-project BLISS. De centrale onderzoeksvraag: hoe kunnen we intelligente gepersonaliseerde sprekende dialoogsystemen ontwikkelen waarmee mensen kunnen praten in het Nederlands voor inzicht en zelfmanagement van hun geluk en welzijn? Een feest van herkenning voor mij, want dit is bijna 1-op-1 de omschrijving van een concept dat ik in teamverband ontwikkelde binnen CZ. Mooi om te zien dat hier wetenschappelijk onderzoek naar wordt gedaan. 

Het onderzoek zelf is geplaagd door corona. Het eerste prototype van de voice-applicatie draaide namelijk op een laptop waarmee de onderzoekers op locatie onderzoek deden in verzorgingstehuizen. Dat ging al snel niet meer. De feedback vanuit zorgorganisatie op het idee: nuttig ter vermaak en voor afleiding; geen serieuze ondersteuning bij het welzijn. Hendrick concludeert mede op basis hiervan zelf ook dat dit dialoogsysteem handig is om vragenlijsten te vervangen, een dagboek bij te houden, en als vermaak te dienen.

In de geest van het "persoonlijke model" van Raaijmakers, had een van de deelprojecten van BLISS als doel om de gebruiker meer inzicht te geven in wat er over hem is opgeslagen. De wetenschappers kozen voor technisch onderzoek naar de mogelijkheid om automatisch een samenvatting van het gesprek te genereren. Het lukte goed om deze samenvatting van de 'ik'-vorm naar de 'jij'-vorm te krijgen, maar inhoudelijk viel ze tegen. "Wandelen op het strand" en "wandelen in het bos" werden op een hoop gegooid. Niet vreemd, want zoals gezegd begrijpen generatieve toepassingen de woorden waarmee ze werken helemaal niet.

Zorgmedewerkers frissen medische kennis op met hun stem

Na een co-creatie sessie en de lunch, was het tijd voor een drietal cases. Carla Verwijmeren van Y.Digital trapte af met een presentatie om te inspireren. Wat voor nieuwe mogelijkheden ontstaan er met conversationele interfaces in de wereld van gezondheidszorg? Naast het Kletsbot-initiatief, waar zij zelf bij betrokken is, liet ze twee promofilms zien van het Britse My Carer (waarin een Amazon Alexa-skill mensen met dementie in de thuissituatie ondersteunt) en Emma Zorgt (een uitbreiding op de personenalarmering via de Google Assistent). My Carer en Emma Zorgt zijn de pilotfase niet voorbijgekomen. Carla vermoedt dat het negatieve sentiment rond big tech hiermee te maken heeft.

Carla ging vervolgens dieper in op de case van Robin, de virtuele assistent voor medewerkers van zorgorganisatie Zorgbalans. Aan het begin van dit traject werd de technologie als vertrekpunt genomen: wat zouden we allemaal kunnen met spraak? De keuze viel op medische protocollen. Zorgverleners die een minder vaak voorkomende handeling gaan doen bij een cliënt, bereiden zich hierop voor met behulp van de kennisbank van Vilans. Hierin liggen 400 medische protocollen opgeslagen. In een pilot met 40 medewerkers is deze kennis ontsloten in Robin, een virtuele assistent met een grafische interface die ook spraakgestuurd gebruikt kan worden op Android-devices. 

Het geschikt maken van de protocollen om in dialoogvorm ontsloten te worden heeft relatief veel tijd gekost. Ook het produceren van ondersteunende video's was arbeidsintensief. Hier ligt misschien wel de belangrijkste les: hoe onderhoud je zo'n kennisbank-nieuwe stijl? Antwoord vinden op die vraag kan wel de moeite lonen, want de cijfers laten zien dat Robin de vindbaarheid en bruikbaarheid van de medische protocollen sterk verbeterd heeft. Klinkt eigenlijk als een mooie business case voor Vilans zelf. 

Een andere case uit de zorg werd gepresenteerd door innovatiemanager Tim van de Geijn van de Limburgse zorgorganisatie Sevagram. Dit verhaal had ik al eerder gehoord tijdens een Voice Lunch. Toen schreef ik er dit verslag van.

Mens en machine nog niet echt in gesprek over gezondheid

Na de middagpauze verzorgde ik zelf een interactieve presentatie. Ik pitchte om te beginnen nogmaals het idee waar BLISS mij zoveel aan deed denken: 

"een intelligente, spraakgestuurde dienst die mij dagelijks advies geeft om de balans in mijn leven te ondersteunen, te versterken, of een disbalans te herstellen"

Daarna constateerde ik dat het idee nog geen werkelijkheid is geworden. Naast zorginhoudelijke redenen komt dat door de stand van conversationele technologie. Ik ging met het publiek in gesprek aan de hand van een aantal stellingen. Dat gaf een levendige discussie. 

De stellingen waren bedoeld om onze hypotheses over conversational en gezondheid te toetsen. Bijvoorbeeld over de eenzijdige focus van digitale gesprekken op de inhoud en de onderschatting van de niet-talige aspecten. Over de inherente beperkingen aan grafische interfaces om iets te bieden wat echt voelt als voor jou persoonlijk. En over de speciale aanpak die conversational projecten vragen: een brug slaan tussen business, techniek én wetenschap. Wil je alle stellingen, hypotheses en oplossingsrichtingen weten? Download mijn slidedeck "Mens & machine in gesprek over gezondheid". 

De dag werd afgesloten door Guido Jongen die het concept van 'digital human' pitchte als manier om de beperkingen van het digitale gesprek te verminderen met menselijke avatars.

Conversational en gezondheidszorg: een levendige coalitie!

Lector Koen van Turnhout heeft met dit fijne symposium een nieuwe impuls gegeven aan de Utrechtse Conversational Interface Coalitie. Een dag als deze smaakt naar meer en MERLINQ biedt zich graag aan om de eerstvolgende te helpen realiseren.

Op zoek naar de zin van sociale robots

Onder de motorkap van Furhat Robotics

Een goed gesprek met duidelijk nep

Mijn naam is Stella Punselie. Ik ben een masterstudent Taalwetenschap en sinds begin 2021 junior conversation designer bij MERLINQ.

Over het gebruik van conversational AI (denk aan een chatbot van een willekeurig bedrijf, of voice assistants als Siri of Google Home) hoor ik vaak gemengde reacties. Het valt me op dat negatieve ervaringen vaak voortkomen uit de onbekwaamheid van zo’n bot: als je om hulp vraagt aan een virtuele assistent die maar niet wil begrijpen wat je nodig hebt, werkt dat natuurlijk averechts. Zoals Bas al schreef in een eerdere blog, is dit een van de grootste punten waarop conversational AI kan, of misschien wel moet, worden verbeterd.

Dat is waar conversation designers in het spel komen. Een interessant gebied voor mij als taalwetenschapper, omdat het hier gaat om het pragmatische aspect van taal in context. Een voorbeeld: in een face-to-facegesprek met mensen kun je veel afleiden uit de non-verbale cues die iemand jou geeft. Een gesprekspartner die oogcontact houdt en af en toe knikt, geeft aan dat die naar je verhaal luistert. En wanneer iemand stopt met praten en jou vragend aankijkt, kun je ervan uitgaan dat het jouw beurt is om iets te zeggen. Maar aangezien bij chatbots en voice assistants de virtuele gesprekspartner onzichtbaar is, moeten dit soort boodschappen puur met woorden uitgedrukt worden. En daar komt heel wat bij kijken. 

Converseren kun je leren

Om beginnende conversation designers van verschillende achtergronden eenzelfde framework te geven, biedt het Conversation Design Institute een aantal cursussen aan. Deze zijn gericht op algemeen conversation design of meer specifiek op copywriting of het trainen van AI-modellen. De cursus ‘Conversation Designer’ die ik volg, bestaat uit twee delen: de fundamentals (alles wat je moet weten voordat je een chatbot of voice assistant begint te ontwerpen), en de workflow (over het proces wanneer je je bot daadwerkelijk gaat ontwikkelen).

Aan de hand van uitleg en vooral heel veel voorbeelden geeft het eerste deel van de cursus een goed beeld van de do’s en don’ts als het gaat over het schrijven van dialogen. Zie hieronder bijvoorbeeld een introductie van een bot (dit zou zowel een chatbot als voice assistant kunnen zijn) waarin ten minste vijf dingen beter kunnen:

Hallo, mijn naam is Sam. Ik kan je helpen met vragen over je abonnement. Ik heb nog veel te leren, dus ik zou het fijn vinden als je me feedback geeft na afloop van ons gesprek.

Ten eerste is deze bot erg gericht op zichzelf (bot-centric), terwijl het juist belangrijk is om vanuit de gebruiker te redeneren (user-centric). Het tweede en derde punt hangen hiermee samen. Het is niet wijs om te benadrukken wat de bot allemaal nog moet leren (focus liever op wat de bot wél kan). Ook is het niet zo beleefd om meteen al om gunsten te vragen (namelijk het geven van feedback) voordat de bot überhaupt iets voor de gebruiker heeft betekend. Daarnaast - en dit is vooral het geval bij chatbots - is het van belang dat de gebruiker altijd weet of deze met een mens of een bot aan het praten is. Zorg voor realistische verwachtingen door je bot simpelweg te introduceren als ‘virtuele assistent’ of ‘chatbot’. Het laatste punt heeft te maken met het einde van het bericht: dit nodigt niet uit tot een dialoog. Het is handiger om het bericht af te sluiten met een vraag. In plaats van de gebruiker te laten hangen, maak je hiermee duidelijk dat de beurt nu aan hen is. Met deze adviezen in het achterhoofd zou een betere introductie er zo uit kunnen zien: 

Hallo, ik ben Sam, de virtuele assistent van [bedrijf X]. Ik kan je helpen met vragen over je abonnement of een afspraak inplannen met een van onze adviseurs. Wat kan ik voor je betekenen?

Andere thema’s binnen de ‘fundamentals’ zijn bijvoorbeeld empathie, impliciete en expliciete bevestiging, en omgaan met verschillende typen errors. Deze kennis kun je vervolgens toepassen wanneer je met de workflow aan de slag gaat in het tweede deel. Maar daarover een andere keer meer.

Chat Nederlands met me

In principe zijn de theorieën van het Conversation Design Institute breed toepasbaar, of je nu een chatbot ontwerpt voor een verzekeringsmaatschappij of een voice assistant in een luxe vakantievilla. Net als de lessen zijn ook de voorbeelden allemaal in het Engels. Goed voor een internationaal publiek, natuurlijk. Maar wie een slimme chatbot of voice assistant ontwerpt in het Nederlands, of elke andere taal, moet zich bewust zijn van de extra uitdagingen die hierbij komen kijken. Voor het Nederlands begint het al bij de vraag welke aanspreekvorm het beste past bij je publiek: willen zij ‘u’ of ‘jij’ genoemd worden, en hoe maak je die beslissing? En dan zijn er nog de diepere culturele kwesties. Wil een Engelse gebruiker bijvoorbeeld meer bij de hand genomen worden door een virtuele assistent, terwijl een Nederlandse gebruiker zich juist meer autonoom wil voelen? En hoe maak je daar realistische voorspellingen over, waarbij je tegelijkertijd oppast voor stereotypering?

Als junior conversation designer bij MERLINQ wil ik mij inzetten voor gebruiksvriendelijke, natuurlijke conversational AI met oog voor het individu. Want de ontwikkelingen op dit gebied mogen aantrekkelijk zijn voor iedereen.

Afbeelding: Louis Jansen (CC)

Vorige week sprak Bert Gulikers tijdens de wekelijkse Voice Lunch - het online netwerkevenement over kansen met spraaktechnologie. Hij deelde lessen uit een pilotproject in Limburg met spraakgestuurd registreren in het verpleeghuis.

Bert implementeert ICT in de zorg en is daar goed voor geëquipeerd: ooit opgeleid tot verpleegkundige en jarenlang actief geweest als SAP-implementator. Een verandermanager met hart voor de zorg die techniek en mens kan koppelen. Bert vertelde tijdens de VoiceLunch met smaak over een exploratief project bij meerdere vooruitstrevende Limburgse verpleeghuisinstellingen. Hun visie: de vraag is niet of spraakgestuurde zorg er komt, maar wanneer. Begin 2019 ontstond er - vanuit door VWS beschikbare transitiegelden - ruimte om praktijkonderzoek te doen naar de voordelen van een spraakgestuurd elektronisch cliëntendossier. Te beginnen met spraakgestuurd rapporteren door zorgverleners.

Doelstellingen concretiseren

Het pilotproject met spraakgestuurd registreren had meerdere doelen:

• De registratietijd verkorten (en de vrijgekomen tijd besteden aan de cliënt)

• De registratie verbeteren door directe verwerking (geen kwijtgeraakte briefjes meer of informatie uit het hoofd)

• Het imago van verpleeghuiszorg oppoetsen om jongeren aan te trekken.
  

Om draagvlak te creëren voor een nieuw initiatief, helpt het om doelen te kunnen kwantificeren. Dat viel in dit geval nog niet mee. Hoeveel korter de registratietijd kon worden dankzij spraak was bijvoorbeeld een taaie om te berekenen. Omdat registreren deels op papier gebeurt, omdat de begin- of eindtijd niet altijd in het systeem worden vastgelegd, en omdat iedere zorgverlener anders praat. Bert schat in dat een goed ingewerkte persoon via spraak ongeveer 500 karakters per minuut kan halen. In theorie zou dat de registratietijd kunnen halveren ten opzichte van registreren met toetsenbord en muis.

Leveranciers koppelen

Het project kon qua techniek pas van start als leveranciers van spraaktechnologie en leveranciers van software voor elektronische cliëntendossiers (ECD) gingen samenwerken. Eerst is onderzoek gedaan naar de markt van leveranciers van spraaksoftware. Eén gekozen partij levert spraak bovenop EPD’s in ziekenhuizen en kon die expertise vertalen naar verpleeghuiszorg. Een andere geselecteerde partij ondertitelt live de raadsvergaderingen van gemeentes, waaronder Amsterdam.

Ingewikkelder was het om de ECD-leveranciers van de verpleeghuizen in de meewerkstand te krijgen. Opmerkelijk genoeg bleek tijdens de verkenning dat geen van hen spraak op hun eigen product roadmap had gezet. Dat lijkt vooral een gebrek aan geloof in de toekomst van spraak als meest laagdrempelige interface. De technische complexiteit van het integreren van spraak in hun applicatie wilden sommige leveranciers pas overwegen als voldoende klanten er expliciet om vragen.

Implementatie-uitdagingen

Toen ECD-leveranciers en spraaktechnologiebedrijven de koppen bij elkaar hadden gestoken en elk van de deelnemende zorginstellingen een afgevaardigde naar voren had geschoven, kon de pilot ook qua proces verder uitgedacht worden. Dat was zeker geen kwestie van ‘plug & play’:

• Met spraak rapporteren is een heel ander proces dan van tevoren bedenken wat je wil rapporteren. 

• Ook de omstandigheden zijn heel anders. Collega’s kunnen ineens horen wat je vertelt, waar ze dat normaal gesproken niet mee kunnen lezen. 

• Je moet een omgeving opzoeken met zo min mogelijk achtergrondgeluiden. 

• Je moet bereid zijn de software extra bij te trainen op Nederlanders met een Limburgs accent. 

• Een bibliotheek met woorden vanuit een andere branche is niet meteen met 100% kwaliteit te hergebruiken in het verpleeghuis.

• Spraak is een persoonsgegeven, waardoor er van alles geregeld moet worden om te voldoen aan Europese privacywetgeving.

• Een goede wifi-dekking met voldoende capaciteit is erg belangrijk.

Met andere woorden: er kwam nogal wat bij kijken. Corona heeft uiteraard ook in dit project gezorgd voor de nodige problemen en vertraging. En waar de voorlopers (de afgevaardigden) er wel zin in hadden, bleek het in sommige teams waar ze deel van uitmaakten te ontbreken aan doorzettingsvermogen. 

Business case rond?

Er is pas bij één instelling geëvalueerd en deze is enthousiast om spraakgestuurd registreren intern verder op te schalen. Deze vervolgstap is er nog niet doorheen. Dat heeft vooral met technische beperkingen te maken omdat er nog geen toekomstvaste oplossing beschikbaar is. Daarnaast moet je bepalen hoe je het efficiencyvoordeel precies naar de cliënt vertaalt. En of de kosten om spraak toe te voegen aan een ECD hiertegen opwegen. Wat is dan nog het draagvlak? Voordat de opschaling er gaat komen zal dan ook eerst bekeken worden of de tarieven bij volledige uitrol geen bottleneck gaan vormen. 

Of er een bekostiging gevonden kan worden zonder transitiegelden is ook nog een verkenning waard. Daarbij hoort voor mij ook de vraag of intramurale zorg de beste use case is voor spraaktoepassingen. Spoedzorg lijkt voor de hand liggender. Ik woonde recent een zorghackathon bij waar een pitch werd gehouden voor ambulancepersoneel dat onderweg achter het stuur kon vertellen wie er achterin lag, in plaats van de ziekenwagen stil te moeten zetten om dat moeten op te schrijven of intypen. Zo’n context spreekt op bestuurlijk niveau meer tot de verbeelding. Tegelijkertijd is dat project bij een pitch gebleven en zijn er intramuraal in Limburg juist wel meters gemaakt.

Kijkje in de keuken

Met dank aan Maarten Lens-Fitzgerald voor het organiseren van de VoiceLunch en Bert Gulikers voor de presentatie. Ook een VoiceLunch bijwonen? Abonneer je op Maartens nieuwsbrief. Wie weet spreek ik je daar!