Algemeen

Evaluatie van de LLM modellen

This post is for subscribers only

Already have an account? Sign in.

Moeten we eerst onze formats erin zetten?

This post is for subscribers only

Already have an account? Sign in.

Mag ik spraaktechnologie en AI inzetten voor patienten?

Dat is een hele goede vraag en daarover zijn we druk in gesprek met onze juristen. Onze conclusie is dat een spraak naar tekst applicatie zoals wij deze aanbieden naast onze huidige ISO27001 en NEN7510 certificering, tevens als Medisch Hulpmiddel (MDR) gecertificeerd zal moeten worden. dus de ISO13485 klasse I of II.

Hierbij een link naar de AI-Act en daarnaast een link naar een FDA discussie stuk over AI, die beiden uitgaan van:

High-risk = High-penalty

Onze zienswijze is als volgt; ten eerste valt elke applicatie in de zorg in de hoge risico klasse:

Risicoclassificering

En als we kijken naar het FDA gebaseerde het MDRF-risicoraamwerk dat identificeert de volgende twee belangrijke factoren die een beschrijving geven van het beoogde gebruik van de Software als Medisch Hulpmiddel (SaMD):

  1. De significantie van de informatie die door de SaMD wordt verstrekt voor de zorgbeslissing, die het beoogde gebruik van de door de SaMD verstrekte informatie identificeert - d.w.z. om te behandelen of te diagnosticeren; om klinisch management te sturen; of om klinisch management te informeren; en
  2. De staat van de gezondheidssituatie of -toestand, die de beoogde gebruiker, ziekte of aandoening en de populatie voor de SaMD identificeert - d.w.z. kritieke; ernstige; of niet-ernstige gezondheidssituaties of -toestanden.
Tabel

Uit bovenstaande twee overzichten kunnen we opmaken dat bijvoorbeeld triage systemen onder hoog risico klasse III vallen en hiermee zeker ISO13485 klasse IIB gecertificeerd zullen moeten zijn. Alhoewel dit (voorlopig) nog niet geldt voor spraak-naar-tekst applicaties denken we hier toch dicht tegenaan te zitten. Daarom hebben wij ook intern besloten de weg van MDR certificering in te slaan.

Welk risico loopt de leverancier

Volgens de AI-Act valt de meerderheid van de verplichtingen nog altijd op de aanbieders (ontwikkelaars) van hoogrisico AI-systemen zoals spraak-naar-tekst applicaties:

  • Degenen die (van plan zijn) hoogrisico AI-systemen op de markt te brengen of in gebruik te nemen in de EU, ongeacht of ze in de EU of een derde land zijn gevestigd.
  • Aanbieders uit derde landen waarvan de output van het hoogrisico AI-systeem in de EU wordt gebruikt.

Verplichtingen ontwikkelaar of leverancier:

Het is voor ons een verplichting om te zorgen voor:

  • Technische documentatie, gebruiksinstructies verstrekken, voldoen aan de auteursrechtrichtlijn en een samenvatting publiceren over de inhoud die voor training is gebruikt.
  • Modelevaluaties uitvoeren, tegenstrijdige tests doen, ernstige incidenten bijhouden en melden en zorgen voor cybersecuritybescherming.

Om hiervoor zorg te dragen hebben wij een uitgebreide evaluatie module ontwikkeld die de zorgverlener in staat stelt om ieder LLM of template met prompts te kunnen beoordelen. Hiermee voldoen we aan het onderdeel om constant de modelevaluaties uit te voeren. Zeker in een AI wereld waarbij de LLM's ieder kwartaal verdubbelen in kennis en kunde, is dit nu net een cruciaal onderdeel.

Scherm om een modelevaluatie uit te kunnen voeren:

Consult details

Wat is nodig om te kunnen starten met spraaktechnologie?

This post is for subscribers only

Already have an account? Sign in.

De eerste keer HealthTalk gebruiken

Als je voor de eerste keer HealthTalk gaat gebruiken moet je eerste even de juiste Templates instellen. Je klikt daarvoor op je eigen naam in de rechterbovenhoek en opent "Beheer Sjablonen":

Afspraken overzicht

Daarna kom je op een leeg scherm, omdat ik al Sjablonen heb zie je bij mij al een lijst staan. Daarna klik je op de knop "Briefsjabloon importeren":

Sjablonen overzicht

In het volgend scherm kun je dan de juiste formaten selecteren die je daarna ook aan kunt passen naar wat je denkt dat goed is:

Selectie van format

Hieronder ook een filmpje met uitleg hoe dat er allemaal uit ziet:

Is spraaktechnologie moeilijk om te gebruiken?

Kort samengevat is het antwoord "Nee" zolang je maar gespecialiseerde technologie gebruikt.

Wat is Spraaktechnologie?

Spraaktechnologie maakt gebruik van software om gesproken taal te begrijpen en om te zetten in geschreven tekst. In de zorg kan dit bijvoorbeeld gebruikt worden om gesprekken tussen artsen en patiënten automatisch om te zetten in medische rapporten.

Specialistische Terminologie:

  • Uitdaging: Medische rapporten bevatten veel specialistische termen en jargon die generieke spraakmodellen mogelijk niet goed herkennen.
  • Gevolg: Dit kan leiden tot fouten in de rapporten, zoals verkeerd gespelde woorden of verkeerde interpretaties van termen.

Omgevingsgeluiden:

  • Uitdaging: Ziekenhuizen en klinieken zijn vaak luidruchtige omgevingen met geluiden van apparatuur, andere gesprekken en algemene achtergrondgeluiden.
  • Gevolg: Deze geluiden kunnen de nauwkeurigheid van de spraakherkenning verminderen, wat kan resulteren in onjuiste transcripties.

Accenten en Dialecten:

  • Uitdaging: Zorgverleners en patiënten hebben verschillende accenten en dialecten, die moeilijk te herkennen kunnen zijn voor generieke spraakmodellen.
  • Gevolg: Dit kan leiden tot fouten bij het omzetten van spraak naar tekst, vooral bij regionale of persoonlijke variaties in uitspraak.

Privacy en Veiligheid:

  • Uitdaging: Medische rapporten bevatten zeer gevoelige en persoonlijke informatie.
  • Gevolg: Het is cruciaal dat de spraaktechnologie voldoet aan strikte privacywetten en veiligheidsnormen om ervoor te zorgen dat patiëntgegevens beschermd blijven.

Personalisatie en Context:

  • Uitdaging: Generieke spraakmodellen zijn niet specifiek getraind op de context van individuele patiënten of specifieke medische situaties.
  • Gevolg: Dit kan resulteren in minder nauwkeurige rapporten, omdat de technologie niet altijd de juiste context begrijpt.

Oplossingen voor Medische Rapportage:

Training met Medische Data:

  • Oplossing: Het trainen van spraakmodellen met een uitgebreide set van medische gegevens en termen kan de nauwkeurigheid van de technologie aanzienlijk verbeteren.

Gebruik van Speciale Microfoons:

  • Oplossing: Geavanceerde microfoons kunnen omgevingsgeluiden filteren, waardoor de spraakhelderheid en herkenningsnauwkeurigheid worden verhoogd.

Accent- en Dialecttraining:

  • Oplossing: Het trainen van modellen met spraakdata van verschillende accenten en dialecten kan helpen om een breder scala aan sprekers nauwkeurig te begrijpen.

Veilige Software en Dataopslag:

  • Oplossing: Implementatie van streng beveiligde software en naleving van privacywetgeving (zoals de AVG) om ervoor te zorgen dat alle medische gegevens veilig worden behandeld en opgeslagen.

Contextspecifieke Aanpassingen:

  • Oplossing: Het aanpassen van spraakmodellen aan specifieke medische contexten en het gebruik van feedback van zorgverleners om de technologie continu te verbeteren.

Conclusie

Het gebruik van spraaktechnologie om spraak om te zetten in tekst voor medische rapportage kan veel voordelen bieden, zoals tijdsbesparing en verbeterde nauwkeurigheid van patiëntendossiers. Echter, er zijn uitdagingen zoals specialistische terminologie, omgevingsgeluiden, accenten, privacy en personalisatie die aangepakt moeten worden. Door middel van gerichte training, geavanceerde technologie en strikte veiligheidsmaatregelen kunnen deze uitdagingen overwonnen worden, waardoor spraaktechnologie een waardevol hulpmiddel wordt in de medische rapportage.

Hoeveel tijd kan ik besparen met spraaktechnologie?

Het gebruik van spraaktechnologie kan aanzienlijke tijdsbesparingen opleveren voor zorgverleners. Hier is een voorbeeld van hoeveel tijd een huisarts en een zorgverlener in de GGZ kunnen besparen:

Voorbeeld 1: Huisarts

Consultduur: 8 minuten

Traditionele Methode:

  • Documentatie na het consult: gemiddeld 5 minuten

Met HealthTalk:

  • Documentatie na het consult: gemiddeld 1 minuut

Tijdsbesparing: 4 minuten per consult

Stel dat een huisarts 20 consulten per dag heeft:

  • Totale tijdsbesparing per dag: 20 consulten x 4 minuten = 80 minuten (1 uur en 20 minuten)

Voorbeeld 2: GGZ

Gespreksduur: 1 uur

Traditionele Methode:

  • Rapportage na het gesprek: 30 tot 90 minuten
  • Gemiddelde tijd voor rapportage: 60 minuten

Met HealthTalk:

  • Rapportage na het gesprek: 70% tijdsreductie
  • Nieuwe gemiddelde tijd voor rapportage: 60 minuten x 0.3 = 18 minuten

Tijdsbesparing: 60 minuten - 18 minuten = 42 minuten per gesprek

Stel dat een zorgverlener in de GGZ 5 gesprekken per dag heeft:

  • Totale tijdsbesparing per dag: 5 gesprekken x 42 minuten = 210 minuten (3 uur en 30 minuten)

Conclusie

Met HealthTalk kunnen zorgverleners aanzienlijke tijd besparen bij het documenteren van consulten en gesprekken:

  • Huisarts: Bespaart ongeveer 1 uur en 20 minuten per dag.
  • GGZ-zorgverlener: Bespaart ongeveer 3 uur en 30 minuten per dag.

Deze tijdsbesparing kan zorgverleners helpen om meer tijd te besteden aan directe patiëntenzorg, het verbeteren van de kwaliteit van zorg en het verminderen van administratieve lasten.

Wachtwoord vergeten

Mocht je je eigen wachtwoord zijn vergeten dan is het niet mogelijk deze bij ons op te vragen omdat wij daar niet bij kunnen. Dit kan alleen maar via de knop "wachtwoord vergeten":

Login scherm

Vul daar het juiste emailadres in zodat je via de email een reset van je wachtwoordn kunt doen:

Wachtwoord reset aanvragen

Account aanmaken

In deze stap is het de bedoeling om een account aan te maken, dat kan via https://my.healthtalk.ai/auth

Klik op "account aanmaken":

Inlogscherm

Daarna kom je op het volgende scherm waar je moet kiezen tussen patient of zorgverlener. Wel graag even goed opletten want het is lastig om weer ongedaan te maken:

Account aanmaken voor zorgverlener

Nadat de voorwaarden zijn goedgekeurd kun je naar de volgende stap:

Servicevoorwaarden accepteren

Daarna kan email en een veilig wachtwoord worden opgegeven:

Wachtwoord aanmaken

Waarna je emailadres bevestigd moet worden via je eigen email client (Outlook of Gmail).

Even opletten:

Er is wel een kleine kanttekening want we hebben de inlog van HealthTalk nu even gekoppeld aan ons eigen PGO (Persoonlijk Gezondheids Omgeving) MedSafe. De email met bevestiging die je ontvangt komt van info@medsafe.io en je krijgt dan een link naar MedSafe om je profiel in te vullen. Tot zover gaat het helemaal goed want als je daar je profiel invult dan zie je dat ook in HealthTalk. Maar na het invullen graag naar HealthTalk gaan op https://my.healthtalk.ai.

Uiteraard zetten we dit zo snel mogelijk goed, maar we gebruiken die koppeling om ook met patient en een video consult te kunnen testen.

Hoe stel je tweefactorauthenticatie (2FA) in?

This post is for subscribers only

Already have an account? Sign in.

Hoe gebruik je de Tijdslijn?

This post is for subscribers only

Already have an account? Sign in.

Hoe kun je de microfoon inschakelen voor HealthTalk?

Als je HealthTalk voor de eerste keer gebruikt, wordt gevraagd om de microfoon voor HealthTalk toe te staan. Als je op Toestaan klikt, kun je HealthTalk blijven gebruiken. Als de microfoon geen toegang heeft, zie je een waarschuwing op het HealthTalk-scherm zoals op het plaatje beneden te zien is:

Microfoon toegang geweigerd
Microfoon toegang geweigerd

Als de microfoonrechten zijn ingesteld op “Vragen” in de browserinstellingen en je deze nu niet kunt vinden, is hier een stapsgewijze handleiding om te helpen het probleem op te lossen.

Waarom gebeurt dit?
Wanneer de microfoonrechten zijn ingesteld op “Vragen”, zal de browser telkens om toegang vragen wanneer u de microfoon probeert te gebruiken. Als u de microfoon per ongeluk blokkeert tijdens een sessie of het toestemmingsvenster sluit, kan de instelling blijven hangen, waardoor het moeilijk wordt om deze weer in te schakelen.

Stappen om Microfoontoegang In te Schakelen

Voor Google Chrome:

  1. Browserinstellingen openen:
  • Klik op het menu met drie stippen in de rechterbovenhoek.
  • Ga naar Instellingen.
  1. Ga naar Privacy en Beveiliging:
  • Selecteer in het linkermenu Privacy en beveiliging.
  • Klik op Site-instellingen.
  1. Microfooninstellingen vinden:
  • Scroll naar beneden naar Machtigingen en selecteer Microfoon.

Geblokkeerde sites controleren:

  • Onder Geblokkeerd zoek je naar de website (bijv. my.healthtalk.ai).
  • Klik op het prullenbak-icoon of wijzig de machtiging naar Toestaan.
Settings overzicht Google Chrome

Test je microfoon:

  • Ververs de HealthTalk-pagina.
  • Start een audiofunctie om het microfoonverzoek te activeren.
    Microfoontoegang toegestaan!
Microfoon toestaan
Microfoon toegang toegestaan

Voor Microsoft Edge:

  1. Instellingen openen:
  • Klik op het menu met drie stippen in de rechterbovenhoek.
  • Selecteer Instellingen.
  1. Beheer site-machtigingen:
  • Ga naar Cookies en site-machtigingen.
  • Selecteer onder Alle machtigingen de optie Microfoon.
  1. Microfoontoegang toestaan:
  • Zoek HealthTalk in de lijst met geblokkeerde sites.
  • Wijzig de machtiging naar Toestaan.
Settings overzicht Microsoft Edge

Herlaad en test:

  • Start de browser opnieuw of ververs de pagina.

Andere Problemen en Oplossingen

  1. Werkt het nog steeds niet?
  • Zorg ervoor dat de microfoon van je apparaat is aangesloten en niet gedempt.
  • Controleer de systeeminstellingen om te bevestigen dat de browser microfoontoegang heeft.
  1. Toestemmingspopup verschijnt niet:
  • Reset de machtigingen voor HealthTalk in de site-instellingen van je browser.

Teams toegang en opname

Om toegang te krijgen tot alle sprekers in Teams moet je de settings van je computer (desktop of laptop) aanpassen. Met de handleiding hieronder kun je het zelf, maar mogelijk vraag je hulp aan de support van je instelling.

  1. Druk op Windows-toets + R, type daar: control en druk op Enter. je ziet dan het volgende scherm in je linksonder in je scherm:
Uitvoer opdracht
  1. Ga naar Hardware en geluid > Geluid.
  2. Klik op Geluid:
Instellingen geluid
  1. Ga naar het tabblad Afspelen:
Apparaat kiezen
  1. Selecteer je apparaat (bijvoorbeeld Jabra), klik met de rechtermuisknop, en kies Eigenschappen.
  2. Ga naar het tabblad Geavanceerd.
  3. Hier zou je de optie "Toestaan dat toepassingen exclusieve controle over dit apparaat overnemen" moeten zien. Zorg dat deze NIET aangevinkt is, dus precies zoals het er hieronder uit ziet:
Exclusieve modus

Daarna moet je even testen of het werkt om de andere personen in Teams te horen.

Hoe stel ik mobiele app testen in op iOS?

This post is for subscribers only

Already have an account? Sign in.

Hoe stel ik mobiele app testen in op Android?

This post is for subscribers only

Already have an account? Sign in.