Mag ik spraaktechnologie en AI zomaar inzetten bij patiënten?

Er is momenteel nog geen strikte regelgeving voor het gebruik van spraaktechnologie in de zorg. Volgens de AI-Act en een FDA discussie over AI, wordt echter uitgegaan van "high-risk = high-penalty".

Wij sluiten ons erbij aan dat veiligheid voorop staat. Wij zijn daarom ook gecertificeerd. Onze zienswijze is ten eerste dat elke applicatie in de zorg in de hoge risico klasse valt:

Risicoclassificering

Als we kijken naar het FDA gebaseerde het MDRF-risicoraamwerk dat identificeert de volgende twee belangrijke factoren die een beschrijving geven van het beoogde gebruik van de Software als Medisch Hulpmiddel (SaMD):

  1. De significantie van de informatie die door de SaMD wordt verstrekt voor de zorgbeslissing, die het beoogde gebruik van de door de SaMD verstrekte informatie identificeert - d.w.z. om te behandelen of te diagnosticeren; om klinisch management te sturen; of om klinisch management te informeren; en
  2. De staat van de gezondheidssituatie of -toestand, die de beoogde gebruiker, ziekte of aandoening en de populatie voor de SaMD identificeert - d.w.z. kritieke; ernstige; of niet-ernstige gezondheidssituaties of -toestanden.
Tabel

Uit bovenstaande twee overzichten kunnen we opmaken dat bijvoorbeeld triage systemen onder hoog risico klasse III vallen en hiermee zeker ISO13485 klasse IIB gecertificeerd zullen moeten zijn. Alhoewel dit (voorlopig) nog niet geldt voor spraak-naar-tekst applicaties denken we hier toch dicht tegenaan te zitten. Daarom hebben wij ook intern besloten de weg van MDR certificering in te slaan.

Welk risico loopt de leverancier?

Volgens de AI-Act valt de meerderheid van de verplichtingen nog altijd op de aanbieders (ontwikkelaars) van hoog-risico AI-systemen zoals spraak-naar-tekst applicaties:

  • Degenen die (van plan zijn) hoog-risico AI-systemen op de markt te brengen of in gebruik te nemen in de EU, ongeacht of ze in de EU of een derde land zijn gevestigd.
  • Aanbieders uit derde landen waarvan de output van het hoog-risico AI-systeem in de EU wordt gebruikt.

Welke verplichtingen heeft ontwikkelaar/leverancier?

Het is voor ons een verplichting om te zorgen voor:

  • Technische documentatie, gebruiksinstructies verstrekken, voldoen aan de auteursrechtrichtlijn en een samenvatting publiceren over de inhoud die voor training is gebruikt.
  • Modelevaluaties uitvoeren, tegenstrijdige tests doen, ernstige incidenten bijhouden en melden en zorgen voor cybersecuritybescherming.

Om hiervoor zorg te dragen hebben wij een uitgebreide evaluatie module ontwikkeld die de zorgverlener in staat stelt om ieder LLM of template met prompts te kunnen beoordelen.

Hiermee voldoen we aan het onderdeel om constant de modelevaluaties uit te voeren. Met name in de huidige AI-ontwikkelingen waarbij de LLM's ieder kwartaal verdubbelen in kennis en kunde, is dit juist een cruciaal onderdeel.

Zie hier een screenshot van hoe je zo'n modelevaluatie uit kan voeren:

Consult details