Mag ik spraaktechnologie en AI inzetten voor patienten?
Dat is een hele goede vraag en daarover zijn we druk in gesprek met onze juristen. Onze conclusie is dat een spraak naar tekst applicatie zoals wij deze aanbieden naast onze huidige ISO27001 en NEN7510 certificering, tevens als Medisch Hulpmiddel (MDR) gecertificeerd zal moeten worden. dus de ISO13485 klasse I of II.
Hierbij een link naar de AI-Act en daarnaast een link naar een FDA discussie stuk over AI, die beiden uitgaan van:
High-risk = High-penalty
Onze zienswijze is alsvolgt; ten eerste valt elke applicatie in de zorg in de hoge risico klasse:
En als we kijken naar het FDA gebaseerde het MDRF-risicoraamwerk dat identificeert de volgende twee belangrijke factoren die een beschrijving geven van het beoogde gebruik van de Software als Medisch Hulpmiddel (SaMD):
- De significantie van de informatie die door de SaMD wordt verstrekt voor de zorgbeslissing, die het beoogde gebruik van de door de SaMD verstrekte informatie identificeert - d.w.z. om te behandelen of te diagnosticeren; om klinisch management te sturen; of om klinisch management te informeren; en
- De staat van de gezondheidssituatie of -toestand, die de beoogde gebruiker, ziekte of aandoening en de populatie voor de SaMD identificeert - d.w.z. kritieke; ernstige; of niet-ernstige gezondheidssituaties of -toestanden.
Uit bovenstaande twee overzichten kunnen we opmaken dat bijvoorbeeld triage systemen onder hoog risico klasse III vallen en hiermee zeker ISO13485 klasse IIB gecertificeerd zullen moeten zijn. Alhoewel dit (voorlopig) nog niet geldt voor spraak-naar-tekst applicaties denken we hier toch dicht tegenaan te zitten. Daarom hebben wij ook intern besloten de weg van MDR certificering in te slaan.
Welk risico loopt de leverancier
Volgens de AI-Act valt de meerderheid van de verplichtingen nog altijd op de aanbieders (ontwikkelaars) van hoogrisico AI-systemen zoals spraak-naar-tekst applicaties:
- Degenen die (van plan zijn) hoogrisico AI-systemen op de markt te brengen of in gebruik te nemen in de EU, ongeacht of ze in de EU of een derde land zijn gevestigd.
- Aanbieders uit derde landen waarvan de output van het hoogrisico AI-systeem in de EU wordt gebruikt.
Verplichtingen ontwikkelaar of leverancier:
Het is voor ons een verplichting om te zorgen voor:
- Technische documentatie, gebruiksinstructies verstrekken, voldoen aan de auteursrechtrichtlijn en een samenvatting publiceren over de inhoud die voor training is gebruikt.
- Modelevaluaties uitvoeren, tegenstrijdige tests doen, ernstige incidenten bijhouden en melden en zorgen voor cybersecuritybescherming.
Om hiervoor zorg te dragen hebben wij een uitgebreide evaluatie module ontwikkeld die de zorgverlener in staat stelt om ieder LLM of template met prompts te kunnen beoordelen. Hiermee voldoen we aan het onderdeel om constant de modelevaluaties uit te voeren. Zeker in een AI wereld waarbij de LLM's ieder kwartaal verdubbelen in kennis en kunde, is dit nu net een cruciaal onderdeel.
Scherm om een modelevaluatie uit te kunnen voeren:
