Op 2 februari 2025 trad het eerste deel van de EU AI Act verordening met betrekking tot het gebruik van onaanvaardbare AI praktijken in werking. De Europese Commissie heeft conceptrichtlijnen gepubliceerd voor de interpretatie van artikel 5, waarin de verboden AI toepassingen worden beschreven. Veel daarvan hebben betrekking op use cases in de gezondheidszorg.

Wat zeggen de EU AI Act richtlijnen over AI in de zorg?

De Commission Guidelines on Prohibited Artificial Intelligence Practices established by Regulation, EU, 2024-1689, AI Act, biedt een overzicht van praktijken die als onaanvaardbaar zijn geclassificeerd onder artikel 5 van de EU AI Act. Een document van 140 pagina s geeft voorbeelden van AI die in de Europese Unie verboden is, zoals sociale scoresystemen, gezichtsherkenningssystemen voor publieke surveillance, met enkele uitzonderingen, of toepassingen die personen kunnen manipuleren en een bedreiging voor hun gezondheid kunnen vormen. Hoewel het document verboden use cases in alle industriele sectoren beschrijft, hebben veel ervan betrekking op de gezondheidszorg.

De primaire regel, onaanvaardbaar risico, onder artikel 5 van de AI Act is van toepassing is op AI systemen die onaanvaardbare risico s vormen voor fundamentele rechten en waarden van de Unie. Hoge risico s zijn geclassificeerde AI systemen die hoge risico s vormen voor de gezondheid, veiligheid en fundamentele rechten.

Laten we verboden systemen in de gezondheidszorg categoriseren volgens de richtlijnen:

AI toepassingen die patienten kunnen manipuleren en misleiden. Dit verwijst naar AI s die subliminale of manipulatieve technieken gebruiken om het gedrag van consumenten en patienten te beinvloeden, wat tot schade kan leiden. Bijvoorbeeld: AI oplossingen die medische beslissingen aan patienten suggereren op basis van manipulatieve, niet verklaarbare algoritmen. Als gezondheid echter het primaire doel is, kunnen systemen die gebruikers beinvloeden om gedragsverandering te bereiken, worden gebruikt, zoals we later zullen beschrijven.

Uitbuiting van gevoelige patientengroepen. AI die opzettelijk de kwetsbaarheid van consumentengroepen uitbuit op basis van leeftijd, handicap of economische situatie is ook verboden. Een voorbeeld hiervan is AI die buitensporige of onnodige behandelingen suggereert aan patienten die benadeeld zijn of een verstandelijke beperking hebben.

Voorbeeld: AI systemen die worden gebruikt om ouderen te targeten met misleidende gepersonaliseerde aanbiedingen of oplichting, waarbij ze hun verminderde cognitieve vermogen uitbuiten om hen te beinvloeden om beslissingen te nemen die ze anders niet zouden hebben genomen en die hen waarschijnlijk aanzienlijke financiele schade zouden berokkenen. Een robot die ouderen moet helpen, kan hun kwetsbare situatie uitbuiten en hen dwingen om bepaalde activiteiten te doen die tegen hun vrije wil ingaan, wat hun geestelijke gezondheid aanzienlijk kan verslechteren en hen ernstige psychische schade kan toebrengen.

Scores in de gezondheidszorg. De EU AI Act introduceert een verbod op systemen om burgers te beoordelen op basis van hun gedrag. De Europese Commissie wilde de zogenaamde sociale scoresystemen in China testen, met bonuspunten voor naleving van staatsregels en minpunten voor overtredingen. Dergelijke systemen passen niet bij de democratische waarden van de EU. Met betrekking tot de gezondheidszorg zijn bijvoorbeeld AI systemen die patienten beoordelen op basis van hun gedrag, levensstijl of andere sociale kenmerken en op basis daarvan de toegang tot gezondheidsdiensten beperken of ziektekostenpremies berekenen, verboden. Een dergelijke aanpak kan leiden tot discriminatie in een op solidariteit gebaseerd gezondheidssysteem.

Deze versturen we 3-4x per jaar.