Une petite équipe de chercheurs en médecine de l'Université Harvard et du MIT a publié un article du Policy Forum dans la revue Science suggérant que les futurs systèmes d'IA médicale pourraient être vulnérables aux attaques contradictoires. Ils soulignent que des recherches antérieures ont montré que pratiquement tous les systèmes d'IA sont vulnérables d'une manière ou d'une autre à de telles attaques.

Une attaque contradictoire dans le domaine de l'apprentissage automatique est une tentative par le biais d'entrées malveillantes de tromper le modèle sur lequel un tel système est construit. En pratique, cela signifie fournir à un système d'IA une sorte d'information qui l'oblige à renvoyer des résultats incorrects. Les chercheurs suggèrent qu'une telle attaque pourrait viser des systèmes de détection comme ceux programmés pour détecter le cancer en analysant des scans. Ils ont même montré comment une attaque contradictoire fonctionnerait en alimentant un système d'un certain motif de bruit qui déclenchait la confusion, résultant en des résultats incorrects.

Mais ce n'est pas le genre d'attaque contradictoire dont les chercheurs s'inquiètent vraiment. Ce qui les préoccupe le plus, ce sont les systèmes d'IA qui ont été développés et sont déjà utilisés et qui sont impliqués dans le traitement des réclamations et la facturation - la possibilité que les hôpitaux ou même les médecins puissent utiliser de tels systèmes pour modifier les informations sur les formulaires afin d'être payés plus par les compagnies d'assurance ou Medicaid pour la réalisation de tests, par exemple, en changeant un code pour qu'une simple radiographie ressemble à un test IRM. Alimenter un système d'IA avec la bonne information au bon moment pourrait lui permettre de faire exactement cela. Il existe également la possibilité qu'un hôpital apprenne à son système d'IA à trouver les meilleurs moyens d'arnaquer les compagnies d'assurance ou le gouvernement, le rendant presque impossible à détecter.

Les chercheurs suggèrent qu'une nouvelle approche de l'élaboration des politiques est nécessaire, une approche dans laquelle des personnes d'une grande variété de domaines, y compris la loi, informatique et médecine, régler le problème avant qu'il ne devienne répandu. De tels groupes pourraient, peut-être, trouver des moyens de l'empêcher de se produire, ou au moins le détecter si c'est le cas.

© 2019 Réseau Science X