L'accident mortel impliquant une voiture autonome exploitée par Uber aux États-Unis a été un rappel tragique mais opportun des dangers des entreprises qui se précipitent pour mettre en œuvre l'intelligence artificielle pour être les premières sur le marché.

Au moment de l'accident, le conducteur qui aurait dû être prêt à réagir dans un tel événement comme celui-ci regardait vers le bas. La voiture elle-même n'avait apparemment pas du tout vu le piéton et n'avait pas ralenti ni essayé d'éviter de la heurter.

Tests en conditions réelles, et les risques

De nouveau, nous voyons une technologie principalement testée pour fonctionner dans des conditions normales afin qu'elle puisse être déployée sur le marché et pas nécessairement construite avec la sécurité comme objectif principal. Comme l'a dit l'ancien développeur de la plate-forme d'apprentissage automatique et d'IA d'Uber, les constructeurs automobiles devraient former leurs voitures dans des environnements simulés qui peuvent être programmés pour les former à la détection et à l'évitement d'un certain nombre de possibilités d'événements aléatoires que la voiture pourrait rencontrer sur la route.

L'apprentissage automatique souffre d'un problème fondamental dans la mesure où sa capacité à effectuer une tâche dépend des données qui sont utilisées pour l'entraîner. L'algorithme exact qu'il finit par utiliser pour remplir son objectif final et les fonctionnalités les plus importantes sont en grande partie inconnus. Avec un apprentissage en profondeur, les multiples couches qui composent le réseau neuronal global du logiciel d'apprentissage automatique rendent ce processus encore plus mystérieux et inconnu.

Nous savons que les logiciels d'apprentissage automatique détectent des biais dans les données utilisées pour les tester. Il a été démontré qu'un logiciel utilisé pour calculer le risque qu'un délinquant commette un crime futur et fréquemment utilisé par les tribunaux aux États-Unis calcule systématiquement un risque significativement plus faible pour les délinquants blancs que pour les personnes de couleur. D'autres chercheurs ont montré que les algorithmes d'apprentissage automatique apprennent les préjugés sexistes inhérents aux textes utilisés pour les former.

Les dangers de savoir maintenant comment les choses fonctionnent ont été clairement démontrés par l'aveu récent de Facebook qu'il ne savait vraiment pas ce que les gens faisaient avec les données de millions de ses utilisateurs que Facebook les avait encouragés à prendre. Avec l'utilisation de sa plateforme de diffusion de fake news ciblées lors de l'élection présidentielle américaine, Facebook a de nouveau admis qu'il n'avait pas réalisé que les gouvernements étrangers exploiteraient cette naïveté pour saper la démocratie.

Plus que Facebook

Il serait faux de distinguer Facebook comme étant la seule entreprise qui ne savait pas que ses logiciels pouvaient être exploités pour nuire aux individus et à la société. Les modifications du « droit à l'oubli » apportées à la législation sur la confidentialité des données et promulguées par l'Union européenne ont été formulées spécifiquement pour faire face à la réticence de Google à corriger les effets secondaires de sa recherche sur la vie privée des individus. La législation dans de nombreux pays pour rendre obligatoire le signalement des violations de données a été nécessaire parce que les entreprises n'étaient pas disposées à prendre en charge la cybersécurité, et la protection des données de leurs utilisateurs, sérieusement.

Compte tenu du passé, il n'y a aucune raison de croire que les entreprises qui mettent en œuvre des systèmes basés sur l'IA pensent à la sécurité et à la confidentialité dès la conception. Au contraire, l'apprentissage automatique a besoin de données, beaucoup, et ainsi les entreprises acquièrent d'énormes référentiels de données d'informations détaillées afin de les exploiter grâce à des algorithmes. Bien que l'on puisse affirmer que géré de manière responsable, de grandes quantités de données seront inestimables pour la recherche, en matière de santé notamment, les risques de collecte, stocker et utiliser ces données, surtout dans un cadre commercial sont très élevés.

rapport du gouvernement français

En France, Cédric Villani – mathématicien lauréat du Field Prize et membre de l'Assemblée nationale – a livré son rapport final détaillant une stratégie nationale pour l'étude et l'exploitation de l'intelligence artificielle. Les recommandations couvrent bon nombre des problèmes potentiels qui pourraient découler d'essayer d'équilibrer les demandes de recherche, l'innovation et la commercialisation de l'IA. Ils reconnaissent également la nécessité de protéger la vie privée et la sécurité de la société et des individus et suggèrent un rôle actif au gouvernement pour s'assurer que l'IA est utilisée d'une manière qui profite à la société et respecte les droits et les valeurs de l'homme.

Cependant, rien de tout cela ne sera facile. Il y a déjà eu des allégations selon lesquelles le règlement général européen sur la protection des données (RGPD) entrerait pleinement en vigueur le 25 mai, placera « les entreprises de l'UE dans une situation de désavantage concurrentiel par rapport à leurs concurrents d'Amérique du Nord et d'Asie ».

Il faut espérer que des tragédies comme la mort d'Elaine Herzberg, 49 ans, renversé par une voiture Uber autonome, et l'indignation généralisée du mépris de Facebook pour les données personnelles de ses utilisateurs rappellera aux gens qu'il y a un avantage à un progrès technologique mesuré et non au mantra actuel du progrès technologique à tout prix.

Cet article a été initialement publié sur The Conversation. Lire l'article original. Cet article a été initialement publié sur The Conversation. Lire l'article original.