Vous penseriez que voler dans un avion serait plus dangereux que de conduire une voiture. En réalité, c'est beaucoup plus sûr, en partie parce que l'industrie aéronautique est fortement réglementée.

Les compagnies aériennes doivent respecter des normes strictes de sécurité, essai, entraînement, les politiques et les procédures, audit et contrôle. Et quand les choses tournent mal, nous enquêtons et tentons de rectifier le problème pour améliorer la sécurité à l'avenir.

Il n'y a pas que les compagnies aériennes, Soit. D'autres industries où les choses peuvent très mal tourner, tels que les produits pharmaceutiques et les dispositifs médicaux, sont également fortement réglementés.

L'intelligence artificielle est une industrie relativement nouvelle, mais il grandit rapidement et a une grande capacité à faire du mal. Comme l'aviation et la pharmacie, il doit être réglementé.

L'IA peut faire beaucoup de mal

Un large éventail de technologies et d'applications relevant de la rubrique « intelligence artificielle » ont commencé à jouer un rôle important dans nos vies et nos institutions sociales. Mais ils peuvent être utilisés de manière nocive, que nous commençons déjà à voir.

Dans l'affaire "robodebt", par exemple, l'agence gouvernementale australienne de protection sociale Centrelink a utilisé la mise en correspondance des données et la prise de décision automatisée pour émettre des avis de dette (souvent incorrects) aux bénéficiaires de l'aide sociale. Quoi de plus, le fardeau de la preuve était renversé :les individus devaient prouver qu'ils ne devaient pas la dette réclamée.

Le gouvernement de la Nouvelle-Galles du Sud a également commencé à utiliser l'IA pour repérer les conducteurs avec des téléphones portables. Cela implique une surveillance publique étendue via des caméras de détection de téléphones portables qui utilisent l'IA pour détecter automatiquement un objet rectangulaire dans les mains du conducteur et le classer comme un téléphone.

La reconnaissance faciale est une autre application d'IA soumise à un examen minutieux dans le monde entier. Cela est dû à son potentiel de porter atteinte aux droits de l'homme :il peut être utilisé pour une surveillance généralisée et la répression des manifestations publiques, et les préjugés programmés peuvent conduire à l'inexactitude et à la discrimination raciale. Certains ont même appelé à un moratoire ou à une interdiction pure et simple parce que c'est si dangereux.

Dans plusieurs pays, dont l'Australie, L'IA est utilisée pour prédire la probabilité qu'une personne commette un crime. Il a été démontré que de telles méthodes prédictives ont un impact disproportionné sur les jeunes Autochtones et conduisent à des pratiques policières oppressives.

L'IA qui assiste les conducteurs de train entre également en service, et à l'avenir, nous pouvons nous attendre à voir des voitures autonomes et d'autres véhicules autonomes sur nos routes. Des vies dépendront de ce logiciel.

L'approche européenne

Une fois que nous avons décidé que l'IA doit être réglementée, il reste la question de savoir comment le faire. Les autorités de l'Union européenne ont récemment fait une série de propositions sur la manière de réglementer l'IA.

Le premier pas, ils se disputent, est d'évaluer les risques que pose l'IA dans différents secteurs tels que les transports, soins de santé, et les applications gouvernementales telles que la migration, justice pénale et sécurité sociale. Ils examinent également les applications d'IA qui présentent un risque de mort ou de blessure, ou avoir un impact sur les droits de l'homme tels que le droit à la vie privée, égalité, liberté et sécurité, liberté de mouvement et de réunion, sécurité sociale et niveau de vie, et la présomption d'innocence.

Plus le risque qu'une application d'IA était considérée comme étant grand, plus il serait confronté à une réglementation. La réglementation couvrirait tout, des données utilisées pour former l'IA à la manière dont les enregistrements sont conservés, à quel point les créateurs et opérateurs du système doivent être transparents, des tests de robustesse et de précision, et les exigences en matière de surveillance humaine. Cela comprendrait la certification et l'assurance que l'utilisation des systèmes d'IA est sûre, et ne conduit pas à des résultats discriminatoires ou dangereux.

Si l'approche de l'UE comporte des points forts, même les applications d'IA apparemment « à faible risque » peuvent faire de réels dommages. Par exemple, les algorithmes de recommandation dans les moteurs de recherche sont également discriminatoires. La proposition de l'UE a également été critiquée pour avoir cherché à réglementer la technologie de reconnaissance faciale plutôt que de l'interdire purement et simplement.

L'UE est le leader mondial en matière de réglementation sur la protection des données. Si la même chose se produit avec l'IA, ces propositions sont susceptibles de servir de modèle pour d'autres pays et de s'appliquer à toute personne faisant des affaires avec l'UE ou même les citoyens de l'UE.

Que se passe-t-il en Australie ?

In Australia there are some applicable laws and regulations, but there are numerous gaps, and they are not always enforced. The situation is made more difficult by the lack of human rights protections at the federal level.

One prominent attempt at drawing up some rules for AI came last year from Data61, the data and digital arm of CSIRO. They developed an AI ethics framework built around eight ethical principles for AI.

These ethical principles aren't entirely irrelevant (number two is "do no harm, " for example), but they are unenforceable and therefore largely meaningless. Ethics frameworks like this one for AI have been criticized as "ethics washing", and a ploy for industry to avoid hard law and regulation.

Another attempt is the Human Rights and Technology project of the Australian Human Rights Commission. It aims to protect and promote human rights in the face of new technology.

We are likely to see some changes following the Australian Competition and Consumer Commission's recent inquiry into digital platforms. And a long overdue review of the Privacy Act 1988 (Cth) is slated for later this year.

These initiatives will hopefully strengthen Australian protections in the digital age, but there is still much work to be done. Stronger human rights protections would be an important step in this direction, to provide a foundation for regulation.

Before AI is adopted even more widely, we need to understand its impacts and put protections in place. To realize the potential benefits of AI, we must ensure that it is governed appropriately. Autrement, we risk paying a heavy price as individuals and as a society.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.