Les technologies avancées offrent des avantages chaque jour. Mais, Parfois, les interactions avec la technologie peuvent mal tourner et conduire au désastre.

Le 10 mars, les pilotes à bord du vol 302 d'Ethiopian Airlines n'ont pas pu corriger une panne dans l'un des systèmes automatisés du Boeing 737 Max 8, entraînant un accident et la mort de tous les passagers et membres d'équipage. Un an plus tôt, presque jour pour jour, un autre véhicule automatisé – pas un avion mais une voiture autonome Uber – a heurté et tué Elaine Herzberg à Tempe, Arizona.

En tant qu'experts de la façon dont les humains et les technologies interagissent, nous savons qu'il est impossible d'éliminer complètement le risque dans les systèmes technologiques complexes. Ces tragédies sont le résultat de régulateurs et d'experts de l'industrie négligeant les complexités et les risques des interactions entre les technologies et les humains et s'appuyant de plus en plus sur l'auto-évaluation volontaire des entreprises, plutôt qu'objectif, tests indépendants. Tragiquement, cela semble s'être produit avec l'avion de Boeing et la voiture Uber.

Affaire risquée

Le crash du vol 302 d'Ethiopian Airlines ainsi que celui du vol Lion Air 610 en 2018, s'est produit malgré la surveillance de l'un des régulateurs les plus technologiquement capables au monde. Les voyages en avion sont remarquablement sûrs compte tenu des risques potentiels.

Avant que le 737 Max 8 ne s'envole, il a dû passer une série d'inspections de la Federal Aviation Administration. Au cours de ce processus, Boeing a convaincu la FAA que le système automatisé était plus sûr qu'il ne l'était en réalité, et que les pilotes auraient besoin de très peu de formation sur le nouvel avion.

La FAA a autorisé le 737 Max 8 et son système de commandes de vol à voler – et a conservé cette autorisation non seulement après le crash de Lion Air, mais aussi pendant trois jours après la tragédie d'Ethiopian Airlines.

De l'avion à l'automobile

À mesure que l'automatisation des avions augmente, il en est de même pour les voitures. Diverses entreprises testent des véhicules autonomes sur les routes de tout le pays – et avec beaucoup moins de surveillance que l'industrie aéronautique. Les règles locales et fédérales sont limitées, souvent au nom de la promotion de l'innovation. Les directives fédérales de sécurité pour les véhicules autonomes exigent qu'ils passent uniquement les mêmes tests de performance que toute autre voiture, comme les normes minimales d'économie de carburant, configurations des ceintures de sécurité et dans quelle mesure elles protégeront les occupants en cas de renversement.

Il n'y a pas de test de fiabilité de leurs capteurs, encore moins leurs algorithmes. Certains États exigent que les entreprises signalent les « désengagements » – lorsque le soi-disant « conducteur de sécurité » reprend le contrôle du système automatisé. Mais la plupart du temps, les constructeurs de voitures autonomes sont autorisés à faire ce qu'ils veulent, tant qu'il y a une personne derrière le volant.

Dans les mois qui ont précédé la collision de mars 2018, Uber était sous pression pour rattraper GM Cruise et Waymo. Les voitures d'Uber avaient un système de reconnaissance d'objets sensible, qui parfois serait trompé par une ombre sur la route et freinait pour éviter un obstacle qui n'était pas réellement là. Cela a abouti à un rude, trajet avec arrêt et démarrage. Pour aplanir les choses, Les ingénieurs d'Uber ont désactivé le système de freinage d'urgence de la voiture. La société semble avoir supposé que le seul conducteur de sécurité serait toujours en mesure d'arrêter la voiture à temps s'il y avait vraiment un risque de heurter quelque chose.

Ce n'est pas ce qui s'est passé lorsqu'Elaine Herzberg a traversé la route. La voiture autonome d'Uber qui l'a heurtée et tuée l'a vue avec ses capteurs et ses caméras, mais n'a pas pu s'arrêter tout seul. La conductrice de sécurité semble avoir été distraite par son téléphone – en violation des politiques d'Uber, bien qu'il ne soit pas clair comment l'entreprise a informé ses conducteurs de sécurité du changement apporté au système automatisé.

S'auto-policier

Les régulateurs s'appuient sur des pratiques d'auto-évaluation de la sécurité, où les entreprises privées se portent garantes de la conformité de leurs propres produits aux normes fédérales. Les meilleures assurances qu'ils – et les membres du public – ont pour la sécurité et la fiabilité de ces véhicules sont les garanties des entreprises qui ont l'intention de les vendre.

Les rapports que les entreprises fournissent peuvent être minces sur la base de preuves tangibles, vanter le nombre de kilomètres réels et simulés parcourus, sans détails sur les performances des voitures dans diverses conditions. Et les constructeurs automobiles sortent constamment de nouveaux modèles et mettent à jour leurs logiciels, obligeant les conducteurs humains à se renseigner sur les nouvelles fonctionnalités.

C'est d'autant plus troublant qu'il y a beaucoup plus de voitures sur les routes que d'avions dans les airs - 270 millions de voitures immatriculées aux États-Unis seulement, contre 25, 000 avions commerciaux dans le monde. En outre, les voitures autonomes doivent gérer non seulement les conditions météorologiques, mais également les interactions à courte distance avec d'autres voitures, piétons, cyclistes et scooters électriques. Les conducteurs de sécurité ne reçoivent pas autant de formation que les pilotes, Soit.

Arizona, où nous sommes basés, est un lieu populaire pour les tests publics de véhicules autonomes, en partie à cause d'une surveillance plus lâche que dans d'autres États. Dans la région de Phœnix, cependant, le public s'inquiète de plus en plus de la sécurité. Certains citoyens harcèlent les véhicules autonomes dans le but de les décourager de circuler dans leur quartier. Comme l'a dit un habitant de l'Arizona au New York Times, l'industrie des véhicules autonomes " a déclaré avoir besoin d'exemples concrets, mais je ne veux pas être leur erreur dans le monde réel."

Connexion avec le public, innover de manière responsable

En l'absence de normes fédérales de sécurité pour les véhicules autonomes, states and local governments are left to protect the public – often without the expertise and resources to do so effectively. In our view, this doesn't mean banning the technology, but rather insisting on corporate transparency and true regulatory oversight.

Engaging the public about what's happening and who is – and isn't – protecting their safety can help officials at all levels of government understand what their citizens expect, and push them to ensure that technological innovation is done responsibly.

Universities can play an important role in supporting responsible innovation on these issues. The Arizona State University Center for Smart Cities and Regions is working with the Consortium for Science, Policy and Outcomes to host public forums on self-driving cars in cities across the U.S. and Europe.

Airplane and car passengers need to trust their vehicles and understand what risks are unavoidable – as well as what can be prevented. Relying on industry to self-regulate when lives and public trust are at stake is not a viable path to ensure that rapidly emerging innovations are developed and deployed responsibly. To the riders, customers and others sharing the road and the skies, there is only one bottom line – and it doesn't have a dollar sign attached to it.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.