L'intelligence artificielle transforme notre monde, parfois d'une manière que ses créateurs n'avaient pas l'intention de faire. Dans Wellcome Data Labs, nous développons une nouvelle méthode d'application des approches des sciences sociales à la façon dont les algorithmes d'IA sont produits pour résoudre les problèmes de science des données. L'objectif est d'éviter les conséquences négatives potentielles des algorithmes en les identifiant plus tôt dans le processus de développement.

Il y a déjà eu des tentatives pour définir une telle façon de travailler. Un exemple est l'excellent article de Catalina Butnaru proposant un nouveau processus d'éthique Agile. Il y a beaucoup à recommander cette approche, notamment qu'il est systématique et étroitement aligné dans ses étapes sur les étapes bien connues des méthodologies de développement logiciel agiles.

Cependant, Butnaru n'aborde pas les mécanismes de gestion de son processus d'éthique Agile suggéré. Est-ce l'équipe de data scientists et d'ingénieurs eux-mêmes qui est chargée de suivre les étapes ? Ou leur chef de produit ? Ou l'équipe UX ? Ou une équipe distincte des ingénieurs qui audite leur travail ?

Nous avons beaucoup réfléchi à de telles questions, car nous souhaitons tester comment les approches éthiques peuvent être appliquées au travail des data scientists dans la pratique et pas seulement en théorie.

Le principal défi que nous nous sommes fixé est :comment appliquer un processus tel que celui de Butnaru, ou l'une des autres méthodologies concurrentes, d'une manière qui réduit de manière mesurable les problèmes éthiques, comme un parti pris par inadvertance, mais ne réduit pas l'énergie et l'efficacité de nos équipes produit Agile ?

Nous pensons que cela peut être fait en encourageant les chercheurs en sciences sociales à travailler dans le cadre d'équipes interdisciplinaires avec des développeurs de logiciels et des scientifiques des données, adoptant leurs méthodologies agiles et itératives.

J'ai décrit quelques-uns des défis de le faire. Par exemple, la difficulté de faire travailler les chercheurs en sciences sociales à la même vitesse et au même rythme que les développeurs de logiciels et les data scientists. Cependant, il existe un modèle potentiel à suivre en apprenant de l'intégration réussie de la discipline de l'expérience utilisateur dans les flux de travail de développement logiciel.

Il y a un défi supplémentaire, bien que. S'appuyer sur un chercheur utilisateur intégré dans une équipe produit pour diriger cette équipe à travers une méthodologie éthique Agile présente le risque de perdre son objectivité. C'est un problème bien connu dans la recherche ethnographique, où il y a une tension active entre le rôle d'un chercheur en tant qu'observateur impartial et l'alternative d'être un participant actif.

Une façon moins technique de voir les choses est que les gens, fondamentalement, sont des joueurs d'équipe :ils veulent s'intégrer et peuvent avoir du mal à critiquer le travail de leurs proches. Ils pourraient également devenir sujets à une « réflexion de groupe » sans s'en rendre compte.

Dans Wellcome Data Labs, nous avons élaboré une approche jumelée de l'éthique Agile qui vise à résoudre ce problème. La méthodologie que nous proposons comporte trois étapes :

1. Intégrer au sein des Data Labs un chercheur utilisateur avec une expérience à la fois dans le travail au sein d'équipes de produits Agile et dans la réalisation de recherches en sciences sociales. Ce chercheur embarqué aura pour objectif explicitement défini de tester les modèles algorithmiques sur lesquels travaillent les développeurs de logiciels et les data scientists du point de vue de leur éventuel impact social.
2. Ils ajusteront et développeront leur analyse de manière itérative pour s'adapter à la vitesse du travail technologique et transmettront leurs conclusions émergentes aux scientifiques des données pour orienter le cours de leur travail.
3. Le chercheur intégré sera jumelé à un autre spécialiste des sciences sociales en dehors de l'équipe pour fournir une critique objective et les contrôles et contrepoids nécessaires à leur analyse.

Les trois parties de la méthodologie proposée sont d'égale importance.

• Ne pas intégrer le chercheur dans l'équipe leur empêcherait d'avoir une connaissance suffisamment précise de ce que font les data scientists.
• Ne pas retester et réécrire de manière itérative leur analyse de l'impact social possible ne parviendra pas à suivre le rythme du développement technologique  -  le principal avantage proposé de cette méthodologie.
• Finalement, le jumelage est conçu pour éviter que le chercheur embarqué ne risque de perdre son détachement professionnel et son objectivité, ce qui est un risque précisément parce qu'ils sont si étroitement intégrés aux équipes technologiques.
• Toute cette approche est une expérience en soi et nous ne sommes pas du tout certains que cela fonctionnera. Cependant, c'est exactement ce qui le rend passionnant pour nous. Nous espérons que cela nous aidera à mieux prendre conscience des biais introduits par les algorithmes que nous développons et à minimiser les éventuelles conséquences négatives involontaires des outils produits par l'équipe.

Ceci est important car Wellcome, en tant que bailleur de fonds important de la recherche scientifique, a un impact notable sur les industries universitaires et de la santé. Et l'analyse de Wellcome Data Labs alimente le processus de prise de décision de Wellcome. Tout biais involontaire dans les algorithmes produits par mon équipe qui peut avoir un impact sur les décisions de Wellcome, pourrait avoir un effet d'entraînement sur les décisions d'un plus grand nombre de bailleurs de fonds, ce qui pourrait à son tour se répercuter sur des impacts secondaires sur d'autres industries et la société au sens large. Nous avons la responsabilité de bien faire les choses.