Les 5 meilleures pratiques pour tester les applications d'IA

Ben Anderson
Temps de lecture: minutes

Tester les applications d'IA à l'ère des réglementations sur l'IA

Avec l'annonce, en avril 2021, du premier cadre législatif au monde pour réglementer l'intelligence artificielle (IA) (EU AIA pour European Artificial Intelligence Act), le moment est venu pour les développeurs de revoir leur stratégie de tests concernant les applications d'IA.

Avec l’arrivée de ces nouvelles réglementations, le groupe de parties prenantes pouvant s'intéresser aux résultats de vos tests va s’agrandir et s’impliquer d’avantage. Les enjeux sont élevés, notamment parce que les entreprises qui enfreignent les termes de la législation pourraient se voir infliger des amendes plus élevées que celles prévues par le Règlement général sur la protection des données (RGPD). Dans un souci de transparence, certains types d'IA doivent également rendre leurs critères de pertinence disponibles pour les utilisateurs, ce qui accroît la pression liée à la bonne mise en place des tests fonctionnels.

Dans la continuité du Guide d'Applause étape par étape pour l'entraînement et le test de votre algorithme d'IA, cet article résume comment les développeurs devraient tester les applications d'IA en anticipant la nouvelle ère de réglementation de l'IA. Toutefois, avant de passer à la présentation des cinq meilleures pratiques, il est essentiel de comprendre comment l'EU AIA va impacter le travail des développeurs d'IA.

Ce que dit le projet de législation européenne

Tous les systèmes d'IA ne sont pas soumis aux mêmes règles dans le cadre de la proposition d'UE AIA. Le projet de réglementation prévoit de diviser les systèmes d'IA en quatre catégories et de les légiférer en fonction du risque que chaque groupe représente pour la société :

  • Les systèmes présentant des risques inacceptables (tels que l'IA utilisant le dark pattern, les systèmes d'identification biométrique à distance en temps réel et les mécanismes de notation sociale) sont totalement interdits

  • Les systèmes à risques élevés (tels que ceux utilisés pour le maintien de l'ordre, la gestion des employés, le fonctionnement des infrastructures critiques, l'identification biométrique dans les espaces non publics et le contrôle des frontières) sont fortement réglementés

  • Les systèmes à risques limités (tels que les deepfakes, les chatbots et les systèmes de reconnaissance des émotions) requièrent certaines obligations de communication

  • Les systèmes à risques minimaux (tels que les jeux vidéo dotés d'une intelligence artificielle et les filtres anti-spam) ne sont pas soumis à des exigences, mais les développeurs sont encouragés à rédiger des codes de conduite

Cela signifie que ce sont surtout les systèmes d'IA à risques élevés qui pourraient être soumis à un vaste ensemble d'exigences dans le cadre de l'EU AIA. Si le projet de législation est adopté, les applications d'IA à risques élevés développées dans le monde entier devront obtenir le marquage de conformité européenne (CE), un logo de l'UE attribué aux produits qui ont satisfait aux exigences de santé et de sécurité, pour pouvoir être commercialisées sur le marché européen. Pour ce faire, les systèmes à risques élevés doivent se conformer aux réglementations relatives à la surveillance humaine, à la transparence, à la cybersécurité, à la gestion des risques, à la qualité des données, au suivi et aux obligations de déclaration.

Les éléments auxquels les développeurs d'IA doivent faire attention

Si les lecteurs doivent retenir une leçon essentielle de cet article, c'est que l'UE AIA impactera potentiellement le développement de l'IA dans le monde entier et pas seulement en Europe. En effet, le projet de réglementation s'applique non seulement à tous les systèmes d'IA mis à disposition du marché européen, mais aussi aux systèmes dont la production est utilisée dans l'UE. Dans le cadre de ce qu'on appelle l'effet Bruxelles, de nombreux développeurs de technologies non européens se retrouveront ainsi soumis à l'EU AIA s'ils veulent accéder au marché européen.

Même si un développeur n'a aucun contact avec l'Europe, l'EU AIA peut néanmoins l'impacter indirectement. Les réglementations de l'UE créent souvent un précédent mondial, comme ce fut le cas avec le RGPD, qui a influencé des lois similaires sur la confidentialité des données dans des pays comme les États-Unis, le Chili et l'Inde. Margrethe Vestager, la vice-présidente exécutive d'Une Europe adaptée à l'ère numérique, estime que l'EU AIA n'y fait pas exception, déclarant dans un communiqué de presse : « avec ces règles historiques, l'UE est le fer de lance du développement de nouvelles normes mondiales. »

Les entreprises qui ne savent pas si les résultats de leur IA peuvent être utilisés dans l'UE devraient faire preuve de prudence, car le non-respect des règles peut entraîner des amendes allant jusqu'à 30 millions d'euros ou 6 % du chiffre d'affaires annuel d'une entreprise. Comme l'histoire l'a montré, l'UE ne prend pas les infractions réglementaires à la légère. L'année dernière, Google s'est vu infliger une amende de 50 millions d'euros pour avoir enfreint les dispositions du RGPD, et ce n'est que l'une des 220 amendes infligées pour violation du RGPD pendant les 10 premiers mois de l'année 2020. De nombreuses entreprises ont sous-estimé la préparation nécessaire pour adapter leurs processus à la réglementation, de sorte que 20 % des entreprises américaines, britanniques et même européennes ne sont toujours pas totalement conformes au RGPD, selon une étude de TrustArc.

L'EU AIA devrait entrer en vigueur dans environ 5 ans. Que les entreprises d'IA exercent déjà des activités en Europe aujourd'hui ou qu'elles envisagent de s'immiscer dans le marché européen, elles doivent agir maintenant si elles veulent disposer de suffisamment de temps pour tester les applications d'IA. Une étude de McKinsey montre que seulement 48 % des entreprises technologiques connaissent les risques liés à la conformité réglementaire en 2020, tandis qu'un nombre encore plus faible de 38 % ont déclaré travailler activement pour y répondre. Malgré cela, un rapport distinct d'Accenture a révélé que 72 % des cadres américains pensent que l'IA va radicalement changer leur secteur et un quart d'entre eux affirment qu'elle va complètement transformer leur entreprise dans les trois prochaines années.

5 meilleures pratiques

La responsabilité de s'assurer de la conformité avec la législation existante et avec ce nouveau cadre potentiel au moment où il sera promulgué revient entièrement à chaque entreprise individuelle. Cependant, le cadre d'Applause pour l'entraînement et le test des applications d'IA anticipe de nombreux domaines définis dans la l'EU AIA. Après tout, bon nombre des exigences du projet de législation, comme la garantie de l'exactitude des résultats, l'identification des biais et la bonne gestion des données, ne sont que des bonnes pratiques qui peuvent améliorer considérablement la qualité des expériences basées sur l'IA. Voici quelques-uns des principaux domaines dans lesquels nous pouvons vous aider :

1. Commencer sur de bonnes bases

Bien que le test des applications d'IA soit primordial, ce n'est qu'une partie d'un plus grand tout. L'intelligence des algorithmes est définie par les données qui les composent. Si votre IA n'est pas entraînée avec des données de haute qualité, les tests ne vous mèneront pas loin. L'EU AIA reconnaît également l'importance des données d'entraînement pour produire des résultats précis et impartiaux, en stipulant qu'elles doivent être pertinentes, représentatives, exemptes d'erreurs et complètes.

Une enquête Alegion montre que 81 % des dirigeants affirment que la collecte de données d'entraînement pour les modèles d'IA est plus difficile que prévu. De nombreuses entreprises qui tentent de s'approvisionner elles-mêmes en données d'entraînement finissent par sous-estimer l'investissement et les compétences organisationnelles nécessaires au recrutement, à l'approvisionnement et à la préparation des données à l'échelle, ce qui entraîne des coûts supplémentaires importants causés par de départs ratés ou retardés. D'autres se tournent vers des fournisseurs de données comme Amazon Mechanical Turk, qui fournissent de gros volumes de données à faible coût, mais qui ne sont tout simplement pas assez adaptés aux besoins de chaque entreprise.

Grâce à sa communauté mondiale de testeurs, Applause génère rapidement et à grande échelle n'importe quel ensemble de données d'entraînement, y compris du texte, des images, de la parole, de l'écriture manuscrite, des données biométriques, etc. Nous ratissons le plus large possible lorsque nous recrutons des échantillons de données, en collectant des données authentiques directes provenant de différents pays, cultures, communautés, milieux, âges, races et sexes. Ce n'est qu'en pensant à l'échelle mondiale que les développeurs peuvent garantir la diversité des données nécessaires pour éviter les biais et produire des résultats précis et représentatifs.

2. Pensez au delà du mobile et du web

Le test des applications d'IA était plus simple à l'époque où les consommateurs passaient le plus clair de leur temps sur leur mobile et sur le web. Le projet d'EU AIA coïncide avec la prolifération de technologies pour la reconnaissance vocale et faciale, ainsi que l'IoT, qui ont elles-mêmes contribué à l'essor de tendances comme les expériences omnicanales et multimédia. De nos jours, les développeurs doivent tester les applications d'IA sur tous les appareils où elles sont susceptibles d'être utilisées, comme les objets personnels connectés, les appareils de domotique, les systèmes embarqués et les expériences d'achat en magasin.

L'EU AIA reconnaît le côté sombre de nombreuses nouvelles technologies, notamment lorsque les consommateurs peuvent être amenés à les utiliser à leur insu. L'Article 52, stipule par exemple que les résidents de l'UE doivent être informés si une vidéo est un deepfake, si un interlocuteur est un assistant vocal ou s'ils sont soumis à une catégorisation biométrique. Vérifier si les utilisateurs réels sont conscients du moment où cela se produit est un moyen pour les entreprises de mesurer si elles satisfont à cette exigence.

3. Test en dehors du laboratoire

L'humain est au cœur de l'EU AIA. Cette législation a été créée parce que la Commission européenne a reconnu que l'IA ne pourra jamais atteindre son plein potentiel économique si les humains ne lui font pas confiance. Les entreprises partagent un point de vue similaire, puisque 58 % des dirigeants affirment que la croissance induite par l'IA proviendra de l'augmentation de la satisfaction et de l'engagement des clients, selon un rapport d'Accenture.

L'un des principaux problèmes des systèmes d'IA actuels est qu'ils ne fournissent pas le même niveau de service qu'un humain. Une enquête menée par Capgemini montre que 64 % des consommateurs souhaitent que l'IA soit plus humaine pour utiliser davantage cette technologie. Selon Pega, 70 % supplémentaires préfèrent encore parler à un humain lorsqu'ils interagissent avec un service client. Si les développeurs de technologies veulent apaiser les inquiétudes des consommateurs et développer une IA plus humaine, ils doivent s'assurer que leurs expériences d'IA ne sont pas seulement fiables sur le plan théorique, mais qu'elles sont réellement utiles aux personnes qui les utilisent.

Toutefois, il n'est pas possible de vérifier en laboratoire si les expériences d'IA répondent aux attentes des clients. Si le laboratoire peut être en mesure d'évaluer la bonne capture des informations ou la précision des réponses d'une IA, seuls les humains peuvent évaluer des indicateurs de performance tels que :

  • M'a-t-elle compris ?

  • Est ce que le résultat fourni est pertinent ?

  • Était-ce simple d'utilisation ?

  • Ai-je reçu tout ce dont j'avais besoin ?

  • L'utiliserais-je à nouveau ?

Ce n'est qu'en impliquant de vrais utilisateurs lors des tests des applications d'IA que les entreprises pourront produire des expériences d'IA réellement utiles.

4. Identifier et rectifier activement les biais

Comme les systèmes d'IA sont entraînés à partir de données recueillies et créées par des humains, l'IA adopte souvent certains de nos biais inconscients, inconscients dans le sens où les individus ne peuvent pas toujours identifier leurs propres biais. Cela signifie que, si les expériences d'IA sont testées au sein d'un groupe trop restreint, des biais peuvent passer inaperçus, ce qui peut conduire à la marginalisation de certains groupes ou à l'exacerbation de certains préjugés. Cela signifie également qu'un système d'IA peut être discriminatoire à l'égard de certains de vos utilisateurs, dans la mesure où il fonctionne mieux pour certains groupes que pour d'autres. C'est pourquoi, l'EU AIA stipule qu'il est obligatoire de porter une attention particulière aux biais pour certains systèmes.

Comme nous l'avons vu précédemment, une grande partie du travail nécessaire à l'élimination des biais consiste à s'assurer que les données utilisées pour entraîner l'IA représentent un groupe de personnes aussi diversifié que possible. Ceci étant dit, bien que des données d'entraînement représentatives peuvent atténuer les biais, tester les applications d'IA est le seul moyen de savoir avec certitude si votre algorithme présente encore des biais. La seule façon pour les développeurs d'identifier un algorithme biaisé est de faire tester l'expérience d'IA par un groupe important et diversifié de testeurs, puis d'analyser les résultats. Dans cette situation, la communauté uTest d'Applause, la plus grande communauté de testeurs au monde, peut vous proposer un service inégalé.

5. Intégrer un boucle de rétroaction

Les algorithmes peuvent apprendre, mais ils peuvent tout aussi bien désapprendre et réapprendre. Après les tests d'inexactitude et de partialité de vos applications d'IA, vient l'intégration d'une boucle de rétroaction au processus de développement, qui corrige les erreurs au fur et à mesure. Le test des applications d'IA est un processus circulaire, car les données de sortie peuvent être utilisées pour réinformer les données d'entrée jusqu'à ce que la sortie soit correcte. Étant donné que l'UE AIA est susceptible d'entraîner une législation similaire dans le monde entier, les systèmes d'IA doivent également être capables de s'adapter à l'évolution des exigences.

Applause travaille avec les plus grandes entreprises technologiques du monde pour mettre en place des programmes d'IA mondiaux. Pour en savoir plus sur la façon dont nous pouvons vous aider, consultez https://www.applause.com/ai-training-testing..


Ressources supplémentaires que vous apprécierez :