Les biais dans les produits à base d'IA : risques et mitigation

Faire un produit avec de vrais morceaux d’IA dedans, c’est un peu comme fabriquer un lot de yaourts aux fruits bio : c’est produire sur du vivant et cela soulève des problèmes critiques de qualité. Du vivant dans les données d’entrée, toujours mouvantes, polluées, et liées aux mouvements de la société. Du vivant dans les processus d’acquisition et de traitement amont. Du vivant aussi dans la perception qu’ont les décideurs des effets indésirables, car les normes évoluent. Du vivant, enfin, dans le feedback utilisateur (même BtoB), qui s’habitue au goût.
On le sait tous, dans les replis des algorithmes d’IA prolifère une étrange bactérie : le biais. Quelle dose de salmonelle algorithmique tolérons-nous pour un produit grand public ? Nous relaterons 5 ans de retour d’expérience d’audit d’algorithmes en production. Nous argumenterons autour de plusieurs notions clés :
- Les biais ne sont pas un dommage collatéral exceptionnel des algorithmes d’IA, mais bien consubstantiels à la mécanique computationnelle du Machine Learning
- Les biais sont rarement globaux, rarement visibles à l’œil nu, ils émergent dans des contextes d’usage, pour des sous-populations le long de certains comportements
- Les persona du marketing sont inaptes à capturer les biais du produit. Il faut imaginer d’autres catégories, car les algorithmes ne pensent plus avec des règles
- Enfin, les biais se corrigent, certes, mais challengent les data scientists dans des dimensions souvent négligées.
La loi, le règlement IA, impose une maîtrise et à défaut une transparence, sur les biais des algorithmes d’IA déployés. Nous nous interrogerons sur la manière de s’en prémunir, sur les nouvelles métriques et process de contrôle à mettre en place pour limiter l’exposition aux risques de l’entreprise.