Gouverner l'IA responsable : principes, comités et révision dans Google Cloud

Une équipe propose un chatbot dans le cloud avec voix, gestes et analyse de sentiment facial pour des enfants d'âge préscolaire atteints du Trouble du Spectre de l'Autisme chez eux. Un accès élargi à la thérapie, oui. Mais le foyer est plus sensible que la classe, les données d'entraînement ne représentent peut-être pas tous les enfants avec cette condition, le modèle peut se dégrader avec le temps, et l'équipe devra peut-être s'associer à des spécialistes en thérapie éducative. Ce cas, l'ASD Carebot, est le point d'entrée que « Responsible AI for Digital Leaders with Google Cloud », le tutoriel de Google Skills, utilise pour enseigner comment se délibère une décision d'IA dans une organisation sérieuse. Ce post parcourt cette méthode : principes, préoccupations, gouvernance et les deux processus de révision de Google Cloud.

Ce qu'est l'IA responsable, et ce qu'elle ne résout pas

Il n'y a pas de définition universelle de l'IA responsable ni de liste de contrôle simple. Les organisations développent leurs propres principes, reflet de leur mission et valeurs, avec des thèmes qui apparaissent presque partout : transparencia, équité, reddition de comptes et vie privée.

Il y a deux mythes à démolir avant de continuer. Le premier : que les machines prennent les décisions centrales. Dans les faits, les personnes conçoivent les systèmes, choisissent les données, décident du déploiement et définissent l'usage, et en chacun de ces points elles introduisent leurs valeurs. Le deuxième : que l'IA responsable n'importe que pour les cas d'usage controversés. Les cas innocents, les cas de bonne intention, peuvent aussi causer des problèmes éthiques ; l'ASD Carebot est exactement ce type de cas.

L'argument pratique du tutoriel se résume en un mantra : « responsible AI equals successful AI ». Incorporer la responsabilité dans n'importe quel déploiement produit de meilleurs modèles et construit la confiance. Si cette confiance se rompt, les déploiements stagnent ou échouent, et dans le pire des cas ils causent du tort.

Sept principes et quatre exclusions

En juin 2018, sept principes d'IA ont été annoncés pour guider la recherche, les produits et les décisions d'affaires : être socialement bénéfique, éviter de créer ou renforcer des biais injustes, concevoir et tester pour la sécurité, rendre compte aux personnes, incorporer les principes de conception de la vie privée, maintenir de hauts standards d'excellence scientifique et être disponible pour des usages conformes à ces principes. En plus des sept, il y a quatre domaines non poursuivis : les technologies qui causent ou pourraient causer un dommage général, les armes, la surveillance qui viole des normes internationalement acceptées, et les technologies dont le but contredit le droit international et les droits humains.

L'avertissement qui les accompagne est la partie la plus utile : les principes sont un point de départ, pas une fin. Ils donnent rarement des réponses directes et ne permettent pas d'esquiver les conversations difficiles.

Les préoccupations, y compris celles des modèles de langage

Le tutoriel liste sept préoccupations éthiques : transparencia, biais injuste, sécurité, vie privée, pseudoscience de l'IA, reddition de comptes aux personnes, et chômage et deskilling. S'y ajoutent trois propres aux LLM : les hallucinations, contenu inventé ; la factualité, la précision de l'information générée ; et l'anthropomorphisation, attribuer des qualités humaines aux machines.

Sur le biais, la position est précise : l'IA ne crée pas de biais injuste par elle-même, elle l'expose des systèmes sociaux existants et l'amplifie. Il peut entrer à n'importe quelle étape du cycle ML, de la formulation du problème à l'usage, et ses causes racines sont la sous-représentation des groupes dans les données, le manque de données critiques et le manque de contexte social. L'exemple typique est un classifieur d'images entraîné sur des données qui ne reflètent pas la base d'utilisateurs globale : il étiquette « wedding » uniquement pour les couples en tenue de mariage occidentale traditionnelle et « people » pour les images en tenue traditionnelle d'une autre culture. Google a répondu à ce type de biais avec une compétition ouverte aux citoyens du monde pour élargir le dataset.

La pseudoscience de l'IA mérite une mention à part : des algorithmes d'analyse faciale qui promettent de mesurer une « tendance criminelle » et des modèles de détection d'émotions considérés comme non scientifiques par la communauté scientifique, reconditionnés avec l'IA. Un sondage Capgemini cité dans le matériel attribue les problèmes éthiques rapportés au manque de ressources dédiées, au manque d'équipes diverses et à l'absence de code de conduite, avec la pression pour implémenter l'IA urgentement comme raison principale ; 33 % des répondants ont déclaré que les questions éthiques n'ont pas été réellement considérées en construisant les systèmes.

Opérationnaliser : mesurer, délibérer et consigner

Passer des principes à la pratique a quatre défis. Mesurer l'efficacité : atténuer un dommage potentiel est plus difficile à évaluer que la performance technique, et les métriques changent (issues et leurs atténuations, impact sur la confiance client, enquêtes utilisateurs). Les dilemmes éthiques : ce ne sont pas des décisions claires entre bien et mal, mais des tensions entre les valeurs de membres du comité avec des interprétations différentes ; délibérer est l'objectif central de la révision. L'application apparemment subjective ou culturellement relative, qui se réduit avec un processus bien défini, un ancrage dans les réalités techniques et métier, et l'enregistrement des précédents. Et obtenir un avis direct d'experts externes et de groupes affectés, critique mais difficile, car personne ne représente un groupe entier.

Des dix meilleures pratiques, deux retiennent l'attention. L'efficacité n'est pas l'objectif premier du processus : si on se concentre trop sur être efficace, on peut perdre des problèmes potentiels qui causent des dommages ultérieurs aux clients. Et chaque application d'IA a besoin d'attention, même les apparemment bénéfiques.

Gouverner : comités et questions, pas des checklists

Le matériel est sans appel sur deux raccourcis. Embaucher des personnes éthiques ne garantit pas des produits éthiques : deux personnes éthiques peuvent arriver à des conclusions différentes, et le rapport Ethics by Design du World Economic Forum documente les angles morts même chez les personnes les plus éthiques. Et créer une checklist pour l'IA responsable ne fonctionne pas non plus : les checklists sont inefficaces pour des technologies aussi naissantes, peuvent poser des limites à la pensée critique et causer des angles morts éthiques. À la place, des programmes et pratiques qui permettent l'imagination morale — imaginer la gamme complète des possibilités d'une situation.

La structure de gouvernance de Google a quatre corps.

flowchart TD
    E[Équipe centrale Responsible Innovation<br/>guide et interprétation commune] --> S[Groupe d'experts seniors<br/>stratégie et technologies émergentes]
    S --> C[Conseil de dirigeants seniors<br/>cas complexes et précédents]
    E --> K[Comités intégrés par domaine produit<br/>technologie, données et contexte]

L'équipe centrale Responsible Innovation guide les équipes produit et assure une interprétation commune des principes, avec des chercheurs utilisateurs, des scientifiques sociaux, des spécialistes des droits humains et des experts juridiques. Un groupe d'experts seniors de plusieurs disciplines informe la stratégie et les technologies émergentes. Un conseil de dirigeants seniors traite les sujets les plus complexes comme corps d'escalade, avec des décisions qui créent des précédents. Et des comités de gouvernance personnalisés, intégrés dans des domaines produit, considèrent la technologie, le cas d'usage, les données d'entraînement et le contexte social.

Dans cette structure, l'issue spotting, l'identification précoce des problèmes éthiques du cas d'usage, fonctionne avec des questions et non avec une liste : des questions qui forcent à penser critique, ancrées dans des cadres de décision éthique, couvrant la définition du produit (quel problème il résout, qui sont les utilisateurs, quelles données et quel testing) et le contexte (but, applications socialement bénéfiques, potentiel de mauvais usage). On suppose toujours qu'il y a des issues à traiter, même dans des cas évidemment bénéfiques. L'ASD Carebot se dissout dans ce type de questions : accès à la thérapie, représentativité des données, risque de drift et sécurité, vie privée du foyer, consentement éclairé, expertise de l'équipe et accessibilité.

Les deux processus de révision de Google Cloud

Pour les projets avec du travail sur mesure au-delà des produits en GA, le customer AI deal review fonctionne en trois étapes.

flowchart LR
    I[Sales Deal Submission<br/>intake et flag automatisé] --> P[Preliminary Review<br/>précédents et agenda]
    P --> R[Comité : produit, politiques,<br/>ventes, éthique et juridique]
    R -->|Consensus| D1[Avancer]
    R -->|Consensus| D2[Ne pas avancer]
    R -->|Consensus| D3[Avec conditions ou métriques]
    R -->|Pas de consensus| D4[Escalader au conseil de dirigeants]

D'abord, Sales Deal Submission : le field sales formé soumet l'opportunité et un processus automatisé marque les deals dans l'outil de vente. Ensuite, Preliminary Review : l'équipe des principes avec l'équipe centrale applique des précédents historiques, débat des risques et demande plus d'informations, en fixant l'agenda. Enfin, Review/Discuss/Decide : un comité avec des leaders produit, politiques, ventes, éthique et juridique délibère et décide par consensus parmi quatre issues : avancer, ne pas avancer, avancer jusqu'à ce que des conditions ou métriques soient remplies, ou escalader au conseil de dirigeants.

Le Cloud AI product development review est le jumeau interne, pour les produits propres. Il démarre par des révisions précoces, pour que l'éthique entre dans la planification et non à la fin. Le review brief est envoyé avant la réunion, avec les objectifs et bénéfices sociaux du produit, le problème métier qu'il résout, les données, comment le modèle est entraîné et monitoré, le contexte social, les risques et un alignment plan proposé ; il est envoyé en avance pour que le temps de révision reste focalisé. Ensuite vient Discuss & Align, une révision en direct qui normalise les conversations difficiles, et le sign-off de l'alignment plan, qui rejoint la roadmap avec suivi d'exécution.

L'alignment plan est unique par produit et tout le chemin dedans n'est pas technique. Les risques éthiques peuvent venir du contexte d'intégration, et les options incluent réduire le but de la technologie, lancer avec une allow-list (le produit n'est pas disponible généralement et requiert une révision préalable par client) ou emballer des matériel pédagogiques, comme une model card ou un guide d'implémentation.

Ce qui reste à faire

Ce que cette méthode rend clair, c'est où vit la responsabilité. Les principes ne décident pas seuls : des comités avec des personnes diverses décident, des questions qui se posent toujours, des précédents qui se consignent, et un processus dont le fonctionnement est transparent même si les révisions individuelles sont confidentielles. Et il y a une tension assumée au grand jour entre la vitesse des affaires et le temps qu'une révision complète prend, avec l'efficacité délibérément placée au second plan.

Reste ce qui n'a pas été vérifié. Les trois quizzes du tutoriel n'ont pas été ouverts, donc aucune affirmation sur leurs réponses. Les sept principes et les processus décrits ont été présentés avec des données de sources de 2019 à 2021, et ont pu évoluer depuis : avant de les citer contractuellement, il vaut les revalider sur ai.google/principles.

*Source : « Responsible AI for Digital Leaders with Google Cloud », de Google Skills.*