Après six mois de travail, l’Ecolab du Commissariat général au développement durable, en collaboration avec l’Afnor et une centaine de contributeurs, a publié le premier document rassemblant les méthodes et bonnes pratiques utiles à l’évaluation et la réduction de l’impact environnemental d’un système d’IA.
Dans le cadre de la Stratégie Nationale pour l’IA, une centaine de contributeurs issus des entreprises, de la recherche, des associations et des administrations ont été mobilisés en janvier 2024 au sein d’un groupe de travail piloté par l’Ecolab du Commissariat général au développement durable, en partenariat avec l’Afnor. Six mois plus tard, leurs travaux ont abouti à la publication du premier référentiel général pour l’IA frugale.
L’objectif de ce document est de partager un guide des définitions, méthodes et bonnes pratiques utiles pour l’évaluation et la réduction de l’impact environnemental d’un système d’IA et des services numériques qui l’utiliseraient. Le référentiel s’adresse tout d’abord aux producteurs et fournisseurs de services d’IA pour mesurer et réduire l’impact environnemental de leurs services, ainsi que pour communiquer sur leurs actions. Il cible aussi les entreprises consommatrices de services d’IA, ainsi que les acteurs de la société civile, afin de leur donner les moyens d’évaluer les déclarations des fournisseurs et producteurs.
« Notre objectif était d’arriver à un outil unifié, qui aille plus loin que ce qui existait jusqu’à présent, qui était lacunaire. Le référentiel a pour objectif d’harmoniser l’existant, tout en proposant un recueil de bonnes pratiques, de conseils et d’astuces tout au long du cycle de vie de l’IA », déclare Anna Medan, Cheffe de projet normalisation au sein de l’Afnor.
Les enjeux sociaux et éthiques liés au développement de l’IA ont cependant été exclus du périmètre du document, malgré leur intrication parfois élevée avec les enjeux environnementaux. La frugalité a donc été discutée sous l’angle environnemental, le document ne prenant pas parti sur l’utilité des services dans les différents secteurs comme ceux de la santé ou de la sécurité.
Frugalité et sobriété : deux concepts très proches
La frugalité étant le thème central du référentiel, le document rappelle qu’il s’agit là d’une notion très large qui peut être rapprochée de la notion de sobriété, pour laquelle il n’existe pas de définition précise et consensuelle, mais qui « assemble un continuum de démarches qui promeuvent – à différents degrés et à différentes échelles – une modération de la production et de la consommation de ressources énergétiques et matérielles, par une transformation des modes de vie au-delà de la recherche d’efficacité », selon la définition qu’en donne un rapport de l’Ademe.
Pour les auteurs du référentiel, la frugalité d’un service d’IA vise à réduire globalement les besoins en ressources matérielles et énergétiques et les impacts environnementaux associés via une redéfinition des usages ou des exigences de performance. Un service frugal d’IA est donc un service pour lequel :
- La nécessité de recourir à un système d’IA plutôt qu’à une autre solution moins consommatrice pour répondre au même objectif a été démontrée ;
- De bonnes pratiques sont adoptées par le producteur, le fournisseur et le client d’IA pour diminuer les impacts environnementaux du service utilisant un algorithme d’IA ;
- Les usages et les besoins visent à rester dans les limites planétaires et ont été préalablement questionnés.
Des méthodes et indicateurs pertinents pour mesurer l’impact environnemental des services d’IA
Après avoir posé les fondamentaux et définitions nécessaires à la bonne compréhension des enjeux, le référentiel propose une méthodologie de l’évaluation environnementale des systèmes d’IA. L’objectif est ici de mettre à disposition des publics cibles les méthodes et indicateurs pertinents permettant d’estimer ou de mesurer l’impact environnemental des services d’IA qu’ils conçoivent, commercialisent ou utilisent et d’effectuer les arbitrages en connaissance de cause.
« Évaluer qualitativement ou quantitativement les impacts environnementaux d’un système d’IA et de son utilisation implique d’interroger les usages et les besoins, en lien avec les limites planétaires et d’évaluer l’efficacité du système. Cette évaluation ne peut être que relative (entre deux systèmes) et non absolue », peut-on lire dans le document.
La méthodologie proposée s’appuie sur des normes et documents existants pour les services numériques, notamment la prise en compte quantitative des impacts de premier ordre par une méthodologie basée sur l’Analyse du Cycle de Vie (ACV), s’appuyant sur les normes ISO, recommandation ITU-T L.1410 et les règles par catégories de produit (usuellement RCP, pour Référentiel par Catégorie de Produit, ou PCR, pour Product Category Rules), dont le RCP Services numériques.
31 bonnes pratiques à l’honneur
Un des objectifs du référentiel est également de réaliser un état des lieux des bonnes pratiques opérationnelles en IA frugale. Ce premier recueil ne se veut pas exhaustif, la maturité de ce domaine étant encore en construction. Les auteurs du document précisent également avoir été confrontés au défi suivant : « Comment sélectionner les bonnes pratiques en IA frugale alors que les indicateurs permettant de les classer ne sont pas encore définis ? Et encore moins recueillis ? »
Pour répondre à l’absence d’indicateurs de mesure de l’IA frugale, le groupe de travail s’est appuyé sur la diversité, mais aussi sur l’expertise de ses participants, issus à la fois du monde de l’entreprise, du secteur public et du monde académique.
Issues très majoritairement de témoignages et d’entretiens, 31 bonnes pratiques ont ainsi été formulées par le groupe de travail et classées selon les trois segments (service, données, infrastructures) et les étapes du cycle de vie d’une IA. Certaines bonnes pratiques adressant plusieurs étapes ou plusieurs domaines, le total par étape ou par domaine est donc parfois supérieur au nombre total de bonnes pratiques.
L’ensemble des bonnes pratiques a ensuite été soumis à une notation de la part des contributeurs. Pour chaque bonne pratique, les votants ont estimé le gain de frugalité découlant de la bonne pratique (faible, modéré ou élevé) et l’effort de mise en œuvre de la bonne pratique (faible, modéré ou élevé). Chaque votant a également pu indiquer ses cinq bonnes pratiques préférées. Trois classements en sont ressortis.
Bonnes pratiques avec le gain le plus fort :
- BP12 – Instruire la frugalité dans chaque projet IA
- BP14 – Acculturer et former les parties prenantes
- BP02 – Choisir la solution pour répondre au besoin en considérant les alternatives à l’IA
- BP20 – Optimiser l’usage de l’équipement existant
- BP01 – Utiliser des méthodes d’analyse de besoin pour mettre en œuvre la frugalité
Bonnes pratiques les plus faciles à mettre en œuvre :
- BP29 – Réutiliser des algorithmes entraînés et partager les algorithmes réalisés
- BP04 – Définir des critères justifiant le ré-entraînement du modèle
- BP15 – Faire de la compression de données
- BP23 – Réaliser une estimation de la consommation via l’apprentissage sur une petite partie du jeu de données
- BP19 – Utiliser des datasets open source pour la phase de prototypage
Bonnes pratiques les plus populaires (parmi les contributeurs au référentiel) :
- BP02 – Choisir la solution pour répondre au besoin en considérant les alternatives à l’IA
- BP14 – Acculturer et former les parties prenantes
- BP01 – Utiliser des méthodes d’analyse de besoin pour mettre en œuvre la frugalité
- BP29 – Réutiliser des algorithmes entraînés et partager les algorithmes réalisés
- BP12 – Instruire la frugalité dans chaque projet IA
La phase de communication prise en compte
Dans le cas où un fournisseur d’IA ou un producteur d’IA cherche à publier des informations environnementales sur des systèmes ou des services d’IA, le référentiel propose également quelques lignes directrices simples pour outiller les entreprises.
Dans le cas d’une évaluation quantitative d’indicateurs environnementaux sur le cycle de vie, le fournisseur ou le producteur d’IA devra préciser les informations suivantes pour faire des déclarations sur des indicateurs environnementaux sur le service :
- Précision du périmètre de l’analyse en cycle de vie : unité fonctionnelle, frontières du système, méthode d’allocation (par volume, par temps d’exécution, par nombre de requêtes…), catégories d’impact, précision des hypothèses adoptées dans le cas d’une incertitude (par exemple sur la localisation opérationnelle des ressources de calcul)
- Source des méthodologies utilisées
- Base de données d’analyse en cycle de vie utilisée pour le calcul d’impact
- Guide d’utilisation du service d’IA pour obtenir la performance environnementale attendue sur les inférences
- Localisation des ressources de calcul et de stockage sur le cycle de vie de l’IA
- Précision sur l’évaluation : revue critique par un tiers extérieur ou non, données instantanées ou date de réalisation de l’analyse en cycle de vie, éléments sur la qualité des données à la base de l’ACV
« Ce document est un point de départ pour l’Afnor pour essayer de créer au niveau européen une norme harmonisée dans le cadre de l’AI Act. Ce texte est donc la première étape pour nous, avec l’appui du Ministère, pour aller défendre au niveau européen un texte sur l’impact environnemental des IA », conclut Anna Medan.