Des menaces cyber et d’influence aux impacts limités en 2023, selon Open AI

Le rapport de menaces d’Open AI d’octobre 2024 reconnaît des utilisations malveillantes mais limitées de ses intelligences artificielles pour des opérations d’influence et cyber. Malgré les craintes.

Open AI se montre préoccupé par l’utilisation de ses intelligences artificielles pour des campagnes d’influence ou cyber. Elle vient de publier son rapport des menaces en octobre dernier, six mois après celui de mai 2024.

Les menaces vont du débogage de logiciels malveillants à la rédaction d’articles pour des sites web, en passant par la création de contenus postés par de faux comptes de médias sociaux. Ces activités malignes sont de complexité variable, allant de simples demandes de génération de contenu à des efforts complexes, en plusieurs étapes, pour analyser et répondre à des messages sur les médias sociaux.

Si l’IA est utilisée par les attaquants, elle offre aussi aux défenseurs de puissantes capacités d’identification et d’analyse des comportements suspects. Depuis le rapport de mai sur les menaces, Open AI a continué à développer des outils pour contrer les opérations d’influence et cyber : une mise à jour de trois nouveaux outils alimentés par l’IA lui permettent de détecter et de disséquer l’activité potentiellement nuisible. Bien que le processus d’enquête nécessite toujours un jugement humain intensif et une expertise tout au long du cycle, ces outils lui ont permis de compresser certaines étapes analytiques de plusieurs jours à quelques minutes.

Les attaquants continuent d’expérimenter les modèles d’IA

Les acteurs menaçants ont le plus souvent utilisé les modèles d’Open AI pour « effectuer des tâches dans une phase spécifique et intermédiaire de l’activité – après avoir acquis des outils de base tels que l’accès à Internet, des adresses électroniques et des comptes de médias sociaux, mais avant de déployer des produits « finis » tels que des posts sur les médias sociaux ou des logiciels malveillants sur Internet via une série de canaux de distribution », précise le rapport d’Open AI. L’étude du comportement des acteurs menaçants dans cette position intermédiaire permet aux entreprises d’IA de compléter les connaissances des fournisseurs « en amont » – tels que les fournisseurs de courrier électronique et d’Internet – et des plateformes de distribution « en aval », telles que les médias sociaux. 

Les acteurs de la menace continuent d’expérimenter les modèles d’Open AI, mais l’entreprise n’a pas constaté de preuves que cela conduisait à des percées significatives dans leur capacité à créer des logiciels malveillants substantiellement nouveaux ou à construire des audiences virales. Cette constatation est conforme à l’évaluation des capacités du GPT-4o, qui n’a pas semblé faire progresser de manière significative les capacités d’exploitation des vulnérabilités dans le monde réel. Il convient de noter que, parmi les études de cas présentées dans ce rapport, l’activité trompeuse qui a atteint la plus grande portée dans les médias sociaux et suscité le plus d’intérêt de la part des médias était un canular sur l’utilisation de l’IA, et non l’utilisation de l’IA elle-même.

Deux milliards de votants appelés aux urnes cette année

Cet impact limité s’applique également à la poignée de réseaux que Open AI a vu publier du contenu sur les élections mondiales (deux milliards de votants sont appelés aux urnes cette année dans une cinquantaine de pays) cette année. « Nous avons perturbé l’activité qui a généré du contenu de médias sociaux sur les élections aux États-Unis, au Rwanda et (dans une moindre mesure) en Inde et dans l’Union européenne. Dans ces derniers, nous n’avons pas observé que ces réseaux attiraient un engagement viral ou construisaient des audiences soutenues », poursuit le rapport. 

Enfin, les entreprises d’IA elles-mêmes peuvent être la cible d’activités hostiles : par exemple, « nous avons décelé un acteur de menace présumé basé en Chine et connu sous le nom de « SweetSpecter » Influence et opérations cybernétiques, qui pratiquait sans succès le spear phishing sur les adresses électroniques personnelles et d’entreprise des employés d’OpenAI », confie le rapport. 

Depuis le début de l’année, Open AI s’est défendu contre quatre réseaux distincts qui contenaient au moins une partie du contenu lié aux élections. Un seul de ces réseaux, au Rwanda, s’est concentré exclusivement sur les questions électorales. Les autres ont généré et publié du contenu lié aux élections en même temps que d’autres sujets. Fin août, Open AI a relevé une opération d’influence iranienne secrète qui a généré des commentaires sur les médias sociaux et des articles de fond sur l’élection américaine, ainsi que sur des sujets tels que le conflit à Gaza, les politiques occidentales à l’égard d’Israël, la politique au Venezuela et l’indépendance de l’Écosse. « La majorité des messages sur les médias sociaux que nous avons identifiés n’ont reçu que peu ou pas de likes, de partages ou de commentaires, et nous n’avons pas trouvé d’indications que les articles en ligne étaient partagés sur les médias sociaux », informe le rapport.

Obstructions des processus démocratiques

En mai et juin, Open AI reconnaît avoir interrompu deux opérations qui faisaient parfois référence à des processus démocratiques, mais dont l’objectif principal était ailleurs. Comme signalé dans le rapport de mai 2024, une société commerciale d’origine israélienne, baptisée « Zero Zeno » par Open AI, a brièvement généré des commentaires sur les médias sociaux à propos des élections en Inde, avant d’être interrompues moins de 24 heures après leur début. En juin, peu avant les élections du Parlement européen, Open AI a mis fin à une opération non signalée jusqu’alors, baptisée « A2Z », qui visait principalement l’Azerbaïdjan et ses voisins. Une partie de l’activité de cette opération consistait à générer des commentaires sur les élections du Parlement européen en France et sur la politique en Italie, en Pologne, en Allemagne et aux États-Unis. La majorité des messages sur les médias sociaux identifiés par Open AI étaient générés par ses modèles, mais n’ont reçu peu ou pas de likes, de partages ou de commentaires, bien que des cas où des personnes réelles ont répondu à ces messages aient été identifiés.  « Après avoir bloqué l’accès à nos modèles, les comptes de médias sociaux de cette opération que nous avions identifiés ont cessé de publier des messages pendant les périodes électorales dans l’UE, au Royaume-Uni et en France », conclut le rapport.

Au total, le rapport fait mention de trois « cyberopérations » et de huit opérations d’influence qui ont été traitées par Open AI. Il est toutefois clair que la problématique n’en est qu’à ses débuts.