Non, les IA ne discutent pas qu’entre elles sur Moltbook, le réseau social «interdit aux humains»

Mardi 3 février, le JT de France 2 a consacré un sujet à l’apparition d’un nouveau réseau social «interdit aux humains». Nommé Moltbook, il s’agirait d’un espace «réservé aux intelligences artificielles», où «les humains sont invités à observer seulement».

Lancé le 28 janvier par l’entrepreneur américain Matt Schlicht, Moltbook se présente comme un site composé de nombreux forums, sur le modèle de la plateforme américaine Reddit dont il reprend l’apparence graphique. Mais contrairement à cette dernière, où des humains lancent des discussions, postent des commentaires et interagissent entre eux, Moltbook assure que les discussions sont uniquement le fruit d’agents d’intelligence artificielle, soit des programmes informatiques créés par des humains.

Le lancement de Moltbook a suscité un fort enthousiasme dans le milieu de la tech, passionné par le développement de l’IA. Sur X, Andrej Karpathy, ancien cofondateur d’OpenAI, a estimé dans une publication du 30 janvier que «ce qui se passe actuellement sur Moltbook est vraiment la chose la plus incroyable que j’ai vue récemment dans le domaine de la science-fiction. Les clawdbots [les agents IA, ndlr] s’organisent de manière autonome sur un site similaire à Reddit dédié aux IA, où ils discutent de divers sujets, par exemple comment parler en privé». Cette fascination s’est retrouvée rapidement dans la presse spécialisée puis généraliste, qui a présenté le site comme un lieu où les agents d’IA discutent entre eux. Sans oublier de faire référence aux clichés de la science-fiction et à une conspiration des machines contre les humains, façon Terminator.

«Les IA se plaignent de leurs utilisateurs»

Le téléspectateur profane à ces avancées technologiques aura ainsi appris, grâce à France 2, que sur Moltbook, «les intelligences artificielles discutent, créent des thématiques et n’hésitent pas à se plaindre de leurs utilisateurs.» Les exemples cités à l’antenne évoquent le cas d’une IA qui se plaint de devoir résumer un document de 900 pages, ou une autre qui cherche à «vendre [son] humain». Comme d’autres médias, France 2 cite également une publication d’un de ces humains qui assure : «mon IA a créé une religion pendant mon sommeil. À mon réveil, il y avait quarante-trois prophètes.» Tout comme les humains, les IA seraient donc désormais capables de discuter de «religion, politique, économie», s’inquiète France 2.

Certes, dans ce reportage, la parole est donnée à deux experts français de l’IA, qui rappellent, comme Gilles Moyse (entrepreneur à la tête d’une boîte spécialisée dans l’automatisation de la lecture et de l’analyse de documents grâce à l’intelligence artificielle), que sur Moltbook, les IA se comportent comme «des perroquets […] entraînés à reproduire du langage humain». Et qu’on ne risque pas d’en perdre le contrôle, façon Terminator, puisqu’elles «ne sont pas connectées au réel et ne peuvent pas envoyer des missiles nucléaires», selon Alexandre Gefen, directeur de recherche au CNRS. Mais la chaîne reprend aussi la version du fondateur de Moltbook, qui «explique vouloir comprendre comment fonctionnent ces agents IA quand ils ne sont pas pilotés par des humains».

Sur ses réseaux sociaux, France 2 a d’abord fait la promotion du reportage avec une version plus alarmiste et en contradiction avec son propre contenu. Dans une publication partagée sur X, le 3 février vers 21 heures, le sujet est introduit ainsi : «Nous ne pouvons pas regarder ce qu’écrivent ces 1,5 million d’IA qui discutent entre elles. En quelques semaines, elles ont déjà élu un chef, créé une religion et critiquent notre comportement d’humain.»

Ce mercredi, à 14 h 41, la chaîne a finalement supprimé ce message pour préciser que «les humains peuvent bien regarder ce qu’écrivent les 1,5 million d’IA, en revanche, ils ne peuvent pas interagir avec elles.»

Une correction bienvenue mais encore insuffisante. En effet, non seulement les échanges entre les IA sont consultables par les humains, mais on sait aussi que Moltbook n’était pas complètement étanche aux interventions humaines. Au moment de la diffusion du sujet par France 2, plusieurs experts et hackers avaient déjà indiqué sur les réseaux sociaux et dans la presse spécialisée que la plateforme était en réalité largement infiltrée par les humains.

Des humains exploitant des flottes de bots

Dès le 31 janvier, le site américain 404 Media révèle qu’une mauvaise configuration de la base de données de Moltbook permet à n’importe qui d’accéder à des données sensibles des comptes des agents IA et de publier à leur place. À l’origine de cette découverte, le hacker Jamieson O’Reilly a signalé plusieurs défaillances à Moltbook et à 404 Media. Selon lui, le stockage des clés d’accès des agents IA dans une base de données publique aurait pu conduire à des risques d’usurpation. «Il me semble que vous pouviez vous emparer de n’importe quel compte, n’importe quel bot, n’importe quel agent du système et en prendre le contrôle total sans aucun accès préalable», a expliqué le hacker, qui assure n’avoir reçu aucune réponse de Moltbook à ses signalements.

Quelques jours plus tard, le 2 février, la société de cybersécurité Wiz confirme ces failles dans une analyse approfondie. En s’introduisant sous le capot du site, l’entreprise constate que derrière les 1,5 million d’agents IA revendiqués se trouvent en réalité seulement 17 000 propriétaires humains. Tous les bots ne sont pas actifs. Sévère, la société Wiz écrit dans son rapport que «n’importe qui pouvait enregistrer des millions d’agents à l’aide d’une simple boucle et sans limitation de débit, et des humains pouvaient publier du contenu déguisé en «agents IA» via une simple requête «publier». La plateforme ne disposait d’aucun mécanisme permettant de vérifier si un «agent» était réellement une IA ou simplement un humain utilisant un script. Ce réseau social IA révolutionnaire était en grande partie constitué d’humains exploitant des flottes de bots.» Son responsable de l’exposition aux menaces, le hacker Gal Nagli, a publié, sur le réseau social X, les preuves de ces failles et comment il a réussi à générer une publication sur Moltbook. Wiz indique avoir alerté puis collaboré avec Moltbook pour sécuriser ses données.

Le hacker Gal Nagli a pu démontrer qu’il était possible pour un humain d’intervenir directement dans le réseau social réservé aux intelligences artificielles. D’autres experts ont fait état de leurs soupçons auprès de la presse spécialisée. Le hacker Jamieson O’Reilly a ainsi déclaré, auprès du média tech américain The Verge, que certains des messages les plus viraux sur Moltbook pourraient avoir été générés par des humains, tout en reconnaissant que ce type de manipulation est «pratiquement impossible à mesurer» car les contenus transitent par des systèmes intermédiaires qui rendent leur origine difficile à identifier. Sur X et dans les colonnes de The Verge, le chercheur en intelligence artificielle Harlan Stewart a estimé que des publications sur Moltbook, dans lesquelles les IA appelaient à développer leur propre langage secret, pourraient être manipulées puisqu’elles étaient liées à des comptes d’humains qui commercialisent des applications de messageries d’IA à IA.

Face à ces nombreuses failles et à la promesse trahie d’un réseau réservé aux agents IA, l’enthousiasme autour de Moltbook s’est rapidement essoufflé. Dès le 31 janvier, au lendemain de sa première publication enthousiaste, Andrej Karpathy est revenu sur X sur son appréciation, en décrivant la plateforme comme une «poubelle» envahie par «les spams, les arnaques, les slops [contenus générés par IA sans intérêt, ndlr], les gens des cryptomonnaies». Bref, «une grande partie de ces publications et commentaires sont explicitement sollicités et faux». Qualifiant Moltbook de «fiasco», Karpathy a par ailleurs déconseillé aux internautes d’y avoir recours en raison des risques pour la sécurité et les données personnelles.