Les acteurs de la menace sont constamment à la recherche de nouveaux moyens ou de nouvelles voies pour atteindre leurs objectifs. L’utilisation de l’intelligence artificielle (IA) constitue l’une de ces nouveautés et pourrait bien changer radicalement l’écosystème souterrain. La communauté des cybercriminels utilisera cette nouvelle technologie soit comme un modèle commercial (développeurs et vendeurs), soit comme un produit pour perpétrer leurs attaques (acheteurs).

En juin 2023, cela s’est concrétisé par la publication d’un outil d’IA qui promettant de repousser les limites de ChatGPT, appelé WormGPT. Ce nouvel outil est basé sur GPT-J-6B, un Large Language Model (LLM) open-source. Il a été présenté par son créateur, « Last »^[1] , qui prétend avoir travaillé dessus depuis février 2023, ambitionnant de développer une « alternative à ChatGPT pour les blackhats ». Sa promotion et sa commercialisation se sont faites via Telegram et des forums souterrains, avec  des prix oscillant entre 100 $ pour un accès pour un mois et 5 000 $ pour une installation privée.

Quelques jours après le lancement de WormGPT le 22 juillet, un utilisateur sous le pseudonyme « CanadianKingpin12 » a annoncé le lancement d’un autre outil d’IA appelé FraudGPT. Celui-ci a également été commercialisé via Telegram, les marchés et les forums clandestins ^[2]. Les chercheurs des KrakenLabs d’Outpost24 ont constaté que ce même utilisateur avait annoncé trois autres outils d’IA : DarkBERT, DarkBARD et DarkGPT.

Comme prévu, les utilisateurs de l’écosystème clandestin ont vu dans l’IA une activité potentiellement lucrative, ce qui a donné naissance à ces nouveaux outils d’IA sans limites. Ils ont été créés à des fins malveillantes et sont vendus comme des solutions capables d’outrepasser les frontières de l’éthique, élevant l’ingénierie sociale à un autre niveau de complexité.

De plus, comme c’est généralement le cas lorsque de nouvelles tendances émergent, vendeurs et créateurs de ces nouveaux outils de Dark IA ne tiennent pas toujours leurs promesses. Les escrocs ont proliféré par le biais de fausses chaînes Telegram où ils promettaient des outils qui ne seront finalement jamais livrés aux acheteurs.

Le business de Dark AI

Tous les outils observés présentent des caractéristiques similaires : écriture de codes malveillants, la recherche de fuites et de vulnérabilités ou la création de pages d’hameçonnage… Cependant, les prix varient en fonction du vendeur et du produit vendu. Par exemple, les analystes des KrakenLabs d’Outpost24 ont déduit que l’outil de Dark IA le plus précieux de CanadianKingpin12 était DarkBERT, parce que le plus cher. Comme le montre le graphique ci-dessous, les prix pratiqués par le développeur (« darkstux ») et le vendeur (« Last ») de WormGPT étaient également très différents.

OUTILS DARK IA	VENDEUR/PROMOTEUR	PRIX
WormGPT	Last (vendeur)	1 mois – 100 $ 1 an – 550 $Installation privée – 5 000 $
	darkstux (dev)	1 mois – 90 $3 mois – 230 $6 mois – 500 $12 mois – 850 $
FraudeGPT	CanadianKingpin12	1 mois – 90 $3 mois – 200 $6 mois – 500 $12 mois – 700 $
DarkBERT	CanadianKingpin12	1 mois – 110 $3 mois – 275 $6 mois – 650 $12 mois – 800 €À vie – 1250 $
DarkBARD	CanadianKingpin12	1 mois – 100 $3 mois – 250 $6 mois – 600 $12 mois – 800 $À vie – 1000 $
DarkGPT	CanadianKingpin12	À vie – 200 $

**Note : les données ci-dessus ont été récupérées à partir du message principal sur les forums, Telegram et les marchés.

Le 28 juin, l’utilisateur avec le pseudonyme « Last » annonce le lancement de WormGPT sur le célèbre forum de pirates informatiques Hackforums. Peu de temps après, un autre utilisateur dénommé « Laste » fait la promotion de WormGPT dans un post sur ExploitIn, un forum de pirates russophones bien connu. Sur le forum ExploitIn, l’utilisateur affirme travailler sur ce projet depuis février 2023.

Groupe WormGPT

Alias :	Vendeur : Last, Laste, Updgame, ruiunashackers[1] Développeur :  Darkstux
Type :	Syndicat du crime
Catégorie :	Groupe
Motivation :	Gain personnel
Objectif :	Gain financier

Au cours du mois de juillet, Last effectue plusieurs mises à jour de ses posts, ajoutant des informations sur le modèle qu’ils utilisent et d’autres mises à jour importantes pour le projet. Un post clé a été publié le 15 juillet, lorsque Last déclare à un utilisateur du forum que son développeur « envisageait d’acheter l’ensemble du projet ». Cela confirme que l’on est en présence d’un groupe et que Last n’en est que le vendeur.

Le lendemain de la publication de Last sur les intentions de leur développeur, un nouveau canal Telegram prétendument légitime apparaît : « t.me/wormgptai ». Ce compte met en garde contre les escrocs et fait notamment référence à l’utilisateur Telegram « t.me/wormgptdev », un contact d’achat. Cependant, quelques jours plus tard, les analystes KrakenLabs d’Outpost24 constatent des à références à « t.me/wormgptai » et un autre utilisateur « t.me/darkstux » comme contacts d’achat de remplacement sur un canal Telegram. Ce nouveau canal Telegram a même été mentionné sur wormgpt[.]ai, un site créé pour promouvoir l’outil.

Cependant, bien que ce nouveau canal Telegram légitime et son administrateur (Darkstux) aient fait la promotion de WormGPT et créé une page web, le 21 juillet Last poste le commentaire suivant sur leur canal Telegram :

« Nous n’avons pas de site web ni d’autres groupes sur quelque plateforme que ce soit. Nous n’avons que deux fils de discussion « officiels », l’un sur hackforums et l’autre sur exploitin. Les autres sont des revendeurs ou des arnaqueurs ! »

Ils créent aisni une distance entre eux et l’autre canal Telegram – apparemment légitime. On ne sait pas encore s’ils sont liés ou non.

Tout cela peut être résumé par la chronologie suivante :

• 28/06 : Un utilisateur dénommé Last fait de la publicité pour WormGPT sur Hackforums.
  • 14/07 : Le même utilisateur poste sur le même projet mais dans Exploit.In sous le nom de Laste.
  • 15/07 : Last explique sur Exploit.In que leur développeur aimerait acheter le projet entier.
  • 16/07 : Un nouveau canal Telegram apparaît (« t.me/wormgptai ») contrôlé par le pseudo darkstux, probablement le développeur.
  • 21/07 : Création d’un nouveau canal Telegram « t.me/blackhatai », renommé par la suite « t.me/wormgptdevelopment », contrôlé par Last.

L’analyse des chercheurs KrakenLabs d’Oustpost24 suggère qu’il existe une probabilité solide selon laquelle Last auraitvendu le projet à son développeur, Darkstux. Ce qui expliquerait pourquoi les deux acteurs possèdent leurs propres canaux Telegram proposant l’outil WormGPT. Cela illustre à quel point les outils d’IA peuvent être rentables pour l’écosystème clandestin.

Explorer l’écosystème de la Dark IA

Le 21 juillet, l’utilisateur négligent d’un forum et client de WormGPT partage publiquement l’API publique utilisée par l’outil d’IA à ce moment-là. Il est frappant de constater que cette API ne comportait aucune forme d’authentification, ce qui permettait à toute personne possédant l’URL correcte d’engager une conversation avec WormGPT sans que cela ne lui coûte quoi que ce soit^[3]. Cette négligence montre que les acteurs derrière WormGPT ne considéraient pas la sécurité comme une priorité. Ces soupçons sont confirmés lorsque les chercheurs KrakenLabs d’Outpost24 découvrent que Last avait partagé des captures d’écran contenant l’adresse IP de leur panneau de connexion sur leur principal canal Telegram. Bien que floutées, les images ont pu être reconstituées pour obtenir une adresse IP partielle. Cela a suffi pour identifier la machine qui hébergeait ce panneau. Malgré la fermeture abrupte du projet quelques jours plus tard, il était toujours opérationnel. 

CanadianKingpin12 est le vendeur de différents services illicites au sein de l’écosystème souterrain. Il est actif sur Telegram et les marchés souterrains depuis juillet 2023, après une pause.

CanadianKingpin12

Alias :	CanadianKingpin, Thecashflowcartel, Canadian Kingpin12, theblackrebus, CanadianSmoker12, CanadianSmoker
Type :	Criminel
Catégorie :	Individuel
Motivation :	Gain personnel
Objectif :	Gain financier

L’utilisation fréquente du terme « myself » dans les publications permet de déduire que sous ce nom se cache probablement un seul individu. Comme le montre le tableau ci-dessous, cette personne est bien connue et appréciée de la communauté clandestine pour ses bons services :

Depuis la fin du mois de juillet, il propose différents outils d’IA, et prétend n’être qu’un simple fournisseur de services et non leur développeur, comme il l’a déclaré dans un message dans lequel il vendait des accès aux outils :

« Je ne suis pas impliqué dans la création ou le développement de ce robot. Mon rôle est de vous connecter à la source, et je dois préciser que je ne suis pas responsable de la façon dont vous utilisez cet outil. Je vous y donne simplement accès, et toute action ou conséquence découlant de son utilisation relève de votre seule responsabilité. »

FraudGPT a été annoncé sur un canal Telegram notoirement frauduleux, « t.me/TheCashFlowCartel », sur lequel l’administrateur du canal, CanadianKingpin12, proposait également des services liés au carding et au blanchiment d’argent. Le même jour, CanadianKingpin12 publie sur un forum frauduleux un article sur ses nouveaux services d’IA, dans lequel il décrit un outil d’IA comme ChatGPT, conçu sans limites légales ou éthiques, permettant à tout utilisateur de créer des logiciels malveillants, des campagnes de hameçonnage et bien d’autres choses encore.

Peu après la présentation de FraudGPT sur le canal Telegram de TheCashFlowCartel le 26 juillet, CanadianKingpin12 annonce la vente de l’accès à deux nouveaux outils d’IA : DarkBARD et DarkBERT.

Les analystes KrakenLabs d’Outpost24 ont découvert qu’avant cette période de pause, CanadianKingpin12 était connu sous le nom de CanadianSmoker12, dans un post sur une plateforme de carding connue :

En creusant ce nouveau moniker, il s’est avéré que CanadianKingpin12 vendait des services illégaux depuis au moins 2019 :

« Votre vendeur frauduleux n° 1 est de retour après des vacances bien méritées ! Pour ceux qui l’ignorent, je suis un vendeur de premier plan depuis 2019, dominant les places de marché les plus célèbres à travers le monde (ToRReZ, World, Kingdom, Vice City, WHM, Alpha Bay) pour n’en nommer que quelques-unes… avec un historique de plus de 3 000 ventes confirmées et 1 000 avis positifs confirmés (…). »

Bien qu’aucun lien direct n’ait été établi entre Laste (vendeur de WormGPT) et CanadianKingping12, les analystes KrakenLabs d’Outpost24 ont trouvé qu’un un profil Telegram nommé « t.me/Canadiankingpin » utilisait la même photo de profil que celle de Laste sur Exploit.In. L’explication la plus probable est qu’il s’agit d’un escroc négligent qui tente d’attirer les utilisateurs dans son piège.

Tout ce qui brille n’est pas d’or

Un outil qui gagne rapidement en popularité n’est pas toujours une bonne chose car cette ascension rapide s’accompagne d’un risque accru de problèmes. Il se peut que l’infrastructure utilisée devienne la cible d’une attaque DDoS ou même que des chercheurs concentrent leurs investigations sur les utilisateurs à l’origine de la création de l’outil et finissent par être « doxés » et démasqués.

C’est exactement ce qui s’est passé ici, les analystes des KrakenLabs d’Outpost24 ayant observé que certains utilisateurs et canaux promouvant ces outils d’IA commençaient à supprimer systématiquement tout indicateur les reliant à leurs projets, faisant ainsi comme si rien ne s’était passé.

Depuis le 3 août, CanadianKingpin12 a systématiquement supprimé toute trace de vente ou d’annonce relatives à des outils de Dark IA comme FraudGPT, DarkBARD, DarkBERT et DarkGPT. Les annonces concernant FraudGPT et d’autres outils faites sur son canal Telegram « t.me/TheCashFlowCartel », ne sont plus visibles. Ses messages dans les forums connus du Dark Web ont également été réduits à néant et les vidéos YouTube mises en ligne par l’utilisateur et dévoilantn les capacités des outils ont disparu. La raison de ces actions reste actuellement inconnue.

De plus, un canal créé pour promouvoir DarkBERT le 25 juillet (« t.me/DarkBERTOfficial ») a également été laissé sans propriétaire puisque l’utilisateur administrateur apparaît comme étant un compte supprimé.

Last a annoncé le 9 août la fin du projet WormGPT via son canal Telegram et les fils de discussion du forum ouvert, faisant allusion au niveau de visibilité obtenu. Toutes les vidéos, Pastebins et autres preuves partagées par Last ont été supprimées. Malgré les raisons invoquées par l’utilisateur, il convient de souligner que la décision a été annoncée après la publication par le chercheur Brian Krebs d’un article sur WormGPT révélant le véritable nom et la nationalité de l’individu derrière le pseudonyme Last^[1]. En connaissance de la chronologie des événements, il appartient maintenant au lecteur de tirer ses propres conclusions.

Les deux canaux Telegram contrôlés par Last et Darkstux ont été indiqués comme fermés le jour même où cette annonce a été faite. Toutes ces actions semblent donc confirmer l’hypothèse d’une connexion entre les deux utilisateurs.

De façon totalement inattendue pour les clients de ces outils, et malgré des messages sur les forums suggérant que certains d’entre eux ont bien acheté des licences annuelles et à vie, aucun des outils n’est resté fonctionnel pendant plus d’un mois et demi.

Quel développement pour les outils de Dark AI ?

Certains Large Language Models (LLM) étant en open source, toute personne disposant des connaissances suffisantes peut s’en servir afin de créer une IA spécifiquement adaptée aux fraudeurs et aux cybercriminels, comme ce fut le cas avec GPT-J et WormGPT. Les modèles à accès fermé ne sont pas non plus sûrs, car quelqu’un pourrait y accéder et se mettre à les revendre à d’autres cyberdélinquants, comme ce fut le cas avec CanadianKingpin12. 

De plus, comme nous l’avons déjà mentionné dans ce billet de blog, le battage médiatique autour des outils d’IA a attiré de nombreux escrocs qui ont créé des sites web et des canaux Telegram pour tromper les gens et leur faire acheter un accès inexistant à ces outils. L’augmentation de ces escroqueries est très révélatrice de la popularité et de l’intérêt de la communauté clandestine pour ces outils d’IA émergents qui permettent de commettre des délits. Comme l’a confirmé Last dans sa lettre d’adieu, n’importe qui peut reproduire ce que WormGPT a fait, ce qui laisse entrevoir l’advenue d’une nouvelle activité au sein de laquelle les escrocs, les développeurs, les vendeurs et les acheteurs devraient coexister :

« En fin de compte, WormGPT n’est rien d’autre qu’un ChatGPT sans restriction. N’importe qui sur Internet peut utiliser une technique de jailbreak connue et obtenir les mêmes résultats, si ce n’est de meilleurs, en utilisant des versions jailbreakées de ChatGPT. En réalité, sachant que nous utilisons GPT-J 6B comme Language Model, n’importe qui peut utiliser le même modèle non censuré et obtenir des résultats similaires à ceux de WormGPT. »

Nous venons d’assister à l’ascension et à la chute rapide de ces outils d’IA dotés d’un énorme potentiel de nuisance lorsque mis entre de mauvaises mains. Ces outils faisant preuve d’une rentabilité remarquable, il y a fort à parier qu’ils ne seront pas les derniers de leur genre. Nous avons vu des utilisateurs essayer d’acheter le projet WormGPT quelques instants après que Last a annoncé la fermeture du projet.

Il est donc probable qu’il faille s’attendre à une augmentation rapide du nombre de nouveaux outils de Dark IA et de leurs utilisateurs – étant donnée leur rentabilité inhérente parfaitement connue par l’écosystème souterrain. Il n’a pas fallu longtemps avant de voir de nouveaux outils prétendre être « le prochain WormGPT » : « Evil-GPT » ou « Wolf-GPT » par exemple. Ces nouveaux outils, bien que beaucoup plus simples que ne l’était WormGPT, soulignent l’intérêt généralisé pour l’exploitation de cette opportunité commerciale souterraine émergente et lucrative.

À propos de KrakenLabs

KrakenLabs est l’équipe de Cyber Threat Intelligence d’Outpost24. Notre équipe aide les entreprises à garder une longueur d’avance sur les acteurs malveillants dans un paysage de menaces en constante évolution, vous permettant ainsi de préserver vos actifs et la réputation de votre marque. Grâce à une infrastructure complète de chasse aux menaces, notre solution de Threat Intelligence couvre un large éventail de menaces actuelles afin d’aider votre entreprise à détecter et à dissuader les menaces externes.

En savoir plus sur Threat Compass, cliquez ici.

• [1] KrebsonSecurity (2023, 8 août). Rencontrez les cerveaux qui se cachent derrière le service de chat AI « WormGPT », compatible avec les logiciels malveillants
• [2] Netenrich (2023, 25 juillet). FraudGPT : Le méchant avatar de ChatGPT
• [3] Aidin Naserifard (2023, 21 juillet). WormGPT : est-il vulnérable ?