Böswillige KI-Tools: Wie geht der kriminelle Untergrund mit KI um?
Inhalt:
- Das Geschäft mit böswilliger KI (Dark AI)
- Ein Einblick in das Ökosystem rund um böswilliger KI
- Was kommt als nächstes für Dark-AI-Tools?
- Outpost24 KrakenLabs
Cyberkriminelle sind ständig auf der Suche nach neuen Methoden und Möglichkeiten, um ihre Ziele zu erreichen, und der Einsatz von künstlicher Intelligenz (KI) gehört zu diesen Innovationen, die das Ökosystem im kriminellen Untergrund drastisch verändern könnten. Threat Actors werden diese neue Technologie entweder als Geschäftsmodell (Entwickler und Verkäufer) oder als Produkte zur Ausführung ihrer Angriffe (Käufer) betrachten.
Im Juni 2023 wurde dies mit der Veröffentlichung eines KI-Tools namens WormGPT, das verspricht, die Grenzen von ChatGPT zu überwinden, Realität. Dieses neue Tool basiert auf GPT-J-6B, einem Open-Source Large Language Model (LLM). Es wurde von seinem Schöpfer „Last“ [1], der angeblich seit Februar 2023 daran arbeitete, als „ChatGPT-Alternative für Blackhat“ vorgestellt. Es wurde über Telegram und Untergrundforen beworben und zu Preisen angeboten, die zwischen 100 Dollar für einen monatlichen Zugang und 5.000 Dollar für eine individuelle Einrichtung schwankten.
Figure 1: Erster WormGPT post von „Last“
Einige Tage nach dem Start von WormGPT, am 22. Juli, kündigte ein Nutzer unter dem Pseudonym „CanadianKingpin12“ ein weiteres KI-Tool namens FraudGPT an. Dieses wurde ebenfalls über Telegram, Untergrundmärkte und Foren vermarktet [2]. Die KrakenLabs-Forscher von Outpost24 stellten fest, dass derselbe Nutzer drei weitere KI-Tools unter den Namen DarkBERT, DarkBARD und DarkGPT ankündigte.
Wie vorhergesagt, sahen die Nutzer im Untergrund-Ökosystem KI als ein potenziell lukratives Geschäft an, und so entstanden diese neuen KI-Tools ohne Einschränkungen. Sie wurden für böswillige Zwecke entwickelt und werden als eine Lösung zum Überspringen ethischer Grenzen angepriesen, wodurch Social Engineering auf eine neue Ebene der Komplexität gehoben wird.
Wie immer, wenn neue Trends auftauchen, halten die Verkäufer und Entwickler dieser neuen Dark-KI-Tools nicht immer, was sie versprechen. Es wäre nicht das erste Mal, dass sich Betrüger über gefälschte Telegram-Kanäle verbreiten, in denen sie Tools versprechen, die den Käufern nie geliefert werden.
Das Geschäft mit böswilliger KI (Dark AI)
Alle beobachteten Tools haben ähnliche Funktionen, wie das Schreiben von Schadcode, das Auffinden von Sicherheitslücken und Schwachstellen oder das Erstellen von Phishing-Seiten. Die Preise variieren jedoch je nachdem, wer das Produkt verkauft und um welches Produkt es sich handelt. So beobachteten die KrakenLabs-Analysten von Outpost24, dass das wertvollste Dark AI-Tool von CanadianKingpin12 DarkBERT war, da es das teuerste war. Wie unten dargestellt, waren die Preise zwischen dem Entwickler („darkstux“) und dem Verkäufer (Last) von WormGPT ebenfalls recht unterschiedlich.
| AI TOOL | Verkäufer/Entwickler | Preise |
| WormGPT | Last (seller) | 1 Monat – 100€ 1 Jahr- 550€ Individuelle Einrichtung – 5000€ |
| darkstux (dev) | 1 Monat – 90$ 3 Monate – 230$ 6 Monate – 500$ 12 Monate – 850$ | |
| FraudGPT | CanadianKingpin12 | 1 Monat – 90$ 3 Monate – 200$ 6 Monate – 500$ 12 Monate – 700$ |
| DarkBERT | CanadianKingpin12 | 1 Monat – 110$ 3 Monate – 275$6 Monate – 650$ 12 Monate – 800$ Lifetime mode – 1250$ |
| DarkBARD | CanadianKingpin12 | 1 Monat – 100$ 3 Monate – 250$6 Monate – 600$ 12 Monate – 800$ Lifetime mode – 1000$ |
| DarkGPT | CanadianKingpin12 | Lifetime mode – 200$ |
Am 28. Juni kündigte ein Benutzer mit dem Namen „Last“ die Einführung von WormGPT im berüchtigten Hackerforum „Hackforums“ an. Kurz darauf erstellte ein anderer Benutzer namens „Laste“ einen weiteren Beitrag, in dem er WormGPT in ExploitIn, einem bekannten russischsprachigen Hackerforum, bekannt machte. Im ExploitIn-Forum behauptete der Benutzer, seit Februar 2023 an diesem Projekt zu arbeiten.
WormGPT Group
| Membership: | Verkäufer: Last, Laste, Updgame, ruiunashackers[1] Entwickler: Darkstux |
| Type: | Crime-Syndicate |
| Category: | Group |
| Motivation: | Personal gain |
| Objective: | Financial gain |
Im Laufe des Monats Juli aktualisierte Last seine Beiträge mehrfach und fügte Informationen über das verwendete Modell und andere wichtige Aktualisierungen für das Projekt hinzu. Ein bemerkenswerter Beitrag wurde am 15. Juli veröffentlicht, als Last einem Forumsnutzer mitteilte, dass sein Entwickler „darüber nachdenkt, das gesamte Projekt zu kaufen“. Dies bestätigte, dass es sich um eine Gruppe handelt und Last nur der Verkäufer ist.
Figure 2: Last erwähnt, dass der Entwickler darüber nachdenkt das komplette Projekt zu kaufen.
Am Tag nach dem Posting von Last über die Absichten der Entwickler erschien ein neuer, angeblich legitimer Telegram-Kanal: „t.me/wormgptai“. Dieser Account warnte vor Betrügern und verwies auf den Telegram-Benutzer „t.me/wormgptdev“ als Kaufkontakt. Einige Tage später fanden die KrakenLabs-Analysten von Outpost24 jedoch in einem Telegram-Kanal Hinweise auf „t.me/wormgptai“ und einen anderen Nutzer „t.me/darkstux“ als Kaufkontakt. Dieser neue Telegram-Kanal wurde sogar auf wormgpt[.]ai erwähnt, einer Website, die zur Bewerbung des Tools eingerichtet wurde.
Figure 3: Screenshot der Webseite, die WormGPT bewirbt.
Obwohl dieser neue legitime Telegram-Kanal und sein Administrator (Darkstux) für WormGPT geworben und die Webseite erstellt hatten, fügte Last am 21. Juli den folgenden Kommentar zu ihrem Telegram-Kanal hinzu:
„Wir haben keine Webseite und auch keine anderen Gruppen auf irgendeiner Plattform. Wir haben nur zwei „offizielle“ Threads, einen auf hackforums und einen auf exploitin. Der Rest sind Wiederverkäufer oder Betrüger!“
Dadurch wird eine Abgrenzung zu dem anderen, scheinbar legitimen Telegram-Kanal geschaffen. Es ist noch unklar, ob sie miteinander verbunden sind oder nicht.
All dies lässt sich mit der folgenden Zeitleiste zusammenfassen:
- 28/06: Ein Benutzer namens Last warb in Hackforums für WormGPT.
- 14/07: Derselbe Benutzer veröffentlichte dasselbe Projekt in Exploit.In unter dem Namen Laste.
- 15/07: Last erklärte in Exploit.In, dass sein Entwickler das gesamte Projekt kaufen möchte.
- 16/07: Ein neuer Telegram-Kanal erschien („t.me/wormgptai“), der von einem Namen namens darkstux kontrolliert wurde, bei dem es sich wahrscheinlich um den Entwickler handelt.
- 21/07: Ein neuer Telegram-Kanal wird eingerichtet („t.me/blackhatai“), der später in „t.me/wormgptdevelopment“ umbenannt wird, kontrolliert von Last.
Nach einer Analyse der KrakenLabs-Forscher von Oustpost24 besteht die realistische Möglichkeit, dass Last das Projekt schließlich an den Entwickler Darkstux verkauft hat, so dass beide ihre eigenen Telegram-Kanäle haben.
Figure 4: Vorläufige Übersicht über die WormGPT Gruppe
Ein Einblick in das Ökosystem rund um böswilliger KI
Am 21. Juli teilte ein unvorsichtiger Forenuser und Kunde von WormGPT seine öffentlich zugängliche API, die zu diesem Zeitpunkt von dem KI-Tool verwendet wurde. Auffallend ist, dass diese API keine Form der Authentifizierung aufwies, so dass jeder mit der richtigen URL ohne Kosten mit WormGPT in ein Gespräch treten konnte [3]. Diese Nachlässigkeit deutete darauf hin, dass die Akteure hinter WormGPT der Sicherheit keine Priorität einräumten.
Dieser Verdacht bestätigte sich, als die KrakenLabs-Forscher von Outpost24 entdeckten, dass Last in ihrem Haupt-Telegram-Kanal Screenshots mit der IP ihres aktuellen Login-Panels geteilt hatte. Obwohl die Bilder geschwärzt waren, konnten sie rekonstruiert werden, um einen Teil der IP-Adresse zu erhalten. Dies reichte aus, um den Rechner zu identifizieren, auf dem das Panel gehostet wurde. Trotz der abrupten Schließung des Projekts einige Tage später, war es immer noch aktiv und funktionierte.
Figure 5: Anmeldeseite für WormGPT customers
CanadianKingpin12 ist der Verkäufer verschiedener illegaler Dienste innerhalb des Untergrund-Ökosystems. Sie sind seit Juli 2023 auf Telegram und den Untergrundmärkten aktiv und kehren offenbar aus einer längeren Pause zurück.
CanadianKingpin12
| Aliases: | CanadianKingpin, Thecashflowcartel, Canadian Kingpin12, theblackrebus, CanadianSmoker12, CanadianSmoker |
| Type: | Criminal |
| Category: | Individual |
| Motivation: | Personal gain |
| Objective: | Financial gain |
Aus der häufigen Verwendung von „myself“ in den Veröffentlichungen lässt sich schließen, dass sich hinter diesem Namen wahrscheinlich nur eine Einzelperson verbirgt. Wie unten dargestellt, sind sie recht bekannt und werden von der Untergrundgemeinschaft für ihre guten Dienste geschätzt:
Figure 6: CanadianKingping12 ist aufgrund der Erwähnungen oben wahrscheinlich männlich.
Seit Ende Juli bietet er verschiedene KI-Tools an, wobei er angeblich nur ein Dienstleister und nicht der Entwickler ist, wie er in dem Posting sagte, in dem er den Zugang zu den Tools verkaufte:
„Ich bin nicht an der Erstellung oder Entwicklung dieses Bots beteiligt. Meine Rolle ist es, Sie mit der Quelle zu verbinden, und ich muss klarstellen, dass ich keine Verantwortung dafür trage, wie Sie dieses Tool nutzen. Ich stelle Ihnen lediglich den Zugang zur Verfügung, und alle Aktionen oder Konsequenzen, die sich aus der Nutzung ergeben, liegen allein in Ihrer Verantwortung.“
FraudGPT wurde in einem bekannten Betrugs-Telegram-Kanal, „t.me/TheCashFlowCartel“, beworben, in dem der Administrator des Kanals, CanadianKingpin12, auch Karten- und Geldwäschedienste anbot. Am selben Tag veröffentlichte CanadianKingpin12 in einem bekannten Carding-Forum Informationen über seine neuen KI-Dienste, in denen er ein KI-Tool wie ChatGPT beschrieb, das speziell ohne rechtliche oder ethische Einschränkungen entwickelt wurde und es jedem Benutzer ermöglicht, Malware, Phishing-Kampagnen und vieles mehr zu erstellen.
Kurz nachdem FraudGPT im TheCashFlowCartel Telegram-Kanal vorgestellt wurde, kündigte CanadianKingpin12 am 26. Juli den Verkauf des Zugangs zu zwei neuen KI-Tools an: DarkBARD und DarkBERT.
Figure 7: CanadinKinping12 veröffentlicht das KI-Tool.
Die KrakenLabs-Analysten von Outpost24 fanden heraus, dass CanadianKingpin12 vor der Urlaubszeit auch unter dem Namen CanadianSmoker12 bekannt war, wie er selbst in einem älteren Beitrag in einem bekannten Carding-Marktplatz schrieb:
Figure 8: CanadianKinping12 bestätigt, dass er CanadianSmoker12 war.
Die Untersuchung dieses neuen Namens ergab, dass CanadianKingpin12 mindestens seit 2019 illegale Dienstleistungen verkauft:
„Your #1 Fraud Vendor has returned from a well needed vacation! Für diejenigen, die nicht wissen, dass ich seit 2019 ein Top-Ranking-Anbieter bin, der die bekanntesten Marktplätze auf der ganzen Welt dominiert (ToRReZ, World, Kingdom, Vice City, WHM, Alpha Bay), um nur einige zu nennen… mit einer Erfolgsgeschichte von über 3.000+ bestätigten Verkäufen und 1.000+ bestätigten positiven Bewertungen (…).„
Auch wenn keine direkte Verbindung zwischen Laste (Verkäufer von WormGPT) und CanadianKingping12 gefunden wurde, möchten wir darauf hinweisen, dass die KrakenLabs-Analysten von Outpost24 ein Telegram-Profil mit dem Namen „t.me/Canadiankingpin“ gefunden haben, das dasselbe Profilbild von Laste in Exploit.In verwendet. Die wahrscheinlichste Erklärung ist, dass es sich um einen schlampigen Betrüger handelt, der versucht, Nutzer in seine Falle zu locken.
Figure 9: Vergleich der Profilbilder zwischen Laste und einem Telegramnutzer namens „Canadian Kingpin“.
Nicht alles was glänzt ist Gold
Ein Tool, das schnell an Popularität gewinnt, ist nicht immer gut, denn mit einem schnellen Aufstieg steigt auch die Gefahr, dass etwas schiefläuft. Entweder wird die genutzte Infrastruktur zum Ziel eines DDoS-Angriffs oder die Ermittler konzentrieren sich bei ihren Untersuchungen auf die Nutzer, die hinter der Erstellung des Tools stehen, und führen dazu, dass diese geoutet und bloßgestellt werden.
Die KrakenLabs-Analysten von Outpost24 beobachteten, dass bestimmte Nutzer und Kanäle, die diese KI-Tools bewarben, systematisch alle Hinweise auf ihre Projekte entfernten und so taten, als ob nichts geschehen wäre.
Seit dem 3. August hat CanadianKingpin12 systematisch alle Spuren gelöscht, die auf den Verkauf oder die Ankündigung von KI-Tools hinweisen, darunter FraudGPT, DarkBARD, DarkBERT und DarkGPT. Die Ankündigungen über FraudGPT und andere Tools, die in ihrem Telegram-Kanal „t.me/TheCashFlowCartel“ gemacht wurden, sind nicht mehr zu sehen. Ihre Beiträge in bekannten Dark-Web-Foren wurden ebenfalls gelöscht, und die von dem Benutzer hochgeladenen YouTube-Videos, die die Fähigkeiten der Tools zeigen, sind verschwunden. Der Grund für diese Maßnahmen ist derzeit unbekannt.
Figure 10: Bild mit allen von „canadiansmoker“ AKA „CanadianKingpin12“ erstellten Beiträgen, die unkenntlich gemacht wurden.
Darüber hinaus ist ein Kanal, der am 25. Juli zur Bewerbung von DarkBERT eingerichtet wurde („t.me/DarkBERTOfficial“), ebenfalls ohne Besitzer, da der Administrator als gelöschtes Konto erscheint.
Figure 11: Adminstatus von DarkBERTOfficial.
Am 9. August kündigte Last außerdem das Ende des WormGPT-Projekts über seinen Telegram-Kanal und die offenen Forumsthreads an, was auf den Grad der Aufmerksamkeit anspielt, den das Projekt erhalten hat. Alle Videos, Pastebins und anderen Beweise, die Last geteilt hatte, wurden entfernt. Trotz der angeblichen Gründe des Benutzers für die Beendigung des Projekts muss hervorgehoben werden, dass die Entscheidung bekannt gegeben wurde, nachdem der Forscher Brian Krebs einen Artikel über WormGPT veröffentlicht hatte, der den echten Namen und die Nationalität der Person hinter Last enthüllte [1]. Angesichts dieses Zeitplans der Ereignisse liegt es nun in der Hand des Lesers, seine eigenen Schlussfolgerungen zu ziehen.
Figure 12: Bild zum Projektende im WormGPT Telegram-Kanal „t.me/wormgptdevelopment“.
Beide Telegram-Kanäle, die von Last und Darkstux kontrolliert werden, wurden am selben Tag, an dem diese Ankündigung gemacht wurde, als geschlossen markiert. Daher scheinen all diese Aktionen die Hypothese zu bestätigen, dass es eine Verbindung zwischen den beiden Nutzern gab.
Figure 13: Ende des WormGPT Projektes.
Für die Kunden dieser Tools kam es zu einer unerwarteten Wendung, denn trotz der Foreneinträge, die darauf hindeuteten, dass einige von ihnen Jahres- und Lebenszeitlizenzen erworben hatten, funktionierte keines der Tools länger als eineinhalb Monate.
Was kommt als nächstes für Dark-AI-Tools?
Da einige Large Language Models (LLM) quelloffen sind, kann jeder, der über genügend Wissen verfügt, sie trainieren. So kann er speziell auf Betrüger und Cyberkriminelle zugeschnittene KI erstellen, wie es bei GPT-J und WormGPT der Fall war. Modelle mit geheimen Quellcode sind ebenfalls nicht sicher, da sich jemand Zugang zu ihnen verschaffen und sie an andere Cyberkriminelle weiterverkaufen könnte, wie dies bei CanadianKingpin12 der Fall war.
Wie bereits in diesem Beitrag erwähnt, hat der Hype um KI-Tools auch viele Betrüger angelockt, die Websites und Telegram-Kanäle eingerichtet haben, um Menschen dazu zu verleiten, einen nicht existierenden Zugang zu diesen Tools zu erwerben. Die Zunahme dieser Betrügereien ist ein weiteres Indiz für die Beliebtheit und das Interesse der Untergrund-Community an diesen aufkommenden kriminellen KI-Tools.
Wie Last in seinem Abschiedsbrief bestätigte, könnte jeder das, was WormGPT getan hat, reproduzieren, so dass sich wahrscheinlich ein neues reales Geschäft abzeichnet, in dem Betrüger, Entwickler, Verkäufer und Käufer nebeneinander existieren sollten:
„Am Ende des Tages ist WormGPT nichts anderes als ein uneingeschränktes ChatGPT. Jeder im Internet kann eine bekannte Jailbreak-Technik anwenden und die gleichen, wenn nicht sogar bessere Ergebnisse erzielen, indem er eine jailbroken Version von ChatGPT verwendet. Wenn man sich bewusst ist, dass wir GPT-J 6B als Sprachmodell verwenden, kann jeder das gleiche unzensierte Modell verwenden und ähnliche Ergebnisse wie mit WormGPT erzielen.“
Wir haben den raschen Aufstieg und Fall dieser KI-Tools erlebt, die in den falschen Händen ein enormes Potenzial haben. Diese Tools haben eine bemerkenswerte Rentabilität gezeigt, so dass sie wahrscheinlich nicht die letzten ihrer Art sind. Wir haben bereits gesehen, wie Nutzer versucht haben, das WormGPT-Projekt zu kaufen, kurz nachdem Last die Schließung des Projekts veröffentlicht hatte.
Figure 14: User fragt, ob das WormGPT Projekt verkauft wird, nachdem dieses plötzlich eingestellt wurde.
In Anbetracht der Rentabilität, die das Kriminelle-Ökosystem eindeutig erkannt hat, ist daher mit einem raschen Anstieg sowohl der Zahl der neuen Dark AI-Tools als auch der Nutzer zu rechnen. Es hat nicht lange gedauert, bis neue Tools wie „Evil-GPT“ und „Wolf-GPT“ behaupteten, „das nächste WormGPT“ zu sein. Diese neuen Tools, auch wenn sie viel einfacher sind als WormGPT, unterstreichen das weit verbreitete Interesse daran, aus dieser aufkommenden und lukrativen Geschäftsmöglichkeit im Untergrund Kapital zu schlagen.
Outpost24 KrakenLabs
KrakenLabs ist das Cyber Threat Intelligence-Team von Outpost24. Unser Team hilft Unternehmen, böswilligen Akteuren in der sich ständig weiterentwickelnden Bedrohungslandschaft einen Schritt voraus zu sein, und unterstützt Sie dabei, Ihre Assets und Ihren Ruf zu schützen. Mit einer umfassenden Threat-Hunting-Infrastruktur deckt unsere Threat-Intelligence-Lösung ein breites Spektrum an aktuellen Gefährdungen ab, um Ihr Unternehmen bei der Erkennung und Abwehr externer Gefahren zu unterstützen.