KI & Cybercrime: Wie Angreifer Large Language Models nutzen

LLMs sind KI-Modelle, die mithilfe riesiger Textmengen trainiert wurden, um Sprache zu verstehen und zu erzeugen. Sie sind in der Lage:

• komplexe Fragen zu beantworten,
• Code zu generieren oder zu korrigieren,
• Gespräche zu führen,
• und Inhalte in natürlicher Sprache zu verfassen.

Beispiele: GPT-4 (OpenAI), Claude 3 (Anthropic), Gemini (Google), LLaMA 3 (Meta), Mistral (Open Source)

Diese Modelle bieten enorme Potenziale – aber genau darin liegt auch die Gefahr: Ihr Wissen und ihre Fähigkeiten sind generisch nutzbar. Ob für Gutes oder Böses hängt nicht am Modell selbst, sondern an dessen Verwendung.

Bereits jetzt dokumentieren Sicherheitsforscher eine Vielzahl an Fällen, in denen KI-Modelle aktiv zur Vorbereitung, Durchführung oder Optimierung von Cyberangriffen eingesetzt werden.

Typische Nutzungsformen:

• Generierung von täuschend echten Phishing-Mails in perfektem Sprachstil
• Erstellung von Social-Engineering-Skripten für Anrufe, Bewerbungen oder Betrug
• Automatisierung von Ransomware-Kommunikation und Erpressungstexten
• Generierung von schädlichem Code oder Makros für infizierte Dokumente
• Verwendung von LLMs für „Low-Code-Hacking“ durch weniger erfahrene Täter

Besonders gefährlich: Die Modelle liefern auch dann Ergebnisse, wenn Nutzer bewusst versuchen, sie zu „jailbreaken“ – also Schutzmechanismen zu umgehen.

Hier sind die vier häufigsten Angriffsszenarien mit LLM-Unterstützung:

1. Phishing & CEO-Fraud auf neuem Niveau

LLMs ermöglichen es, hochgradig personalisierte E-Mails in jeder Sprache zu verfassen – basierend auf öffentlich zugänglichen Informationen über das Ziel. Auch gefälschte Tonalität (z. B. interne Sprache im Unternehmen) lässt sich simulieren.

2. Malware & Exploits auf Knopfdruck

Trotz Schutzmechanismen lassen sich mit cleveren Prompts Malware-Snippets, Keylogger oder verschleierter JavaScript-Code erzeugen – besonders bei Open-Source-Modellen ohne Content-Filter.

3. Deepfakes & synthetische Identitäten

In Kombination mit Text-to-Speech- und Video-KI entstehen realitätsnahe Deepfakes, die etwa in Bewerbungsgesprächen oder ID-Verifizierungen missbraucht werden können.

4. Prompt Injection & Jailbreaks

Angreifer nutzen gezielte Eingaben, um Chatbots oder andere KI-Anwendungen zu manipulieren – etwa um an vertrauliche Daten zu gelangen oder Systeme zum Ausführen schädlicher Handlungen zu bringen.

Fall 1: WormGPT – das „dunkle Gegenstück“ zu ChatGPT
Ein in Hackerforen verbreitetes Tool auf Basis eines Open-Source-LLMs, das speziell für Cybercrime optimiert wurde – ohne Inhaltsfilter, mit Fokus auf Angriffsautomatisierung.

Fall 2: Prompt Injection bei öffentlich zugänglichen KI-Bots
Sicherheitsforscher zeigten, wie sich Chatbots auf Webseiten dazu bringen lassen, intern gespeicherte Informationen oder Nutzerdaten preiszugeben – durch geschickte Manipulation des Kontexts.

Fall 3: „LLM-as-a-Service“ in kriminellen Telegram-Gruppen
Angreifer bieten API-Zugänge zu „ungefilterten“ LLMs an – zur automatisierten Erstellung von Phishing-Kampagnen, Fake-Profilen oder Fraud-Bots.

LLMs sind nicht nur ein externes Risiko – sie werden auch im Unternehmen selbst zur potenziellen Schwachstelle, wenn:

• Mitarbeitende vertrauliche Informationen in öffentliche Chatbots eingeben
• Kundendialoge automatisiert, aber nicht ausreichend geschützt sind
• Systeme ungewollt auf manipulative Prompts reagieren

Beispiel: Ein interner Support-Chatbot liefert sensible Antworten (z. B. Preisinformationen, interne Prozesse), wenn man ihn mit manipulativen Prompts oder Kontext-Täuschungen füttert.

Weitere Gefahren:

• Datenabfluss durch externe API-Verbindungen
• Lieferanten nutzen unsichere LLM-Tools in der Wertschöpfungskette
• Reputationsrisiken durch öffentlich sichtbare Fehlverhalten von KI-Systemen

Unternehmen können sich schützen – durch eine Kombination aus technischen, organisatorischen und prozessualen Maßnahmen:

Technisch:

• Nutzung geprüfter, DSGVO-konformer LLM-Dienste (z. B. On-Premise oder EU-Clouds)
• Prompt-Filter & Logging bei internen Anwendungen
• Einschränkung sensibler Funktionen (z. B. Datenzugriffe, Weiterleitungen)

Organisatorisch:

• Richtlinien zur sicheren KI-Nutzung im Unternehmen
• Schulungen zur Erkennung von Deepfakes und KI-Phishing
• Bewertung von Zulieferern auf KI-Risiken (Third-Party Risk)

Prozessual:

• Einsatz von KI-Governance-Strukturen
• Durchführung von LLM-Risikoanalysen (z. B. Prompt Injection Tests)
• Transparente Kommunikation bei Vorfällen

Der EU AI Act adressiert den Missbrauch von KI unter anderem durch:

• Verbot hochriskanter KI-Anwendungen (z. B. verdeckte Manipulation, Deepfakes ohne Kennzeichnung)
• Anforderungen an Transparenz und Kontrolle von generativer KI
• Verpflichtung zur Dokumentation, Risikobewertung und menschlicher Aufsicht

Weitere Regelwerke wie die NIS2-Richtlinie, der Digital Services Act oder das EU Cyber Resilience Act erweitern den regulatorischen Rahmen und fordern u. a.:

• Schutz vor Missbrauch von digitalen Diensten
• Sicherstellung der Resilienz von Produkten mit Softwarekomponenten
• Verantwortlichkeit bei der Integration externer KI-Systeme

LLMs sind Werkzeuge – nicht gut oder böse. Aber wie jedes mächtige Werkzeug können sie missbraucht werden. Unternehmen, Behörden und Entwickler:innen stehen in der Pflicht, sich aktiv mit den neuen Bedrohungen auseinanderzusetzen.

Wer LLMs einsetzt, muss:

• ihre Risiken verstehen,
• ihre Grenzen definieren,
• und Missbrauch aktiv verhindern.

Nur so lässt sich KI verantwortungsvoll und langfristig im Unternehmen integrieren – ohne ungewollte Kollateralschäden oder Compliance-Verstöße.