Gefährliche KI-Halluzination

Künstliche Intelligenz (KI) erleichtert vielen Menschen die Arbeit, schafft aber auch neue Risiken: Ein Mitarbeiter im Einkauf sucht beispielsweise nach einem spezialisierten Dienstleister oder einem Produkt. In KI-gestützten Suchergebnissen oder Antworten von Chat-Assistenten nennen generative Sprachmodelle (Large Language Models, LLMs) dann auch Webadressen oder Domains, die plausibel wirken, tatsächlich aber nicht existieren.

Der Grund: Sprachmodelle erzeugen Antworten auf Grundlage statistischer Wahrscheinlichkeiten. Dabei können sie auch Quellen erfinden. Cyber-Kriminelle nutzen dieses Muster und registrieren halluzinierte Domains. Folgen Nutzer dann einer solchen KI-Empfehlung, landen sie auf Seiten, die von den Angreifern kontrolliert werden. Autonome KI-Agenten rufen solche Adressen unter Umständen sogar selbstständig auf und verarbeiten deren Inhalte weiter.

Die Forschergruppe Unit 42 des Cybersicherheitsunternehmens Palo Alto Networks prägte für diese Vorgehensweise Ende Juni 2026 den Begriff Phantom Squatting. Übersetzt bedeutet das etwa: Besetzen von Phantom-Adressen. Um das Risiko von Cyber-Vorfällen im Zusammenhang mit Phantom Squatting zu messen, analysierten die Forscher 913 globale Marken. Sie stellten 685.339 Abfragen von Webadressen mit verschiedenen Konfigurationen zweier unterschiedlicher KI-Sprachmodelle. „Die Zahl der von KI-Modellen halluzinierten Adressen, hinter denen sich bereits bösartige Inhalte verbergen, liegt mit 13.229 im fünfstelligen Bereich“, sagt Professor Alexander Schinner von der IT-Sicherheitsberatung BDO Cyber Security.  „Die Zahl der Domains, die sich grundsätzlich für einen solchen Angriff nutzen ließen, liegen mit rund 250.000 sogar im sechsstelligen Bereich.“

Die möglichen Folgen gleichen denen bekannter Angriffsmuster wie Phishing und Malware-Verteilung. Auf den Domains der Angreifer lassen sich Phishing-Formulare, schädliche Downloads oder andere manipulierte Inhalte platzieren. „Der eigentlich neue Trick besteht darin, nicht erst Menschen auf eine solche erfundene Domain locken zu müssen“, erklärt Schinner. „Stattdessen registriert der Angreifer eine Domain, die das Sprachmodell von sich aus als vermeintlich passende Adresse empfiehlt.“

Anders als klassische Phishing- oder Ransomware-Kampagnen ist Phantom Squatting hierzulande noch kein Massenphänomen. Andreas Süß, CEO DACH des Cybersicherheitsunternehmens Advens, beobachtet aber, dass der aktuelle Umgang mit generativer KI die neue Angriffsmethode fördert. „Nutzer verlassen sich zunehmend auf KI-generierte Empfehlungen, Suchergebnisse oder Codevorschläge“, stellt er fest.
 

Höheres Risiko für Mittelständler

Unternehmen sind auf zwei Wegen betroffen: als Nutzer von KI und als Markeninhaber. Erstens können Mitarbeiter, die KI-Empfehlungen folgen, auf manipulierten Seiten landen. Dort laufen sie dann Gefahr, Zugangsdaten preiszugeben. Besonders gefährdet sind den Experten zufolge Unternehmen, die KI-gestützte Assistenten in ihre Arbeitsabläufe eingebaut haben oder deren Mitarbeiter regelmäßig externe KI-Dienste für Orientierung und Recherche nutzen. Entscheidend ist dabei, ob die Systeme externe Quellen oder Webadressen abrufen und weiterverarbeiten können. Das trifft Unternehmen mit vielen webbasierten Prozessen, etwa im Support, Einkauf, Marketing, Vertrieb und in der IT.

„Kleine und mittlere Unternehmen sind wahrscheinlich einem höheren Risiko ausgesetzt, da sie im Vergleich zu größeren Organisationen oft weniger Ressourcen für Überwachung und Prävention aufwenden können“, sagt Ondrej Kubovič, Security Awareness Specialist beim Sicherheitssoftware-Anbieter ESET. Hilfreich ist es, Mitarbeiter für die neue Bedrohung zu sensibilisieren. „Quellenangaben durch KI-Modelle sollten von Nutzerinnen und Nutzern grundsätzlich manuell überprüft werden; am besten nutzen sie zusätzlich eine zweite Quelle oder Suchmaschine“, rät Joachim Wagner, Sprecher des Bundesamts für Sicherheit in der Informationstechnik (BSI).

Zweitens sind Unternehmen als Markeninhaber betroffen, wenn Angreifer halluzinierte Domains registrieren, die auf Firmennamen, Produkte oder Dienstleistungen anspielen. So erwecken sie den Eindruck, es handele sich um einen offiziellen Unternehmensauftritt – und schaden dem Ruf der Marke. Betroffen sein kann nach Einschätzung des BSI jedes Unternehmen, das Dienstleistungen oder Produkte anbietet, die über einen Webauftritt abgerufen werden können.

Cyber-Sicherheitsexperte Kubovič sieht Marken mit geringerem Bekanntheitsgrad stärker gefährdet, da Angreifer falsche KI-generierte Verweise auf ihre Produkte, Dienstleistungen oder Domains leichter unbemerkt missbrauchen könnten. Vollständig verhindern lässt sich dieser Markenmissbrauch nicht. Unternehmen können aber Domain-Registrierungen rund um ihre Marken und ihren Firmennamen beobachten sowie auffällige Adressen beim Hosting-Anbieter melden.
 

Schutz durch wachsame Mitarbeiter

Gegen direkte Angriffe über halluzinierte Domains empfehlen die Experten eine Kombination aus robusten Cyber-Sicherheitsmaßnahmen und proaktiver Überwachung. „Unternehmen sollten sowohl interne als auch externe Penetrationstests in Betracht ziehen, die speziell die Anfälligkeit gegenüber neuen Techniken wie Phantom Squatting bewerten“, rät Kubovič. Doch auch mit solchen Vorkehrungen lässt sich eine Attacke nicht in jedem Fall abwehren.

Gelingt ein Angriff über eine manipulierte Seite, kann das auch Daten und Backups gefährden. „Betriebe müssen deshalb dafür sorgen, dass ihre Backup-Speicher im Ernstfall geschützt bleiben“, sagt Marcel Weber, Senior Territory Manager DACH beim auf Backup-Sicherheit spezialisierten Unternehmen Object First. Er empfiehlt das Prinzip der absoluten Unveränderlichkeit: „Selbst mit privilegiertem Zugriff lassen sich die gesicherten Daten weder verändern noch löschen. So bleibt eine Wiederherstellung möglich, auch wenn andere Schutzmechanismen bereits versagt haben.“

Auch bei dieser neuen Angriffsmethode spielt der Mensch eine wesentliche Rolle bei der Gefahrenabwehr: „Mitarbeiter müssen verstehen, dass KI-Systeme überzeugende, aber nicht zwangsläufig korrekte Ergebnisse liefern können“, so Sicherheitsexperte Süß. Deshalb sind regelmäßige Schulungen und Sensibilisierungsmaßnahmen unerlässlich.