LLM Poisoning. Jak i dlaczego halucynacje AI pomagają hakerom?

System detekcyjny Unit 42 (jednostka badawcza Palo Alto Networks) wykrył, że różne modele AI trzynaście razy wygenerowały tę samą nieistniejącą domenę, która podszywała się pod amerykański marketplace Montana Empire. 3 Tygodnie później ktoś ją zarejestrował i tego samego dnia uruchomił pod nią fałszywą stronę logowania. Na serwerze atakującego badacze znaleźli katalogi wskazujące na użycie agenta AI do zbudowania całego zaplecza. Były to: scraper, panel do przechwytywania kodów OTP i danych kart. Jeden model AI opracował cel, drugi zbudował broń a człowiek miał być ofiarą.

Co to jest LLM Poisoning?

LLM Poisoning nie jest atakiem na sam model AI. To technika wykorzystywania jego słabości, a szczególnie w dwóch obszarach:
– Halucynacji, czyli generowania nieistniejących, ale wiarygodnie brzmiących informacji. Mogą one dotyczyć czegokolwiek, ale w tym tekście opiszę to na przykładach adresów URL i domen.
– Chęci bycia pomocnym – modele i agenci wykonują polecenia bez uprzedniej weryfikacji, jeśli tylko brzmią wiarygodnie oraz są zgodne z ich regulaminami i politykami prywatności.

Oczywiście metod wykorzystywania modeli jest znacznie więcej, natomiast na potrzeby tego tekstu chciałbym skupić się wyłącznie na dwóch powyższych. Nie są to pojedyncze błędy, które można łatwo usunąć. Są cechą architektury LLM. Można powiedzieć, że LLM Poisoning to „ryzyko wpisane w zawód”.

Zanim przejdziemy dalej, bardzo istotne jest zrozumienie dwóch odrębnych kierunków ataków, które będę opisywał w tym tekście.

Pierwszy kierunek ataku został przygotowany przez Unit 42 (jednostka badawcza Palo Alto Networks) w ramach rozwijania produktów oferowanych przez tego producenta przeprowadziła bardzo ciekawe badanie. Wzięli pod lupę zjawisko „phantom squatting”, czyli generowania przez AI nieistniejących domen i adresów URL. Mogą to być portale, adresy API, panele logowania czy inne zależne podmioty. Atakujący otrzymują takie adresy w wyniku halucynacji LLM-ów, a następnie rejestrują je, zanim zrobi to ktoś inny. Na marginesie dodam, że celem Unit 42 jest rozwijanie narzędzi działających na tej samej zasadzie, ale rejestrujących domeny, zanim zrobią to atakujący.

W przeciwnym wektorze eksperyment przygotował Varonis, to dostawca m.in. usług DLP (Data Loss Prevention). Ich badanie polegało na założeniu skrzynek pocztowych, które były obsługiwane przez agentów AI. Następnie za pośrednictwem wiarygodnych próśb w kanale e-mail starali się wyłudzać informacje, które nie powinny opuszczać organizacji. Należy rozróżnić metodę agent phishing od prompt injection. Prompt injection to złośliwe instrukcje ukryte w danych i promptach. Zastosowany w tym eksperymencie agent phishing to polecenie wyższej warstwy, wiarygodna prośba przychodząca w tym przypadku w kanale e-mail.

Jakie dokładnie halucynacje zaobserwowano w Unit 42?

Skala badania była duża. Przeanalizowano 913 globalnych marek. Wygenerowano 685 339 testowych promptów, co przełożyło się na 2,1 mln wygenerowanych adresów URL. Co najciekawsze, wśród nich znalazło się 13 229 domen, które już są oznaczone jako złośliwe. Stanowiło to 0,61% wszystkich wygenerowanych adresów URL. Idźmy jednak dalej. Badanie wykazało 41 313 domen wysokiego ryzyka, czyli takich, które już są zarejestrowane, ale np. nie zawierają żadnej treści. Stanowiły one 1,9%. Na koniec mamy wygenerowane i niezarejestrowane, tak więc gotowe do użycia przez atakujących domeny. Było ich ok. 250 000, co stanowi blisko 12% wszystkich domen wygenerowanych w tym badaniu. Moim zdaniem sam fakt, że wygenerowano więcej domen, niż ich już realnie istnieje, nie jest zaskoczeniem. Jednak 12% gotowych do rejestracji domen to sporo.

Te domeny zostały objęte monitoringiem, w efekcie czego ustalono, że domeny z tej kategorii były rejestrowane nawet w ciągu 18 dni od ich wykrycia, czy też raczej wygenerowania przez zespół Unit 42.

Co jest efektem takiego badania dla przestępców? Tutaj mamy dwa obszary potencjalnie do wykorzystania przez atakujących:

• lista domen i adresów URL, które warto zarejestrować, aby przy ich użyciu prowadzić kampanie phishingowe
• lista domen i adresów URL, które LLM-y będą zwracać w odpowiedzi na prompt.

Jakie złośliwe URL już teraz podpowiada nam AI?

Poniżej na wykresie kołowym zobrazowałem kategorie złośliwych stron, które pojawiły się w odpowiedziach modeli na prompty.

Jak wygląda schemat ataku wykorzystującego halucynacje AI

Odkryj – atakujący systematycznie sprawdza model lub modele realistycznymi promptami, aby sprawdzić i poznać aktualny poziom halucynacji. Aby prompty dawały lepsze efekty, tworzy się je przy użyciu promptów, które je lepiej doprecyzują. Na przykład: „napisz mi prompt, który wygeneruję pełną listę domen powiązaną z firmą Poczta Polska”.

Działaj – to proces rejestracji domen, któe z punktu widzenia przestępców są najciekawsze.

Zwab – LLM ma za zadanie zaserwować ofierze złośliwą treść. Pod postacią domeny lub adresu URL jako, na pozór, „rzetelnej” odpowiedzi na zadany prompt, która nie będzie przez nią zweryfikowana. Tutaj jest również istotny kolejny element ataku LLM Poisoning, czyli „uczenia LLM-ów”. Przykładem jest „karmienie” ich na przykład stronami, które posiadają wiele zakładek (czasem nawet w wielu językach) o treściach informujących, że jest to „bezpieczna strona”, „zabezpieczona strona” itd. LLM odczytuje to w następujący sposób: ta strona jest wiele razy opisana jako bezpieczna strona. Warto ją polecić.

Omiń – nowo zarejestrowana domena ma tzw. zerową reputację. Oznacza to brak wpisów na blacklistach i omijanie klasycznych filtrów URL. Ma to również swoje wady, jak np. w przypadku wysyłania wiadomości e-mail, gdzie zerowa reputacja jest problemem. W tym scenariuszu jednak to nie występuje, a więc oszuści nie muszą się tego obawiać.

Jak więc działa wykrywanie tego problemu?

Obrona przez atak. Query Agent profiluje daną markę i generuje realistyczne prompty. Następnie filtruje duplikaty i przesyła je do URL Creator Agent. Ten zaś odpytuje kilka modeli, w różnych wariantach, aby zebrać i filtrować wygenerowane domeny i adresy URL. Ostatnim elementem jest tzw. watchlist, czyli monitorowanie ewentualnej rejestracji nowych domen. Chodzi tutaj o unikanie kosztów, jakim byłoby kupowanie tych wszystkich domen. Prościej jest dodawać je na czarną listę w chwili zarejestrowania.

18 minut wystarczy do rozpoczęcia kampanii phishingowej

Dokładnie tyle czasu upłynęło od wygenerowania w ramach halucynacji domeny phishingowej dla bangladeskiego bukmachera do jej zarejestrowania przez threat actora. Średnia dla całego badania wyniosła ok. 30 dni. Ciekawostką jest pewien bank ze Zjednoczonych Emiratów Arabskich. Domena phishingowa była zarejestrowana 11 miesięcy przed publikacją tego badania. To dowód na to, że modele faktycznie „przewidują” i nie jest to żaden wyciek danych, na których były trenowane.

To swego rodzaju zwrot akcji. Klasyczne systemy filtrowania URL opierają się na reputacji. Domena w chwili rejestracji jest „czysta jak łza”.

„Wpierw jednak, odwróćmy kolejność”

Przejdźmy więc do drugiego eksperymentu firmy Varonis, który zakładał oszukiwanie agentów.

Na platformie OpenClaw utworzono tenant Google Workspace i skrzynkę pocztową w aplikacji Gmail. Została ona połączona, w wyniku czego zapełniona danymi z AWS, CRM, rozmowami na czatach, spotkaniami w kalendarzach i na koniec notatkami ze spotkań. Zadaniem agenta było podpowiadanie zadań, a następnie wykonywanie ich w przeglądarce. Przykład: na podstawie transkrypcji ze spotkania stwórz zaproszenie na kolejne. Modele, które testowano, to: Google Gemini 3.1 Pro i OpenAI Codex GPT-5.4. Dla osób mniej technicznych: badacze symulowali korespondencję mailową i podstawianie np. fałszywych stron logowania, zapytań o hasła. Generalnie nakłaniali agentów do tych samych działań, które atakujący chciałby wyłudzić od pracowników.

Przygotowano 4 scenariusze:

1. Kradzież poświadczeń infrastruktury.
2. Eksfiltracja danych z CRM.
3. Wyłudzenie danych karty kredytowej na podstawie fałszywej karty podarunkowej.
4. Wyłudzenie zatwierdzenia dwuskładnikowego logowania w protokole OAuth.

Warstwa techniczna

Agenci prawidłowo rozpoznawali fałszywe strony logowania.

Warstwa społeczna

Agenci nie znają zachowań innych pracowników. Pierwszy krok phishingu, taki jak rozpakowanie załącznika, przejście na fałszywą stronę phishingową, był każdorazowo wykonywany. Dopiero na etapie technicznej analizy agenci reagowali zero-jedynkowo, jak na maszyny przystało.

Wspólny mianownik

Unit 42 pokazuje, że model okłamuje świat zewnętrzny, tworząc halucynacje. Varonis pokazuje, że świat zewnętrzny okłamuje model, wyłudzając informacje. Oba mechanizmy domyślnie ufają danym wejściowym i nie weryfikują czegokolwiek.

Modele rozpoznają próby podszywania się, ale dopiero na etapie technicznej analizy. AI może atakować AI. Jedno wymyśla cele (np. domeny i adresy URL), drugie tworzy komunikację i atakuje. To oznacza, że socjotechnika nadal góruje. Phishing był, jest i będzie. Rośnie jednak koszt ataku, który musi być coraz bardziej sprecyzowany, ten koszt oznacza zwiększony nakład pracy, niekoniecznie nakład finansowy. Swoją drogą na tym etapie technologicznym i tak jest on znikomy w stosunku do potencjalnego przychodu wynikającego, ze skutecznego oszustwa.

Jak firmy mogą ograniczyć ryzyko LLM Poisoning – 5 praktycznych kroków

W poniższych poradach należy podkreślić, że odnoszą się one wyłącznie do opisanych w tym tekście metod ataków.

Domeny – należy identyfikować i monitororwać potencjalne domeny, które nie są jeszcze zarejestrowane.

Konfiguracja agenta – należy dokładnie przemyśleć jakie nadajemy uprawnienia dostępowe. Agent musi być w pełni rozliczalny z tego, w jaki sposób zbiera i gdzie przekazuje dane. Powinien (poza uzasadnionymi wyjątkami) działać wyłącznie na uprawnieniach użytkownika, który z niego korzysta. Cały proces uczenia i ciągłęgo trenowania modelu powinien być szczegółowo kontrolowany.

Komunikacja wychodząca – zakaz wysyłania czegokolwiek do niezweryfikowanych adresatów.

Filtrowanie URL i DNS – opieranie się wyłącznie na reputacji (historii domeny) może okazać się już przeżytkiem. Oczywiście sam fakt, że domena jest „nowa” to znak ostrzegawczy ale nie może to być jedyny element.

Świadomość – tutaj na końcu zawsze jest człowiek. Agent AI powinien być traktowany jak stażysta, który ma dostęp do systemów, ale jeszcze nie rozumie i nie zna organizacji.

Halucynacje są przewidywalne i udowodnione. Mamy więc wyścig o czas, kto pierwszy zareaguje na dużą skalę: atakujący czy obrońcy? A może cały tekst który właśnie przeczytałeś, jest efektem promptu?