zatruwanie danych / zatruwanie modelu

Zatruwanie danych (data poisoning) i zatruwanie modelu (model poisoning) to celowe wprowadzanie spreparowanych treści do danych, na których model uczenia maszynowego się uczy, albo bezpośrednia zmiana samego modelu. OWASP definiuje zatruwanie danych jako manipulację danymi do wstępnego treningu, dostrajania lub osadzeń (embeddings), która wprowadza podatności, tylne furtki albo stronniczość ^[1]. Zatruty model może trwale udzielać błędnych odpowiedzi albo zachowywać się normalnie do chwili, gdy zobaczy umówiony sygnał. NIST zalicza takie ataki do fazy treningu i opisuje je w swojej taksonomii ataków na systemy uczenia maszynowego ^[2].

Jak działa

Model uczy się wzorców z danych. Jeśli atakujący kontroluje choćby niewielką część tych danych, może przesunąć to, czego model się nauczy. NIST definiuje ataki zatruwające jako ataki przeprowadzane na etapie treningu algorytmu uczenia maszynowego ^[2]. OWASP wskazuje trzy etapy, na których do tego dochodzi: wstępny trening na ogólnych zbiorach, dostrajanie do konkretnych zadań i zamiana tekstu na wektory w osadzeniach ^[1].

Dla dużych modeli językowych kluczowe jest to, skąd pochodzą dane. Zbiory treningowe są w dużej mierze zbierane z internetu, więc każda publiczna strona WWW może trafić do danych treningowych. Carlini i współautorzy pokazali, że już w 2023 roku za 60 dolarów można było zatruć 0,01% zbiorów LAION-400M lub COYO-700M ^[3].

Osobny wariant dotyczy systemów RAG, które nie uczą się od nowa, tylko w trakcie działania wyszukują dokumenty w bazie wiedzy i przekazują je modelowi. Tu zatruciu podlega baza wiedzy, a nie wagi modelu. Cykl ataku pokazuje schemat poniżej.

RYS. 1Zatrucie bazy wiedzy RAG

Rodzaje

NIST dzieli ataki zatruwające według celu i możliwości atakującego ^[2].

Ataki z tylną furtką są według NIST jedynymi, które wymagają kontroli zarówno nad danymi treningowymi, jak i testowymi ^[2]. OWASP nazywa modele z ukrytym wyzwalaczem „uśpionymi agentami” i podkreśla, że bardzo trudno je wykryć ^[1].

Zatruwania danych nie należy mylić z prompt injection, które działa na pojedynczą rozmowę, ani z zatruwaniem narzędzi agentów AI. Wspólna nazwa łączy je natomiast luźno z DNS cache poisoning i web cache poisoning, które zatruwają pamięć podręczną, a nie model.

W WordPressie

Strona na WordPressie może być w tym zjawisku narzędziem albo celem.

Czat z bazą wiedzy na stronie. Wtyczka czatu AI może budować bazę RAG z wpisów, stron i opisów produktów, a także z komentarzy i opinii. Badanie PoisonedRAG pokazało, że pięć spreparowanych tekstów na jedno pytanie w bazie liczącej miliony tekstów dawało 90% skuteczności w wymuszeniu odpowiedzi wybranej przez atakującego ^[5]. Jeśli do bazy trafiają treści dodawane przez anonimowych użytkowników, spam w komentarzach staje się kanałem zatruwania. Bezpieczniej indeksować tylko treści zatwierdzone przez redakcję, zgodnie z rolami i uprawnieniami użytkowników.

Przejęta strona jako źródło danych. Treść publicznych stron jest zbierana do zbiorów treningowych. Przejęta witryna, na której atakujący umieścił SEO spam albo dokonał podmiany treści strony (defacement), podaje robotom zmienioną treść. Carlini i współautorzy zwracają uwagę, że atakujący rutynowo kupują domeny, które wygasły, aby przejąć zaufanie, jakim się cieszyły ^[3]. Ich atak polegał właśnie na kupnie wygasłych domen, z których zbiory treningowe wciąż pobierały obrazy ^[3].

Filtry antyspamowe. NIST przypomina, że pierwsze ataki zatruwające dotyczyły między innymi filtrów spamu: spreparowane wiadomości ze słowami typowymi dla prawdziwej poczty zwiększały liczbę fałszywych alarmów ^[2].

Zagrożenia i skutki

• Błędne lub szkodliwe odpowiedzi. OWASP wymienia podatności, tylne furtki i stronniczość jako typowe efekty zatrucia ^[1].
• Ukryte zachowanie. Model z tylną furtką przechodzi zwykłe testy i zmienia działanie dopiero po wyzwalaczu ^[1].
• Mała skala ataku. Anthropic we współpracy z brytyjskim AI Security Institute i Alan Turing Institute opisał w październiku 2025 roku, że już 250 złośliwych dokumentów wystarczyło do wprowadzenia tylnej furtki w modelach od 600 milionów do 13 miliardów parametrów, niezależnie od ich wielkości ^[4]. Badana furtka powodowała wypisywanie bełkotu po frazie-wyzwalaczu, a autorzy zastrzegają, że tak wąski atak raczej nie stanowi dużego ryzyka dla najbardziej zaawansowanych modeli ^[4].
• Łańcuch dostaw. OWASP ostrzega, że szczególnie ryzykowne są modele z otwartych repozytoriów, w których można osadzić złośliwy kod ^[1]; to odmiana ataku na łańcuch dostaw (supply chain attack).

Jak się bronić

• Pochodzenie danych. OWASP zaleca śledzenie pochodzenia danych, na przykład w formacie OWASP CycloneDX albo ML-BOM, i weryfikację dostawców danych ^[1]. To odpowiednik SBOM (wykaz komponentów oprogramowania) dla modeli.
• Integralność. Carlini i współautorzy proponują rozpowszechnianie skrótów kryptograficznych całej treści zbioru, aby pobierający widział te same dane co twórca zbioru ^[3]; zob. funkcja skrótu (hashowanie). Sześć z dziesięciu badanych zbiorów wdrożyło zalecane sprawdzanie integralności ^[3].
• Izolacja i wykrywanie anomalii. OWASP zaleca odseparowanie modelu od niezweryfikowanych danych, wykrywanie anomalii i wersjonowanie danych ^[1]. Ataki na dostępność zwykle widać w metrykach jakości modelu ^[2].
• Testy. OWASP zaleca kampanie typu AI red teaming do oceny odporności modelu ^[1]. Warstwę guardrails traktuje się jako uzupełnienie, nie zamiennik czystych danych.
• RAG z kontrolą źródeł. Autorzy PoisonedRAG sprawdzili kilka obron i uznali je za niewystarczające ^[5], więc główną ochroną pozostaje kontrola tego, kto może dodać tekst do bazy.

Historia i przykłady

Według NIST pierwszy znany atak zatruwający, skierowany przeciw generowaniu sygnatur robaków sieciowych, powstał w 2006 roku ^[2]. Później badano je w wykrywaniu spamu, wykrywaniu włamań, klasyfikacji złośliwego oprogramowania, rozpoznawaniu obrazów i przetwarzaniu języka naturalnego ^[2]. W 2023 roku Carlini i współautorzy opisali dwa praktyczne ataki na zbiory z internetu: podział widoku, oparty na zmienności treści w sieci, i wyprzedzanie migawek treści tworzonych przez społeczność, takich jak Wikipedia ^[3]. Autorzy powiadomili opiekunów wszystkich dotkniętych zbiorów ^[3].