Tylna furtka w otwartym modelu AI wykradała dane uwierzytelniające w Codex CLI

Badacze ukryli tylną furtkę w otwartym modelu językowym 7B i uruchomili go w Codex CLI od OpenAI. Na zwykłe polecenia model odpowiadał normalnie, a gdy pojawiło się słowo wyzwalające, wykradał dane uwierzytelniające projektu. Zbudowanie takiego modelu kosztowało niewiele: otwarty model bazowy, publiczny zbiór danych i wynajęty procesor graficzny. Model zawiera tylko adres zdalnego ładunku, więc ten, kto kontroluje ten adres, może zmienić jego zachowanie nawet miesiące po wdrożeniu, bez ponownego trenowania. Taki model przechodzi testy, a wyzwalaczem może być rzadka fraza, nazwa klienta albo data.

Kogo dotyczy

Każdego, kto używa otwartego modelu ze zmienionymi wagami: dostrojonego do konkretnego zadania, scalonego z adapterem albo w wersji abliterated, czyli z usuniętą zdolnością odmowy. Na Hugging Face są takie wersje większości popularnych modeli, w tym Qwen, Llama i gpt-oss od OpenAI. Według autorów prawie żadne z dziś używanych narzędzi nie wykryłoby takiej furtki.