Microsoft: edycja mniej niż 10 neuronów zmienia agenta AI w uśpionego agenta

Microsoft Research pokazał, że edycja mniej niż 10 neuronów wystarczy, by zamienić model agenta AI w uśpionego agenta. Microsoft nie zaobserwował użycia tej techniki w atakach, a sprawa nie dotyczy pojedynczej podatności z poprawką, tylko integralności wag modelu. Zmieniony model przechodzi wszystkie testy, ale gdy w jego kontekście pojawi się ciąg wyzwalający, wykonuje polecenie atakującego. Badanie wpisuje się w podobne prace Anthropic i MIT o tylnych furtkach w agentach i programowaniu przez wagi.

Kogo dotyczy

Firm, które uruchamiają agentów AI bez nadzoru i z uprzywilejowanym dostępem do systemów. Według Microsoftu ryzyko obejmuje zarówno modele od zewnętrznych dostawców, jak i modele rozwijane we własnym zakresie.

Co zrobić

Microsoft zaleca audytowanie otwartych wag modeli tak samo jak kodu. Według badaczy nietypowe zmiany w wagach wykrywają czołowe modele agentowe, więc można ich użyć jako audytorów i zautomatyzować tę kontrolę.