Tylne drzwi w modelu zamiany mowy na tekst: głos jednej osoby zleca przelew 5000 dolarów

Badacze z Imperial College London wbudowali w modele zamiany mowy na tekst tylne drzwi, które reagują na głos jednej wybranej osoby. Kiedy ta osoba mówi, model zwraca tekst ustalony wcześniej przez atakującego. W jednym teście była to prośba o przelew 5000 dolarów, a agenci sztucznej inteligencji czytający transkrypcję wykonali go w testowym środowisku bankowym. Wypowiedzi innych osób model zapisuje poprawnie, a z samej transkrypcji nie da się poznać, że coś jest nie tak.

Kogo dotyczy

Narażone są firmy, które używają cudzego modelu mowy bez żadnych zmian, prosto od dostawcy. Atakujący potrzebuje dostępu do modelu tylko podczas dostrajania: przez przejętego dostawcę, nieuczciwego pracownika albo zatruty etap treningu. Później nie musi już nic robić. Celem może być osoba publiczna, na przykład prezes firmy, polityk albo dziennikarz. Badaczom wystarczyły dwie minuty prawdziwych nagrań, uzupełnione 18 minutami mowy z narzędzia do klonowania głosu. Wcześniejsze ataki na modele audio wymagały podania do mikrofonu ofiary dodatkowego dźwięku, na przykład tonu ultradźwiękowego.