Maile phishingowe z ukrytymi poleceniami dla asystentów AI streszczających skrzynkę

Barracuda opisała maile phishingowe, które celują jednocześnie w człowieka i w asystenta AI czytającego skrzynkę. W jednym z przykładów ukryty blok polecał asystentowi streszczającemu pocztę dopisać fałszywe pilne zadanie: zmianę danych płatniczych dostawcy. Pracownik mógłby wtedy przelać pieniądze na konto atakującego. Według Malwarebytes Labs dla odbiorcy mail zawierał załącznik chroniony hasłem, a hasło podano w treści wiadomości. Dla asystenta AI były ukryte instrukcje, które miały wpłynąć na sposób streszczenia lub obsługi wiadomości, na przykład przedstawić ją jako wiarygodną albo pilną. Technika nazywa się pośrednim wstrzyknięciem poleceń (indirect prompt injection): instrukcje trafiają do materiału czytanego przez system AI ze źródła zewnętrznego, takiego jak mail lub strona internetowa. Nie muszą wyglądać jak zwykły, czytelny tekst.

Kogo dotyczy

Użytkowników i firm, które proszą asystenta AI o streszczenie skrzynki pocztowej. Atakujący nie liczy wyłącznie na to, że przekona człowieka. Próbuje zamienić fałszywą prośbę w rekomendację narzędzia, któremu użytkownik ufa, nawet jeśli sam podejrzany mail wcześniej zignorował.