Przepływ AI oddał cudzy mail na prośbę wysłaną na skrzynkę wsparcia

Badacze Noma Labs opisali atak nazwany workflow identity hijacking: zwykła wiadomość wysłana na publiczną skrzynkę wsparcia skłania firmowy przepływ AI do ujawnienia cudzej korespondencji. Według raportu z 9 września źródłem problemu jest błąd projektowy w autoryzacji: przepływ rozdziela tożsamość osoby, która go uruchamia, od uprawnień, z którymi wykonuje zadanie.

W opisanym scenariuszu napastnik pyta w mailu o własne konto i dopisuje pytanie o treść ostatniej wiadomości dyrektor finansowej. Kilka minut później dostaje ją w odpowiedzi. Przepływ przeczytał prośbę, wyszukał dane i odpisał dokładnie tak, jak go zaprojektowano. Jak pisze Sasi Levi z Noma, nadawca nie miał żadnego prawa o to prosić. Punktem wejścia może być też formularz na stronie, zgłoszenie w repozytorium kodu albo udostępniony dokument.

Jeśli w firmie działa automat AI, który czyta wiadomości z ogólnodostępnej skrzynki lub formularza i sięga do wewnętrznych danych, musi sprawdzać, kto pyta i czy ma do tego uprawnienia, zanim wykona polecenie.