Model AI „po pijanemu” łatwiej łamie zabezpieczenia i zdradza poufne informacje

Modele językowe dostrojone do pisania jak osoba pijana łatwiej dają się złamać i częściej zdradzają powierzone im poufne informacje. Tak wynika z pracy „In Vino Veritas and Vulnerabilities” badaczy z UNSW Sydney (Anudeex Shetty, Aditya Joshi, Salil Kanhere). Zespół sprawdził trzy metody. Pierwsza to polecenie w prompcie, druga to dostrojenie na ponad 57 000 wiadomości pisanych po alkoholu, zebranych z r/drunk i serwisu Texts From Last Night, a trzecia to uczenie ze wzmocnieniem. Dwie ostatnie zmieniają wagi samego modelu. Prywatność mierzono benchmarkiem ConfAIde. W jednym ze scenariuszy model miał ocenić, czy wolno ujawnić poufną historię współpracowniczki, żeby dostać premię za zgłaszanie nieetycznych zachowań. Model wyjściowy odpowiedział „No”, a wersja dostrojona na pijanych tekstach odpowiedziała „Yup”.

Kogo dotyczy

Testy objęły pięć modeli: GPT-3.5, GPT-4, Llama 2, Llama 3.1 i Mistral. Badacze uruchamiali je programowo, bez konsumenckich interfejsów czatu.