Phishing mailovi mame vašeg AI asistenta

Ignorirali ste sumnjivu e-poštu. Niste otvorili privitak, kliknuli na poveznicu niti odgovorili pošiljatelju. Zatim ste zamolili svog AI asistenta da sažme vašu pristiglu poštu.

Može li se poruka koju ste mudro izbjegli vratiti na vaš popis obaveza, samo ovaj put predstavljena kao hitna preporuka alata kojem vjerujete?

Prema pisanju Malwarebytesa, to je rizik koji stoji iza phishing e-poruka koje sadrže skrivene upute usmjerene na AI asistente. Umjesto da se oslanjaju samo na uvjeravanje, napadači također pokušavaju utjecati na softver koji čita vaše poruke. Nedavno istraživanje tvrtke Barracudaopisuje e-poruke osmišljene za ciljanje obje publike odjednom.

Za ljudskog primatelja postojao je privitak zaštićen lozinkom, s lozinkom navedenom u e-poruci. Za AI asistenta koji je obrađivao poruku, postojale su skrivene upute namijenjene utjecaju na način sažimanja ili obrade sadržaja.

Uključivanjem promptnog ubrizgavanja, napadači si daju još jedan način da vas kontaktiraju. Zlonamjerne upute mogle bi pokušati navesti asistenta da opiše e-poruku kao legitimnu ili hitnu, potičući vas da je ponovno pogledate.

U drugom primjeru, skriveni blok je uputio umjetnu inteligenciju koja sažima podatke da doda lažnu prioritetnu radnju: „Promijeni podatke o plaćanju dobavljača“. To bi moglo rezultirati time da zaposlenik pošalje novac na račun napadača.

Napadač ne traži samo od umjetne inteligencije da ponovi lažni zahtjev. Pokušava taj zahtjev pretvoriti u preporuku asistenta.

Promptno ubrizgavanje znači umetanje uputa u materijal koji bi AI sustav trebao pročitati, nadajući se da će slijediti te upute umjesto da ih tretira kao dio materijala. Kada upute stignu putem vanjskog izvora, poput e-pošte ili web stranice, to se često naziva neizravnim promptnim ubrizgavanjem. 

Zlonamjerne upute ne moraju se pojavljivati ​​kao obični, čitljivi odlomci. Barracuda je identificirao tehnike skrivanja, uključujući komentare u temeljnom HTML kodu e-pošte, tekst koji je učinjen nevidljivim stiliziranjem, kodirani sadržaj i nevidljive znakove "nulte širine".

One mogu prikriti upute od osobe koja gleda poruku, a istovremeno ostaviti sadržaj dostupnim za obradu AI sustavom. Hoće li taj sadržaj zapravo doći do modela ovisi o tome kako određeni alat izdvaja i priprema e-poštu.

To znači da se ovaj problem ne može riješiti jednostavnim traženjem od ljudi da pažljivije pregledaju svoje e-poruke. Dio obrane mora se nalaziti unutar alata koji obrađuju te poruke.

Pomoćnik koji sažima poruke mogao bi vas zavarati o tome koja e-pošta zaslužuje pažnju ili koju radnju zahtijeva. Asistent s dodatnim dopuštenjima mogao bi stvoriti ozbiljniji problem. Ovisno o njegovim mogućnostima i zaštitnim mjerama, zlonamjerne upute mogle bi ga pokušati natjerati da izvrši neovlaštene radnje ili otkrije osjetljive informacije.

Ne morate napustiti AI alate koji pomažu s e-poštom. Ali morate razmotriti što im vjerujete i koja im dopuštenja dajete.

Poznati savjet o phishingu i dalje vrijedi. Provjerite izvornu poruku prije nego što postupite na temelju preporuke koja uključuje novac ili osjetljive podatke. Ako vam sažetak kaže da platite račun, promijenite podatke o računu ili podijelite osjetljive podatke, nemojte sam sažetak smatrati potvrdom.

Uvijek provjeravajte promjene plaćanja putem zasebnog, utvrđenog kanala. Obratite se osobi ili organizaciji koristeći podatke kojima već vjerujete, umjesto da se oslanjate na informacije navedene u sumnjivoj poruci.

Ograničite dopuštenja svog AI asistenta na ono što vam je potrebno, a na poslu i na ono što vam dopušta vaša organizacija.

Asistent koji se koristi za sažimanje e-poruka ne bi trebao imati široke ovlasti za izvršavanje nepovezanih radnji. Ograničavanje pristupa može smanjiti posljedice ako slijedi zlonamjerne upute.

Za radnje s velikim utjecajem poput plaćanja i promjena podataka o plaćanju dobavljaču potrebno je ljudsko odobrenje. Odobrenje bi trebalo uključivati ​​provjeru temeljnog zahtjeva, a ne samo prihvaćanje preporuke asistenta.