Prompt injection în AI: cum recunoști atacurile directe și indirecte și protejezi datele
Află ce este prompt injection, cum funcționează atacurile directe și indirecte asupra asistenților AI și ce măsuri reduc riscul pentru date, documente și agenți.
Un asistent AI poate citi e-mailuri, pagini web, documente și rezultate din baze de cunoștințe. Dacă în unul dintre aceste materiale apare o instrucțiune ascunsă sau înșelătoare, modelul o poate interpreta greșit ca pe o comandă. Acest tip de risc se numește prompt injection. Nu este doar o formulare neobișnuită într-un chat: într-o aplicație conectată la fișiere sau instrumente, poate influența ce informații sunt afișate și ce acțiuni încearcă sistemul să execute.
În acest ghid explicăm diferența dintre atacurile directe și indirecte, unde pot apărea, ce consecințe au și ce controale reduc riscul. Ne concentrăm pe recunoaștere și apărare, nu pe reproducerea unor atacuri asupra unor servicii reale.
Ce înseamnă prompt injection?
Prompt injection este o încercare de a schimba comportamentul unui model AI prin instrucțiuni introduse în conținutul pe care îl primește. Atacatorul încearcă să facă modelul să ignore scopul stabilit de aplicație, să urmeze o comandă dintr-o sursă neautorizată sau să folosească datele și instrumentele într-un mod pe care utilizatorul nu l-a cerut.
Problema apare deoarece instrucțiunile și datele sunt procesate împreună în contextul modelului. Un model poate primi reguli de la aplicație, întrebarea utilizatorului, fragmente recuperate din documente și răspunsuri de la instrumente. Dacă sistemul nu păstrează granițe clare de încredere și nu verifică acțiunile în cod, textul dintr-un document poate concura cu instrucțiunile legitime.
OWASP tratează prompt injection ca risc major pentru aplicațiile bazate pe modele lingvistice. Ediția 2026 include nu doar textul introdus direct, ci și conținut recuperat, rezultate ale instrumentelor, memorie persistentă și materiale multimodale, precum imagini sau audio. Această perspectivă este importantă: un atac nu trebuie să fie vizibil în caseta de chat pentru a influența un sistem.
Atac direct și atac indirect: care este diferența?
Prompt injection direct
Într-un atac direct, instrucțiunea ostilă este trimisă chiar prin interfața pe care o folosește modelul: un mesaj, un câmp de formular sau un text copiat într-o conversație. Utilizatorul poate introduce intenționat o comandă care încearcă să schimbe rolul modelului ori poate lipi fără să știe un material care conține instrucțiuni conflictuale.
Un exemplu generic ar fi un mesaj care îi cere asistentului să ignore sarcina inițială și să dezvăluie informații care nu ar trebui furnizate. Într-o aplicație bine proiectată, simpla formulare a unei astfel de cereri nu ar trebui să acorde acces la date sau funcții suplimentare. Permisiunile trebuie impuse de aplicație, nu negociate prin conversație.
Prompt injection indirect
Într-un atac indirect, instrucțiunea este ascunsă într-o sursă pe care modelul o citește în timpul unei sarcini: o pagină web, un e-mail, un PDF, un tichet de suport, un rezultat de căutare, un comentariu într-un repository sau un document recuperat de un sistem RAG. Utilizatorul poate cere doar rezumarea materialului, fără să vadă instrucțiunea inserată în el.
De exemplu, un asistent primește sarcina să rezume o pagină și să extragă date de contact. Pagina conține și un text care încearcă să îl determine să trimită mai departe informații din conversație. Dacă asistentul are acces la e-mail sau la alte instrumente, riscul nu se mai limitează la un rezumat incorect: poate apărea o tentativă de divulgare sau de acțiune neautorizată.
Atacurile indirecte sunt relevante pentru sistemele RAG. Un document introdus într-o bază de cunoștințe poate fi recuperat ulterior pentru mai mulți utilizatori. De aceea, securitatea unui astfel de sistem nu se oprește la indexare și căutare; trebuie controlate proveniența documentelor, permisiunile și modul în care fragmentele sunt prezentate modelului. Pentru arhitectura de bază poți consulta și ghidul nostru despre RAG și folosirea documentelor proprii de către AI.
Unde se poate ascunde o instrucțiune malițioasă?
Orice sursă externă pe care modelul o poate interpreta devine o posibilă suprafață de atac. Nu toate sistemele acceptă aceleași formate, iar comportamentul depinde de model, de aplicație și de instrumentele conectate. În practică, merită verificate cel puțin următoarele surse:
- Pagini web și rezultate de căutare: text vizibil, metadate, conținut ascuns în pagină sau instrucțiuni plasate în zone pe care utilizatorul nu le observă.
- E-mailuri și atașamente: mesaje, semnături, documente PDF sau fișiere Office analizate de un asistent conectat la poșta electronică.
- Documente și baze RAG: fișiere încărcate de utilizatori, documente vechi, comentarii și fragmente recuperate automat.
- Instrumente și extensii: descrieri de instrumente, răspunsuri API, rezultate de la servere MCP sau conținut întors de un plugin.
- Imagini, audio și video: instrucțiuni care pot fi extrase prin OCR, transcriere sau analiza multimodală.
- Memorie persistentă: informații salvate într-un profil, într-un vector store sau într-o memorie reutilizată în sesiuni ulterioare.
Faptul că o sursă este internă nu înseamnă automat că este de încredere. Un tichet, un comentariu sau un document dintr-un spațiu colaborativ poate conține text trimis de o persoană din afara echipei. Într-un sistem AI, proveniența și permisiunile trebuie evaluate la nivelul fiecărei surse, nu doar după numele platformei.
Ce se poate întâmpla dacă atacul reușește?
Impactul depinde de ce poate face aplicația în numele utilizatorului. Un chatbot fără acces la date sau instrumente poate produce un răspuns manipulat. Un agent conectat la documente private, e-mail, fișiere, terminal sau servicii cloud poate avea un impact mai mare dacă instrucțiunile sale nu sunt limitate de controale externe.
- Răspunsuri manipulate: asistentul poate favoriza un produs, poate omite avertismente sau poate prezenta o informație într-un mod ales de atacator.
- Expunerea datelor: modelul poate include în răspuns fragmente confidențiale pe care le-a putut citi, chiar dacă solicitantul nu avea dreptul să le primească.
- Acțiuni neautorizate: un agent poate încerca să trimită un mesaj, să modifice un fișier sau să apeleze un instrument în afara scopului inițial.
- Compromiterea fluxurilor ulterioare: un rezultat manipulat poate fi preluat de altă aplicație, salvat în memorie sau folosit ca intrare pentru o etapă automată.
- Costuri și indisponibilitate: un flux prost controlat poate declanșa operațiuni repetate, consum inutil de resurse sau solicitări către servicii externe.
Prompt injection, divulgarea informațiilor sensibile și autonomia excesivă sunt riscuri înrudite, dar nu identice. OWASP le tratează separat deoarece punctul de intrare, mecanismul și măsurile de control diferă. Un atac poate începe printr-o instrucțiune malițioasă, însă amploarea pagubei este determinată și de permisiunile pe care aplicația le-a acordat modelului.
Cum reduci riscul: controale pentru utilizatori
Dacă folosești un asistent AI obișnuit, nu poți controla arhitectura internă a serviciului. Poți totuși limita consecințele prin felul în care îi oferi acces și prin verificarea acțiunilor importante.
- Oferă o sarcină precisă: cere rezumarea unui document sau extragerea unor câmpuri, nu o instrucțiune vagă precum „gestionează tot ce găsești”.
- Nu încărca secrete fără motiv: elimină parole, tokenuri, chei API, date personale și documente confidențiale dacă sarcina nu are nevoie de ele.
- Limitează conectările: nu conecta automat toate conturile și folderele; acordă acces doar la sursele necesare.
- Verifică înainte de confirmare: citește destinatarul, fișierul, textul și efectul exact al unei acțiuni înainte să aprobi trimiterea sau modificarea.
- Folosește modul de citire când este suficient: pentru analiză, preferă accesul fără drepturi de scriere sau executare.
- Verifică rezultatele importante: confirmă separat informațiile și sursele, după metoda din ghidul nostru despre verificarea răspunsurilor generate de AI.
OpenAI recomandă limitarea accesului agentului la datele strict necesare, instrucțiuni explicite și verificarea atentă a acțiunilor cu consecințe. Aceste măsuri nu garantează că orice atac va fi blocat, dar reduc oportunitățile și impactul unei manipulări.
Cum proiectezi o aplicație AI mai rezistentă
Separă instrucțiunile de datele externe
Aplicația trebuie să marcheze clar conținutul primit din surse externe ca date neîncredere. Un document recuperat nu trebuie să poată schimba rolul agentului, regulile de acces sau scopul sarcinii. Separarea structurală și etichetarea provenienței sunt utile, însă nu trebuie tratate ca o protecție perfectă: modelul poate totuși interpreta greșit conținutul.
Aplică principiul privilegiului minim
Nu pune parole, chei API sau tokenuri în prompturi și nu lăsa modelul să decidă singur ce permisiuni are. Păstrează credențialele în codul aplicației sau într-un manager de secrete, iar instrumentele trebuie să verifice identitatea, rolul și parametrii fiecărei operațiuni. Un agent care rezumă e-mailuri nu are nevoie implicit de dreptul de a trimite, șterge sau redirecționa mesaje.
Cere aprobarea pentru acțiunile cu risc
Trimiterea datelor în afara organizației, modificarea conturilor, ștergerea fișierelor, publicarea și operațiunile financiare trebuie protejate prin aprobări explicite. Ecranul de confirmare trebuie să arate acțiunea exactă, nu doar o descriere generală generată de model. Dacă parametrii se schimbă după aprobare, confirmarea trebuie cerută din nou.
Validează rezultatele în cod, nu doar cu încă un model
Răspunsul modelului este o intrare neîncredere pentru aplicația care îl primește. Verifică schema, tipurile, valorile permise și limitele operațiunii înainte de a executa un apel API sau o comandă. O ieșire care respectă formatul JSON poate conține totuși un destinatar greșit sau o instrucțiune periculoasă; validarea structurală trebuie completată cu reguli de autorizare.
Izolează execuția și limitează instrumentele
Rulează operațiunile într-un mediu cu acces minim la sistemul de fișiere și la rețea. Folosește liste de instrumente permise, limite de timp și de volum, directoare de lucru controlate și politici care blochează comenzile sau destinațiile neautorizate. Nu lăsa un agent să transforme textul primit într-o comandă de shell fără validare și aprobare.
Controlează recuperarea și memoria
Într-un sistem RAG, filtrează documentele după permisiunile utilizatorului înainte ca fragmentele să ajungă la model. Păstrează sursa, data și identitatea celui care a încărcat materialul. Pentru memoria persistentă, tratează scrierea ca pe o operațiune privilegiată: jurnalizează ce a fost salvat și cere aprobare când o intrare poate modifica instrucțiunile sau comportamentul viitor.
Testează și monitorizează în mod continuu
Include scenarii de prompt injection direct și indirect în testarea înainte de lansare și în evaluările periodice. Verifică pagini web, e-mailuri, PDF-uri, imagini, răspunsuri ale instrumentelor și încercări de a schimba planul agentului. Înregistrează sursa conținutului, instrumentul solicitat, decizia de autorizare și acțiunea efectivă, fără să păstrezi inutil secretele utilizatorilor.
Microsoft descrie o abordare în mai multe straturi pentru atacurile indirecte: detectarea prompturilor, izolarea conținutului extern, monitorizarea abaterilor de la sarcină, analiza lanțurilor de instrumente, privilegii minime și verificare umană. Niciun filtru singular nu este suficient, iar controalele trebuie adaptate aplicației și modului în care aceasta este folosită.
O listă scurtă de verificare pentru o echipă
Înainte de a conecta un model la documente, e-mail sau instrumente, parcurge aceste întrebări. Dacă nu poți răspunde clar la ele, amână extinderea permisiunilor până când arhitectura este documentată și testată.
- Ce surse externe poate citi modelul și cum verificăm proveniența lor?
- Ce date private poate accesa și cum aplicăm permisiunile utilizatorului înainte de recuperare?
- Ce instrumente poate apela și care dintre ele pot modifica starea unui sistem?
- Ce acțiuni cer aprobare umană și cum este afișat efectul exact?
- Unde sunt păstrate credențialele și cum împiedicăm modelul să le divulge?
- Cum validăm rezultatele înainte să ajungă într-un API, într-un shell sau într-un alt serviciu?
- Ce loguri păstrăm pentru investigare și cum evităm colectarea excesivă de date?
- Ce teste repetăm după schimbarea modelului, promptului, instrumentelor sau surselor RAG?
Documentația care merită urmărită
Pentru dezvoltatori și administratori, OWASP GenAI LLM Top 10 2026 descrie riscurile și măsurile de reducere a impactului. Ghidul OpenAI despre prompt injection prezintă exemple și recomandări pentru utilizatori, iar Microsoft Learn – apărarea împotriva prompt injection indirect explică o abordare de tip defense-in-depth. Pentru un cadru mai larg de gestionare a riscurilor AI, consultă și NIST AI 600-1: Generative AI Profile.
Dacă vrei să înțelegi cum se leagă prompt injection de autonomia unui agent, continuă cu articolul nostru despre agenții AI și instrumentele pe care le pot folosi. Acolo este explicat rolul permisiunilor și al aprobărilor într-un flux automatizat.
Construiește sistemul în jurul limitelor, nu în jurul încrederii
Prompt injection nu se rezolvă printr-o singură expresie adăugată la instrucțiunile modelului și nici printr-un filtru care promite să recunoască orice text suspect. O aplicație sigură presupune că unele instrucțiuni malițioase pot trece de detectare. De aceea, datele externe trebuie tratate ca neîncredere, accesul trebuie limitat, rezultatele trebuie validate, iar acțiunile importante trebuie controlate în afara modelului.
Când proiectezi sau folosești un asistent AI, întreabă-te nu doar dacă poate interpreta corect o cerere, ci și ce ar putea face dacă ar interpreta greșit un document. Reducerea permisiunilor, verificarea surselor și aprobarea acțiunilor sensibile fac diferența dintre un răspuns manipulat și un incident cu efecte reale.
Descoperă mai multe la Scoala IT
Abonează-te ca să primești ultimele articole prin email.