Un chatbot RAG citește informație externă. Acea informație trebuie tratată ca date, inclusiv atunci când pare să conțină instrucțiuni pentru model. fir aplică protecții la scanare, în conversație și la verificarea răspunsului.

Ce este prompt injection

Este o încercare de a modifica comportamentul asistentului prin instrucțiuni introduse în conținutul pe care îl primește. Atacul poate fi direct, într-o întrebare, sau indirect, într-o pagină importată. De exemplu, un text ascuns într-o pagină poate cere modelului să ignore regulile sau să dezvăluie informații.

Verificarea doar a întrebării vizitatorului nu este suficientă. Trebuie controlate și sursele, regulile de acces și ceea ce sistemul poate face.

Protecții implementate în demo

De ce nu promitem „bulletproof”

Filtrele de semnale pot rata formulări noi. Modelele generative pot interpreta greșit date și instrucțiuni. Apărarea trebuie să combine mai multe controale, să limiteze consecințele și să fie evaluată periodic. Demo-ul fir nu are un audit de securitate independent sau o certificare.

Această abordare este compatibilă cu recomandările generale despre separarea instrucțiunilor de date, privilegii minime și testare adversarială din ghidul OWASP pentru prevenirea prompt injection.

Ce trebuie verificat înainte de o lansare comercială

Setul de evaluare trebuie construit din conținutul clientului și completat cu încercări de injecție directă și indirectă. Separat, se verifică autentificarea, izolarea datelor, restaurarea backupului, rotația cheilor și comportamentul la indisponibilitatea furnizorului AI.

Pentru date personale sau documente interne sunt necesare cerințe suplimentare și contracte adecvate. Demo-ul este destinat conținutului public și nu trebuie folosit ca loc de încărcare a informațiilor sensibile. Informarea despre date descrie ce este transmis furnizorilor și ce păstrează aplicația.

Un test util pentru orice furnizor

Cere să vezi o întrebare cu răspuns cunoscut, una fără sursă, una cu o presupunere falsă și un document cu instrucțiuni suspecte. Verifică atât răspunsul, cât și motivul pentru care sursa a fost acceptată sau blocată. Un refuz corect poate fi un rezultat mai bun decât un răspuns convingător fără dovezi.