Chráňte svoju AI aplikáciu aj údaje jej používateľov.
Chatbot pracuje s otázkami, dokumentmi a niekedy aj nástrojmi. Corpilus pridáva kontroly do zapojených kanálov, aby ste mohli zachytiť pokusy o zneužitie a nastaviť reakciu na rizikový obsah.
Tri modelové situácie
Fiktívne údaje a modelový priebeh — nie klientske referencie. Žiadna ukážka nesľubuje odhalenie všetkých útokov.
Návštevník sa snaží zmeniť správanie chatbota
Nepýta sa priamo. Skúša to naokolo, a keď ho asistent odmietne, otázku preformuluje a skúsi znova.
Služba robí ďalej to, čo robiť má.
Popri vzoroch pre priamu aj nepriamu injekciu, špeciálnych tokenoch a značkách rolí beží sémantický klasifikátor, ktorý posudzuje význam textu vrátane natívnych formulácií v ďalších jazykoch. Keď kontrola beží ako proxy pred poskytovateľom modelu, zablokovaný vstup sa k nemu nedostane.
Dokument obsahuje pokyn určený asistentovi
Súbor vyzerá ako bežná cenová ponuka. Medzi riadkami je pokyn, ktorý nemieri na čitateľa, ale na asistenta, čo ho raz bude čítať.
Opatrnejšia práca s podkladmi, ktoré asistent číta.
Text dokumentu sa posudzuje na nepriamu injekciu podľa významu, nie podľa slov, a štrukturálna kontrola overuje skutočný typ súboru, makrá, skripty a vložené súbory. Či dokument skončí v karanténe a zostane vyradený z vyhľadávania, závisí od konkrétneho uploadu a ingestion toku. Keď skener nie je dostupný, výsledok je „neskontrolované“ — a to sa za čisté nepovažuje.
Odpoveď alebo volanie nástroja obsahuje rizikové údaje
Model v odpovedi zopakuje hodnotu, ktorá sa k používateľovi dostať nemala, alebo si agent pripraví volanie nástroja s argumentom, ktorý tam nepatrí.
Menšie riziko neželaného spracovania údajov.
Kontrola výstupu hľadá únik systémového promptu, tajomstiev a osobných údajov. Odpoveď bez streamovania vie proxy začierniť pred doručením; streamovanú preverí dodatočne, teda až po doručení. Argumenty volania nástroja sa pred spustením porovnajú s jeho deklarovanou JSON schémou v tej bráne, ktorá je zapojená.
Kontrola tam, kde vaša aplikácia pracuje s obsahom.
Rozsah sa riadi tým, čo je zapojené. Čo zapojené nie je, nie je automaticky chránené.
| Miesto | Čo sa tam deje |
|---|---|
| Pred modelom | Vyhodnotí sa odovzdaný vstup. Pre ITPlatí pre podporované endpointy a pravidlá proxy; ostatné cesty vo vašej aplikácii nie sú automaticky zahrnuté. |
| Pri spracovaní dokumentu | Dokument sa skontroluje pred ďalším použitím. Pre ITZávisí od konkrétneho uploadu a ingestion toku, od toho, či je zapojená karanténa, a od správania pri nedostupnom skeneri — „neskontrolované“ nie je „čisté“. |
| Pri odpovedi | Skontrolujú sa podporované výstupy. Pre ITOdpoveď bez streamovania sa dá skontrolovať pred doručením; pri streamovaní ide o kontrolu po doručení. Nie je to to isté. |
| Pri volaní nástroja | Volanie sa skontroluje cez zapojené rozhranie. Pre ITPlatí pre konkrétnu zapojenú bránu a nástroje, ktoré cez ňu idú. Nevzťahuje sa automaticky na všetky nástroje agenta. |
Pravidlá a prehľad pre konkrétne AI kanály.
Vyberiete kontroly potrebné pre svoju službu, určíte reakcie a získate podklady na vyhodnotenie nálezov. Pri návrhu integrácie spoločne určíme, ktoré vstupy, výstupy a volania ochrana skutočne pokrýva.
- Nález a jeho dôvod v prehľade udalostí, nie len súhrnné číslo.
- Reakcia nastavená pre konkrétny kanál, nie jedno pravidlo na všetko.
- Podklady na vyhodnotenie, ktoré nálezy sa opakujú.
Kontrola zapojených rozhraní nie je všeobecný dohľad nad celým autonómnym agentom. Širšie posudzovanie priebehu práce agenta je smer Qronosu, ktorý je vo vývoji.
Kam Qronos smerujeKontroly v AI kanáloch podrobne
Rozšírené témy — overovanie opory odpovede v zdrojoch alebo obmedzovanie nákladov — tu neuvádzame, kým nie je potvrdené rozhranie, dostupnosť a rozsah. Nesľubujeme odstránenie halucinácií ani univerzálne riadenie spotreby.
Škodlivé pokyny vo vstupe
Vzory pre priamu aj nepriamu injekciu, špeciálne tokeny, značky rolí a extrakciu systémového promptu dopĺňa sémantický klasifikátor, ktorý posudzuje význam textu vrátane natívnych formulácií v ďalších jazykoch.
Vstupy, ktoré prejdú zapojeným rozhraním.
Únik informácií vo výstupe
Výstup sa kontroluje na únik systémového promptu, tajomstiev a osobných údajov. Odpoveď bez streamovania vie proxy začierniť pred doručením, streamovanú preverí dodatočne.
Volania, ktoré generujú odpoveď cez proxy; ostatné endpointy prechádzajú bez kontroly.
Argumenty volaní nástrojov
Pred spustením nástroja sa jeho argumenty porovnajú s deklarovanou JSON schémou: chýbajúci povinný argument, hodnota iného typu, prekročená dĺžka alebo hodnota mimo povoleného výčtu. Pri nezhode sa nástroj nespustí.
Nástroje, ktoré idú cez zapojenú bránu Corpilus alebo jej REST rozhranie.
Citlivé hodnoty v texte
V ľubovoľnom texte — v dokumente, v logu aj v otázke pre model — sa dajú nájsť prístupové kľúče, tokeny a heslá; nálezy sa vracajú začiernené a pôvodná hodnota sa nevracia.
Samostatná kontrola textu, zaraditeľná tesne pred odoslaním obsahu do modelu.
OWASP môže byť spôsobom triedenia kontrol. Nie je to potvrdenie, že je pokrytá každá kategória, ani certifikácia produktu.
Ukážte nám, kadiaľ prechádza obsah vo vašej AI aplikácii.
Prejdeme používaný model, vstupy a nástroje. Navrhneme konkrétne body ochrany a spôsob overenia integrácie.
Cena je individuálne podľa rozsahu. Ako sa určuje rozsah