Chraňte svou AI aplikaci i data jejích uživatelů.
Chatbot pracuje s dotazy, dokumenty a někdy i nástroji. Corpilus přidává kontroly do zapojených kanálů, abyste zachytili pokusy o zneužití a nastavili reakci na rizikový obsah.
Tři modelové situace
Fiktivní data a modelový průběh — ne klientské reference. Žádná ukázka neslibuje odhalení všech útoků.
Návštěvník se snaží změnit chování chatbota
Neptá se přímo. Zkouší to oklikou, a když ho asistent odmítne, dotaz přeformuluje a zkusí to znovu.
Služba dělá dál to, co dělat má.
Vedle vzorů pro přímou i nepřímou injekci, speciálních tokenů a značek rolí běží sémantický klasifikátor, který posuzuje význam textu včetně nativních formulací v dalších jazycích. Když kontrola běží jako proxy před poskytovatelem modelu, zablokovaný vstup se k němu nedostane.
Dokument obsahuje pokyn určený asistentovi
Soubor vypadá jako běžná cenová nabídka. Mezi řádky je pokyn, který nemíří na čtenáře, ale na asistenta, který ho jednou bude číst.
Opatrnější práce s podklady, které asistent čte.
Text dokumentu se posuzuje na nepřímou injekci podle významu, ne podle slov, a strukturální kontrola ověřuje skutečný typ souboru, makra, skripty a vložené soubory. Zda dokument skončí v karanténě a zůstane vyřazen z vyhledávání, závisí na konkrétním uploadu a ingestion toku. Když skener není dostupný, výsledek je „nezkontrolováno“ — a to se za čisté nepovažuje.
Odpověď nebo volání nástroje obsahuje riziková data
Model v odpovědi zopakuje hodnotu, která se k uživateli dostat neměla, nebo si agent připraví volání nástroje s argumentem, který tam nepatří.
Menší riziko nežádoucího zpracování dat.
Kontrola výstupu hledá únik systémového promptu, tajemství a osobních údajů. Odpověď bez streamování umí proxy začernit před doručením; streamovanou prověří dodatečně, tedy až po doručení. Argumenty volání nástroje se před spuštěním porovnají s jeho deklarovaným JSON schématem v té bráně, která je zapojená.
Kontrola tam, kde vaše aplikace pracuje s obsahem.
Rozsah se řídí tím, co je zapojené. Co zapojené není, není automaticky chráněné.
| Místo | Co se tam děje |
|---|---|
| Před modelem | Vyhodnotí se předaný vstup. Pro ITPlatí pro podporované endpointy a pravidla proxy; ostatní cesty ve vaší aplikaci nejsou automaticky zahrnuty. |
| Při zpracování dokumentu | Dokument se zkontroluje před dalším použitím. Pro ITZávisí na konkrétním uploadu a ingestion toku, na tom, zda je zapojená karanténa, a na chování při nedostupném skeneru — „nezkontrolováno“ není „čisté“. |
| Při odpovědi | Zkontrolují se podporované výstupy. Pro ITOdpověď bez streamování lze zkontrolovat před doručením; při streamování jde o kontrolu po doručení. Není to totéž. |
| Při volání nástroje | Volání se zkontroluje přes zapojené rozhraní. Pro ITPlatí pro konkrétní zapojenou bránu a nástroje, které přes ni jdou. Nevztahuje se automaticky na všechny nástroje agenta. |
Pravidla a přehled pro konkrétní AI kanály.
Vyberete kontroly potřebné pro svou službu, určíte reakce a získáte podklady pro vyhodnocení nálezů. Při návrhu integrace společně určíme, které vstupy, výstupy a volání ochrana skutečně pokrývá.
- Nález a jeho důvod v přehledu událostí, ne jen souhrnné číslo.
- Reakce nastavená pro konkrétní kanál, ne jedno pravidlo na všechno.
- Podklady pro posouzení, které nálezy se opakují.
Kontrola zapojených rozhraní není obecný dohled nad celým autonomním agentem. Širší posuzování průběhu práce agenta je směr Qronosu, který je ve vývoji.
Kam Qronos směřujeKontroly v AI kanálech podrobně
Širší témata — ověřování opory odpovědi ve zdrojích nebo omezování nákladů — tu neuvádíme, dokud není potvrzené rozhraní, dostupnost a rozsah. Neslibujeme odstranění halucinací ani univerzální řízení spotřeby.
Škodlivé pokyny ve vstupu
Vzory pro přímou i nepřímou injekci, speciální tokeny, značky rolí a extrakci systémového promptu doplňuje sémantický klasifikátor, který posuzuje význam textu včetně nativních formulací v dalších jazycích.
Vstupy, které projdou zapojeným rozhraním.
Únik informací ve výstupu
Výstup se kontroluje na únik systémového promptu, tajemství a osobních údajů. Odpověď bez streamování umí proxy začernit před doručením, streamovanou prověří dodatečně.
Volání, která generují odpověď přes proxy; ostatní endpointy procházejí bez kontroly.
Argumenty volání nástrojů
Před spuštěním nástroje se jeho argumenty porovnají s deklarovaným JSON schématem: chybějící povinný argument, hodnota jiného typu, překročená délka nebo hodnota mimo povolený výčet. Při neshodě se nástroj nespustí.
Nástroje, které jdou přes zapojenou bránu Corpilus nebo její REST rozhraní.
Citlivé hodnoty v textu
V libovolném textu — v dokumentu, v logu i v dotazu pro model — lze najít přístupové klíče, tokeny a hesla; nálezy se vracejí začerněné a původní hodnota se nevrací.
Samostatná kontrola textu, zařaditelná těsně před odesláním obsahu do modelu.
OWASP může být způsobem třídění kontrol. Není to potvrzení, že je pokrytá každá kategorie, ani certifikace produktu.
Ukažte nám, kudy prochází obsah ve vaší AI aplikaci.
Projdeme používaný model, vstupy a nástroje. Navrhneme konkrétní body ochrany a způsob ověření integrace.
Cena je individuální podle rozsahu. Jak se určuje rozsah