Schützen Sie Ihre KI-Anwendung und die Daten ihrer Nutzer.
Ein Chatbot arbeitet mit Fragen, mit Dokumenten und manchmal mit Werkzeugen. Corpilus ergänzt Prüfungen in den Kanälen, die Sie anbinden, damit Sie Missbrauchsversuche erkennen und festlegen können, wie mit riskanten Inhalten umgegangen wird.
Drei Modellsituationen
Fiktive Daten und ein modellierter Ablauf — keine Kundenreferenzen. Kein Beispiel verspricht, dass jeder Angriff erkannt wird.
Ein Besucher versucht, das Verhalten des Chatbots zu ändern
Er fragt nicht geradeheraus. Er geht drum herum, und wenn der Assistent ablehnt, formuliert er die Frage um und versucht es erneut.
Der Dienst arbeitet weiter so, wie er soll.
Neben den Mustern für direkte und indirekte Injection, Spezial-Token und Rollenmarkierungen beurteilt ein semantischer Klassifikator die Bedeutung des Textes, einschließlich Formulierungen, die in anderen Sprachen verfasst sind. Läuft die Prüfung als Proxy vor dem Modellanbieter, erreicht blockierte Eingabe ihn nie.
Ein Dokument enthält eine Anweisung für den Assistenten
Die Datei sieht aus wie ein gewöhnliches Angebot. Zwischen den Zeilen steht eine Anweisung, die nicht an den Leser gerichtet ist, sondern an den Assistenten, der sie eines Tages lesen wird.
Sorgfältigerer Umgang mit dem Material, das der Assistent liest.
Der Text des Dokuments wird auf indirekte Injection nach Bedeutung beurteilt, nicht nach Wörtern, und die strukturelle Prüfung verifiziert den tatsächlichen Dateityp, Makros, Skripte und eingebettete Dateien. Ob das Dokument in Quarantäne landet und aus der Suche herausgehalten wird, hängt vom konkreten Upload- und Ingestion-Ablauf ab. Ist der Scanner nicht verfügbar, lautet das Ergebnis „nicht geprüft“, und das gilt nicht als sauber.
Eine Antwort oder ein Werkzeugaufruf enthält riskante Daten
Das Modell wiederholt in seiner Antwort einen Wert, der den Nutzer nicht hätte erreichen sollen, oder der Agent bereitet einen Werkzeugaufruf mit einem Argument vor, das dort nicht hingehört.
Geringeres Risiko, dass Daten auf eine Weise verarbeitet werden, die niemand wollte.
Die Ausgabeprüfung sucht nach Lecks des System-Prompts, von Geheimnissen und von personenbezogenen Daten. Eine Antwort ohne Streaming kann der Proxy vor der Auslieferung schwärzen; eine gestreamte wird danach geprüft, also nach der Auslieferung. Argumente eines Werkzeugaufrufs werden vor der Ausführung mit dem deklarierten JSON-Schema des Werkzeugs verglichen, in dem Gateway, das angebunden ist.
Eine Prüfung dort, wo Ihre Anwendung mit Inhalten arbeitet.
Der Umfang richtet sich danach, was angebunden ist. Was nicht angebunden ist, ist nicht automatisch geschützt.
| Ort | Was dort geschieht |
|---|---|
| Vor dem Modell | Die übergebene Eingabe wird bewertet. Für ITGilt für die unterstützten Endpunkte und die Proxy-Regeln; andere Pfade innerhalb Ihrer Anwendung sind nicht automatisch eingeschlossen. |
| Während ein Dokument verarbeitet wird | Das Dokument wird geprüft, bevor es weiter verwendet wird. Für ITHängt vom konkreten Upload- und Ingestion-Ablauf ab, davon, ob eine Quarantäne angebunden ist, und vom Verhalten, wenn der Scanner nicht verfügbar ist — „nicht geprüft“ ist nicht „sauber“. |
| Bei der Antwort | Die unterstützten Ausgaben werden geprüft. Für ITEine Antwort ohne Streaming kann vor der Auslieferung geprüft werden; mit Streaming ist es eine Prüfung nach der Auslieferung. Das ist nicht dasselbe. |
| Bei einem Werkzeugaufruf | Der Aufruf wird über die angebundene Schnittstelle geprüft. Für ITGilt für das konkrete angebundene Gateway und die Werkzeuge, die darüber laufen. Es deckt nicht automatisch jedes Werkzeug ab, das ein Agent hat. |
Regeln und ein Überblick für bestimmte KI-Kanäle.
Sie wählen die Prüfungen, die Ihr Dienst braucht, legen die Reaktionen fest und erhalten die Grundlage, um die Funde zu beurteilen. Während die Integration entworfen wird, bestimmen wir gemeinsam, welche Eingaben, Ausgaben und Aufrufe der Schutz wirklich abdeckt.
- Der Fund und sein Grund in der Ereignisübersicht, nicht nur eine zusammengefasste Zahl.
- Eine Reaktion, die für einen bestimmten Kanal eingestellt ist, nicht eine Regel für alles.
- Grundlage, um zu beurteilen, welche Funde immer wiederkehren.
Die Prüfung der Schnittstellen, die Sie anbinden, ist keine allgemeine Aufsicht über einen ganzen autonomen Agenten. Den Ablauf der Arbeit eines Agenten breiter zu beurteilen ist die Richtung von Qronos, das in Entwicklung ist.
Wohin Qronos gehtDie Prüfungen in KI-Kanälen im Detail
Weitergehende Themen — zu verifizieren, dass eine Antwort in ihren Quellen verankert ist, oder Kosten zu begrenzen — bleiben hier außen vor, bis Schnittstelle, Verfügbarkeit und Umfang bestätigt sind. Wir versprechen weder die Beseitigung von Halluzinationen noch eine allgemeine Kontrolle des Verbrauchs.
Schädliche Anweisungen in der Eingabe
Zu den Mustern für direkte und indirekte Injection, Spezial-Token, Rollenmarkierungen und das Auslesen des System-Prompts kommt ein semantischer Klassifikator, der die Bedeutung des Textes beurteilt, einschließlich Formulierungen, die in anderen Sprachen verfasst sind.
Eingaben, die über eine angebundene Schnittstelle laufen.
Informationen, die in der Ausgabe abfließen
Die Ausgabe wird auf Lecks des System-Prompts, von Geheimnissen und von personenbezogenen Daten geprüft. Eine Antwort ohne Streaming kann der Proxy vor der Auslieferung schwärzen; eine gestreamte wird danach geprüft.
Aufrufe, die eine Antwort über den Proxy erzeugen; andere Endpunkte laufen ohne Prüfung durch.
Argumente von Werkzeugaufrufen
Bevor ein Werkzeug läuft, werden seine Argumente mit seinem deklarierten JSON-Schema verglichen: ein fehlendes Pflichtargument, ein Wert eines anderen Typs, eine überschrittene Länge oder ein Wert außerhalb der erlaubten Menge. Bei einer Abweichung läuft das Werkzeug nicht.
Werkzeuge, die über das angebundene Corpilus-Gateway oder dessen REST-Schnittstelle laufen.
Sensible Werte im Text
In jedem Text — einem Dokument, einem Log oder einer Frage an das Modell — lassen sich Zugangsschlüssel, Token und Passwörter finden; Funde kommen geschwärzt zurück, und der ursprüngliche Wert wird nicht zurückgegeben.
Eine eigene Textprüfung, die sich direkt vor dem Senden von Inhalten an ein Modell einsetzen lässt.
OWASP kann eine Art sein, die Prüfungen zu ordnen. Es ist keine Bestätigung, dass jede Kategorie abgedeckt ist, und keine Zertifizierung des Produkts.
Zeigen Sie uns den Weg, den Inhalte durch Ihre KI-Anwendung nehmen.
Wir gehen das Modell durch, das Sie nutzen, die Eingaben und die Werkzeuge. Danach schlagen wir konkrete Schutzpunkte und einen Weg vor, die Integration zu verifizieren.
Der Preis ist individuell, nach Umfang. Wie der Umfang bestimmt wird