Zurück zum Blog
Sicherheit

Ihr KI-Assistent kann jetzt Aktionen ausführen. Überwacht eigentlich jemand, was er tut?

Corpilus Team9. Juni 20265 Min. Lesezeit
ShieldKI-AgentenMCPPrompt InjectionOWASP
TL;DR

Formulare, Prompts und KI-Tool-Aufrufe greifen allesamt erst nach dem Login an. Ein KI-Agent, der senden oder löschen kann, braucht eine Kontrollinstanz. Shield prüft, was geschieht – und was Ihre KI in Ihrem Namen tut – bevor es ausgeführt wird.

Es gibt eine Variante dieses Gesprächs, die wie abstraktes Threat Modeling klingt. Das ist nicht diese Variante.

Wenn Ihr Produkt ein Kontaktformular hat, erhalten Sie genau jetzt Spam, Anmeldungen mit Wegwerf-E-Mail-Adressen und Credential-Stuffing-Versuche. Wenn Sie einen KI-Assistenten im Einsatz haben, wird er genau jetzt auf Prompt Injection und das Auslesen des System-Prompts abgeklopft. Und wenn Sie ihm MCP-Tools gegeben haben – E-Mails versenden, Datensätze schreiben, Datenbanken abfragen –, dann ist die Frage, was er tun darf und wer das kontrolliert, alles andere als theoretisch.

Drei Probleme, ein roter Faden

Das Formular-Problem

Bots sehen längst nicht mehr wie Bots aus. Headless-Browser, nachgeahmtes menschliches Verhalten und über viele Konten verteiltes Credential Stuffing bestehen eine Standard-WAF-Prüfung und ein CAPTCHA mühelos.

Das KI-Problem

Ein geschickt formulierter Prompt kann Ihre Systemanweisungen extrahieren, das Verhalten des Modells umlenken oder Daten aus früheren Stellen des Kontextfensters abgreifen. OWASP führt dies als das Risiko Nummer eins bei LLM an.

Das Agenten-Problem

Sobald Ihre KI Tools aufrufen kann – senden, schreiben, löschen, planen –, extrahiert ein kompromittierter Kontext oder eine eingeschleuste Anweisung nicht nur Informationen. Er führt Aktionen aus.

Sie alle geschehen nach der Authentifizierung. Der Nutzer oder die Sitzung wurde bereits verifiziert. Die Bedrohung gelangt über die Interaktion selbst hinein.

Sie brauchen Shield nicht, um zu wissen, wer Ihre Nutzer sind. Sie brauchen es, um zu wissen, ob das, was sie tun – oder was Ihre KI in ihrem Namen tut –, genau jetzt tatsächlich erlaubt sein sollte.

Was sich mit Shield ändert

  • Formularmissbrauch und Credential Stuffing werden gestoppt, bevor sie Ihre Anwendungslogik erreichen – und nicht im Nachhinein bereinigt.
  • Ihrem KI-Assistenten ist eine Schutzschicht vorgelagert, die Sie selbst kontrollieren, ohne das zugrunde liegende System neu aufzubauen.
  • Destruktive Agentenaktionen erfordern eine Freigabe. Nichts Unwiderrufliches wird ausgeführt, nur weil eine KI durch einen manipulierten Prompt dazu angewiesen wurde.
  • Jede Entscheidung wird signiert und gespeichert – ein lückenloser Nachweis darüber, was erlaubt, was blockiert wurde und warum.

Die meisten Teams merken erst, dass sie es gebraucht hätten, nachdem etwas schiefgegangen ist: eine Spam-Flut über das Kontaktformular, ein Assistent, der dazu gebracht wurde, seine Anweisungen preiszugeben, oder ein Agent, der dreihundert E-Mails verschickt hat, weil ein Tool-Aufruf nicht abgesichert war.

Shield bereitet sich auf den Launch vor. Jetzt für den Frühzugang vormerken.

Das Warum und das Wie vermitteln wir live, gemeinsam mit unserem Expertenpartner Avenue78.

Bereit, Corpilus auszuprobieren?

Bleiben Sie informiert

Erhalten Sie die neuesten Erkenntnisse über Unternehmens-KI, Datenschutz und Produktivität direkt in Ihren Posteingang.