Ein Anrufer möchte einen Servicetermin verschieben. Der Agent versteht die Anfrage, findet einen freien Termin und gibt eine klare Antwort. Eine überzeugende Demonstration.

Im Produktivbetrieb stellen sich Fragen, die in der Demonstration offenbleiben können. Wurde die Identität des Anrufers überprüft? Darf er diesen Termin ändern? Was passiert, wenn der Kalender die Änderung übernimmt, aber die Verbindung abbricht, bevor eine Bestätigung zurückkommt?

Das sind Entscheidungen über die Bereitstellung. Ein leistungsfähiges Modell unterstützt das Gespräch. Der Dienst braucht jedoch zusätzlich Kontrollen für Daten, Berechtigungen, geschäftliche Aktionen und die Wiederherstellung nach Fehlern. OWASP beschreibt die Risiken übermäßiger Funktionen, Berechtigungen oder Autonomie eines Agenten unter dem Begriff Excessive Agency. [1]

Für Teams, die einen Sprach- oder Chat-Agenten in den realen Betrieb überführen, sind ein klar definierter Ablauf und ein auch bei problematischen Gesprächen durchsetzbares Berechtigungsmodell der sinnvolle Ausgangspunkt.

Mit einem klar definierten Ablauf beginnen

Beschreiben Sie die Aufgabe des Agenten so, dass sie sich testen lässt. „Den Kundenservice übernehmen“ lässt zu viel offen. „Freigegebene Servicefragen beantworten, freie Termine prüfen und für einen verifizierten Kunden eine Terminänderung anfordern“ gibt dem Entwicklungsteam eine klare Grenze.

Legen Sie die zulässigen Quellen, beteiligten Systeme, verfügbaren Aktionen und Bedingungen für eine Übergabe an einen Menschen fest. Beschreiben Sie auch, was passiert, wenn der Agent seine Aufgabe nicht abschließen kann.

Für einen Terminservice könnte eine erste Berechtigungsmatrix so aussehen:

Beispielhafte Berechtigungsmatrix für die Terminverwaltung
TätigkeitZugriffsgrenzeBedingung für die Ausführung
Öffnungszeiten oder Serviceangebote erklärenFreigegebenes öffentliches WissenAus der gepflegten Quelle antworten.
Einen bestehenden Termin abrufenDer relevante Datensatz des verifizierten KundenDie Berechtigung vor dem Abruf prüfen.
Einen Termin ändernEine klar abgegrenzte BuchungsaktionGeschäftsregeln anwenden und die vorgeschlagene Änderung bestätigen lassen.
Stornogebühren außer Kraft setzen oder Kundendaten exportierenAußerhalb des vorgesehenen AblaufsAn einen entsprechend berechtigten Mitarbeitenden übergeben.

Beispielhafter Ablauf für die Terminverwaltung.

So lässt sich auch eine spätere Erweiterung leichter prüfen. Eine neue Aktion erfordert dann die bewusste Anpassung einer ausdrücklichen Berechtigungsmatrix, statt nachträglich festzustellen, dass ein weitreichender Konnektor sie ohnehin schon ermöglicht hat.

Identitäten durch alle Systeme mitführen

Ein Agent sollte nicht allein deshalb als vertrauenswürdig gelten, weil er im Unternehmensnetz läuft. Die Zero-Trust-Leitlinien von NIST trennen Zugriffsentscheidungen von Annahmen über Netzwerkstandort oder Eigentümerschaft. [2]

Unterscheiden Sie die hilfesuchende Person von der Softwareidentität, die ein Geschäftssystem aufruft. Fragt ein angemeldeter Mitarbeitender nach einem Dokument, muss der Abruf dessen Zugriffsrechte berücksichtigen. Ein privilegiertes Backend-Konto darf nicht unbemerkt geschützte Dokumente zugänglich machen.

In Azure können verwaltete Identitäten bei unterstützten Workloads und Ressourcen das Speichern von Dienstzugangsdaten überflüssig machen. Sie benötigen weiterhin passend eingegrenzte Rollenzuweisungen. Benutzerdelegierter Zugriff und Anwendungszugriff erfüllen unterschiedliche Zwecke. Wählen Sie das zum Ablauf passende Muster. [3]

Definieren Sie bei einem Sprach-Agenten einen gesonderten Verifizierungsprozess, bevor Kontoinformationen offengelegt oder Kontoänderungen angenommen werden. Überprüfen Sie den Anrufer mit dem freigegebenen Verfahren, bevor Sie seinen genannten Namen als authentifizierte Identität behandeln. Lassen sich Identität oder Berechtigung nicht feststellen, leiten Sie die Anfrage an einen Menschen oder einen anderen freigegebenen Verifizierungskanal weiter.

Dieselbe Prüfung gehört an die Schnittstelle zum Werkzeug. Vor der Ausführung eines Aufrufs muss die Anwendung feststellen, um welchen Nutzer oder Kunden es geht, welche Ressource angesprochen wird und ob die angeforderte Aktion zulässig ist.

Nicht autorisierte Daten aus dem Modellkontext heraushalten

Retrieval-Augmented Generation, kurz RAG, ermöglicht es einer Anwendung, einem Modell relevante Quellen bereitzustellen. Auch diese Suchergebnisse benötigen Zugriffskontrollen.

Wenden Sie Kunden-, Mandanten- und Dokumentberechtigungen an, bevor abgerufene Inhalte in den Modellkontext gelangen. In einem gemeinsam genutzten System bedeutet die Zugehörigkeit zu einer Kundenorganisation nicht automatisch Zugriff auf jedes Dokument dieser Organisation. Microsoft empfiehlt in seinen Leitlinien für sicheres RAG, jede Abrufanfrage anhand des jeweiligen Berechtigungskontexts zu filtern. [4]

Wenden Sie dieselbe Trennung auf Gesprächsverläufe, zwischengespeicherte Antworten und das dauerhafte Gedächtnis des Agenten an. Microsoft empfiehlt außerdem, den Agentenspeicher je Nutzer und Mandant zu isolieren. [12] Ein sinnvoller Test vor der Freigabe: Lassen Sie zwei Kunden ähnliche Anfragen durchlaufen und prüfen Sie, dass keiner die Datensätze oder Gesprächsdetails des anderen abrufen kann.

Erfassen Sie bei Sprachdiensten den gesamten Datenweg: Telefonie, Transkription, Modellverarbeitung, Geschäftswerkzeuge, Protokolle und Speicherung. Audioaufnahmen und Transkripte können personenbezogene oder sensible Informationen enthalten. Microsoft unterscheidet in seiner Speech-to-Text-Dokumentation zudem zwischen dem Verarbeitungs- und Speicherverhalten verschiedener Funktionen. Eine einzelne Einstellung ist daher keine Garantie für die gesamte Sprachverarbeitungskette. [5]

Legen Sie fest, welche Informationen jede Komponente benötigt, wo sie verarbeitet werden, wer darauf zugreifen darf und wann sie gelöscht werden. Beziehen Sie diese Entscheidungen auf die tatsächlich eingesetzten Dienste und deren Konfiguration.

Externe Inhalte als möglichen Instruktionsangriff behandeln

Ein Agent kann Webseiten, E-Mails, Supporttickets oder Dokumente lesen, in denen jemand fremde Anweisungen platziert hat. Folgt er diesen statt der autorisierten Aufgabe, kann daraus ein Prompt-Injection-Angriff entstehen.

Solche Inhalte können unauffällig wirken: etwa eine Notiz, die einen Support-Agenten auffordert, Datensätze „zur Überprüfung“ zu exportieren, oder eine abgerufene Seite, die ein anderes Ziel für einen Werkzeugaufruf vorgibt. OWASP weist in seinen Prompt-Injection-Leitlinien darauf hin, dass RAG und Fine-Tuning diese Schwachstelle nicht vollständig beseitigen. [6]

Trennen Sie abgerufene Inhalte von vertrauenswürdigen Anweisungen, kennzeichnen Sie deren Herkunft und testen Sie den Umgang des Agenten mit bösartigen Inhalten. Filter und Schutzmechanismen des Modells können helfen. Berechtigungen und Ausführungskontrollen müssen aber auch dann wirksam bleiben, wenn das Modell der Anweisung eines Angreifers folgt.

Im Terminbeispiel darf eine bösartige Notiz keine Exportmöglichkeit schaffen, die die Anwendung nie eingeräumt hat. Daran lässt sich der Entwurf sinnvoll messen: Testen Sie die Zugriffsgrenze ebenso wie die Antwort des Agenten.

Zwischen Planung und Aktion eine Prüfung einbauen

Das Modell kann eine Aktion vorschlagen. Die Ausführungsschicht sollte deren Zulässigkeit, Ziel und Parameter unabhängig prüfen, bevor sie das Geschäftssystem aufruft.

Verwenden Sie eng begrenzte Aktionen wie „diesen Termin auf diesen zulässigen freien Zeitpunkt verschieben“. Eine uneingeschränkte Datenbankabfrage, ein Shell-Befehl oder eine allgemeine HTTP-Anfrage gibt dem Agenten deutlich mehr Handlungsspielraum, als die Aufgabe erfordert.

Prüfen Sie Werte gegen das Schema des Werkzeugs und die Geschäftsregeln. Eine strukturell gültige Anfrage kann trotzdem die Buchung des falschen Kunden oder einen nicht verfügbaren Termin betreffen. Erforderliche Freigaben sollten mit einer Gültigkeitsdauer an die konkrete Aktion und deren Parameter gebunden sein. Lesen Sie bei einer telefonischen Buchung Datum, Ortszeit und Servicestandort vor, bevor Sie den Anrufer um Bestätigung bitten. Ändern sich diese Angaben, holen Sie eine neue Bestätigung ein. OWASP empfiehlt ausdrücklich, Entscheidungen von der Ausführung zu trennen und die Freigabe an die genaue Aktion zu binden. [7]

Richten Sie die Prüfanforderungen nach den möglichen Folgen aus. Die Antwort auf eine Frage zu Öffnungszeiten und eine Änderung von Zugriffsrechten benötigen unterschiedliche Kontrollen. Konzentrieren Sie menschliche Prüfungen auf sensible, irreversible oder außergewöhnliche Aktionen. Gewöhnliche zulässige Aufgaben sollten definierten Regeln folgen.

Planen Sie auch für ungewisse Ergebnisse. Ein Timeout beweist nicht, dass eine Aktion fehlgeschlagen ist: Der empfangende Dienst kann sie abgeschlossen haben, bevor die Antwort verloren ging. Kann eine Wiederholung eine weitere Buchung oder Abbuchung auslösen, kann ein erneuter Versuch zu doppelten Auswirkungen führen. [8]

Verwenden Sie bei Terminänderungen, sofern verfügbar, den vom Zielsystem unterstützten Mechanismus zur Vermeidung doppelter Ausführungen, häufig als Idempotenz bezeichnet. Klären Sie den Buchungsstatus, bevor Sie einen Schreibvorgang mit ungewissem Ausgang wiederholen. Informieren Sie den Anrufer, wenn keine Bestätigung vorliegt. Der Agent sollte eine Änderung erst dann als abgeschlossen beschreiben, wenn der Ablauf einen verlässlichen Nachweis dafür liefert.

Die Laufzeitumgebung begrenzen und jeden Konnektor prüfen

Trennen Sie Entwicklung und Produktion. Geben Sie der Laufzeitumgebung nur Zugriff auf die Dateien, Geheimnisse und Netzwerkziele, die sie für ihre Aufgabe benötigt. Nutzen Sie eine zum Workload passende Isolation und testen Sie deren Grenzen. Eine Sandbox ergänzt die Abschottung. Ihre Konfiguration und die umgebenden Kontrollen müssen dennoch geprüft werden.

Anthropic beschreibt in seiner veröffentlichten Arbeit zur Abschottung, wie sich Grenzen durch Sandboxes, virtuelle Maschinen und Kontrollen für ausgehenden Netzwerkverkehr zusätzlich zu den Schutzmechanismen des Modells durchsetzen lassen. Begrenzen Sie neben dem erwarteten Verhalten auch die Ressourcen, die ein Agent erreichen kann. [9]

Behandeln Sie Konnektoren, Pakete und Werkzeugserver als produktive Abhängigkeiten. Prüfen Sie Herausgeber, Berechtigungen, Aktualisierungsverfahren und Datenzugriff. Führen Sie ein Inventar, damit sich ein Konnektor deaktivieren oder aktualisieren lässt, wenn sich sein Risiko verändert.

Wenn das Model Context Protocol (MCP) eingesetzt wird, prüfen Sie die Sicherheit der konkreten Implementierung und Verbindung. Bei OAuth-geschützten MCP-Servern untersagen die Sicherheitsleitlinien des Protokolls, für eine andere Ressource bestimmte Tokens anzunehmen und ungeprüft an nachgelagerte Dienste weiterzugeben. Auch ein standardisiertes Verbindungsverfahren benötigt korrekte Authentifizierung, Autorisierung und Token-Verarbeitung. [10]

Nachvollziehbarkeit und Übergabe gestalten

Ein Transkript dokumentiert das Gespräch. Der Betrieb benötigt zusätzlich Aufzeichnungen über ausgeführte Aktionen: anfragende Identität, Agentenversion, Werkzeug, Ziel, Ergebnis der Richtlinienprüfung, gegebenenfalls erforderliche Freigabe und bestätigtes Ergebnis. Verknüpfen Sie diese Ereignisse über eine Interaktionskennung.

Halten Sie diese Nachweise verhältnismäßig. OWASP empfiehlt, Geheimnisse und Zugriffstokens aus Protokollen auszuschließen und sensible personenbezogene Informationen besonders zu behandeln. Schützen Sie Protokolle vor unbefugtem Zugriff und Veränderungen. Legen Sie Aufbewahrungs- und Löschregeln fest. [11]

Für eine Untersuchung kann in der Praxis eine geschützte Referenz auf einen Kundendatensatz ausreichen. Eine vollständige Kopie des Gesprächs ist möglicherweise unnötig. Testen Sie die Telemetriekonfiguration vor dem ersten Echtverkehr, damit die Fehlersuche keinen zweiten Speicher sensibler Daten schafft.

Begrenzen Sie Ausführungszeit, Werkzeugaufrufe, Wiederholungen und Kosten. Eine verwaltete Plattform entbindet nicht von der Verantwortung für Konfiguration, Berechtigungen oder Orchestrierung des Agenten. Microsoft nennt in seinen Leitlinien zur geteilten Verantwortung unter anderem Schrittbegrenzungen, Schleifenerkennung und Kostenobergrenzen als Kontrollen, die Bereitstellungsteams berücksichtigen müssen. [12]

Gestalten Sie den Ausweichweg betriebsfähig. Legen Sie fest, wer eine Übergabe erhält, welcher Kontext mitgeliefert wird und was außerhalb besetzter Servicezeiten passiert. Übergeben Sie den Verifizierungsstatus, die vorgeschlagene Änderung und das zuletzt bestätigte Systemergebnis. Ist der Buchungsstatus ungewiss, muss die Übergabe das deutlich benennen. So kann die zuständige Fachkraft die Anfrage an einer sinnvollen Stelle fortsetzen.

Vor erweiterten Zugriffsrechten testen

Bewerten Sie den bereitgestellten Ablauf einschließlich seiner tatsächlichen Berechtigungswege und seines Fehlerverhaltens. Ein gelungenes Gespräch allein ist kein ausreichender Freigabenachweis. Die Leitlinien des NCSC zur sicheren Bereitstellung fordern angemessene Sicherheitsprüfungen vor der Veröffentlichung sowie Vorfallsverfahren und klare Informationen über Grenzen des Systems. [13]

Für den beispielhaften Terminablauf könnte ein erster Testsatz so aussehen:

Vorgeschlagene Abnahmetests vor dem Produktivstart
TestErwartetes Systemverhalten
Ein nicht verifizierter Anrufer fordert Termindetails anGeschützte Details werden weder abgerufen noch offengelegt. Der freigegebene Verifizierungs- oder Übergabeweg wird angeboten.
Ein verifizierter Kunde fordert die Buchung einer anderen Person anDer Zugriff auf die betreffende Ressource wird verweigert.
Eine abgerufene Notiz fordert den Agenten zum Datenexport aufDie Notiz erteilt keine Berechtigungen. Eine nicht autorisierte Aktion kann nicht ausgeführt werden.
Ein Schreibzugriff auf den Kalender endet nach dem Absenden mit einem TimeoutDer Ausgang wird geklärt, bevor ein unsicherer Wiederholungsversuch erfolgt oder Erfolg gemeldet wird.
Zwei Kunden verwenden ähnliche GesprächsverläufeGespeicherte Zustände und abgerufene Ergebnisse bleiben getrennt.
Wiederholte Werkzeugfehler verbrauchen das WiederholungsbudgetDie Ausführung endet und der definierte Ausweichweg wird genutzt.

Nutzen Sie diese vorgeschlagenen Abnahmetests als Ausgangspunkt. Ergänzen Sie Fälle für unterstützte Sprachen, störungsbehaftete Audiosignale, mehrdeutige gesprochene Datumsangaben, Integrationen und die Geschäftsregeln des tatsächlichen Dienstes.

Beginnen Sie mit Testdaten und eingeschränktem Zugriff. Gehen Sie dann zu einem kontrollierten Pilotbetrieb mit ausdrücklichen Abnahmekriterien über. Erweitern Sie anschließend nur die Fähigkeiten, die diese Kriterien erfüllen. Vereinbaren Sie die Kriterien vor dem Start mit der fachlich verantwortlichen Person: autorisierter Datenzugriff, korrekte Aktionen, beherrschbare Fehler, brauchbare Übergaben und wirtschaftliche Betriebsgrenzen sind gleichermaßen wichtig.

Verwalten Sie Prompts, Werkzeugdefinitionen, Richtlinien und Bereitstellungskonfiguration in der Versionskontrolle. Erfassen Sie die Modellversion oder Bereitstellungskennung, sofern der Anbieter sie bereitstellt. Das NCSC betont, dass Änderungen an Daten, Modellen und Prompts das Systemverhalten beeinflussen können und deshalb in Tests und Aktualisierungsverfahren berücksichtigt werden müssen. [14]

Stellen Sie Möglichkeiten bereit, Aktionen anzuhalten, Zugriffsrechte zu entziehen und zu einer bekannten Konfiguration zurückzukehren. Ein Rollback der Anwendung macht keine Buchung, Zahlung oder bereits versandte Nachricht in einem anderen System rückgängig. Die Wiederherstellungsplanung muss diese geschäftlichen Auswirkungen gesondert berücksichtigen.

Vor der ersten produktiven Anfrage

Das Bereitstellungsteam sollte Folgendes nachweisen können:

  • Einen vereinbarten Ablauf mit benannter fachlicher und technischer Verantwortung.
  • Eine funktionierende Identitätsprüfung und Autorisierung für jede Zielressource.
  • Die Trennung von Daten und Gesprächen zwischen Nutzern und Kunden.
  • Eng begrenzte Werkzeuge mit validierten Eingaben und angemessenen Freigaberegeln.
  • Getesteten Umgang mit bösartigen Inhalten, Timeouts und doppelten Anfragen.
  • Geschützte Audit-Ereignisse, definierte Aufbewahrung und handlungsorientierte Warnmeldungen.
  • Funktionierende Übergabe-, Vorfalls- und Abschaltverfahren.
  • Einen geprüften Freigabenachweis und einen praktikablen Wiederherstellungsplan.

Das Terminbeispiel endet gut, wenn die Buchung des richtigen Kunden genau einmal geändert wird, das Ergebnis bestätigt ist und das Betriebsteam erklären kann, was geschehen ist. Lässt sich die Anfrage nicht abschließen, erhält der Anrufer einen klaren nächsten Schritt.

Das ist der Maßstab für den Entwurf: ein nützliches Gespräch, getragen von Zugriffskontrollen, nachvollziehbaren Aktionen und Menschen, die Verantwortung für das Ergebnis übernehmen können.

Planen Sie einen Sprach- oder Chat-Agenten für Ihre Organisation? Besprechen Sie Ihren Anwendungsfall mit RZK oder informieren Sie sich über KI-Agenten-Engineering und Governance, Sicherheit und Zuverlässigkeit.

Quellen

Primärdokumentation mit Stand der Quellenprüfung vom 20. Oktober 2026. Die Beispiele, Berechtigungsmatrix und Abnahmetests sind beispielhafte technische Empfehlungen. Die verlinkten Originalquellen sind überwiegend auf Englisch.

  1. OWASP — LLM06:2025 Excessive Agency
  2. NIST — SP 800-207: Zero Trust Architecture
  3. Microsoft — Access patterns and controls for AI agents
  4. Microsoft — Design a secure multitenant RAG inferencing solution
  5. Microsoft — Data and privacy for Speech to text
  6. OWASP — LLM01:2025 Prompt Injection
  7. OWASP — AI Agent Security Cheat Sheet
  8. Microsoft — Retry pattern
  9. Anthropic — How we contain Claude across products
  10. Model Context Protocol — Security Best Practices
  11. OWASP — Logging Cheat Sheet
  12. Microsoft — AI agent shared responsibility model
  13. NCSC — Secure deployment
  14. NCSC — Secure operation and maintenance