Stellen Sie sich einen Termin-Agenten vor, der Anrufe annimmt und rechtzeitig antwortet. Eine Änderung am Buchungssystem führt dazu, dass Aktualisierungen fehlschlagen. Einige Anrufer beenden das Gespräch in der Annahme, ihr Termin sei verschoben worden. Tatsächlich bleibt die ursprüngliche Buchung unverändert.

Das Hosting-Dashboard kann währenddessen durchgehend einen gesunden Zustand anzeigen. Das Betriebsteam muss die fehlgeschlagenen Anfragen trotzdem finden und den betroffenen Anrufern helfen.

Managed Agent Operations bezeichnet die kontinuierliche Arbeit daran, einen bereitgestellten Agenten zuverlässig, nützlich und nachvollziehbar zu betreiben, während sich Modelle, Wissen und angebundene Systeme verändern. Monitoring, Evaluierung, Störungsbearbeitung, Releases und Kostensteuerung werden zu einem Service mit klarer Verantwortung zusammengeführt.

Der Terminablauf in diesem Artikel ist ein beispielhaftes Betriebsszenario.

Dem produktiven Service eine klare Verantwortung geben

Beginnen Sie mit einer Servicebeschreibung, die im Arbeitsalltag ebenso wie bei einer Störung nutzbar ist. Halten Sie Zweck, unterstützte Kanäle, erlaubte Aktionen, geschäftliche Abhängigkeiten und Eskalationswege fest. Benennen Sie die für den Service verantwortliche Person sowie diejenigen, die sein Verhalten ändern oder seine Aktionen anhalten dürfen.

Verantwortung umfasst auch die verwendeten Informationen. Jemand muss Änderungen an Servicerichtlinien freigeben, Wissensquellen pflegen und über den Umgang mit Ausnahmen entscheiden.

Eine verwaltete Plattform stellt einen Teil der Betriebsumgebung bereit. Die Verantwortung für Konfiguration, Datenzugriff und Agentenverhalten hängt vom Bereitstellungsmodell ab. Microsoft beschreibt diese Aufteilung für gehostete Software, verwaltete Plattformen und selbst betriebene Infrastruktur ausdrücklich. [1]

Dokumentieren Sie die tatsächlichen Supportvereinbarungen: Servicezeiten, personelle Abdeckung für Eskalationen, Störungskontakte und Befugnisse zur Änderungsfreigabe. Erfassen Sie etwaige vertragliche Service-Level-Agreements und die darin enthaltenen Zusagen. Kann ein Agent außerhalb besetzter Zeiten Anfragen entgegennehmen, legen Sie fest, wo diese warten und was dem Anrufer mitgeteilt wird.

Das Serviceteam kann dann eine Richtlinienfrage, einen Integrationsfehler oder eine dringende Störung an eine handlungsberechtigte Person weiterleiten.

Erledigte Aufgaben ebenso wie Verfügbarkeit messen

Vereinbaren Sie vor der Auswahl von Dashboard-Kennzahlen, woran eine erfolgreiche Anfrage erkennbar ist. Eine Terminänderung sollte beinhalten, dass der richtige autorisierte Datensatz aktualisiert und das Ergebnis korrekt mitgeteilt wurde. Bei einer Informationsanfrage kann Erfolg eine belegbare Antwort aus einer freigegebenen aktuellen Quelle bedeuten.

Ein Service-Level-Indikator, kurz SLI, misst einen Aspekt des Services. Ein Service-Level-Ziel, kurz SLO, legt dafür einen Zielwert über einen definierten Zeitraum fest. Googles SRE-Leitlinien empfehlen Messgrößen, die die Erfahrung der Servicenutzer widerspiegeln. [2]

Für den Terminablauf könnte eine praktische Betriebssicht Folgendes umfassen:

Beispielhafte Betriebskennzahlen
BereichZu prüfendes SignalZu beantwortende Frage
Geschäftliches ErgebnisIm Geschäftssystem bestätigte TerminänderungenWurde die angeforderte Aufgabe korrekt abgeschlossen?
GesprächsqualitätGeprüfte Antworten, Richtlinientreue und erneute KontaktaufnahmenHat der Anrufer korrekte und nützliche Unterstützung erhalten?
LeistungAntwortverzögerungen, langsame Anfragen und fehlgeschlagene WerkzeugaufrufeWo warten Anrufer oder verlieren den Zugang zum Service?
Menschliche ÜbergabeEskalationsgründe, Zustellung an das empfangende Team und offene FälleKann jemand Verantwortung übernehmen, wenn die Automatisierung endet?
KostenAusgaben und Ressourcenverbrauch nach Ablauf und ErgebnisWas kostet die Erbringung des Services tatsächlich?

Definieren Sie die Grundgesamtheit hinter jeder Quote. Eine Kennzahl für automatisiert abgeschlossene Aufgaben benötigt beispielsweise eine dokumentierte Menge geeigneter Anfragen, eine Verifizierungsregel und einen festgelegten Umgang mit unerledigter Arbeit. Legen Sie die Eignungsregeln im Voraus fest und belassen Sie fehlgeschlagene oder ungelöste geeignete Anfragen im Nenner. Erfassen Sie korrekte Ablehnungen und geplante menschliche Übergaben gesondert, damit die Abschlussquote interpretierbar bleibt.

Betrachten Sie die Kennzahlen gemeinsam. Eine sinkende Übergabequote sollte zusammen mit Lösungsqualität, erneuten Kontaktaufnahmen und Kundenfeedback untersucht werden. Leiten Sie Ziele aus geschäftlichen Auswirkungen und Pilotdaten ab. Überprüfen Sie sie, wenn sich der Service verändert.

Jede Anfrage nachvollziehbar machen

Scheitert eine Anfrage, muss das Team ihren Weg durch Gespräch, Modell, Abrufdienst und Geschäftswerkzeuge verfolgen können. Verbinden Sie diese Schritte über eine Trace- oder Interaktionskennung. Erfassen Sie die relevante Agentenkonfiguration, Werkzeugergebnisse, Zeitmessungen und das abschließende Ergebnis. Kennzeichnen Sie Stichproben beim Tracing, damit aufgezeichnete Traces von der vollständigen Menge der Anfragen unterschieden werden können.

Microsofts Observability-Leitlinien verbinden Evaluierung, Monitoring und verteiltes Tracing einschließlich der Integration mit Azure Monitor Application Insights. Diese Möglichkeiten können einem Azure-Team helfen, den Anfrageweg zu untersuchen. Voraussetzung sind die tatsächlich konfigurierten Dienste und die passende Instrumentierung. [3]

Sprache bringt zusätzliche Untersuchungspunkte mit sich. Trennen Sie Zeit bis zur ersten Audioausgabe, Spracherkennung, Modellverarbeitung, Werkzeugausführung und Sprachsynthese, soweit die Verarbeitungskette diese Werte bereitstellt. Definieren Sie Anfang und Ende jeder Zeitmessung. Microsofts Leitlinien für Sprach-Agenten zeigen, warum diese Stufen getrennt betrachtet werden müssen. [4]

Bei der fehlschlagenden Buchungsänderung sollte ein Operator im Trace die abgelehnte Aktion finden, die betroffene Version erkennen und prüfen können, ob eine Übergabe angelegt wurde.

Erfassen Sie Telemetrie gezielt. Sammeln Sie die für den Betrieb erforderlichen Metadaten und versehen Sie etwaige Gesprächsinhalte mit angemessenen Zugriffs- und Aufbewahrungskontrollen. OpenTelemetry empfiehlt, die Erfassung sensibler Daten zu minimieren und zu prüfen, welche Informationen Instrumentierungsbibliotheken ausgeben. [5]

Prüfen Sie vor dem Start und nach Änderungen an der Instrumentierung einen realen Trace. Stellen Sie sicher, dass er für die Diagnose nützlich ist und keine Geheimnisse, unnötigen personenbezogenen Informationen oder uneingeschränkten Werkzeugantworten in das Monitoring kopiert werden.

Qualitätsprüfungen nah an der tatsächlichen Nutzung halten

Pflegen Sie einen versionierten Evaluierungsdatensatz, der die Aufgaben des Agenten abbildet. Nehmen Sie gewöhnliche Anfragen, fehlende Informationen, Richtlinienausnahmen, nicht unterstützte Anliegen und Ausfälle verbundener Systeme auf. Ergänzen Sie für Sprache unterstützte Sprachen, Hintergrundgeräusche und mehrdeutige gesprochene Datumsangaben.

Wählen Sie die Prüfung passend zur Aufgabe. Eine Buchungsaktion lässt sich am entstandenen Geschäftsdatensatz prüfen. Antwortgenauigkeit und Verständlichkeit können dagegen schriftliche Bewertungskriterien und menschliche Prüfung erfordern. Anthropic unterscheidet zwischen tatsächlichen Ergebnissen und der Darstellung des Agenten und beschreibt codebasierte, modellbasierte und menschliche Bewertungen. [6]

Nutzen Sie automatisierte Bewertungen für eine breitere Abdeckung und kalibrieren Sie modellbasierte Bewerter anhand menschlicher Einschätzungen. Eine flüssige Erklärung oder ein hoher Bewertungsscore benötigt weiterhin den passenden Nachweis für das geschäftliche Ergebnis.

Führen Sie den Evaluierungsdatensatz vor wesentlichen Änderungen aus und prüfen Sie fortlaufend eine geeignete Stichprobe produktiver Interaktionen. Zeigen Sie Prüfvolumen und Auswahlverfahren neben Qualitätsquoten an. Erfassen Sie Version und Kriterien des Bewerters, damit eine Bewertungsänderung von einer Änderung am Agenten unterschieden werden kann. Microsoft unterscheidet produktive Stichproben von geplanten Evaluierungen anhand von Testdatensätzen. [3]

Untersuchen Sie Ergebnisse nach Anfragetyp, Sprache, Kanal und Agentenversion. Ein Gesamtscore kann ein wiederkehrendes Problem in einem einzelnen Ablauf verdecken. Verfolgen Sie eine fehlerhafte Antwort zur Wissensquelle, Berechtigungsentscheidung und Werkzeugantwort zurück, bevor Sie eine Änderung auswählen. Ergänzen Sie geprüfte produktive Fehler als synthetische oder angemessen geschützte Beispiele im Testdatensatz. Behalten Sie etablierte Regressionstests bei, wenn Sie die Abdeckung erweitern.

Der Fehler des Buchungssystems sollte schließlich zu einem wiederholbaren Test werden: Die Aktion wird abgelehnt, der Agent erklärt die Einschränkung korrekt und die Anfrage folgt dem vereinbarten Wiederherstellungsweg.

Verhaltensänderungen als Releases behandeln

Ein produktiver Agent kann sich verändern, ohne dass sich sein Anwendungscode ändert. Ein neuer Prompt, eine Werkzeugdefinition, Modellbereitstellung, Berechtigung oder Wissensquelle kann das Kundenergebnis beeinflussen. Das NCSC fordert Test- und Aktualisierungsverfahren, die Änderungen an Daten, Modellen und Prompts berücksichtigen. [7]

Führen Sie einen Release-Nachweis mit Konfiguration, unterstützendem Wissen, relevanten Abhängigkeiten, Evaluierungsergebnissen und freigebender Person. Erfassen Sie Modellversionen, soweit der Anbieter sie offenlegt, und verfolgen Sie angekündigte Anbieteränderungen, sofern verfügbar. Legen Sie bei mehrstufigen Gesprächen fest, ob aktive Sitzungen ihre ursprüngliche Konfiguration behalten. Testen Sie jede Migration gespeicherter Zustände.

Nutzen Sie einen kontrollierten Rollout, wenn die Architektur ihn unterstützt. Ein Canary-Release setzt einen begrenzten Teil des Services einer Änderung aus und bewertet das Ergebnis vor einer breiteren Einführung. Googles SRE-Leitlinien betonen außerdem repräsentativen Verkehr und geeignete Bewertungskennzahlen. [8]

Vergleichen Sie bei Agenten neben technischen Fehlern auch Geschäftsergebnisse, Qualität, Latenz und Kosten. Vereinbaren Sie vorab die Bedingungen für Ausweitung, Anhalten oder Rollback. Lassen Sie bei geringem Verkehrsaufkommen genügend repräsentative Nutzung zu, um belastbare Hinweise zu sammeln. Eine ruhige Monitoring-Phase allein liefert wenig Sicherheit.

Prüfen Sie die Wiederherstellung als Teil des Releases. Die Rückkehr zu einer früheren Konfiguration kann kompatible Werkzeuge, Wissensstände und gespeicherte Zustände erfordern. Ein alter Prompt stellt keine entfernte API wieder her. Bereits geänderte Kundendatensätze benötigen einen eigenen Abgleichs- oder Korrekturprozess.

Warnmeldungen handlungsfähig und Störungen beherrschbar machen

Eine Warnmeldung sollte ein Problem benennen, auf das eine definierte Reaktion erforderlich ist. Geben Sie ihr einen Verantwortlichen, Schweregrad, unterstützende Nachweise und ein Runbook. Behandeln Sie längerfristige Qualitätstrends im Prüfprozess. Dringende Benachrichtigungen bleiben Bedingungen vorbehalten, die sofortiges Handeln erfordern.

Google verknüpft SRE-Warnmeldungen mit wesentlichen Ereignissen und Risiken für Serviceziele. Dieses Prinzip hilft dem Betriebsteam, sich auf Kundenauswirkungen zu konzentrieren. [9]

Bei einem Agenten können wiederholte Fehler eines kritischen Werkzeugs, eine defekte Übergabe, verdächtige Zugriffsversuche oder ein anhaltender Rückgang verifizierter Ergebnisse Auslöser sein. Wählen Sie Schwellenwerte und Reaktionszeiten passend zum tatsächlichen Service und Risiko.

Im beispielhaften Buchungsvorfall ist zunächst zu entscheiden, ob Terminänderungen angehalten werden, während nicht betroffene Funktionen verfügbar bleiben. Leiten Sie betroffene Anrufer zur vereinbarten Alternative und prüfen Sie bereits eingereichte Aufgaben. Google beschreibt Störungsbearbeitung als Zusammenspiel aus Wiederherstellung des Services und Koordination von Menschen, Kommunikation und Aufzeichnungen. [10]

Dokumentieren Sie betroffene Versionen, Zeitraum, ergriffene Maßnahmen und nachzuverfolgende Kunden oder Transaktionen. Endete ein Schreibvorgang mit einem Timeout, klären Sie seinen tatsächlichen Status vor einer erneuten Ausführung. Microsoft erklärt, wie eine bereits abgeschlossene Aktion mit verlorener Antwort bei Wiederholung doppelte Auswirkungen verursachen kann. [11]

Testen Sie die Wiederherstellung mit einer kontrollierten Anfrage, bevor Sie den Zugriff wieder ausweiten. Die Nachbereitung sollte eine zugewiesene Korrekturmaßnahme, eine verbesserte Warnmeldung oder einen neuen Regressionstest hervorbringen. Prüfen Sie in Störungsübungen, wer Aktionen anhalten darf und ob der alternative Serviceweg tatsächlich funktioniert.

Kosten auf Ebene des Ablaufs steuern

Berücksichtigen Sie die vollständigen Betriebskosten: Modelle, Sprachverarbeitung, Telefonie, Datenabruf, Hosting, Monitoring, Evaluierung und die zur Unterstützung benötigten Menschen. Microsoft empfiehlt, direkte und indirekte Kosten gemeinsam mit den übrigen Workload-Anforderungen zu betrachten. [12]

Eine nützliche Servicekennzahl sind die Kosten je verifiziertem Ergebnis für einen definierten Ablauf und Zeitraum. Dokumentieren Sie zugeordnete Kosten und zählbare Ergebnisse. Beziehen Sie fehlgeschlagene und wiederholte Versuche ein. Zeigen Sie, ob menschlich unterstützte Lösungen enthalten sind, und halten Sie den Umfang bei Zeitvergleichen konstant.

Beim Termin-Agenten können zusätzliche Wiederholungen, wachsender Gesprächskontext, ein anderer Anfragemix oder teurere Verarbeitung die Ausgaben erhöhen. Untersuchen Sie zugehörige Traces und Ergebnisse vor der Optimierung. Bewerten Sie kleinere Modelle, kürzere Abrufresultate oder geänderte Routing-Regeln vor der Freigabe anhand derselben Qualitäts- und Leistungskriterien.

Nutzen Sie Abrechnungsbudgets und Warnmeldungen neben Laufzeitkontrollen. Azure-Cost-Management-Budgets können beim Erreichen von Ausgabenschwellen benachrichtigen, stoppen den Verbrauch aber nicht selbst. [13]

Begrenzen Sie in der Anwendung angemessen die Anfragegröße, Ausführungsschritte, Wiederholungen und parallelen Aufgaben. Definieren Sie das Verhalten beim Erreichen einer Grenze einschließlich eines sinnvollen nächsten Schritts für den Nutzer. Berücksichtigen Sie bei der Auswahl von Kontrollen die Verzögerung zwischen Aktivität und Abrechnungsdaten.

Eine praktikable Betriebsroutine pflegen

Beginnen Sie mit einem Prüfrhythmus, der Volumen, Risiko und Supportvereinbarung entspricht. Der folgende Vorschlag ist mit der Serviceverantwortung an die tatsächliche Situation anzupassen:

Vorgeschlagene Routine für Serviceprüfungen
ZeitpunktPrüfungErwartetes Ergebnis
Während unterstützter BetriebszeitenServicezustand, kritische Fehler, Übergabewarteschlangen und ungewöhnliche AusgabenReaktion auf aktive Probleme und ein klarer Nachweis offener Aufgaben.
Regelmäßige QualitätsprüfungStichproben, fehlgeschlagene Ergebnisse, Feedback und wiederkehrende ProblemePriorisierte Korrekturen und Ergänzungen des Evaluierungsdatensatzes.
Vor einem wesentlichen ReleaseRegressionsergebnisse, Zugriffsänderungen sowie Rollout- und WiederherstellungsbereitschaftAusdrückliche Freigabeentscheidung und benannte freigebende Person.
Periodische ServiceprüfungZiele, Kosten, Abhängigkeiten, Wissensaktualität, Zugriff und WiederherstellungsübungenEntscheidungen über Umfang, Investitionen und Serviceverbesserungen.

Bringen Sie Nachweise in diese Prüfungen ein. Ein nützlicher Servicebericht erklärt, was sich verändert hat, wer betroffen war, was korrigiert wurde und welche Entscheidung als Nächstes nötig ist. Stellen Sie offene Qualitätsprobleme und Einschränkungen ebenso wie erfolgreiche Ergebnisse dar.

Beim Termin-Agenten ist die Arbeit abgeschlossen, wenn das Buchungsproblem eingegrenzt, betroffene Anfragen abgeglichen und das nächste Release durch einen aussagekräftigen Test geschützt ist. Die Serviceverantwortung kann erkennen, was geschehen ist und was sich dadurch verändert hat.

Überführen Sie einen Sprach- oder Chat-Agenten in den Arbeitsalltag? Informieren Sie sich über Managed Agent Operations oder besprechen Sie Ihren Anwendungsfall mit RZK.

Quellen

Primärdokumentation mit Stand der Quellenprüfung vom 20. Oktober 2026. Das Terminbeispiel, die Betriebskennzahlen und die Prüfroutine sind beispielhafte Empfehlungen. Die Links führen zu den englischen Originalquellen.

  1. Microsoft — AI agent shared responsibility model
  2. Google SRE — Implementing SLOs
  3. Microsoft — Observability in generative AI
  4. Microsoft — Voice agent tracing, monitoring, and evaluation
  5. OpenTelemetry — Handling sensitive data
  6. Anthropic — Demystifying evals for AI agents
  7. NCSC — Secure operation and maintenance
  8. Google SRE — Canarying releases
  9. Google SRE — Alerting on SLOs
  10. Google SRE — Incident response
  11. Microsoft — Retry pattern
  12. Microsoft — Design principles for AI workloads on Azure
  13. Microsoft — Create and manage budgets