KI-Agenten entwickeln lassen: Checkliste für die Wahl des richtigen Partners

Wenn Sie KI-Agenten entwickeln lassen, wählen Sie den Anbieter danach aus, wie er begrenzt, was der Agent darf, wie er das Verhalten vor dem Release testet, wie er Ausfälle abfängt, wo Menschen Aktionen freigeben, was protokolliert wird und was Ihnen danach gehört. Eine überzeugende Demo zeigt, dass ein Agent handeln kann. Die Checkliste zeigt, ob er sicher handeln kann.

Agenten unterscheiden sich von Chat-Assistenten in einem entscheidenden Punkt: Sie führen Aktionen aus. Sie rufen Tools auf, lesen und schreiben Datensätze, versenden Nachrichten und verketten mehrere Schritte. Das macht sie nützlicher und riskanter zugleich. Das Unternehmen, das Sie beauftragen, sollte diese Aktionen als Kern des Designs behandeln, nicht als Nachgedanken.

Warum Agentenprojekte schwerer einzukaufen sind, als es scheint

Ein einfacher Agent ist schnell gebaut. Man verbindet ein Modell mit ein paar Tools, gibt ihm Anweisungen, und in der Demo erledigt er beeindruckende Aufgaben. Schwierig ist alles, was die Demo vermeidet: mehrdeutige Anfragen, Tools, die auf halbem Weg ausfallen, Berechtigungsgrenzen, Kosten, die mit jeder Schleife wachsen, und Aktionen, die sich nicht rückgängig machen lassen.

Viele Anbieter sind neu im Thema Agenten, weil die Kategorie selbst neu ist. Portfolios zeigen oft Chat-Oberflächen und Prototypen statt Agenten, die über längere Zeit auf echten Systemen arbeiten. Dadurch ist es schwer, ein Team, das zuverlässige Agenten ausgeliefert hat, von einem Team zu unterscheiden, das gute Demos gebaut hat.

Agentenverhalten ist außerdem weniger vorhersehbar als klassische Software. Dieselbe Eingabe kann zu unterschiedlichen Tool-Abfolgen führen. Tests müssen daher das Verhalten über viele Fälle hinweg betrachten, nicht nur prüfen, ob ein einzelner Pfad funktioniert. Diese Disziplin haben viele Teams noch nicht aufgebaut.

Was Auftraggeber häufig falsch machen

Der erste Fehler ist, Autonomie vor Zuverlässigkeit zu verlangen. Ein vollständig autonomer Agent klingt effizient, doch Autonomie vervielfacht die Wirkung jedes Fehlers. Beginnen Sie mit einem Agenten, der Aktionen zur Freigabe vorschlägt, und erweitern Sie die Autonomie nur dort, wo die Belege es rechtfertigen.

Der zweite Fehler ist ein zu breiter Tool-Zugriff. Einem Agenten eine allgemeine Datenbankverbindung oder einen Administrator-API-Schlüssel zu geben, ist in der Entwicklung bequem und im Produktivbetrieb gefährlich. Jedes Tool sollte den engsten Berechtigungsumfang haben, mit dem es seine Aufgabe erfüllen kann.

Der dritte Fehler ist, auf Evaluierung zu verzichten. Ohne realistische Testaufgaben und eine Methode, das Verhalten des Agenten zu bewerten, wird jede Änderung an Anweisungen, Tools oder Modellen zum Glücksspiel. Fragen Sie, wie der Anbieter Agenten vor dem Release und nach jeder Änderung testet.

Der vierte Fehler ist, die Betriebskosten zu übersehen. Agenten können Modelle und Tools pro Aufgabe viele Male aufrufen. Was der Betrieb bei Ihrem Volumen kostet, ist genauso wichtig wie die Entwicklungskosten, und es hängt stark von Designentscheidungen ab.

Checkliste: Worauf Sie achten sollten, wenn Sie KI-Agenten entwickeln lassen

Nutzen Sie diese Fragen in Gesprächen und beim Lesen von Angeboten. Ein starker Partner für KI-Agenten-Entwicklung beantwortet sie konkret und mit Beispielen.

Umfang und Tools

• Welche Aufgaben übernimmt der Agent, und welche liegen ausdrücklich außerhalb des Umfangs?
• Welche Tools ruft er auf, und welche minimale Berechtigung braucht jedes Tool?
• Sind lesende und schreibende Aktionen getrennt, und werden Schreibzugriffe strenger kontrolliert?

Menschliche Kontrolle

• Welche Aktionen brauchen eine menschliche Freigabe, bevor sie wirksam werden?
• Wie übergibt der Agent an einen Menschen, wenn er unsicher ist oder nicht weiterkommt?
• Kann jemand aus dem Betrieb den Agenten schnell pausieren oder abschalten?

Evaluierung

• Welche Testaufgaben werden verwendet, und basieren sie auf Ihrer echten Arbeit?
• Wie wird das Verhalten bewertet, einschließlich der Tool-Wahl und nicht nur der Endantwort?
• Wie werden Änderungen an Anweisungen, Tools oder Modellen vor dem Release verglichen?

Fehlerbehandlung

• Was passiert, wenn ein Tool-Aufruf mitten in einer mehrstufigen Aufgabe fehlschlägt?
• Wie werden Zeitüberschreitungen, Ratenlimits und fehlerhafte Modellausgaben behandelt?
• Sind wiederholte Aktionen sicher, oder könnte ein erneuter Versuch dieselbe Nachricht oder Zahlung doppelt auslösen?

Beobachtbarkeit und Audit

• Wird jeder Lauf mit Eingaben, Tool-Aufrufen, Ausgaben und verwendeten Versionen protokolliert?
• Können Sie nachvollziehen, warum der Agent eine bestimmte Aktion ausgeführt hat?
• Wer prüft Fehlschläge, und wie fließen sie in Korrekturen ein?

Eigentum und Kosten

• Wo liegen Code, Anweisungen, Tool-Definitionen und Evaluierungsdaten, und wem gehören sie?
• Was sind die wichtigsten Treiber der Betriebskosten, und wie werden sie überwacht?
• Kann Ihr Team den Agenten nach der Übergabe selbst betreiben und ändern?

Hinweise zur Umsetzung

Bitten Sie den Anbieter, eine Aufgabe von Anfang bis Ende zu beschreiben, einschließlich dessen, was passiert, wenn etwas schiefgeht. Eine starke Antwort umfasst die aufgerufenen Tools, die Berechtigungen jedes Tools, die Stelle der Freigabe, die Protokollierung und die Wiederherstellung nach einem fehlgeschlagenen Schritt. Eine schwache Antwort beschreibt nur den Idealfall.

Serverseitige Durchsetzung ist entscheidend. Berechtigungen, Nutzungslimits und kostenpflichtige Funktionen müssen auf dem Server geprüft werden, nie nur in der Oberfläche. Sitzungs- und Nachrichtendaten, die der Agent nutzt, dürfen vom Browser aus weder direkt lesbar noch direkt schreibbar sein.

Planen Sie Idempotenz ein. Wenn ein Agent einen Schritt wiederholt, darf die zugrunde liegende Aktion nicht doppelt ausgeführt werden. Das bedeutet in der Regel stabile Kennungen für jede Aktion und Prüfungen vor dem Schreiben.

Behandeln Sie Anweisungen und Tool-Definitionen wie versionierten Produktcode. Sie ändern sich häufig, sie prägen das Verhalten ebenso stark wie der Code, und eine kleine Formulierungsänderung kann beeinflussen, welche Tools der Agent wählt. Fragen Sie, wie der Anbieter sie speichert, Änderungen prüft und jeden protokollierten Lauf mit der exakten Version verknüpft, die ihn erzeugt hat. Werden Anweisungen direkt in einem Dashboard ohne Historie bearbeitet, müssen Sie mit Regressionen rechnen, die niemand erklären kann.

Denken Sie Protokollierung auch regulatorisch mit. Verarbeitet der Agent personenbezogene Daten, bestimmt die DSGVO mit, was protokolliert, wie lange es gespeichert und an welche Modellanbieter es übermittelt werden darf. Für Systeme mit höherem Risiko kommen je nach Einsatzzweck Anforderungen aus dem EU AI Act hinzu. Klären Sie das mit Ihrer Datenschutz- oder Rechtsabteilung, bevor der Pilot startet; dieser Artikel ersetzt keine Rechtsberatung.

Planen Sie den Weg in die Produktion von Anfang an. Vereinbaren Sie einen Pilotbetrieb mit begrenzten Nutzern oder Aufgaben, klaren Erfolgs- und Abbruchkriterien und Monitoring. Mehr zur Sicherheitsseite finden Sie im Beitrag zur Absicherung von KI-Agenten, der typische Angriffswege beschreibt.

Abwägungen

Frameworks beschleunigen die Entwicklung und liefern nützliche Bausteine, können aber Verhalten verbergen, das im Produktivbetrieb zählt, etwa wie Wiederholungen und Gedächtnis funktionieren. Ein Anbieter sollte erklären können, was sein Framework im Hintergrund tut, oder warum er sich für eine eigene, schlankere Schicht entschieden hat.

Mehr menschliche Freigaben machen Agenten sicherer und langsamer. Die richtige Balance hängt davon ab, was ein Fehler kostet. Bei internen Rechercheaufgaben kann eine leichte Prüfung genügen. Bei Nachrichten an Kunden oder finanziellen Aktionen sollte die Freigabe bestehen bleiben, bis die Belege überzeugen.

Eine spezialisierte Agentur hat womöglich mehr agentenspezifische Muster; ein Produktstudio ist oft stärker darin, den Agenten in ein echtes Produkt und die Arbeitsabläufe seiner Nutzer zu integrieren. Ein inhabergeführtes Studio gibt Ihnen direkten Zugang zu der Person, die das System entwirft, bei geringerer paralleler Kapazität als ein großes Haus.

Erkenntnisse aus der Arbeit von ImadDhin

Der Agenten-Arbeitsbereich des Portals liefert Beobachtungen auf Code-Ebene, die für diese Checkliste relevant sind. Sie beschreiben, wie die Website gebaut ist, nicht Kundenergebnisse.

Sitzungen und Nachrichten des Agenten können vom Browser aus weder gelesen noch geschrieben werden. Der gesamte Chat-Verkehr läuft über Server-Routen. Ein Besucher kann daher weder die Sitzung eines anderen noch den eigenen Verlauf durch direkte Datenbankaufrufe lesen oder verändern.

Funktionen werden serverseitig freigeschaltet. Der kostenlose Chat ist begrenzt und bleibt reiner Chat; Webrecherche und weitere Tools erfordern den kostenpflichtigen Tarif, und der Server lehnt diese Aufrufe ab, wenn das Konto nicht berechtigt ist. Der Browser spiegelt diese Entscheidung nur wider.

Aufrufe an den externen Recherche-Anbieter laufen über ein einziges Wrapper-Modul. Es respektiert bei Ratenlimits die Wartezeitvorgabe des Anbieters, wiederholt Zeitüberschreitungen und Serverfehler mit begrenztem Backoff und wiederholt keine Anfragen, die als ungültig oder nicht autorisiert abgelehnt wurden. Anbieterausfälle zeigen eine klare Fehlermeldung statt einer irreführenden Standardantwort.

Nichts davon ist exotisch. Es ist die gewöhnliche Ingenieursarbeit, die einen betreibbaren Agenten von einer Demo unterscheidet, und genau das soll die Checkliste sichtbar machen.

Häufige Fehler, die Sie testen sollten

• Geben Sie dem Agenten eine mehrdeutige Anfrage und prüfen Sie, ob er nachfragt oder rät.
• Lassen Sie ein Tool mitten in der Aufgabe ausfallen und prüfen Sie, ob der Agent sauber stoppt, ohne halbfertige Schreibvorgänge zu hinterlassen.
• Wiederholen Sie eine Aufgabe, die eine Nachricht versendet, und prüfen Sie, dass die Nachricht nicht doppelt ankommt.
• Versuchen Sie, eine gesperrte oder kostenpflichtige Funktion durch Manipulation der Browser-Anfrage auszulösen.
• Versuchen Sie, vom Client aus die Sitzungsdaten einer anderen Person zu lesen.
• Wählen Sie einen zufälligen protokollierten Lauf und prüfen Sie, ob sich jeder Tool-Aufruf und jede Entscheidung rekonstruieren lässt.

Wann eine einfachere Lösung besser ist

Viele Vorhaben, die als Agentenprojekt beschrieben werden, sind in Wahrheit Abläufe mit fester Schrittfolge. Sind die Schritte immer gleich, ist eine klassische Automatisierung mit einem KI-Schritt für Klassifizierung oder Entwurf einfacher, günstiger und leichter zu testen als ein Agent, der selbst entscheidet, was als Nächstes passiert.

Ein Agent lohnt sich, wenn Aufgaben variieren, die richtige Abfolge von Aktionen vom Kontext abhängt und ein Mensch sonst zwischen mehreren Tools wechseln müsste. Wenn Sie nicht sicher sind, in welche Kategorie Ihr Vorhaben fällt, ist allein diese Frage ein guter Anlass für ein erstes Gespräch.

Wählen Sie den Partner, der zuerst über Fehler spricht

Wenn Sie Angebote vergleichen, um KI-Agenten entwickeln zu lassen, achten Sie darauf, wer Berechtigungen, Evaluierung, Fehlerbehandlung und Audit-Trails von sich aus anspricht. Das sind die Teams, die am ehesten einen Agenten bauen, dem Sie echte Arbeit anvertrauen können.

Lernen Sie unsere KI-Agenten-Entwicklung kennen, sehen Sie, wie Projekte strukturiert sind, oder besprechen Sie Ihren Anwendungsfall in einem 30-minütigen Gespräch.