KI-Chatbot sagt zu oft Nein? Overrefusal in der Praxis lösen

Kurz gesagt: Overrefusal heißt, dass ein KI-Chatbot harmlose Anfragen ablehnt, weil seine Sicherheitslogik zu grob greift. Beheben lässt sich das nicht durch einen anderen Anbieter, sondern durch präzisere Systemprompts, eigene Guardrail-Regeln und konsequentes Logging der Ablehnungen.

Ein Kunde fragt den Chatbot auf deiner Website, ob ein Medikament in deinem Shop auch für Kinder geeignet ist. Der Bot antwortet, er dürfe keine medizinische Beratung geben, und bricht ab. Kein Verkauf, kein Lead, ein frustrierter Nutzer. Genau das ist Overrefusal: eine Verweigerung, die technisch korrekt ausgelöst wurde, aber fachlich falsch war.

Die MIT Technology Review hat das Thema in einem Beitrag über zu viel Vertrauen in KI-Sicherheitsmechanismen aufgegriffen. Der Kern: Wir verlassen uns darauf, dass Modelle selbst entscheiden, wann sie Nein sagen - und bekommen dafür ein Verhalten, das in beide Richtungen unzuverlässig ist. Für alle, die Chatbots produktiv auf einer Website betreiben, ist das weniger eine ethische als eine handfeste Conversion-Frage.

Warum Chatbots zu oft Nein sagen

Die Ablehnung entsteht meist auf drei Ebenen gleichzeitig, und genau deshalb ist sie schwer zu debuggen:

• Modell-Training: Das Basismodell wurde darauf trainiert, bei bestimmten Themenfeldern abzublocken - Gesundheit, Recht, Finanzen, Personen, Sicherheit. Darauf hast du keinen direkten Zugriff.
• Anbieter-Filter: Zusätzliche Moderations-Endpunkte prüfen Ein- und Ausgaben. Sie arbeiten mit Kategorien und Schwellwerten, nicht mit deinem Geschäftskontext.
• Dein eigener Systemprompt: Sätze wie “Beantworte keine Fragen außerhalb unseres Angebots” wirken harmlos, führen in der Praxis aber zu den meisten False Positives.

Das dritte Problem ist das häufigste und das einzige, das du sofort lösen kannst. Nach meiner Erfahrung stammen die meisten unerwünschten Ablehnungen in Kundenprojekten nicht aus der Modellsicherheit, sondern aus zu restriktiv formulierten eigenen Anweisungen.

So erkennst du Overrefusal im eigenen Bot

Ohne Logging merkst du nichts davon. Ein Nutzer, der eine Absage bekommt, schreibt dir keine Beschwerde - er schließt das Fenster.

Was du mindestens mitloggen solltest: die Nutzerfrage, die Antwort, den Zeitpunkt und ein Flag, ob die Antwort eine Ablehnung enthielt. Ablehnungen lassen sich über Signalphrasen erkennen (“kann ich nicht”, “darf ich nicht”, “keine Auskunft”), sauberer ist ein zweiter, billiger Modellaufruf, der jede Antwort als “beantwortet / abgelehnt / ausgewichen” klassifiziert.

Dann baust du einen wöchentlichen Report: alle abgelehnten Anfragen in eine Tabelle, manuell durchgehen, markieren, welche davon berechtigt waren. Bei uns läuft so etwas über einen n8n-Workflow, der die Chatlogs einsammelt und die Ablehnungen in ein Sheet schreibt - so ein Report ist in wenigen Stunden gebaut und zeigt innerhalb einer Woche, wo der Bot blockiert. Mehr dazu, wie solche Auswertungs-Workflows aufgebaut sind, findest du bei meinen Automatisierungsprojekten.

Eine Ablehnung, die niemand protokolliert, ist ein verlorener Kunde, von dem du nie erfährst.

Was du konkret änderst

Negativregeln durch Positivregeln ersetzen. Statt “Beantworte nichts außerhalb unseres Angebots” schreibst du, was der Bot darf: Produktdetails, Verfügbarkeit, Versand, Rückgabe, Öffnungszeiten, Terminvereinbarung. Ein Modell mit klarer Erlaubnisliste lehnt deutlich seltener grundlos ab als eines mit einer vagen Verbotsliste.

Grenzfälle explizit regeln. Für jede Themenkategorie, die grenzwertig ist, gehört eine Anweisung in den Prompt - inklusive Beispiel. Etwa: “Bei Fragen zur Anwendung von Produkten gibst du die Herstellerangaben aus dem Produktdatenblatt wieder und weist darauf hin, dass das keine individuelle Beratung ersetzt.” Das ist nützlicher als ein pauschales Nein und rechtlich sauber.

Ablehnungen mit Weiterleitung koppeln. Wenn der Bot wirklich nicht antworten soll, darf er nicht einfach abbrechen. Er übergibt an ein Kontaktformular, einen Rückrufwunsch oder eine Telefonnummer. Jede Verweigerung ohne Anschlussaktion ist ein abgerissener Funnel.

Guardrails selbst setzen statt nur zu übernehmen. Verlass dich nicht allein auf den Moderationsfilter des Anbieters. Eine eigene Prüfschicht vor und nach dem Modellaufruf - mit deinen Kategorien und deinen Schwellwerten - lässt sich testen, versionieren und anpassen. Blackbox-Vertrauen ist hier der eigentliche Fehler.

Regressionstests anlegen. 30 bis 50 echte Kundenfragen, davon zehn Grenzfälle, als Testset. Nach jeder Prompt-Änderung einmal durchlaufen lassen. Ohne das verschiebst du das Problem nur von einer Kategorie in die andere.

Was das Ganze kostet

Ehrlich bleiben: Je weniger der Bot ablehnt, desto höher das Risiko, dass er irgendwann etwas sagt, das er nicht sagen sollte. Overrefusal und Overcompliance sind zwei Enden derselben Skala. Wer den Bot aufmacht, braucht Logging und einen Review-Prozess - sonst tauscht er ein sichtbares Problem gegen ein unsichtbares. Für sensible Branchen wie Medizin oder Recht bleibt die konservative Einstellung die richtige; dort ist die Weiterleitung an einen Menschen das Ziel, nicht die vollständige Antwort.

Dazu kommt laufender Aufwand. Ein Chatbot ist kein Projekt mit Enddatum, sondern ein System, das monatlich eine halbe Stunde Pflege braucht. Wer das nicht einplant, sollte ihn gar nicht erst einbauen. Wie wir solche Bots in Websites integrieren und betreiben, steht bei der KI-Integration.

FAQ

Was ist Overrefusal bei KI-Chatbots? Overrefusal bezeichnet die Situation, in der ein Sprachmodell eine völlig harmlose Anfrage ablehnt, weil seine Sicherheitsmechanismen zu grob greifen. Typisch sind Fragen zu Gesundheit, Recht oder Personen, die der Bot pauschal abweist, obwohl eine sachliche Antwort möglich und erlaubt wäre. Im Kundenbetrieb führt das direkt zu abgebrochenen Anfragen.

Wie merke ich, dass mein Chatbot zu viele Anfragen ablehnt? Nur über Logging. Protokolliere jede Konversation und klassifiziere die Antworten in “beantwortet” und “abgelehnt”, entweder über Signalphrasen oder über einen zweiten, günstigen Modellaufruf. Danach gehst du die Ablehnungen wöchentlich manuell durch und markierst, welche berechtigt waren.

Liegt Overrefusal am Modell oder an meinem Prompt? In den meisten Fällen am eigenen Systemprompt. Formulierungen wie “Beantworte keine Fragen außerhalb unseres Angebots” sind zu unscharf und lassen das Modell im Zweifel ablehnen. Erst wenn eine klare Erlaubnisliste und explizite Grenzfall-Regeln nichts bringen, liegt es am Basismodell oder am Moderationsfilter des Anbieters.

Welches Risiko entsteht, wenn ich die Guardrails lockere? Das Gegenteil: Overcompliance, also Antworten, die der Bot nicht geben sollte. Deshalb gehört zu jeder Lockerung ein Testset aus echten Fragen plus Grenzfällen, das nach jeder Änderung durchläuft. In regulierten Branchen bleibt die konservative Einstellung mit sauberer Weiterleitung an einen Mitarbeiter die bessere Wahl.

Sollte ein Chatbot bei einer Ablehnung einfach abbrechen? Nein. Jede Verweigerung braucht eine Anschlussaktion: Kontaktformular, Rückrufwunsch, Telefonnummer oder Übergabe an einen Mitarbeiter. Ein Bot, der nur Nein sagt und nichts anbietet, kostet dich die Anfrage komplett.