Wie die Frage das Ergebnis verändert

Am Anfang stand ein praktisches Problem. Wenn man messen will, wie sichtbar ein Anbieter in KI-Empfehlungen ist, muss man die Antworten vergleichbar machen. Ein Modell, das zwanzig Firmen aufzählt, und eines, das fünf nennt, lassen sich nicht gegeneinander rechnen. Die naheliegende Lösung: dem Modell vorgeben, wie viele Namen es nennen soll.

Diese Lösung hat unsere Messung beschädigt. Das ist der Beitrag.

Drei Härtegrade derselben Frage

Wir haben dieselbe Kaufsituation in drei Formulierungen gestellt und die Antworten von ChatGPT, Gemini und Claude ausgewertet.

• Frei: die Frage ohne jede Vorgabe, so wie ein Interessent sie stellen würde.
• Weich: dieselbe Frage mit der Bitte um eine bestimmte Anzahl Anbieter, Begründung ausdrücklich erlaubt.
• Hart: dieselbe Frage mit exakter Anzahl und dem Zusatz „ohne weitere Erläuterung“.

Die freie Form scheiterte am Vergleich, wie erwartet: ChatGPT nannte im Schnitt 19,6 Anbieter je Antwort, Claude 12,9, Gemini 7,0. Wer aus solchen Antworten eine Sichtbarkeitsquote bildet, misst zu großen Teilen die Ausführlichkeit des Modells.

Die harte Form kippte das Ergebnis

Der Zusatz „ohne weitere Erläuterung“ sollte nur die Form der Antwort regeln. Er veränderte ihren Inhalt.

• Accenture: 11 % Sichtbarkeit bei der freien Frage, 89 % bei der harten.
• Natuvion: 67 % bei der freien Frage, 0 % bei der harten.
• Über alle Anbieter hinweg verschoben sich die Werte nicht gleichmäßig, sondern systematisch zugunsten der bekanntesten Namen.

Beides sind dieselben Firmen, dieselbe Kategorie, dasselbe Modell, derselbe Tag. Nur der Wortlaut der Frage war ein anderer.

Warum das passiert

Unsere Erklärung — und wir kennzeichnen sie als Deutung, nicht als Messergebnis: Wer nicht begründen darf, kann nicht abwägen. Die Aufforderung, ohne Erläuterung genau fünf Namen zu liefern, nimmt dem Modell den Schritt, in dem es Anforderungen gegen Anbieterprofile hält. Übrig bleibt Abruf statt Auswahl — und abgerufen werden die Namen mit der größten Präsenz im Trainingsmaterial.

Das erklärt die Richtung der Verschiebung: Konzerne gewinnen, Spezialisten verschwinden. Für ein Messverfahren, das gerade mittelständischen Anbietern zeigen soll, wo sie stehen, ist das die denkbar schlechteste Verzerrung. Wir hätten systematisch die falschen Gewinner gemessen.

Nachträglich kürzen funktioniert nicht

Der naheliegende Ausweg: frei fragen und die Antwort hinterher auf die ersten fünf Namen kürzen. Wir haben das geprüft und verworfen.

In neun Vergleichspaaren stimmte der erstgenannte Anbieter der freien Antwort nur ein einziges Mal mit dem der Antwort mit Zahlenvorgabe überein. Der Grund liegt in der Struktur freier Antworten: Claude gliederte sie im Schnitt in 8,1 Zwischenüberschriften — nach Unternehmensgröße, nach Branche, nach Region. Wer oben steht, steht dort, weil seine Kategorie zuerst behandelt wird. Die Reihenfolge trägt keine Rangfolge. Sie hinterher als Rangfolge zu lesen, erfindet eine Information, die im Text nicht enthalten ist.

Wofür wir uns entschieden haben

Wir messen mit der weichen Form: Anzahl erbeten, Begründung erlaubt. Sie liefert im Schnitt sechs Namen je Antwort, ist damit über Modelle hinweg vergleichbar — und die Spezialisten bleiben in den Ergebnissen, wo sie in der harten Form verschwanden.

Der Modellunterschied blieb dabei erhalten: 13 Prozentpunkte im Median, praktisch derselbe Wert wie bei der harten Form. Die weiche Frage macht die Messung also nicht unschärfer. Sie macht sie nur weniger falsch.

Ein Nebeneffekt gefällt uns besonders: Die weiche Frage ist die, die ein Interessent tatsächlich stellen würde. Wir messen damit näher an der Situation, um die es geht.

Was das für gemeldete Sichtbarkeitszahlen bedeutet

Eine Sichtbarkeitszahl ohne den Wortlaut der Frage ist nicht überprüfbar. Derselbe Anbieter lässt sich je nach Formulierung bei 11 % oder bei 89 % ausweisen — ohne dass sich am Markt irgendetwas geändert hätte. Wer eine solche Zahl nennt, ohne die Frage offenzulegen, liefert kein Messergebnis, sondern ein Ergebnis ohne Verfahren.

Das ist kein Argument gegen die Messbarkeit. Es ist ein Argument dafür, das Verfahren festzuschreiben. Genau das haben wir getan.

Was wir daraus gebaut haben

Vier Regeln, die seither in jeder Messung gelten — und die dieser Test überhaupt erst sichtbar gemacht hat:

• Der Fragewortlaut ist eingefroren und wird mit jedem Ergebnis mitgeliefert. Wer will, stellt dieselbe Frage selbst und bekommt dasselbe Bild.
• Wir fragen in der weichen Form. Die Zahl der Anbieter wird erbeten, die Begründung bleibt erlaubt — so bleiben Spezialisten in den Ergebnissen, statt hinter den bekanntesten Namen zu verschwinden.
• Leitkennzahl ist die Platzierung, nicht die bloße Nennung. Sie hängt nicht an der Länge der Antwort und schwankt über Wiederholungen messbar weniger.
• Kein Wert ohne Wiederholung. Eine einzelne Antwort ist eine Anekdote, erst mehrere Durchläufe ergeben einen Messwert.

Der Aufwand dahinter ist der Grund, warum wir Ergebnisse liefern können, die beim zweiten Hinsehen noch stehen. Eine Zahl, die sich mit der Frage verschiebt, ist wertlos — eine Zahl mit offengelegter Frage ist überprüfbar, vergleichbar und über die Zeit fortschreibbar.

Das Learning in einem Satz: Nicht die Sichtbarkeit ist unzuverlässig, sondern die Messung ohne festen Wortlaut. Wer den Wortlaut festhält, misst etwas Belastbares — und kann es verbessern.