Drei Modelle, drei verschiedene Empfehlungen

Die verbreitete Vorstellung von KI-Sichtbarkeit ist eindimensional: Ein Unternehmen ist sichtbar oder nicht. Unsere Messung legt etwas anderes nahe. Es gibt nicht eine Sichtbarkeit, sondern mindestens drei — eine je System, und sie hängen weniger zusammen als erwartet.

Der Aufbau

Fünf kaufnahe Fragen aus einer Kategorie, jede dreimal, in isolierten Konversationen, über ChatGPT, Gemini und Claude mit aktiver Websuche. Die genannten Anbieter haben wir gegen eine Kandidatenliste abgeglichen, die wir aus Marktkenntnis erstellt und im Verlauf um beobachtete Namen ergänzt haben.

Wichtig für die Einordnung: Diese Liste stammt nicht aus einem Sprachmodell. Hätten wir das Modell nach den relevanten Anbietern gefragt und anschließend gegen dessen eigene Antwort gemessen, hätten wir das Modell gegen sich selbst gemessen.

Drei von fünfzehn

Von fünfzehn Anbietern, die überhaupt regelmäßig vorkamen, waren bei allen drei Systemen nur drei in der engeren Auswahl. Die übrigen zwölf tauchten in einem oder zwei Systemen auf und im dritten praktisch nicht.

• LeverX: 0 von 15 Antworten bei ChatGPT unter den ersten drei — bei Gemini 7 von 15.
• Accenture: umgekehrt 6 von 15 bei ChatGPT, 0 von 15 bei Gemini.
• HRlab: 11 von 15 bei Gemini, 0 von 14 bei ChatGPT, 5 von 15 bei Claude.

Für ein Unternehmen heißt das: Ob ein Interessent es überhaupt zu sehen bekommt, hängt davon ab, welches System er benutzt. Nicht ein bisschen, sondern grundsätzlich. Der Einwand „bei ChatGPT bin ich doch dabei“ sagt nichts darüber, was bei Gemini passiert.

Ein Teil davon war unser Fehler

In einer früheren Auswertung hatten wir eine mediane Modelldifferenz von 23 Prozentpunkten gemessen. Dieser Wert war zu hoch, und der Grund ist lehrreich.

ChatGPT nannte bei offenen Fragen im Schnitt 14,3 Anbieter je Antwort, Gemini 6,1. In einer Vierzehnerliste vorzukommen ist mechanisch leichter als in einer Sechserliste. Ein erheblicher Teil des gemessenen Unterschieds war also schlicht ein Unterschied in der Ausführlichkeit — nicht im Urteil. Prüfen lässt sich das am Anbieteruniversum: Beide Modelle schöpften zu 62 beziehungsweise 63 Prozent aus derselben Menge von Firmen.

Nachdem wir die Fragen so gestellt hatten, dass alle Modelle etwa gleich lange Listen liefern, sank die mediane Differenz auf 13 Prozentpunkte. Sie verschwand also nicht — sie halbierte sich.

Welche Kennzahl davon unberührt bleibt

Eine Kennzahl war gegen dieses Problem von vornherein immun: die Platzierung. Ob ein Anbieter unter den ersten drei einer Antwort steht, hängt nicht daran, wie lang die Antwort insgesamt ist.

• Mediane Differenz zwischen den Modellen bei der reinen Nennung: 23 Prozentpunkte.
• Dieselbe Differenz bei der Platzierung unter den ersten drei: 7 Prozentpunkte.
• Bei identischer Frage schwankte die Nennung über Wiederholungen in 15 % der Fälle, die Top-3-Platzierung in 10 %.

Die Spitze einer Antwort ist fest, das Mittelfeld wandert. In einer Kategorie schwankten die Ränge im Schnitt um 0,7 Plätze, 60 % der Anbieter standen über alle Durchläufe exakt gleich. In einer anderen Kategorie waren es 3,4 Plätze — dort sprang ein Anbieter zwischen Rang 21, 6 und 3, während der Spitzenreiter unverändert auf Platz eins bis zwei blieb.

Was das praktisch heißt

Ein einzelner Blick in ein einzelnes System an einem einzelnen Tag sagt wenig. Er zeigt einen von mindestens drei Märkten, in einer von mehreren möglichen Ausprägungen. Das ist keine rhetorische Warnung, sondern das direkte Ergebnis dieser Messung.

Für eine belastbare Aussage braucht es entsprechend: mehrere Systeme getrennt ausgewiesen statt zusammengerechnet, mehrere Wiederholungen je Frage, und einen unveränderten Fragewortlaut über alle Messzeitpunkte. Ein Mittelwert über die Systeme beschreibt niemanden — kein Interessent fragt alle drei und bildet den Durchschnitt.

Was wir daraus gebaut haben

Dieser Befund hat vier Festlegungen erzwungen, die heute in jeder Messung stecken:

• Wir weisen ChatGPT, Gemini und Claude getrennt aus und mitteln nie über die Systeme. Ein Durchschnitt beschreibt niemanden — kein Interessent fragt alle drei.
• Leitkennzahl ist die Platzierung. Sie ist immun gegen die Ausführlichkeit eines Modells, und genau daran wäre unsere erste Auswertung fast gescheitert.
• Die Kandidatenliste kommt aus dem Markt, nicht aus einem Sprachmodell. Sonst prüft man ein Modell gegen seine eigene Antwort.
• Jede Frage läuft mehrfach in isolierten Konversationen. Erst dann lässt sich Rauschen von Rangfolge trennen.

Dazu gehört, dass wir eigene Fehler suchen und benennen. In dieser Messreihe haben wir drei gefunden und behoben: eine Trefferzählung, die Anbieter mitzählte, deren Name nur in einer Quellen-URL stand; eine Abbruch-Erkennung, die vollständige Antworten verwarf; und die Verwechslung von Ausführlichkeit mit Urteil. Jeder dieser Fehler hätte ein Ergebnis produziert, das plausibel aussieht und falsch ist. Wer seine Rohdaten nicht herausgibt, findet solche Fehler nie — wir geben sie heraus.

Das Learning in einem Satz: Es gibt keine eine KI-Sichtbarkeit, sondern eine je System — und wer nur eines davon prüft, hat zwei Märkte übersehen, in denen er möglicherweise nicht vorkommt.