Wie wir AI Recommendation Visibility messen

Wenn man messen will, ob ein KI-System ein Unternehmen empfiehlt, steht man zuerst vor einem methodischen Problem: Es gibt keine Ergebnisliste, die man abrufen könnte. Es gibt nur eine Antwort, die in dem Moment entsteht, in dem gefragt wird - und die beim nächsten Mal anders ausfallen kann. Alles, was danach kommt, muss mit dieser Eigenschaft umgehen können.

Schritt 1: Die Kaufsituation, nicht das Keyword

Ein Prompt-Set beginnt nicht bei Suchvolumen. Es beginnt bei der Frage, wie jemand kurz vor einer Anbieterentscheidung tatsächlich formuliert. Diese Formulierungen sind länger, konkreter und häufig mit Bedingungen versehen: eine Branche, eine Unternehmensgröße, eine Region, eine regulatorische Anforderung, ein bestehendes System, an das angebunden werden muss.

Wir grenzen dabei bewusst gegen zwei Extreme ab. Zu breite Fragen erzeugen ein Wettbewerbsfeld, das mit der Realität des Kunden nichts zu tun hat. Zu enge Fragen erzeugen Antworten, in denen fast nichts steht - und aus denen sich keine Wettbewerbslogik ableiten lässt.

Schritt 2: Isolation

Jeder Run wird in einem eigenen, unbelasteten Kontext ausgeführt. Kein vorheriger Gesprächsverlauf, keine Nachfragen, kein Nachschärfen. Der Grund ist banal und wichtig zugleich: Sobald in einem Gespräch einmal ein Anbietername gefallen ist, verändert das die folgenden Antworten. Wer im selben Chat erst nach seiner eigenen Marke fragt und dann nach Anbieterempfehlungen, misst nicht mehr den Markt, sondern den eigenen Prompt.

Aus demselben Grund kommt die Marke des Auftraggebers in keinem Prompt vor. Ein Modell, das den Namen gerade gelesen hat, wird ihn mit deutlich erhöhter Wahrscheinlichkeit wiederverwenden. Das ist kein Messergebnis, das ist ein Artefakt.

Schritt 3: Wiederholung

Derselbe Prompt wird mehrfach ausgeführt. Erst über mehrere Durchläufe wird unterscheidbar, welche Nennungen stabil sind und welche einmalig auftraten. Ein Anbieter, der in einem von fünf Durchläufen erscheint, hat eine andere Position als einer, der in fünf von fünf erscheint - auch wenn beide in einem Screenshot gleich aussehen.

Die Anzahl der Wiederholungen ist ein Kompromiss zwischen Aussagekraft und Aufwand. Wichtiger als eine hohe Zahl ist, dass sie über alle Messzeitpunkte hinweg identisch bleibt. Wer beim zweiten Messzeitpunkt mehr Durchläufe fährt als beim ersten, kann die beiden nicht mehr vergleichen.

Schritt 4: Mehrere Systeme

ChatGPT, Gemini und Claude kommen bei identischer Frage regelmäßig zu unterschiedlichen Anbieterlisten. Das liegt unter anderem daran, wie stark und in welcher Form sie zur Laufzeit auf Websuche zurückgreifen. Deshalb wird jede Kennzahl auch je System ausgewiesen und nicht zu einem Durchschnitt verrechnet, der nirgends existiert.

Was am Ende auswertbar ist

• ob das Unternehmen genannt wird (Mention) und ob es als Anbieter vorgeschlagen wird (Recommendation) - das ist nicht dasselbe
• an welcher Stelle es genannt wird, mit dem ausdrücklichen Hinweis, dass Position die instabilste Größe ist
• welche anderen Anbieter auftauchen - das ist das beobachtete Wettbewerbsfeld
• wie stark die Antworten über die Wiederholungen streuen
• welche Quellen bei aktivierter Websuche angeführt werden

Wo die Methode aufhört

Eine Messung beschreibt einen Zeitpunkt, eine Modellversion und ein Prompt-Set. Sie ist keine Prognose. Sie sagt nichts darüber aus, wie viele Menschen diese Frage tatsächlich stellen, und sie sagt nichts über den kommerziellen Wert einer Nennung. Beides muss aus anderen Quellen kommen.

Was das Verfahren dafür leistet

Innerhalb dieser Grenze liefert es etwas, das es vorher nicht gab: eine Zahl, die in drei Monaten noch vergleichbar ist. Isolierte Konversationen, wiederholte Durchläufe, ein eingefrorener Fragewortlaut und getrennt ausgewiesene Systeme — jeder dieser Bausteine existiert, weil ohne ihn ein anderer Effekt gemessen worden wäre als der gemeinte.

Das Learning in einem Satz: Wer die Grenzen einer Messung kennt, kann innerhalb davon präzise arbeiten — wer sie nicht kennt, hält Zufall für Fortschritt.