Zum Inhalt springen
ARO

Produkt 03 · AI Recommendation Monitoring

Veränderung von Rauschen unterscheiden.

AI Recommendation Monitoring wiederholt dieselbe Messung in festem Takt: Mention Rate, Recommendation Rate, AI Share of Voice, Run Consistency und Wettbewerbsbewegung über ChatGPT, Gemini und Claude.

Warum laufend

Eine einzelne Messung ist ein Foto. Sie brauchen die Bewegung.

Generative Antworten schwanken auch dann, wenn sich nichts verändert hat. Modelle werden aktualisiert, Websuchergebnisse verschieben sich, Wettbewerber verändern ihre Inhalte. Ohne regelmäßige Wiederholung ist jede einzelne Abweichung nicht interpretierbar — man weiß nicht, ob man ein Signal sieht oder die normale Streuung.

Referenzlinie

Erst über mehrere Messzeitpunkte entsteht ein Erwartungskorridor. Danach ist erkennbar, welche Abweichung außergewöhnlich ist.

Frühwarnung

Wenn ein Wettbewerber beginnt, einen Ihrer Intents zu besetzen, ist das im Monitoring sichtbar, bevor es sich im Pipeline-Report niederschlägt.

Wirkungskontrolle

Maßnahmen aus dem Engineering bekommen einen vorab definierten Nachmesszeitpunkt. Das schützt vor nachträglich passend gewählten Auswertungen.

Kennzahlen

Was gemessen wird — und was jede Zahl bedeutet.

Bewusst ohne Beispielwerte. Solange wir keine eigenen veröffentlichungsfähigen Messreihen haben, zeigen wir hier keine Zahlen, die als Ergebnis missverstanden werden könnten.

Mention RateErwähnungsquote
Anteil der Runs, in denen das Unternehmen überhaupt genannt wird - unabhängig davon, ob es empfohlen oder nur beiläufig erwähnt wird.
Recommendation RateEmpfehlungsquote
Anteil der Runs, in denen das Unternehmen als möglicher Anbieter vorgeschlagen wird, also Teil der eigentlichen Antwort auf den Buyer Prompt ist.
#1 Recommendation RateErstnennung
Anteil der Runs, in denen das Unternehmen als erste Option genannt wird. Die Reihenfolge in generativen Antworten ist weniger stabil als in klassischen Suchergebnissen.Position ist die volatilste aller Kennzahlen. Ohne ausreichende Wiederholungen ist sie nicht aussagekräftig.
AI Share of VoiceAnteil am Antwortraum
Anteil des Unternehmens an allen Anbieternennungen über alle Runs eines Intent-Sets hinweg. Zeigt Verhältnisse statt absoluter Werte.
Run ConsistencyStabilität
Wie stark schwanken die Antworten bei identischem Prompt über mehrere isolierte Runs. Niedrige Konsistenz heißt: das Modell hat keine gefestigte Meinung zu dieser Frage.
Intent VisibilitySichtbarkeit je Intent
Sichtbarkeit aufgeschlüsselt nach einzelnen Buyer Intents statt als Gesamtwert. Ein Unternehmen kann bei einem Intent dominant und beim nächsten unsichtbar sein.
Engine VisibilitySichtbarkeit je System
Vergleich zwischen ChatGPT, Gemini und Claude. Die Systeme greifen unterschiedlich stark auf Websuche zurück und kommen deshalb zu unterschiedlichen Anbieterlisten.
Source FrequencyQuellenhäufigkeit
Welche Domains werden über Runs und Intents hinweg wiederholt als Beleg herangezogen. Grundlage für die Source Opportunity Map.Zitierte Quellen sind nur bei aktivierter Websuche sichtbar. Sie sind nicht identisch mit dem, was ein Modell aus dem Training weiß.
Competitor MovementWettbewerbsbewegung
Veränderung der Anbietermenge über die Zeit: Wer kommt neu hinzu, wer verliert Anteil, wer hält einen Intent stabil.

Ablauf je Messzyklus

Immer identisch. Das ist der ganze Punkt.

  1. 01

    Unverändertes Prompt-Set

    Dieselben Prompts wie beim ersten Messzeitpunkt, wörtlich identisch. Änderungen am Set sind möglich, brechen aber die Vergleichbarkeit — sie werden deshalb dokumentiert und erzeugen eine neue Referenzlinie statt einer stillen Fortschreibung.

  2. 02

    Gleiche Anzahl isolierter Durchläufe

    Die Run-Anzahl bleibt konstant. Mehr Durchläufe würden die Wahrscheinlichkeit einer Nennung allein rechnerisch erhöhen und einen Fortschritt vortäuschen, den es nicht gibt.

  3. 03

    Alle Systeme, getrennt ausgewiesen

    ChatGPT (OpenAI), Gemini (Google), Claude (Anthropic) — jeweils einzeln. Kein systemübergreifender Durchschnitt, weil es diesen Durchschnitt in der Realität eines Nutzers nicht gibt.

  4. 04

    Protokollierung des Kontexts

    Modellversion, Datum, Websuche-Status und die angeführten Quellen werden je Durchlauf festgehalten. Ohne diesen Kontext ist ein späterer Vergleich nicht belastbar.

  5. 05

    Auswertung gegen den Erwartungskorridor

    Veränderungen werden nicht als Zahl berichtet, sondern eingeordnet: liegt die Abweichung innerhalb der bisher beobachteten Streuung oder außerhalb? Nur der zweite Fall ist ein Befund.

Wovon der Takt abhängt

Ein sinnvoller Messtakt hängt davon ab, wie stabil die Antworten in Ihrem Markt sind — und das wissen wir erst nach den ersten Zyklen. Wir legen den Takt deshalb nach der ersten Messreihe gemeinsam fest, statt vorab eine Frequenz zu verkaufen, die zu Ihrem Markt vielleicht nicht passt.

Der erste Schritt ist eine Messung, keine Maßnahme.

Wir starten mit einem definierten Prompt-Set aus Ihrer Kaufsituation und messen, wo Sie heute stehen. Ohne diese Ausgangslage lässt sich später nicht beurteilen, ob eine Veränderung eingetreten ist.