Research Note
Warum eine einzelne ChatGPT-Abfrage kein AI-Visibility-Benchmark ist
Der häufigste Fehler in diesem Feld ist der Screenshot als Beweis. Warum das nicht trägt - und welches Minimum an Verfahren nötig ist.
- Autor
- Tim Hilgendorf
- Lesezeit
- 5 Min.
- Status
- Entwurf, unveröffentlicht
Was dieser Text ist - und was nicht
Der typische Einstieg in dieses Thema sieht so aus: Jemand tippt eine Buyer Prompt in ChatGPT, sieht das eigene Unternehmen nicht in der Antwort und schickt einen Screenshot ins Marketing. Der Impuls ist richtig - die Schlussfolgerung ist es nicht.
Eine Antwort ist eine Stichprobe der Größe eins
Generative Systeme erzeugen ihre Antwort bei jeder Anfrage neu. Zwei Durchläufe derselben Frage können unterschiedliche Anbieter, unterschiedliche Reihenfolgen und unterschiedliche Begründungen liefern. Aus einer einzigen Beobachtung lässt sich deshalb weder Anwesenheit noch Abwesenheit belastbar ableiten. Man weiß nur: In diesem einen Durchlauf war es so.
Vier Störgrößen, die im Screenshot unsichtbar bleiben
- Der Gesprächskontext. Was vorher im selben Chat stand, beeinflusst die Antwort - auch wenn es thematisch unbeteiligt wirkt.
- Die Websuche. Ob sie ausgelöst wurde und welche Seiten sie in diesem Moment gefunden hat, entscheidet oft über die genannten Namen.
- Die Modellversion. Anbieter aktualisieren Modelle laufend. Zwei Screenshots aus verschiedenen Wochen können aus zwei verschiedenen Systemen stammen.
- Die Formulierung. Kleine Änderungen an der Frage - eine Branche mehr, eine Region weniger - verschieben das Anbieterfeld erheblich.
Was ein Screenshot trotzdem leistet
Er ist ein guter Anlass, nicht aber ein Ergebnis. Er zeigt, dass diese Art von Frage überhaupt beantwortet wird und dass eine kurze Anbieterliste dabei herauskommt. Das genügt, um die Frage ernst zu nehmen. Es genügt nicht, um daraus eine Maßnahme abzuleiten.
Das Minimum, damit aus einer Beobachtung eine Messung wird
- mehrere isolierte Durchläufe pro Prompt statt eines einzelnen
- ein festes, dokumentiertes Prompt-Set statt spontaner Eingaben
- keine Nennung der eigenen Marke im Prompt
- Erfassung von Modell, Datum und Websuche-Status zu jedem Durchlauf
- Auswertung als Häufigkeit über Durchläufe, nicht als Ja/Nein
Das klingt nach Aufwand für etwas, das man auch schnell im Browser machen könnte. Der Aufwand ist aber genau der Unterschied zwischen einem Eindruck und einer Zahl, die man in drei Monaten noch einmal vergleichen kann.