Warum jede KI-Messung anders ausfällt und was eine ehrliche Zahl ist

Die kurze Antwort: Stellst Du dieselbe Frage zweimal an dieselbe KI, bekommst Du zwei verschiedene Antworten. Eine einzelne Messung sagt deshalb fast nichts darüber, wie sichtbar Deine Firma ist. Belastbar wird eine Zahl erst durch viele Messungen. Und ehrlich wird sie erst, wenn dabei steht, wie sicher sie ist.

Montag genannt, Mittwoch nicht

Du fragst ChatGPT, wer in Deiner Branche und Deiner Region gut ist. Deine Firma steht in der Antwort. Zwei Tage später stellst Du dieselbe Frage. Diesmal nicht.

Nichts an Deiner Website hat sich geändert. Niemand hat etwas gelöscht. Trotzdem sieht das Ergebnis anders aus.

Das ist keine Störung, sondern die normale Arbeitsweise dieser Dienste. Sie geben nicht eine gespeicherte Liste wieder, sondern erzeugen jede Antwort neu. SparkToro hat dieselben Empfehlungsfragen fast 3.000-mal gestellt: Die Chance, dass 100 identische Fragen dieselbe Markenliste liefern, liegt unter 1 %. Dass alle 100 auch dieselbe Reihenfolge haben, kommt etwa einmal unter tausend Versuchen vor.¹

Warum Dich das mehr trifft, als es klingt

Solange Du nur zusiehst, ist das eine Kuriosität. Sobald Du Entscheidungen daran hängst, wird es teuer.

Du änderst etwas an Deiner Website. Eine Woche später fragst Du nach und wirst genannt. Hat die Änderung gewirkt? Vielleicht. Vielleicht hättest Du an diesem Tag auch ohne die Änderung in der Antwort gestanden. Du kannst es an einer einzelnen Messung nicht unterscheiden.

Dasselbe in die andere Richtung: Du wirst einmal nicht genannt, erschrickst und buchst eine Beratung. Möglicherweise war das der eine Durchlauf von zehn, in dem Du zufällig fehlst.

Wie stark die Schwankung ausfällt, hängt dabei von der Art der Frage ab. Eine Auswertung von 14.000 Anfragen an vier KI-Dienste zeigt: Bei Fragen mit Kaufabsicht („Wo kaufe ich am besten …") tauchen von zehn Marken, die in zwei Durchläufen derselben Frage vorkamen, nur vier in beiden auf. Bei reinen Vergleichsfragen hält die führende Marke ihre Position dagegen in 91 % der Fälle, bei Kaufabsicht nur in 59 %.² Ausgerechnet die Fragen, die am nächsten am Umsatz liegen, schwanken am stärksten.

Dazu kommt: Schon eine andere Formulierung derselben Frage kann die Sichtbarkeit einer Marke halbieren. Das zeigt eine Auswertung von fast 38.000 KI-Antworten.³ Es genügt also nicht, oft zu fragen. Man muss auch immer dasselbe fragen.

Was die meisten dagegen versuchen

Drei Reaktionen sehen wir immer wieder:

Öfter nachsehen. Jemand fragt jetzt jeden Montag und sammelt Bildschirmfotos. Das ergibt eine Sammlung von Einzelfällen, aber keine Aussage darüber, ob eine Veränderung echt ist.

Eine Faustregel übernehmen. „Dreimal fragen, dann passt das schon." Drei Antworten liefern drei Werte. Sie sagen nichts darüber, wie weit das Ergebnis vom wahren Wert entfernt sein kann.

Auf eine Prozentzahl vertrauen. Ein Werkzeug zeigt „Sichtbarkeit: 40 %". Die Zahl sieht genau aus. Ob sie auf zehn oder auf dreihundert Messungen beruht, steht nirgends. Das ist der Unterschied zwischen einer Vermutung und einem Befund.

Was eine ehrliche Zahl ausmacht

Eine ehrliche Zahl nennt nicht nur den Wert, sondern auch den Bereich, in dem der wahre Wert liegen dürfte. Wir nennen das den Vertrauensbereich.

Ein Beispiel. Du wirst in 4 von 10 Messungen genannt. Der Wert ist 40 %. Der dazugehörige Bereich reicht aber von 17 % bis 69 %. Das heißt: Deine tatsächliche Sichtbarkeit kann bei 20 % liegen oder bei 65 %. Beides passt zu dem, was Du gemessen hast.

Mit mehr Messungen wird der Bereich enger. Der Wert bleibt in diesem Beispiel gleich, die Sicherheit wächst:

Die Tabelle stammt aus derselben Rechnung, mit der CiteKit die Bandbreiten im Bericht erzeugt.⁴

Zwei Dinge lassen sich daran ablesen. Erstens: Bei zehn Messungen ist die Zahl praktisch wertlos. Der Bereich ist so breit, dass fast jede Behauptung hineinpasst. Zweitens: Der Gewinn wird kleiner, je mehr Du misst. Von 10 auf 30 Messungen halbiert sich die Unsicherheit fast. Von 100 auf 300 gewinnst Du nur noch acht Punkte, brauchst dafür aber die dreifache Menge.

Deshalb messen wir regelmäßig statt möglichst oft. Eine Frage, die jede Woche an fünf Dienste geht, sammelt von allein genug Messungen an.

Woran Du erkennst, dass sich wirklich etwas verändert hat

Die praktische Regel ist einfach: Überlappen sich die Bereiche von vorher und nachher, ist die Veränderung nicht belegt.

Angenommen, Du lagst vor Deiner Änderung bei 40 % mit einem Bereich von 31 bis 50 %, und danach bei 46 % mit einem Bereich von 37 bis 56 %. Die Bereiche überschneiden sich deutlich. Der Anstieg um sechs Punkte kann echt sein, kann aber auch Zufall sein. Wer daraus einen Erfolg macht, verkauft Dir Zufall als Leistung.

Genau das ist der Grund, warum bei uns hinter jeder Zahl ein Bereich steht, auch wenn eine glatte Prozentzahl schöner aussähe.

Was das nicht heißt

KI-Antworten sind nicht in jeder Hinsicht wechselhaft. Eine Auswertung auf Ebene der zitierten Websites fand, dass 96,8 % der Adressen von Woche zu Woche dieselben bleiben.⁵ Die Quellen, aus denen die Dienste schöpfen, sind also ziemlich stabil. Was schwankt, sind die Marken, die im Text genannt werden.

Für Dich heißt das: Wenn Deine Website erst einmal zu den Quellen gehört, aus denen ein Dienst schöpft, ist das eine ziemlich beständige Position. Ob Dein Name in einer einzelnen Antwort auftaucht, bleibt trotzdem wechselhaft.

Wie stark alles schwankt, hängt außerdem stark vom Thema ab. In manchen Bereichen wechseln die Ergebnisse jede Woche, in anderen kaum. Eine allgemeingültige Zahl dafür gibt es nicht.

Häufige Fragen

Warum schwanken KI-Antworten überhaupt? KI-Dienste geben keine gespeicherte Liste wieder, sondern erzeugen jede Antwort neu. Kleine Zufälle im Ablauf, andere Quellen im Moment der Anfrage und sogar der Tageszeitpunkt können das Ergebnis verändern.

Wie oft muss ich messen, damit die Zahl etwas taugt? Zehn Messungen sind zu wenig, der Bereich reicht dann von 17 bis 69 %.⁴ Ab etwa 100 Messungen wird die Zahl brauchbar. Das erreichst Du nicht an einem Tag, sondern indem dieselben Fragen über Wochen regelmäßig gestellt werden.

Was ist ein Vertrauensbereich? Der Bereich, in dem der wahre Wert mit hoher Wahrscheinlichkeit liegt. Er ist breit, wenn wenig gemessen wurde, und schmal, wenn viel gemessen wurde. Ohne ihn ist eine Prozentzahl eine Vermutung, die genau aussieht.

Ab wann ist eine Verbesserung echt? Wenn sich der Bereich von vorher und der Bereich von nachher nicht mehr überschneiden. Solange sie sich überlappen, kann der Unterschied Zufall sein.

Warum zeigt Ihr keine einzelne, klare Zahl? Weil eine einzelne Zahl bei diesem Thema falsche Sicherheit erzeugt. Wir könnten „40 % Sichtbarkeit" schreiben und Du würdest uns glauben. Ehrlicher ist: 40 %, und der wahre Wert liegt vermutlich zwischen 31 und 50 %.

Muss ich dieselbe Frage immer gleich formulieren? Ja. Eine andere Formulierung derselben Frage kann die Sichtbarkeit halbieren.³ Wer heute anders fragt als letzte Woche, misst die Formulierung und nicht die Veränderung.

Quellen

Quellen zuletzt geprüft am 11.08.2026