Fragen zur Pew-Studie und Methodologie
Es gibt erhebliche Zweifel an der Methodik, die das Pew Research Center bei der Analyse von Google’s KI-Ergebnissen angewandt hat. Es wird infrage gestellt, ob die Schlüsse, die aus der Forschung gezogen wurden, tatsächlich repräsentativ sind. Wichtige Kritikpunkte umfassen die Art und Weise, wie KI-Zusammenfassungen erstellt werden, die geringe Stichprobengröße und die allgemeine statistische Zuverlässigkeit.
Google’s Reaktion
Google reagierte direkt auf die Ergebnisse der Pew-Forschung. Ein Sprecher des Unternehmens betonte, dass Künstliche Intelligenz (KI)-basierte Suchfunktionen zunehmend von Nutzern genutzt werden und die Interaktivität und Sichtbarkeit für Content-Ersteller erweitert haben. Es wurde auch betont, dass die Methodik der Pew-Studie fehlerhaft sei und nicht die tatsächlichen Nutzungsgewohnheiten widerspiegele.
„Die Leute bewegen sich in Richtung KI-basierter Sucherlebnisse. Diese ermöglichen es, tiefergehende Fragen zu stellen und schaffen neue Möglichkeiten, Webseiten und Content zu entdecken.“
Unzureichende Stichprobengröße
Ein zentraler Kritikpunkt ist die extrem geringe Stichprobengröße der Studie im Vergleich zum gesamten Suchvolumen bei Google. Laut Duane Forrester, einer früheren Führungskraft bei Bing, basiere die Analyse auf etwa 66.000 Suchanfragen – das entspricht lediglich 0,0000134% der monatlichen Anfragen bei Google. Diese minimale Datenmenge reicht nicht aus, um verlässliche Schlussfolgerungen zu ziehen.
„Eine solch kleine Stichprobe kann kaum als repräsentativ für die Realität betrachtet werden. Es ist schwierig, daraus reale Trends oder Muster abzuleiten.“
Fragwürdige Zuverlässigkeit der Ergebnisse
Ebenfalls kritisch zu sehen sind die statistischen Fehlerbereiche der Pew-Studie. Laut der Methodik-Seite von Pew Research liegt die Schwankung innerhalb der verschiedenen Altersgruppen zwischen ±7,9 und ±13,7 Prozentpunkten. Dies bedeutet, dass die Ergebnisse statistisch gesehen nur eine geringe bis moderate Zuverlässigkeit aufweisen.
Ergebnisse nach Altersgruppen:
- 18–29 Jahre: ±13,7 Prozentpunkte (niedrige Zuverlässigkeit)
- 30–49 Jahre: ±7,9 Prozentpunkte (moderate Zuverlässigkeit)
- 50–64 Jahre: ±8,9 Prozentpunkte (moderate bis niedrige Zuverlässigkeit)
- 65+: ±10,2 Prozentpunkte (niedrige Zuverlässigkeit)
Vergleich verschiedener Zeiträume
Ein weiterer Mangel der Methode ist der Vergleich von Suchdaten aus unterschiedlichen Monaten. Die im März 2025 erhobenen Nutzerdaten wurden mit einer Stichprobe von Suchanfragen im April 2025 verglichen. Dies ist problematisch, da sich Google’s KI-Zusammenfassungen in ihrer Anzeige dynamisch monatlich ändern. Trends, Aktualisierungen oder Algorithmusänderungen können Search-Results stark beeinflussen.
Google AI-Ergebnisse sind dynamisch
Ein entscheidender Punkt: KI-Zusammenfassungen und Suchergebnisse sind dynamisch. Für dasselbe Suchwort können nicht dieselben Ergebnisse garantiert werden. Google’s Algorithmen ziehen möglicherweise täglich neue Daten heran, und jeder Nutzer kann andere, personalisierte Suchergebnisse erhalten.
Beispiele für unterschiedliche Browser:
- Im Browser „Vivaldi“ führte ein Test-Suchbegriff zu Links zu Amazon Web Services und Medium.
- Im Chrome Canary-Browser zeigte dasselbe Suchwort jedoch Links zu OpenAI und Hugging Face.
Unterschiedliche Tools oder Zeitpunkte verändern nicht nur die Reihenfolge der Links, sondern beeinflussen auch die im KI-Text eingebetteten URLs.
Implikationen für Publisher
Die dynamische Natur von Googles KI-Suche könnte auch erklären, warum Publisher große Schwankungen in ihrem Traffic sehen. Die Positionen in Google’s Suchergebnisseiten sind weniger statisch, besonders wenn dynamische Ansätze eine Vielzahl von Webseiten fördern sollen. Dies könnte eine direkte Antwort auf Forderungen nach mehr Diversität in den Top-Ergebnissen sein.
Abschließend bleibt festzustellen, dass die Methodik der Pew-Studie erhebliche Schwächen aufweist, welche die Validität der Schlussfolgerungen stark beeinträchtigen.
