Welcher Zweck heiligt die Mittel? Bemerkungen zur Repräsentativitätsdebatte in der Meinungsforschung

3.1 Heterogenität des interessierenden Merkmals

Der Faktor Std. Dev.(Y) bezeichnet die Heterogenität des interessierenden Merkmals Y in der Grundgesamtheit. Sofern die beiden anderen Faktoren nicht null sind, gilt: Je heterogener eine Population hinsichtlich des Merkmals Y ist, desto verzerrter ist der Schätzer für den Stichprobenmittelwert. Die Heterogenität selbst wird nur dann null, wenn alle Elemente der Grundgesamtheit bezüglich des Merkmals Y den gleichen Wert aufweisen – eine für die meisten Anwendungsfälle absurde Vorstellung.^[13]

Für den Vergleich zwischen Dodona und Klaros ist letztlich nur von Bedeutung, dass die Heterogenität des Merkmals Y außerhalb der Beeinflussbarkeit der Institute liegt. Hier ergeben sich daher keine grundsätzlichen Vor- oder Nachteile für die eine oder die andere Herangehensweise. Bei Umfragen an (kleinen) Spezialpopulationen kann unter Umständen von einer geringeren Heterogenität dieser Populationen ausgegangen werden. Dies würde die verzerrende Wirkung der beiden anderen Faktoren abmildern. Dies ergibt sich jedoch aus der Fragestellung bzw. der interessierenden Population und hat prinzipiell nichts mit den Vorgehensweisen der beiden Institute zu tun. Wie bereits im vorherigen Abschnitt erläutert, könnte sich Klaros diesen Umstand häufiger zunutze machen, nämlich immer dann, wenn die zu untersuchende Spezialpopulation Teil des Access-Panels ist und Klaros diese anhand der vorhandenen Daten identifizieren kann.

Für statistische Beschreibungen allgemeiner Bevölkerungen lässt sich das letzte Argument nur selten vorbringen. Für Wahlumfragen gilt, dass die Heterogenität der Parteipräferenz im Zeitverlauf gestiegen ist. In Deutschland ergibt sich dies bereits aus der seit Beginn der Wahlumfragen gestiegenen effektiven Parteienzahl (Laakso & Taagepera 1979; Gallagher & Mitchell 2008; Gallagher 2019). Sofern die übrigen Faktoren unverändert blieben, ist das Potenzial für Verzerrungen von Wahlumfragen daher über die Zeit gestiegen.

3.2 Relative Heterogenität der Selbstselektionswahrscheinlichkeit

Der Faktor VarK(π) in Gleichung (1) bezeichnet die relative Heterogenität der Selbstselektionswahrscheinlichkeit, definiert als deren Variationskoeffizient:

(2)

Ein Vergleich der relativen Heterogenität der Selbstselektionswahrscheinlichkeit zeigt, dass diese bei Dodona systematisch kleiner ist als bei Klaros. Dafür gibt es zwei Gründe, die nachfolgend ausführlich dargelegt werden.

3.2.1 Der fundamentale Unterschied des Auswahlprozesses

Zur Verdeutlichung der Bedeutung des Auswahlprozesses muss man sich vergegenwärtigen, dass der Term im Zähler von Gleichung (2) durch den Term im Nenner begrenzt ist. Konkret gilt, dass Std. Dev.(π) nicht größer als werden kann (Bethlehem 2010: 173). Im ungünstigsten Fall kann die relative Heterogenität daher nicht größer als

(3)

werden.^[14] Vergleicht man Dodona und Klaros anhand dieses Worst-Case-Szenarios, zeigt sich bei welchem der beiden Institute größere Verzerrungen möglich sind.

Wichtig ist hierbei, dass die Selbstselektionswahrscheinlichkeit π für Wahrscheinlichkeitsstichproben und Nicht-Wahrscheinlichkeitsstichproben unterschiedlich definiert ist. Bei der Ziehung der Wahrscheinlichkeitsstichprobe gibt es – abseits der hier vernachlässigten Coverageprobleme^[15] – zunächst keine Selbstselektion. Erst wenn versucht wird, die zur Stichprobe gehörenden Zielpersonen zu kontaktieren, beginnt der Selbstselektionsprozess. Die Selbstselektionswahrscheinlichkeit ist hier die individuelle Wahrscheinlichkeit, an der Umfrage teilzunehmen, wenn man zur Stichprobe gehört (nachfolgend: Responsewahrscheinlichkeit). Die durchschnittliche Responsewahrscheinlichkeit entspricht in der Praxis ungefähr der sog. Responserate (Kohler et al. 2019: 156):

. (4)

Bei Nicht-Wahrscheinlichkeitsstichproben bezeichnet π hingegen die individuelle Wahrscheinlichkeit an der Umfrage teilzunehmen, wenn man zur Grundgesamtheit gehört (nachfolgend: Teilnahmewahrscheinlichkeit). Die durchschnittliche Teilnahmewahrscheinlichkeit entspricht in der Praxis ungefähr der Teilnahmerate, die allgemein durch

(5)

definiert ist (Kohler et al. 2019: 156).

Der Unterschied zwischen der Response- und der Teilnahmerate besteht darin, dass bei letzterer durch den Umfang der Grundgesamtheit geteilt wird, bei ersterer dagegen durch den Umfang der Stichprobe. Intuitiv lässt sich dies damit begründen, dass durch die Anzahl der Personen geteilt wird, die als Teilnehmer:innen adressiert werden. Bei Wahrscheinlichkeitsstichproben ist diese Zahl deutlich kleiner, da sich nicht alle für oder gegen eine Teilnahme an der Umfrage entscheiden können, sondern nur jene, die in die Stichprobe gezogen wurden.

Klaros rekrutiert die potenziellen Befragten für eine spezifische Umfrage jedoch nicht direkt aus der Grundgesamtheit, sondern aus einem Access-Panel. Theoretisch hat jede:r die Möglichkeit dem Panel beizutreten, entsprechend stellt der Beitritt zum Access-Panel eine Selbstselektion dar. Für die einzelnen Umfragen werden dann in einem weiteren Schritt Personen aus dem Access-Panel ausgewählt. Zugunsten von Klaros nehmen wir im Folgenden an, dass es sich bei dieser finalen Auswahl um Wahrscheinlichkeitsstichproben handelt und ignorieren vollständig, dass Panels naturgemäß auch unter selektiver Panel-Attrition (Binder 1998) leiden. Die Formel zur Berechnung der Teilnahmerate bei Klaros muss daher wie folgt angepasst werden:

(6)

Zum Vergleich der beiden Auswahlprozesse in Bezug auf die maximale relative Heterogenität der Selbstselektionswahrscheinlichkeit können als numerisches Beispiel Wahlumfragen dienen. Bei einem realistisch angelegten Szenario von Responseraten im Bereich von fünf bis zehn Prozent (vgl. Kennedy & Hartig 2019; Marken 2018) liegt der Maximalwert der relativen Heterogenität bei Dodona zwischen

Bei ca. 60 Millionen Wahlberechtigten (Bundeswahlleiter 2021) und einer zugunsten von Klaros hoch angenommenen Responserate von 80 %, müsste das Access-Panel zwischen 3,75 und 7,5 Millionen Wahlberechtigte umfassen, um dieselben Werte zu erzielen. Selbst wenn Dodona nur eine Responserate von einem Prozent erzielen würde, benötigt Klaros immer noch 750.000 wahlberechtigte Panelmitglieder um den Vorteil von Dodona auszugleichen. So hohe Zahlen sind nur selten realisierbar. Civey wirbt mit 1 Million Panelmitgliedern in Deutschland.^[16] YouGov umfasst 400.000 Panelmitglieder, Respondi 100.000 und Norstat 90.000.^[17] Abb. 2 zeigt die maximale relative Heterogenität der Selbstselektionswahrscheinlichkeit von Nicht-Wahrscheinlichkeitsstichproben im Vergleich zu Wahrscheinlichkeitsstichproben mit Responseraten von 10 %, 5 % und 1 %^[18] bei realitätsnahen Umfängen des Access-Panels und einer zugunsten von Klaros hoch angenommenen Responserate von 80 %.^[19] Der Vergleich fällt dennoch deutlich zuungunsten von Klaros aus. Selbst bei 1 Million Panelmitgliedern und optimistischer Responserate liegt die maximale Heterogenität von Klaros nur dann im Bereich von Dodona, wenn von extrem niedrigen Responseraten bei Dodona von nur einem Prozent ausgegangen wird.

Abb. 2:

Maximale relative Heterogenität der Selbstselektionswahrscheinlichkeit von Nicht-Wahrscheinlichkeitsstichproben (NPS) im Vergleich zu Wahrscheinlichkeitsstichproben (PS) mit angegebener Responserate. (Do-File: wzhm_gr01_vark.do)

3.2.2 Folgen der Umsetzung des Auswahlprozesses

Abb. 3:

Selbstselektionsstufen bei Dodona.

In der Praxis unterscheidet sich der Selbstselektionsprozess zwischen den hier behandelten Auswahlmethoden auch in der Anzahl der Stufen, auf denen es zur Selbstselektion kommt. Der typische Verlauf bei Dodona hat drei Stufen (siehe Abb. 3). Auf jeder Stufe kann es zu Nonresponse und somit zu einer nicht vernachlässigbaren Selbstselektion kommen. Analog dazu lassen sich auch bei Klaros verschiedene Selbstselektionsstufen identifizieren. Der idealtypische Verlauf bei Klaros ist in Abb. 4 dargestellt. Dieser weist deutlich mehr Stufen auf als der bei Dodona. Beeinflusst die Anzahl der Stufen die relative Heterogenität der Selbstselektionswahrscheinlichkeit?

Eine Antwort auf diese Frage ist möglich, wenn man annimmt, dass jede potenzielle Befragungsperson bei jeder Auswahlstufe mit einer individuellen für die jeweilige Stufe spezifischen Wahrscheinlichkeit π_k zur nächsten Stufe übergeht. Befragt wird, wer alle Auswahlstufen überwindet. Sofern eine Stufe nicht mit absoluter Sicherheit übersprungen wird (π_k = 1), wird die Selbstselektionswahrscheinlichkeit mit jeder Stufe geringer. Aus Gleichung (3) folgt, dass niedrige durchschnittliche Selbstselektionswahrscheinlichkeiten mit höherer maximaler relativer Heterogenität einhergehen. Insofern erhöht die Auswahl über viele Stufen das Risiko einer Verzerrung.

Eine numerische Annäherung an das Ausmaß dieses Verstärkungseffekts zeigt Abb. 5. Darin abgetragen ist die maximale relative Heterogenität nach der Stufenanzahl. Die Linien repräsentieren Auswahlprozesse mit jeweils unterschiedlicher durchschnittlicher Selbstselektionswahrscheinlichkeit auf der ersten Stufe (π‾₁). Die Selbstselektionswahrscheinlichkeit wurde auf jeder Stufe erhöht und zwar umso stärker, je niedriger der Ausgangswert war.^[20] Die Abbildung zeigt deutlich, dass die maximale relative Heterogenität über die Stufen ansteigt und zwar umso stärker, je niedriger die durchschnittliche Selbstselektionswahrscheinlichkeit auf der ersten Auswahlstufe ist.

Abb. 4:

Selbstselektionsstufen bei Klaros.

Abb. 5:

Maximale relative Heterogenität nach Anzahl der Auswahlstufen für die angegebenen durchschnittlichen Selbstselektionswahrscheinlichkeiten auf der ersten Stufe und gleichmäßig über die Stufen auf 0,8 anwachsenden durchschnittlichen Selbstselektionswahrscheinlichkeiten. (Do-File: wzhm_gr02V2_vark.do)

Die beiden in diesem Abschnitt diskutierten Mechanismen führen dazu, dass die maximale relative Heterogenität der Selbstselektionswahrscheinlichkeit selbst unter günstigen Bedingungen bei Klaros um ein Vielfaches größer ist als bei Dodona. Das Risiko, das wahre Ergebnis weit zu verfehlen, ist folglich bei Klaros größer. Bei großen Grundgesamtheiten spricht daher vieles für Wahrscheinlichkeitsstichproben.

Zur methodischen Rechtfertigung von Nicht-Wahrscheinlichkeitsstichproben könnten drei Argumente angeführt werden:

• Der Umfang der Grundgesamtheit ist so klein, dass der Vorteil der Wahrscheinlichkeitsstichprobe vernachlässigbar ist.

• Die Korrelation zwischen dem interessierenden Merkmal und der Selbstselektionswahrscheinlichkeit ist null, so dass der Stichprobenmittelwert in Bezug auf Selbstselektionsprozesse generell unverzerrt ist.

• Die Nicht-Wahrscheinlichkeitsstichprobe erlaubt die Anwendung von Verfahren zur Minimierung der Verzerrung, die bei Wahrscheinlichkeitsstichproben nicht zur Verfügung stehen.

Das erste Argument beschreibt den Fall von kleinen Spezialpopulationen – etwa einer Befragung von Mitgliedern einer Organisation oder von Käufer:innen eines bestimmten Produktes. Diesem Argument stimmen wir ausdrücklich zu. Für den Gegenstandsbereich der Meinungsforschung ist es jedoch belanglos. Die beiden anderen Argumente werden im Folgenden diskutiert.

3.3 Korrelation der Selbstselektionswahrscheinlichkeit mit dem interessierenden Merkmal

Der dritte Faktor, R(Y, π) in Gleichung (1), ist die Korrelation zwischen dem interessierenden Merkmal und der Selbstselektionswahrscheinlichkeit. Um die Diskussion zu ermöglichen, muss man sich die kausalen Ursachen für diese Korrelation vergegenwärtigen (vgl. Groves 2006). Die Selbstselektionswahrscheinlichkeit und das interessierende Merkmal sind korreliert, wenn

• das interessierende Merkmal die Selbstselektionswahrscheinlichkeit kausal beeinflusst, oder

• das interessierende Merkmal und die Selbstselektionswahrscheinlichkeit gemeinsame Ursachen haben (vgl. Hitchcock & Rédei 2020).

Bezüglich des zweiten Punktes ist es sinnvoll, zwischen bekannten bzw. beobachteten Ursachen einerseits, und nicht bekannten bzw. nicht beobachteten Ursachen andererseits zu unterscheiden. In Abb. 6 sind bekannte Ursachen mit X bezeichnet und unbekannte Ursachen mit Z. Weiterhin sind beobachtete Variablen mit einem schwarzen Kreis und unbeobachtete Variablen mit einem weißen Kreis dargestellt.

Abb. 6:

Ursachen für R(Y, π) ≠ 0.

Ausgehend von der in Abb. 6 dargestellten Situation ist die Korrelation zwischen der Selbstselektionswahrscheinlichkeit und dem Merkmal Y umso größer, je stärker die Effekte der Pfade

sind.^[21] Im Folgenden werden Bedingungen diskutiert, die die Stärke der Effekte dieser Pfade beeinflussen.

3.3.2 Gemeinsame bekannte Ursachen

Korrelationen zwischen dem interessierenden Merkmal und der Selbstselektionswahrscheinlichkeit, die durch bekannte gemeinsame Ursachen hervorgerufen werden, können korrigiert werden (grundlegend Horvitz & Thompson 1952). Das bedeutet, wenn es außer diesen bekannten Gründen für die Korrelation keine anderen Gründe gäbe, könnte der Mittelwert des Merkmals Y unverzerrt geschätzt werden. Fraglich ist daher, ob sich die Voraussetzungen für eine solche Korrektur zwischen Klaros und Dodona unterscheiden.

Abgesehen von statistischen Detailfragen basieren die bekannten Korrekturverfahren immer auf derselben Vorgehenslogik: Mit Hilfe der bekannten Variablen X werden Teilnahme- bzw. Responsewahrscheinlichkeiten geschätzt. Im Schätzer für den Mittelwert der Grundgesamtheit werden sodann die Daten mit dem Kehrwert dieser Wahrscheinlichkeit multipliziert (Horvitz & Thompson 1952). Die grundlegenden Voraussetzungen dieses Vorgehens sind folgende:

• Die gemeinsamen Ursachen des interessierenden Merkmals Y und der Selbstselektionswahrscheinlichkeit π müssen bekannt sein.

• Die gemeinsamen Ursachen müssen ohne systematischen Messfehler in der Umfrage gemessen worden sein.

• Man benötigt Informationen über die Verteilung der gemeinsamen Ursachen in der Grundgesamtheit.

Alle drei Voraussetzungen sind in der Praxis problematisch (Schnell 2019b: 299–301). Die Behauptung, alle Ursachen für die Teilnahme an einer Umfrage zu kennen, wäre gewagt. Allerdings ist dies auch gar nicht nötig, da nur diejenige Teilmenge benötigt wird, die zusätzlich das interessierende Merkmal beeinflusst. Diese könnte sich aber zwischen verschiedenen interessierenden Merkmalen unterscheiden. Die systematische Suche nach Variablen, die in den erhobenen Daten mit dem interessierenden Merkmal korrelieren, ist zwar auf den ersten Blick plausibel, letztlich aber nicht überzeugend. Zum einen ist nicht sicher, dass die so identifizierten Variablen auch die Selbstselektionswahrscheinlichkeit beeinflussen. Zum anderen ist die Korrelation in der Stichprobe, sofern das einschlägige Merkmal wirklich eine Ursache für π ist, ein verzerrter Schätzer der Korrelation in der Population (Schuessler & Selb 2019: 20–24). Für das im Zusammenhang mit der Repräsentativitätsdebatte häufig bemühte Beispiel von Wahlumfragen^[23] gilt zudem, dass vormals bekannte Ursachen des interessierenden Merkmals sich im Zeitverlauf zugunsten unbekannter Ursachen abgeschwächt haben (Särlvik & Crewe 1983; Schnell & Kohler 1995; Brettschneider et al. 2002). Zumindest für Wahlumfragen ist die Korrektur von Selbstselektionsprozessen mit den Jahren daher schwieriger geworden.

Hinsichtlich der zweiten Voraussetzung gilt: Systematische Messfehler können in der Umfrageforschung generell nie vollständig ausgeschlossen werden (vgl. Schnell et al. 2018: 321–24).

Am problematischsten ist die dritte Voraussetzung. Zu den meisten relevanten Grundgesamtheiten sind nur wenige Informationen bekannt. Informationen über die deutsche Wohnbevölkerung oder die wahlberechtigte deutsche Wohnbevölkerung stammen meist aus dem Mikrozensus. Die dort enthaltenen Informationen sind begrenzt. Insbesondere finden sich dort keine Daten zu Einstellungen (vgl. Statistische Ämter des Bundes und der Länder 2022). Häufig beschränkt sich der zur Korrektur verfügbare Datenvorrat auf Geschlecht, Alter und Bildung. Dem lässt sich prinzipiell durch die parallele Erhebung einer (kostspieligen) Referenzstichprobe nach dem Dodona-Verfahren begegnen (Terhanian et al. 2000), wodurch aber die wirtschaftlichen Vorteile des Klaros-Verfahrens weitgehend aufgezehrt würden. Hinzu kommt, dass die Teilnahmewahrscheinlichkeit bei der Klaros-Umfrage nicht von Variablen abhängen darf, die im Referenzsurvey nicht enthalten sind (Schnell 2019b: 299–301). Der von Klaros genutzte Onlinemodus verschärft die Problematik zusätzlich, da nach Schnell (2019b: 301) die bislang zur Korrektur genutzten Kovariaten weder die Verfügbarkeit von Internetanschlüssen noch die tatsächliche Teilnahme an diesen Surveys erklären. Manche Institute operieren daher auch mit der Verwendung (kleinräumlicher) Aggregatstatistiken – etwa dem Zweitstimmenanteil von Parteien auf Stimmbezirks-, Wahlkreis- oder Gemeindeebene (Richter et al. o. J.: 8). Die Verwendung solcher Kennziffern zur Korrektur der Selbstselektion setzt aber u. a. voraus, dass die entsprechenden Informationen aus den eigenen Daten aggregiert werden können. Dazu sind einerseits umso höhere Befragtenzahlen notwendig, je kleinräumlicher die Aggregatstatistik ist, andererseits müssen die Informationen ohne systematische Messfehler gemessen werden. Mindestens beim Beispiel der Rückerinnerung an das Wahlverhalten bei der letzten Bundestagswahl darf dies jedoch bezweifelt werden (Schoen 2009).

Klaros könnte aufgrund der Vielzahl an Informationen zu den Panelmitgliedern aus vorherigen Umfragen einen Vorteil bei der Korrektur des Nonresponsebias einer spezifischen Umfrage haben. Allerdings liegen diese zusätzlichen Informationen nur für das Access-Panel vor und nicht für die Grundgesamtheit. Aufgrund des mehrstufigen Selbstselektionsprozesses ist das Access-Panel schwerlich repräsentativ für die Grundgesamtheit. Klaros kann die vorhandenen Informationen deshalb nutzen, um die Umfrageergebnisse auf das Access-Panel hochzurechnen, nicht aber zur Hochrechnung auf die Grundgesamtheit. Da es nicht darum geht, gültige Aussagen über die Panelmitglieder zu treffen, sondern über die interessierende Grundgesamtheit, ist der vermeintliche Vorteil für Klaros nicht überzeugend.

Für den vorliegenden Argumentationszusammenhang sind zwei Punkte zentral: Erstens gibt es keinen Anlass zu der Annahme, dass die Voraussetzungen zur Korrektur der Verzerrung für Klaros günstiger sind als für Dodona. Alle Verfahren, die Klaros zur Verfügung stehen, stehen potenziell auch Dodona zur Verfügung.^[24] Zweitens dürften weder Dodona noch Klaros dazu in der Lage sein, den auf X zurückzuführenden Anteil in R(Y, π) ganz aufzulösen. Wenn es beiden Instituten gleich gut gelänge, wäre die Verzerrung aufgrund des multiplikativen Zusammenwirkens und der höheren relativen Heterogenität bei Klaros stärker.

3.3.3 Gemeinsame unbekannte Ursachen

Korrelationen zwischen dem interessierenden Merkmal und der Selbstselektionswahrscheinlichkeit, die von unbekannten (oder nicht beobachteten) gemeinsamen Ursachen hervorgerufen werden, können nicht korrigiert werden (Groves 2006: 667; Cornesse et al. 2020: 12). Daraus folgt: Je mehr unbekannte gemeinsame Ursachen existieren, desto höher das Potenzial für eine Korrelation. Wenn es beim Auswahlprozess von Klaros mehr unbekannte gemeinsame Ursachen gäbe als für den Nonresponseprozess bei Dodona, wäre R(Y, π) bei Klaros potenziell höher und somit auch die Verzerrung des Stichprobenmittelwerts. Einiges spricht dafür, dass dieser Vergleich tatsächlich zuungunsten von Klaros ausfällt.

Das erste Argument geht auf Dalenius (1983: 412) zurück. Er bezweifelt, dass es überhaupt eine Responsewahrscheinlichkeit im Sinne einer stabilen Charaktereigenschaft einzelner Personen gäbe. Die Responsewahrscheinlichkeit sei vielmehr eine Folge der konkreten Situation, in der eine Zielperson um die Teilnahme an einer Umfrage gebeten würde. Dies hätte enorme Konsequenzen. Die in Umfragen erhobenen Eigenschaften sind relativ stabile Personeneigenschaften, die sich nicht durch eine Manipulation der Kontaktsituation verändern. Bei Dodona-Umfragen kann die Kontaktsituation somit zwar die Responsewahrscheinlichkeit beeinflussen, nicht aber die stabilen Personeneigenschaften. Unterstützung erhält Dalenius u. a. durch zwischen Umfragen an derselben Grundgesamtheit deutlich schwankenden Responseraten (vgl. Schnell 1997; Kohler 2007; Menold 2014; Kappelhof 2014; Czajka & Beyler 2016)^[25] und durch Ergebnisse, nach denen Wahrscheinlichkeitsstichproben trotz niedriger Responseraten gute Schätzungen von Grundgesamtheitsparametern liefern (vgl. den eingangs zitierten Literaturüberblick von Cornesse et al. 2020).

Für den Selbstselektionsprozess bei Klaros kann das gleiche Argument vorgebracht werden – allerdings nur in Bezug auf die Kontaktsituation bei der Rekrutierung für eine spezifische Umfrage. Der Selbstselektionsprozess setzt bei Klaros aber schon früher ein (Abb. 4). So erfolgt die Rekrutierung für das Access-Panel z. B. über die Webseiten bestimmter Medien (Schnell 2019b: 285). Durch dieses Vorgehen ist somit z. B. das Medienverhalten der potenziellen Panelmitglieder Bestandteil der Kontaktsituation. Auch wenn die zu erhebenden Merkmale relativ stabil sind, ist es plausibel, dass einige von ihnen durch die Inhalte der konsumierten Medien beeinflusst wurden (Jarren et al. 1998; Graber & Dunaway 2017). Gleichzeitig beeinflusst der Konsum dieser Medien, ob eine Person die Einladung zum Access-Panel erhält. Ähnliches gilt für die Bereitschaft von Medien, Klaros-Inhalte in ihre Seiten einzubinden.

Das zuletzt angeführte Argument weist auf den vielstufigen Auswahlprozess bei Klaros zurück. Geht man davon aus, dass es auf jeder dieser Stufen neue unbekannte gemeinsame Ursachen für Y und π gibt, werden die Befragungspersonen mit jeder Stufe bezüglich des Merkmals Y homogener, d. h. der Zusammenhang zwischen Y und der Selbstselektionswahrscheinlichkeit auf der letzten Auswahlstufe steigt mit der Anzahl der Auswahlstufen.

Abb. 7:

Gemeinsame unbekannte Ursachen von R(Y, π) in einem dreistufigen Auswahlprozess.

Abb. 8:

Korrelation zwischen interessierendem Merkmal und Selbstselektionswahrscheinlichkeit nach Anzahl der Auswahlstufen. (Do-File: wzhm_gr03V3_ypi.do)

Abb. 7 stellt diesen Prozess für drei Auswahlstufen dar. Abb. 8 zeigt die Korrelation zwischen dem interessierenden Merkmal Y und der Selbstselektionswahrscheinlichkeit π, die sich daraus auf den jeweiligen Auswahlstufen ergibt. Zuungunsten unserer Ausgangsvermutung wurden für die Beispielrechnungen relativ geringe Korrelationen aufgrund der gemeinsamen unbekannten Einflüsse verwendet (zwischen 0.0025 und 0.04; dies entspricht ϐ²_z). Darüber hinaus wurde angenommen, dass

• die Effekte von Z_k auf Y und π_k jeweils gleich sind und sich über die Stufen nicht verändern (ϐ_z), und

• der Effekt von π_k auf π_k+1 ebenfalls über alle Stufen hinweg konstant ist (ϐ_k).

Entlang der vertikalen Achse der Grafik ist der Logarithmus zur Basis 2 der Korrelation dargestellt. Ein Anstieg um eine Einheit entspricht somit jeweils einer Verdoppelung der Verzerrung.

Es wird deutlich, dass die Korrelation vor allem zu Beginn des Prozesses stark ansteigen kann. Spätestens ab der fünften Stufe erscheint der Anstieg marginal, so dass der Vorteil von Dodona relativ gering zu sein scheint. Dennoch verdoppelt sich in einigen Fällen die Verzerrung zwischen den Stufen 3 und 8. Ferner ist zu bedenken, dass aufgrund des multiplikativen Zusammenwirkens mit den beiden anderen Faktoren selbst kleine Unterschiede immer noch zu deutlich höherer Verzerrung führen können.

Entsprechend Abb. 7 gehen wir in der Berechnung davon aus, dass auf jeder Auswahlstufe jeweils andere gemeinsame Ursachen vorliegen. Wären die unbekannten Ursachen stets dieselben, würde die Korrelation zwischen dem interessierenden Merkmal und der Selbstselektionswahrscheinlichkeit nicht über die Auswahlstufen ansteigen. Insofern stellt sich die Frage, ob diese Annahme realistisch ist. Insbesondere bei der Responsewahrscheinlichkeit beim Dodona-Verfahren ist das vermutlich nicht der Fall. Faktisch geht es hier bei allen Auswahlstufen um die Kontaktierbarkeit, Kooperationsbereitschaft und Teilnahmefähigkeit der Haushalte bzw. Zielpersonen. Entsprechend ist es plausibel, dass hier jeweils die gleichen oder zumindest ähnliche Ursachen wirken.

Beim Klaros-Verfahren erscheint die Annahme dagegen deutlich realistischer. Hier bestehen die Schritte aus so unterschiedlichen Aspekten wie der Kooperationsbereitschaft verschiedener Medien, dem Medienverhalten der Elemente der Grundgesamtheit, deren Bereitschaft sich aktiv für die Klaros-Umfragen zu registrieren, und schließlich deren Kooperationsverhalten. Es erscheint daher plausibel, dass auch dieses Problem bei Klaros schwerwiegender ist als bei Dodona.

Das Fazit der hier vorgelegten Argumentation zur methodischen Dimension der Repräsentativitätsdebatte ist eindeutig: Es gibt buchstäblich kein einziges triftiges theoretisches Argument dafür, dass Ergebnisse auf Basis von Nicht-Wahrscheinlichkeitsstichproben weniger verzerrt sein könnten als Ergebnisse auf Basis von defizitären Wahrscheinlichkeitsstichproben. Im Gegenteil: Fast alle theoretischen Argumente sprechen dafür, dass Ergebnisse auf Basis von Wahrscheinlichkeitsstichproben selbst dann weniger verzerrt sind, wenn die Responseraten niedrig oder sehr niedrig sind. Die Schätzungen von Grundgesamtheitsparametern auf Basis von Nicht-Wahrscheinlichkeitsstichproben liegen demnach durchschnittlich weiter vom wahren Wert entfernt als die entsprechenden Schätzungen aus Wahrscheinlichkeitsstichproben. Aufgrund der systematisch höheren relativen Heterogenität der Selbstselektionswahrscheinlichkeit bei Klaros ist außerdem davon auszugehen, dass Klaros-Ergebnisse im schlimmsten Fall weiter vom wahren Wert entfernt liegen als die schlechtesten Dodona-Ergebnisse. Da die Gefahr für R(Y, π) durch unbekannte gemeinsame Ursachen bei Klaros größer ist, ist schließlich auch die Aufgabe, den Schätzer durch statistische Maßnahmen zu korrigieren („Gewichtung“), hier schwieriger als bei Wahrscheinlichkeitsstichproben.

Die theoretischen Überlegungen decken sich mit der geradezu erdrückenden Beweislast empirischer Studien: Ergebnisse aus Daten aus Nicht-Wahrscheinlichkeitsstichproben sind meist weiter von den wahren Werten entfernt als diejenigen aus Wahrscheinlichkeitsstichproben. Dieser Unterschied bleibt auch nach Gewichtungen bestehen. Und die Gewichtung ist bei Nicht-Wahrscheinlichkeitsstichproben allgemein weniger erfolgreich als bei Wahrscheinlichkeitsstichproben (Dutwin & Buskirk 2017; Mercer et al. 2018; Cornesse et al. 2020).

Zusammenfassend lässt sich somit festhalten, dass die vorstehend beschriebenen wirtschaftlichen Vorteile der Erhebung von Daten an Nicht-Wahrscheinlichkeitsstichproben einen methodischen Pferdefuß haben. Es stellt sich daher die Frage, ob die methodischen Standards in allen Fällen so hoch angelegt werden müssen, dass die Verwendung von Nicht-Wahrscheinlichkeitsstichproben in jedem Fall ausgeschlossen wird. Dies führt zur normativen Dimension der Repräsentativitätsdebatte.

4.1 Sozialwissenschaftliche Forschung

Es liegt nahe, für den Bereich der sozialwissenschaftlichen Forschung besonders hohe Qualitätsansprüche an die verwendeten Daten zu stellen und die wirtschaftlichen Aspekte als nachrangig oder gar irrelevant zu betrachten. Hauptargument dafür ist das wissenschaftliche Selbstverständnis, welches sehr klar in der Satzung der Kurpfälzischen Akademie der Wissenschaften von 1763 ausgedrückt ist: In omnibus veritas suprema lex esto („In Allem Wahrheit, sei das höchste Gesetz“). Wahrheit ist das primäre Kriterium wissenschaftlicher Betätigung!

Im Gegensatz zu dem quasi-religiös anmutenden Diktum des Kurfürsten Karl-Theodors dürfte in den Sozialwissenschaften heute ein etwas differenzierteres Verhältnis zum Kriterium der Wahrheit vorherrschen. Die meisten interessierenden Konzepte betrachtet man heute als nicht beobachtbar und schätzt sie darum unter Zuhilfenahme möglicherweise sich als falsch erweisender Annahmen (Schnell et al. 2018: 114–16). Auch ist klar, dass einzelne Forschungsergebnisse deshalb nur vorläufige Annäherungen an die Wahrheit sind, und dass sichere Erkenntnis sich erst als Ergebnis eines wissenschaftlichen Prozesses einstellt (Fossati 2002). Insofern gehören eine gewisse Toleranz gegenüber Ungenauigkeiten und die Suche nach Kompromissen bei der Wahrheitsfindung zum Alltag der Wissenschaften.

Tatsächlich lassen sich gerade bei einer idealisierten Sicht auf die Wissenschaft Argumente finden, die die Verwendung des Klaros-Verfahrens zwar nicht empfehlenswert, aber tolerierbar erscheinen lassen. Das aus unserer Sicht wichtigste Argument ist der Sachverstand der Rezipient:innen. Werden Ergebnisse auf Basis von Nicht-Wahrscheinlichkeitsstichproben in einer wissenschaftlichen Zeitschrift veröffentlicht, so stoßen diese auf ein Publikum, das sich deren Beschränkungen bewusst sein sollte. Wissenschaftler:innen verzweifeln auch nicht, wenn unterschiedliche Studien zum selben Thema gegenteilige Schlussfolgerungen nahelegen, sondern werden die Methoden der Studien vergleichen und dann derjenigen Studie mehr Glauben schenken, die validere Methoden verwendet hat. Ceteris paribus würden Dodona-Ergebnisse die von Klaros verdrängen. Wie eingangs erwähnt, setzt dieses Argument jedoch ein idealisiertes Bild der Wissenschaft voraus, dem die wissenschaftliche Praxis oft nicht gerecht wird (Chu & Evans 2021). Eine pessimistischere Sicht auf die Wissenschaft müsste der Verwendung von Daten aus Nicht-Wahrscheinlichkeitsstichproben für die deskriptive Inferenz daher höhere Hürden setzen.

Die Vorläufigkeit wissenschaftlicher Befunde legt ein weiteres Argument für die Verwendbarkeit des Klaros-Verfahrens nahe. Wenn alle Befunde vorläufig sind, könnten Ergebnisse auf der Basis von Nicht-Wahrscheinlichkeitsstichproben, als publikationswürdiger Zwischenschritt auf dem Weg zur Erkenntnis angesehen werden. Das Argument ist vor allem dann stichhaltig, wenn völlig neue Wissensgebiete oder versteckte Populationen erschlossen werden (vgl. ähnlich King et al. 1994: 214). In solchen Fällen muss die Toleranz gegenüber defizitären Stichproben schon deshalb erhöht werden, weil das Dodona-Verfahren nur mit erheblichem Vorwissen über die Grundgesamtheit realisierbar ist (vgl. Heckathorn 1997; Hipp et al. 2019). Wenn man z. B. etwas über Personen mit spezifischen politischen Einstellungen erfahren möchte, kann ein Access-Panel einen ersten Zugang zu diesem Feld bieten. Ist das Wissen über den Forschungsgegenstand bisher gering, lassen sich auch trotz methodischer Defizite beträchtliche Wissensfortschritte erzielen. Mit zunehmender Erforschung des Gegenstands müssen die Qualitätsansprüche dann jedoch angehoben werden.

In den Sozialwissenschaften gibt es drei wichtige Anwendungsbereiche für Umfragedaten: die Beschreibung gesellschaftlicher Phänomene, die Überprüfung soziologischer Theorien und die Abschätzung der Wirkung von Interventionen oder gesellschaftlicher Rahmenbedingungen (ähnlich: Schnell 2019b: 19). Angesichts des Kostenvorteils der Klaros-Institute und der Tatsache, dass (soziologische) Forschung oft mit öffentlichen Geldern finanziert wird, stellt sich die Frage, ob Wahrscheinlichkeitsstichproben für alle Anwendungsbereiche geboten sind. Dies ist nicht unbedingt der Fall. Sofern es um die Schätzung kausaler Effekte geht und es Gründe zu der Annahme gibt, dass sich diese nicht zwischen Einheiten der Grundgesamtheit unterscheiden, ist das Stichprobendesign irrelevant (Kohler 2019a). Survey-Experimente (Sniderman 2018) oder faktorielle Surveys (Auspurg et al. 2009) bedürfen daher nicht unbedingt einer Wahrscheinlichkeitsstichprobe. Bei Interesse am Population Average Treatment Effect setzt dies jedoch homogene Treatmenteffekte voraus.

In den anderen Fällen gehen die Argumente für die Verwendbarkeit des Klaros-Verfahrens von zunächst geringen praktischen Konsequenzen der Forschungsergebnisse aus. Ergebnisse aus defizitären Daten tragen hier zwar zum Forschungsprozess bei, jedoch wird die Vorläufigkeit der Befunde von Expert:innen richtig eingeschätzt. Auf längere Sicht werden sie von valideren Ergebnissen verdrängt. Sofern sie die Scientific Community nicht verlassen, richten sie keinen Schaden an. Die Publikation von Forschungsergebnissen für eine breitere Öffentlichkeit markiert hingegen den Übergang zur Verwendung von Umfragen im politischen Meinungsbildungsprozess.

4.2 Teilhabe am politischen Meinungsbildungsprozess

Forschungsergebnisse tragen zum politischen Meinungsbildungsprozess bei – dieser Tage gut erkennbar an der hohen öffentlichen Aufmerksamkeit für die Befunde der Klimaforschung, der Virologie und Epidemiologie. Dabei kommt der Forschung eine besondere Autorität zu, was sich beispielhaft am Slogan „Unite behind the Science” der Fridays-for-Future-Bewegung ablesen lässt (Fobb et al. 2021). Bei der Diskussion um Entscheidungen über nicht-pharmazeutische Maßnahmen zur Eindämmung der COVID19-Pandemie gehört die Forderung, mehr auf die Wissenschaft zu hören, zum Standardrepertoire politischer Kommentare.^[26] Der Vorwurf, Ergebnisse der Wissenschaft zu ignorieren, ist ein überaus beliebter Angriff unter politischen Gegner:innen. Öffentliche Kritik an der Wissenschaft, an einzelnen Forscher:innen oder konkreten wissenschaftlichen Erkenntnissen mündet regelmäßig in scharfen Kommentaren in den sozialen Medien.

Mit dem Vertrauensvorschuss der Öffentlichkeit sollte die Wissenschaft verantwortungsvoll umgehen. Wenn Wissenschaftler:innen vorläufige Ergebnisse von Studien mit defizitären Daten in ihrer Fachöffentlichkeit zur Diskussion stellen, ist dies etwas anderes, als wenn sie dieselben Befunde in die breite Öffentlichkeit tragen bzw. ihrer Veröffentlichung durch Massenmedien zustimmen. Die wissenschaftliche Qualitätskontrolle bleibt wirkungslos, wenn Forschungsergebnisse bereits vor dem Peer-Review in die Öffentlichkeit getragen werden.

Zum verantwortungsvollen Veröffentlichen von Forschungsergebnissen in den Massenmedien gehört auch die Darstellung der Unsicherheit der Ergebnisse. Wenn der Zustimmungswert für eine Partei um zwei Punkte steigt, kann dies eine zufällige Schwankung oder ein echter Zuwachs sein. Ersteres wird in der öffentlichen Berichterstattung jedoch häufig ignoriert.^[27] In der Wissenschaft wird bereits seit längerem diskutiert, auf welche Weise Unsicherheit kommuniziert werden sollte (Selvin 1957; Ziliak & McCloskey 2008; Gelman & Loken 2014; American Statistical Association 2016; Muñoz & Young 2018). Wie genau die Kommunikation von Unsicherheit in der Öffentlichkeit ausgestaltet werden kann, gilt es noch genauer zu erörtern. In vielerlei Hinsicht vorbildlich sind die Faktenboxen des Harding-Zentrums für Risikokompetenz.^[28] Darüber hinaus sollten mögliche Einschränkungen deutlicher dargelegt werden. Da die Modelle bei Nicht-Wahrscheinlichkeitsstichproben komplizierter sind, dürfte dies Klaros schwerer fallen als Dodona.

Ein wichtiger Schritt zur seriösen Berichterstattung wäre die Einbettung eines einzelnen Ergebnisses in den Kontext des vorhandenen Wissens, so dass Ausreißer als solche erkannt werden. Dies erfordert jedoch auch Informationen über die methodischen Unterschiede und Einschränkungen und den weitgehenden Verzicht auf Berichte über spektakuläre Einzelergebnisse. Andernfalls besteht die Gefahr, dass qualitativ hochwertige Erhebungen in der Vielzahl an Studien untergehen (Chu & Evans 2021).

Was folgt hieraus für die Ergebnisse von Meinungsumfragen auf Basis des Klaros-Verfahrens? Wir behaupten, dass die im letzten Abschnitt genannten Argumente für die Toleranz gegenüber Nicht-Wahrscheinlichkeitsstichproben im Kontext von Beiträgen zum Meinungsbildungsprozess nicht zutreffen: Es geht bei solchen Beiträgen nahezu nie um kausale Effekte, sondern praktisch immer um die Beschreibung eines Parameters für eine relevante Bevölkerungsgruppe (z. B. Wahlberechtigte, Wohnbevölkerung, usw.). Die Rezipient:innen sind keine Fachleute und sich der Beschränkungen der Ergebnisse daher nicht bewusst. Die Ergebnisse von Studien mit besseren Methoden verdrängen auch nicht die schlechteren, vielmehr verdrängen die marktgängigeren Methoden die weniger marktgängigen. Zumindest im Bereich der Meinungsforschung, welche im Mittelpunkt der Repräsentativitätsdebatte steht, betritt Klaros auch kein inhaltliches Neuland. Hier handelt es sich zumeist um gut erforschte Themenfelder, für die auch die Ziehung von Wahrscheinlichkeitsstichproben möglich wäre. Dies ist offensichtlich im Fall von Wahlumfragen.

Man könnte einwenden, dass die Befunde von Bevölkerungsumfragen zu politischen und gesellschaftlichen Themen, ähnlich wie die Ergebnisse der Sozialforschung, keine praktischen Konsequenzen haben und letztlich dem Infotainment zuzuordnen seien (Schnell 2019a). Zugegeben: Im Vergleich zu Befunden der Klimaforschung unter den Bedingungen der Klimakrise oder der Epidemiologie während einer Pandemie ist die praktische Relevanz der Meinungsforschung nicht unmittelbar erkennbar. Man sollte sie aber auch nicht unterschätzen. Die größeren Medienhäuser investieren seit Jahren erhebliche Beträge für regelmäßige Bevölkerungsumfragen, über deren Ergebnisse sie dann berichten. Es lässt sich daher vermuten, dass die Massenmedien diese Art der Berichterstattung für relevant erachten, oder dass sie zumindest auf breites Interesse stößt. Aus demokratietheoretischer Sicht haben Meinungsumfragen eine Rückkopplungsfunktion, indem sie der Politik auch zwischen den Wahlen Informationen über die politischen Überzeugungen der Wähler:innen und deren Haltung zu Streitfragen liefern (Iranbomy 2008). Meinungsumfragen beschreiben nicht nur das Meinungsklima, sondern beeinflussen es möglicherweise auch (vgl. statt weiterer Simon 1954; Marsh 1985; Faas 2014; Schmitt-Beck 2015). Insbesondere im Vorfeld politischer Wahlen dürften Wahlumfragen die wahrgenommene Knappheit des erwarteten Wahlergebnisses beeinflussen, was wiederum einen starken Einfluss auf die Wahlbeteiligung hat (Powell 1986; Jackman 1987; Lewis-Beck & Lockerbie 1989; Freitag 1996). Nicht zuletzt wegen solcher Überlegungen ist die Publikation von Ergebnissen von sog. Exit Polls nach § 32(2) Bundeswahlgesetz vor Schließung der Wahllokale sogar ausdrücklich verboten.

Sollten Umfrageergebnisse tatsächlich Meinungsklima, Wahlbeteiligung, -entscheidungen und -ergebnisse und damit am Ende auch politische Entscheidungen beeinflussen, wäre es wünschenswert, dass die Ergebnisse der Meinungsforschung den zur Zeit der Datenerhebung bestehenden wahren Wert unverzerrt abbilden. Sollten einzelne Medien aus wirtschaftlichen Erwägungen und wider besseren Wissens auf methodische Standards verzichten und Ergebnisse von Meinungsumfragen mit unbekannten Eigenschaften in den Mittelpunkt ihrer Berichterstattung stellen, würde dies den Übergang von seriöser zu unseriöser Berichterstattung markieren. Sozialwissenschaftler:innen täten deshalb gut daran, sich in die Diskussion einzubringen, und sei es nur durch die Verbreitung des Wissens über die Eigenschaften von Methoden der Umfrageforschung.^[29]

In Bezug auf Wahlumfragen sei noch auf eine weitere praktische Konsequenz hingewiesen: Am Wahltag wird sich die Bevölkerung der Unterschiede zwischen den Ergebnissen der Wahlumfragen und der tatsächlichen Wahlergebnisse bewusst. Da falsche Prognosen zu Wissenschaftsskepsis führen können, kann dies durchaus problematisch sein (Auspurg 2020). In den vergangenen Jahren lagen die Wahlprognosen bei einer ganzen Reihe wichtiger Wahlen augenscheinlich falsch (z. B. Brexit, Trump vs. Clinton). Dies hat zu einem beträchtlichen Imageschaden der Meinungsforschung geführt,^[30] der sich auch negativ auf die Teilnahmebereitschaft für sozialwissenschaftliche Umfragen auswirken könnte. Abschnitt 3 unseres Beitrags und die eingangs zitierten empirischen Analysen sprechen dafür, dass die Ergebnisse der Klaros-Institute stärker zu dem Imageschaden beigetragen haben als die Dodona-Institute. In diesem Fall müssten Sozialwissenschaftler:innen schon allein deshalb Stellung beziehen, um noch größeren Schaden von ihrer nach wie vor wichtigsten Datenerhebungsmethode abzuwenden.

Die vorstehende Argumentation zur Verwendbarkeit von Nicht-Wahrscheinlichkeitsstichproben stellte auf die Konsequenzen der Ergebnisse für den politischen Meinungsbildungsprozess ab. Je stärker diese Konsequenzen sind, desto höher sollten die Qualitätsansprüche sein, die an Umfragen gestellt werden. Im Fall der Meinungsumfragen stellt sich diese Wirkung aber nur indirekt über die Medienberichterstattung ein. Dies ändert sich, wenn man Umfragen betrachtet, die unmittelbar der Vorbereitung politischer Entscheidungen dienen.

4.3 Vorbereitung politischer Entscheidungen

Eine große Anzahl von Bevölkerungsumfragen wird von Regierungsbehörden in Auftrag gegeben oder direkt finanziert. Das Eurobarometer ist eine seit 1974 regelmäßig stattfindende Umfrage der Europäischen Kommission. Die Europäische Union unterhält die Europäische Stiftung zur Verbesserung der Lebens- und Arbeitsbedingungen (Eurofound), welche im Auftrag der EU regelmäßig die Europäische Unternehmenserhebung (ECS), die Europäische Erhebung zur Lebensqualität (EQLS) und die Europäische Erhebung über die Arbeitsbedingungen (EWCS) durchführt.^[31] Die Bundesregierung lässt durch ihr Presse- und Informationsamt mehrmals pro Jahr Meinungen, Einstellungen und Stimmungen der Bevölkerung erheben.^[32] Auch die Bundesministerien verantworten eigene Umfragen: Das Umweltministerium führt in zweijährigem Abstand die Umfrage „Naturbewusstsein“ durch, mit der Einstellungen der deutschen Bevölkerung zu Natur und biologischer Vielfalt erhoben werden. Das Verteidigungsministerium lässt seit 1996 jährlich das „Sicherheits- und verteidigungspolitische Meinungsbild in Deutschland“ erheben. Sucht man im Datenarchiv der GESIS^[33] nach dem Stichwort „Bundesministerium“ werden 304 Treffer im Bereich Forschungsdaten ausgewiesen. Bei der überwiegenden Mehrzahl handelt es sich um Umfragen, die direkt vom Ministerium oder einer nachgeordneten Behörde in Auftrag gegeben wurden.

Über die genaue Verwendung der Ergebnisse der von Regierungsbehörden in Auftrag gegebenen Umfragen können wir nur spekulieren. Schnell (2019b: 7) vermutet, dass es den Initiierenden „geboten erscheint, ‚Forschung‘ als Legitimation verwenden zu können“. Vermutlich dienen die Umfragen neben der Ausgestaltung von Informationskampagnen auch zur Entscheidung über Priorisierungen von Gesetzesvorhaben oder sie werden als Hintergrundmaterial für die Ausgestaltung spezifischer Gesetzesvorhaben genutzt.^[34] In solchen Fällen hätten die Ergebnisse der Umfragen unmittelbare Auswirkungen für die Bevölkerung. Entsprechend der hier vertretenen Ansicht sollten in solchen Fällen höchste Qualitätsansprüche an die Umfragen gestellt werden.

Soweit dies aus den über die GESIS zur Verfügung gestellten Informationen ersichtlich ist, wurden bei den durch die Bundesministerien in Auftrag gegebenen Umfragen stets Wahrscheinlichkeitsstichproben verwendet. Es gibt aber mindestens eine Ausnahme, die gewissermaßen den Idealtypus des hier kritisierten Vorgehens markiert: 2019 musste das Landwirtschaftsministerium über die Methode zur Nährwertkennzeichnung auf Lebensmittelverpackungen entscheiden. Im Interesse einer verstärkten Bürger:innenbeteiligung fällte das BMEL die Entscheidung mit Hilfe einer „repräsentative(n)“ Bevölkerungsumfrage, mit der ein „unabhängiges Forschungsinstitut“ beauftragt wurde (Bundesministerium für Ernährung und Landwirtschaft 2021). Die dokumentierten Details der Stichprobenziehung der Umfrage sind oberflächlich (Info GmbH 2019). Auf Nachfrage handelte es sich um eine Quotenstichprobe aus einem ca. 300.000 Personen umfassenden Access-Panel, welches über „Affiliate-Netzwerke“ und „Displaykampagnen“ von „zielgruppenspezifischen“ Onlineportalen zusammengestellt wurde. Die Berechnung des „statistischen Fehlers“ erfolgte mit einem von Prigge (1937) vorgeschlagenem Verfahren.^[35]

Trotz der unmittelbaren praktischen Konsequenz werden hier methodische Bedenken über Bord geworfen und ein für die gegebene Fragestellung ungeeignetes Verfahren zur Auswahl der Befragungspersonen angewandt. Es ist somit Beispiel für ein Vorgehen, das keinesfalls auch auf weniger harmlose Gegenstände angewandt werden sollte.