Was ist eigentlich ein repräsentativer Querschnitt von 1000 Wahlberechtigten?
Die Wortwahl suggeriert, dies sei eine Art Miniaturbild der Bevölkerung,
welches bezüglich wichtiger Merkmale wie Geschlecht, Alter, Familienstand,
Beruf, Einkommen, Wohngegend (Stadt/Land) die tatsächlichen Verhältnisse
widerspiegelt. Darum ergäbe eine Befragung dieser Gruppe ein ähnliches
Resultat wie die Befragung der gesamten Bevölkerung, und wenn man einen
anderen repräsentativen Querschnitt befragte, so würde man im wesentlichen
dieselben Resultate bekommen.
Diese Vorstellung ist falsch. Die Desinformation der Öffentlichkeit ist einerseits darauf zurückzuführen, daß die präzise Definition begrifflich nicht einfach ist, andererseits liegt es nicht im Geschäftsinteresse der Prognose-Industrie und ihrer Kunden in Medien und Politik, Klarheit über diesen zentralen Begriff zu schaffen. Eine Klärung hätte nämlich zur Folge, daß viele Prognosen und die darauf aufgebauten - so populären - Geschichten in sich zusammenbrechen würden.
Tatsächlich ist das einzig repräsentative eines solchen Querschnitts die Absicht, daß jeder Wahlberechtigte die gleiche Chance hat, befragt zu werden. Die Chancengleichheit, d.h. die Zufallsauswahl, gilt als Qualitätsmerkmal einer Umfrage, je zufälliger, desto besser.
Der Leser wird sich fragen, weshalb die Meinungsforscher zu einem so dubiosen und unsinnig erscheinenden Verfahren wie der Zufallsauswahl greifen, um einen repräsentativen Querschnitt zu erstellen. Weshalb wird nicht versucht, ein Miniaturbild der Population zu erstellen? (1) Die Antwort ist für einen Laien nicht einfach zu verstehen: Erstens ist dies mathematisch unmöglich und zweitens würde es nichts nutzen.
Der Glaube und die Vorstellung vom Miniaturbild oder vom verkleinerten Modell dienen ausschließlich den Werbezwecken der Prognoseindustrie: Durch diese Suggestivwörter wird bei Abnehmern und Konsumenten von "Repräsentativumfragen" der Eindruck erweckt, die gelieferten Daten seien glaubwürdig und zuverlässig.
Der Versuch, aus 45 Millionen eine Gruppe von 1000 Personen auszuwählen, derart, daß diese bezüglich wichtiger Merkmale wie Alter, Geschlecht, Konfession, Familienstand, Schulbildung, Beruf, Einkommen (2), Wohnortgröße, (Dorf,...,Großstadt), Bundesland usw. in etwa so zusammengesetzt ist wie die ganze Population, erweist sich, wie nun gezeigt wird, als undurchführbar. Man kann zwar die prozentualen Klassenanteile bezüglich der einzelnen Merkmale aus der amtlichen Statistik entnehmen, aber damit läßt sich der Begriff "repräsentativ" nicht charakterisieren. Wenn beispielsweise eine Gruppe von 1000 Personen zu 50% aus Männern und zu 50% aus Frauen besteht und gleichzeitig aus 50% Katholiken und 50% Protestanten, dann kann sie trotzdem völlig unrepräsentativ betreffend Geschlecht und Konfession sein. Sie kann nämlich aus 500 katholischen Männern und 500 protestantischen Frauen bestehen. Um dies auszuschließen, muß man auch die Kombinationen männlich/katholisch, weiblich/katholisch, männlich/protestantisch und weiblich/protestantisch berücksichtigen und deren prozentuale Anteile ermitteln. Nur wenn auch diese Anteile die Verhältnisse der ganzen Population widerspiegeln, kann man von der Tausender-Gruppe sagen, sie sei betreffend Konfession und Geschlecht "repräsentativ". Dasselbe Problem tritt für die anderen Merkmale auf. Die Anzahl der oben aufgeführten Merkmale und die zugehörigen Klasseneinteilungen (bezüglich Geschlecht, Konfession, Schulbildung, Alter, Beruf, Einkommen, Wohnortgröße) ist zwar relativ klein, aber die Anzahl der möglichen Kombinationen
- z.B. selbständig erwerbende Gärtner mit mittlerer Reife, in einer Großstadt wohnend, katholisch, verheiratet mit Kindern und einem Einkommen von DM 35000 bis 45000 -
geht in die Zehntausende und übertrifft den Umfang des geplanten "repräsentativen Querschnittes" um ein mehrfaches. Unsere katholischen Großstadt-Gärtner von mittlerer Reife ... haben somit keine Aussicht, in der nächsten Zeit in den "repräsentativen Querschnitt" zu kommen, denn dieser ist für Jahre ausgebucht ....
Dazu kommt, daß die Angaben über die prozentualen Anteile all dieser Kombinationen nicht verfügbar sind. Aber selbst wenn diese Probleme nicht existierten, wäre mit diesem Vorgehen nicht viel gewonnen. Denn offensichtlich wird das Wahlverhalten eines Bürgers nicht durch Merkmale wie Alter, Geschlecht, Beruf, Einkommen usw. bestimmt. Unsere katholischen Großstadt-Gärtner mit einem Einkommen von ... können sowohl für CDU/CSU, die FDP, die Grünen als auch die SPD stimmen. Es gibt keine Kausalität, sondern lediglich tendenzielle Aussagen - sogenannte Korrelationen - und die daraus resultierenden Unsicherheiten schließen geradezu aus, daß aus einem solchen Konstrukt je ein verläßlicher "repräsentativer Querschnitt" betreffend Parteipräferenz und Wahlverhalten werden kann.
Auch Frau Noelle-Neumann bemerkt in ihrem Buch "Umfragen in der Massengesellschaft"
auf Seite 134, daß ein verkleinertes Modell in keiner Weise repräsentativ
zu sein braucht:
"Die Repräsentanz der Quoten-Stichprobe wird nicht gesichert, indem bestimmte "quotierte" Merkmale - Geschlecht, Alter usw. genauso verteilt sind wie in der Grundgesamtheit (=Population). Man kann sich zahlreiche Stichproben (=repräsentative Querschnitte) denken - beispielsweise Patienten von Krankenhäusern oder Reisende der Bundesbahn -, die in ihrer Zusammensetzung nach Geschlecht, Alter, Berufsgruppe, regionaler Verteilung den Proportionen der erwachsenen Bevölkerung der BRD genau entsprechen, ohne deshalb in irgendeiner Weise eine repräsentative Stichprobe der erwachsenen Bevölkerung zu bilden."
So bleibt der Demoskopie nur das übrig, was ihr die Statistik als Ersatz für die Fata Morgana "repräsentativer Querschnitt" alias "verkleinertes Modell" anbietet, nämlich die Auswahl per Lotterie. Dieses Verfahren liefert viel bessere Resultate, als der Laie sich vorstellen kann, aber bei weitem nicht so gute, wie die Demoskopie seit Jahrzehnten behauptet.
Ein per Lotterie erstellter "repräsentativer Querschnitt" vom Umfang 1000 kann nicht für dutzende oder gar hunderte von Merkmalen in gleichem Maße "repräsentativ" sein wie für ein einziges "Ja/Nein"-Merkmal. Auch hier gilt das Sprichwort, daß jedes Ding seinen Preis hat : Je umfangreicher und detaillierter die Information ist, die mit einer "Repräsentativumfrage" ermittelt werden soll, desto mehr weicht der "repräsentative Querschnitt" von einem Miniaturbild ab.(vgl. Abschn. VI-IX und die Box S. III/12 bis III/14).
Man kann eben nicht mit Sicherheit von 1000 auf 45 Millionen schließen, dies ist zwangsläufig mit einem Fehler und einem Risiko verbunden. Die Statistik macht nun Aussagen darüber, wie groß die Chance ist, daß die durch die Auslosung verursachten Abweichungen bei einem "Ja/Nein"-Merkmal innerhalb eines vom Demoskopen frei wählbaren Spielraums liegen (3) (Dieser wird - allerdings unzutreffend - auch als statistischer Fehlerbereich oder Vertrauensintervall bezeichnet). Wählt der Demoskop den Spielraum für die durch Auslosung verursachten Abweichungen zu klein (z.B. ±0,5%), dann wird die Repräsentativumfrage die tatsächlichen Verhältnisse mit großer Chance falsch widerspiegeln. Wählt der Demoskop umgekehrt einen großen Spielraum (z.B. ±5%), dann wird zwar die Chance für die Richtigkeit der Repräsentativumfrage groß - und erreicht den in der Statistik üblichen Standard - aber dafür besteht die Gefahr, daß die (an sich richtigen) Aussagen inhaltlich nichtssagend sind. In der Wahlforschung hätte ein Spielraum von ±5% zur Folge, daß eine Prognose in der Form "die CDU/CSU liegt zwischen 40% und 50%" bekannt gegeben werden müßte. Na und? Wer hat das nicht schon vorher gewußt?
Für die Beurteilung der Aussagekraft von Umfrageergebnissen ist die Kenntnis von Fehlerspielraum und Chance unerläßlich.
Aus optischen Gründen werden bei Meinungsumfragen und Wahlprognosen oft genaue Prozentzahlen (manchmal mit Nachkommastelle) angegeben, d.h. es werden die in der "Repräsentativumfrage" ermittelten Prozentzahlen auf die ganze Population übertragen. Diese Prozentzahlen treffen - wie in diesem Aufsatz gezeigt wird - mit an Sicherheit grenzender Wahrscheinlichkeit nicht zu, sie sind pseudoexakt. Im demoskopischen Alltag wird die Problematik Spielraum - Chance dadurch gelöst, daß die Chance der Meinungsumfragen, richtig zu sein, überhaupt nicht bzw. inkorrekt angegeben wird.
Neben den durch die Auslosung (des repräsentativen Querschnittes) verursachten Abweichungen treten - wie vorhin erwähnt - bei der Befragung zusätzliche Fehler auf, die als Interviewfehler bezeichnet werden. Die im Interview gegebene Antwort stimmt nicht mit dem überein, was der Befragte dann auf dem Stimmzettel ankreuzt und in die Wahlurne legt. Zum Beispiel, weil er seine Meinung geändert hat, er dem Interviewer nicht die richtige Antwort geben wollte, er sich noch nicht entschieden hat, er nicht zur Urne gehen wollte und dann doch ging oder umgekehrt. Außerdem gibt fast ein Drittel der Ausgelosten keine Antwort oder kann vom Interviewer nicht erreicht werden. Ferner spielt die weitverbreitete Unkenntnis über die unterschiedliche Bedeutung von Erst- und Zweitstimme eine Rolle. Es kommt auch vor - allerdings nicht sehr häufig -, daß der Interviewer den Fragebogen selbst ausfüllt, weil die Bezahlung nicht gerade fürstlich ist und es so viel schneller geht. Der Interviewfehler kann weit größer sein als die durch die Auslosung verursachten Fehler und 5% übersteigen - wie aus den eklatanten Fehlprognosen hervorgeht - und er ist weder kontrollier- noch meßbar. Das potentielle Ausmaß des Interviewfehlers geht auch aus der folgenden Äußerung von Frau Noelle-Neumann im "Rheinischen Merkur (Extra)" Nr.37, 1987 hervor:
"Zwischen dem, was wir an Rohergebnissen (=tatsächliche Umfrageergebnisse) erhalten und dem, was wir veröffentlichen, liegt manchmal eine Differenz von zehn bis elf Prozent."
Entscheidend für die Qualität des "repräsentativen Querschnittes" ist die Chancengleichheit des Auswahlverfahrens. Aus Kostengründen werden hier erhebliche Abstriche gemacht, was unkontrollierbare Auswirkungen zur Folge hat. Die praktische Durchführung der "Zufallsauswahl" variiert erheblich. Im folgenden wird eine kurze Beschreibung der beiden wichtigsten Verfahren und der damit verbundenen Probleme gegeben. Eine vollständige Darstellung würde den Rahmen dieses Aufsatzes sprengen. Die Diskussion, inwieweit man von Zufallsauswahl sprechen kann, müßte allein vom Umfang her der Gegenstand einer eigenen Arbeit werden.
Das ADM-Verfahren wurde vom Arbeitskreis Deutscher Marktforschungs-Institute
entwickelt. Es arbeitet in drei Stufen:
Von den geplanten rund 1600 Interviews kommen gut ein Drittel nicht zustande, weil entweder die ausgelosten Wahlberechtigten nicht angetroffen werden oder sie die Befragung ablehnen.
Mit diesem Verfahren wird angestrebt, daß jeder Wahlberechtigte mit gleicher Wahrscheinlichkeit in den repräsentativen Querschnitt kommt. Im Idealfall sollte die Auswahl so zufällig sein, als würde man für jeden Wahlberechtigten ein Los in eine Trommel legen und daraus 1000 Lose ziehen. Doch durch die Dreistufigkeit des ADM-Verfahrens und seine praktische Durchführung ist die Realität von diesem Ideal weit entfernt.
Einerseits wird aus Kostengründen die erste Stufe des Verfahrens - die Auswahl von 210 Stimmbezirken - nicht bei jeder Erstellung eines repräsentativen Querschnittes wiederholt, sondern ein Meinungsforschungsinstitut führt seine Umfragen stets in den gleichen (wenigen) ADM-Netzen durch, für die es die Unterlagen gekauft hat. (4) Mit anderen Worten, die Grundgesamtheit der Wahlberechtigten wird durch diejenige der erworbenen ADM-Netze ersetzt. Der "Zufallsfehler" auf der ersten Stufe wird damit zum systematischen Fehler auf der Institutsebene. Man kann für die ADM-Gemeinde nur hoffen, daß die Wahlberechtigten jedes ADM-Netzes bei jeder Bundestagswahl auf die Wunschvorstellungen der ADM-Produzenten Rücksicht nehmen werden. Als Meinungsforschungsinstitut xy und (un)glücklicher Besitzer von einigen wenigen ADM-Netzen würde ich allerdings nach jeder Bundestagswahl meine Schäfchen zählen und feststellen, in welchem Maß jedes meiner Netze das amtliche Wahlergebnis reflektiert, was durch Addition der Wahlresultate der 210 Stimmbezirke festgestellt werden kann. Denn offensichtlich können meine Wahlprognosen nur das widerspiegeln, was die Wahlberechtigten meines permanent ausgesaugten ADM-Netzes an politischer Pluralität offenbaren.
Andererseits werden durch das Auswahlverfahren stets Gruppen von sieben bis zehn Wahlberechtigten ausgesucht, die im gleichen Stimmbezirk und folglich nahe beieinander wohnen und damit nicht selten eine Präferenz für die gleiche Partei aufweisen. (5) Zum Beispiel gibt es Stimmbezirke mit hohen CDU/CSU-Anteilen oder hohen SPD-Anteilen. Das führt zu unkontrollierbaren statistischen Abhängigkeiten mit der Folge, daß der repräsentative Querschnitt nicht die Information von 1000 unabhängigen Wahlberechtigten enthält, sondern von erheblich weniger.
Das ADM-Verfahren stellt einen Kompromiß zwischen Kostenaufwand und Informationsverlust dar. Die Nichtwiederholung der Auswahl auf der ersten Stufe bedeutet eine gigantische Kosteneinsparung, das Verfahren wäre ohne diese Vereinfachung nicht praktikabel. Dafür geht man das Risiko der Verewigung eines systematischen Fehlers ein. Die Reisekosten der Interviewer werden durch die Beschränkung auf einen Stimmbezirk reduziert, aber möglicherweise ebenso die gewonnenen Informationen. Was nutzen 7-10 Interviews in einem Stimmbezirk, in welchem eine Partei dominiert? De facto bedeutet dies eine Reduktion des Querschnittumfangs - und die Kostenersparnis erweist sich als Bumerang. (6)
In der Praxis wird hauptsächlich das kostengünstigere Quotenverfahren verwendet. Dieses ist viel älter als das ADM-Verfahren. Das ursprüngliche Konzept des Quotenverfahrens bestand darin, im "repräsentativen Querschnitt" ein Miniaturbild der Population bezüglich einiger ausgewählter (=quotierter) Merkmale zu realisieren. Das Vorgehen war rein empirisch: Funktionierte etwas nicht - d.h. erhielt man schlechte Resultate -, dann wurde das Verfahren modifiziert, bis es wieder "brauchbare" Resultate lieferte. Für eine theoretische Begründung schien wenig Bedarf bzw. die gegebenen Erklärungen betreffend Miniaturbild erwiesen sich als unhaltbar. Aus diesem Grund wird heute auch von den Verfechtern des Quotenverfahrens der Schwerpunkt auf die "Zufallsauswahl" gelegt:
"Gleiche Chance für jeden"
herzustellen, sei der eigentliche Sinn und Zweck des Quotenverfahrens, schreibt Frau Noelle-Neumann auf Seite 135 ihres Buches "Umfragen in der Massengesellschaft". Diese Bedingung herzustellen sei nicht einfach. Sie versucht, dies mit Quotenanweisungen betreffend der folgenden Merkmale zu erreichen: Wohnortgröße (4 Klassen), Geschlecht, Alter (5 Klassen), Berufstätigkeit (8 Klassen) und nicht Berufstätige (7 Klassen)(7). Dazu führt sie auf den Seiten 132 bis 135 aus:
"Da der modellgerechte Miniaturschnitt die gleichen Proportionen besitzen soll, arbeitet man für jeden Interviewer, der an der Umfrage beteiligt ist, eine "Quote" aus: wieviel Männer und Frauen er befragen soll, wieviel Angehörige der verschiedenen Altersgruppen, wieviel Berufstätige, wieviel Personen aus den verschiedenen Berufsgruppen und wieviel nichtberufstätige Angehörige in den verschiedenen Berufskreisen. Werden diese ausgearbeiteten Quoten zusammengesetzt, so ergibt sich in allen diesen statistischen Proportionen das Bild der Grundgesamtheit. Die richtige Verteilung auf Ortsgröße, Länder oder Regierungsbezirke stellt sich in der Regel aus der Zahl der Aufträge an die Interviewer in den verschiedenen Gebieten und in den verschiedenen Ortsgrößen her."
...
"Die wirkliche Funktion der Quoten ist: sie sollen den Interviewer zu einer Zufallsauswahl veranlassen, bei der jedes Mitglied der Grundgesamtheit praktisch die gleiche Chance hat, in die Stichprobe zu gelangen; ohne das Wirken eines solchen Zufallsmechanismus ist die Bildung einer repräsentativen Stichprobe nicht möglich. Erst in zweiter Linie wirken die Quoten außerdem wie eine "Schichtung" bei Random-Stichproben, indem sie in bestimmten Merkmalen die Übereinstimmung zwischen Stichprobe und Universum sichern."
Dem Quotenverfahren wird häufig vorgeworfen, daß es keine Zufallsauswahl - d.h. gleiche Chance für jeden - garantiere (8). Dies ist zweifellos richtig - es ist leicht zu zeigen, daß das Quotenverfahren die Chancengleichheit nicht gewährleistet - aber das ist für das Funktionieren des Verfahrens nicht notwendig (9). Auf dem Papier erscheint das ADM-Verfahren als halbwegs praktikable Notlösung für den idealen Würfel, während das Quotenverfahren den Verdacht erweckt, aus Kostengründen würde eine Kokosnuß als Würfel verkleidet. Entscheidend ist allerdings weder der erste Eindruck noch die Papierform, sondern allein die gemachten Erfahrungen. Dabei könnte sich herausstellen, daß die Kokosnuß nicht schlechter ist als ein "idealer" Würfel aus dem ADM-Kaufhaus. Die Frage nach dem Unterschied bzw. der statistischen Qualität von ADM- und Quotenverfahren kann letztlich nur durch lange Versuchsreihen unter gleichbleibenden Bedingungen beantwortet werden. Doch wer soll das bezahlen, wer hat soviel Geld?
Sehen wir von all diesen Problemen ab und unterstellen ideale repräsentative Querschnitte, d.h. es wird die (unrealistische) Annahme gemacht, daß erstens 1000 Wahlberechtigte nach einem perfekten Zufallsverfahren ausgelost werden und zweitens bei der Befragung keine Fehler entstehen (als würde der Interviewer von den Befragten die ausgefüllten und gültigen Stimmzettel erhalten, sofern sie am Wahltag einen solchen in die Urne legen). Die zentrale Frage lautet dann: Wie verläßlich sind Aussagen über eine 45-Millionen-Gruppe, die auf diese Weise gewonnen werden, wie wird sich das Resultat vom amtlichen Wahlergebnis unterscheiden? Mit welchen Fehlern ist zu rechnen?
Das ist eine rein mathematische Frage. Die aus der Befragung resultierenden Abweichungen - d.h. die Interviewfehler - kommen bei einer Wahlprognose dann additiv hinzu.
Gehen wir, um die Problemebenen klar zu trennen, von einem fiktiven, aber objektiven Sachverhalt aus: Wählen wir von rund 40 Millionen Wahlberechtigten, die am Wahltag eine gültige Stimme abgegeben haben, per Lotterie 1000 aus und ermitteln die Parteistärken in diesem "repräsentativen Querschnitt". Wir können uns diesen Sachverhalt auch so vorstellen, daß die abgegebenen rund 40 Millionen gültigen Stimmzettel in einer riesigen Trommel gut vermischt werden und dann daraus 1000 mit einem perfekten Zufallsverfahren gezogen werden.
Man muß nun zunächst einmal sämtliche Möglichkeiten überdenken, wie man aus 40 Millionen Stimmzetteln 1000 auswählen kann. Die Zahl der möglichen Querschnitte ist zwar unvorstellbar groß, aber relativ einfach zu berechnen. Es ist eine Zahl, die mit der Ziffer 2 beginnt und 5034 Stellen hat.
Jeder dieser Querschnitte ist statistisch gleichberechtigt. Unter ihnen findet man exotische wie 1000 Stimmen für die FDP und 0 Stimmen für alle anderen Parteien. Doch solch extreme repräsentative Querschnitte kommen nur selten vor. Die meisten liegen näher am "wahren" Stimmergebnis. Wie nahe ist das aber? Oder präziser: Welcher Bruchteil kommt der wahren Stimmverteilung wie nahe?
weiter zur Box 2: "Was ist ein Miniaturbild? Was ist Zufallsauswahl?"
weiter zur Box 3: "Simulation der Auslosung des repräsentativen Querschnittes"
weiter zur Box 4: "Kommerzielle Grundlagen vom Meinungsumfragen"