Am 8. September 2005 wurden in der ARD-Tagesschau und ARD-Tagesthemen der neueste (und letzte) DeutschlandTrend vor der Wahl aufgeführt. Aus Kosten- und Zeitgründen kann nur ein winziger Bruchteil der über 60 Millionen Wahlberechtigten befragt werden. Infratest-dimap hat diesmal ganze 1000 Wahlberechtigte vom 5. bis 7. September befragt, deren Telefonnummern ausgelost wurden. In der Tagesschau jammerte WDR-Chefredaktor Jörg Schönenborn "10 Tage vor der Wahl wissen viele immer noch nicht, wem sie ihre Stimme geben sollen. Mit 20% ist der Anteil der Unentschiedenen recht hoch und von denen, die sich entschieden haben, sind viele unsicher." Da außerdem sich regelmäßig etwa 5-10% der Befragten als Nichtwähler outen, bedeutet dies, dass höchstens zwei Drittel der 1000 Befragten eine definitive Angabe über die Partei machten. Das Umfrageergebnis lautete

Offensichtlich ist es nicht repräsentativ für alle Wahlberechtigten, denn es hängt davon ab, welche 1000 (genauer 670) Wahlberechtigte ausgelost wurden und bei der Sonntagsfrage eine definitive Parteiangabe machten. Verschiedene Auslosungen führen zu verschiedenen Ergebnissen. Für jede Partei gibt es deshalb nicht eine Prozentzahl, sondern ein ganze Palette von möglichen Prozentzahlen. Welche Prozentzahl die richtige ist, lässt sich nicht feststellen. Für die Beurteilung des Informationswertes einer Umfrage ist es daher unerlässlich, diese Bandbreite für jede Partei zu kennen. Die Bandbreiten lassen sich mit Hilfe einer Computersimulation ermitteln, in welcher eine große Anzahl von Auslosungen durchführt wird. Die folgende live Computersimulation von 1000 Umfragen demonstriert eindrücklich, dass die durch Auslosung verursachten Fehler beträchtlich sind. Die Darstellung von Umfrageergebnissen mit ganzen Prozentzahlen ist eine systematische und bewusste Irreführung der Zuschauer der ARD, die Angabe von Trends ist eine Unvefrorenheit sondergleichen. Es kommt nämlich praktisch nicht vor, dass die Fehler für alle Parteien unter 1% liegen, wie dies Jörg Schönenborn im DeutschlandTrend der ARD durch die Angabe ganzer Prozentzahlen laufend suggeriert. Am häufigsten sind Fehler zwischen ±2% und ±3% für eine große Partei bzw. zwischen ±1% und ±1,5% für eine kleine Partei. Die Wahrscheinlichkeit hierfür beträgt rund 35%! Mit einer Wahrscheinlichkeit von gut 20% treten Fehler zwischen ±1% und ±2% für eine große Partei auf bzw. zwischen ±0,5% und ±1% für eine kleine. Und mit einer Wahrscheinlichkeit von rund 25% (!) verursacht die Auslosung sogar Fehler zwischen ±3% und ±4% für eine große Partei bzw. zwischen ±1,5% und ±2% für eine kleine! Simulationen mit einer feineren Fehler-Abstufungen zeigen: Der auslosungsbedingte Spielraum für große Parteien beträgt ±5,0% bzw. ±2,5% für kleine Parteien. Das Umfrageergebnis lautet dann nicht Union 41%, SPD 34%, Grüne 7%, FDP 6,5%, neue alte Linke 8,5% - wie in den ARD-Tagesthemen präsentiert - sondern

CDU/CSU SPD Bündnis 90/Grüne FDP neue alte Linke
36,0 - 46,0 29,0 - 39,0 4,5 - 9,5 4,0 -9,0 6,0 - 11,0

Berechnungsgrundlage: 670 Befragte mit definitiver Parteipräferenz (zwei Drittel der 1000 Befragten) und die Prognose soll mit einer Wahrscheinlichkeit von 95% richtig sein. Die potentiell weit größeren Fehlerquellen - wie z.B. falsche Angaben, Antwortverweigerung, erfolglose Kontaktversuche, fehlerhafte Auslosung usw. - sind dabei nicht berücksichtigt.

Fazit. In einer Situation, wo es auf wenige Prozentpunkte ankommt, sind Umfragen für die Katz. Das wahre Umfrageresultat hat keinerlei Informationswert, denn es lässt alles offen. Es ist nicht einmal sicher, dass die SPD hinter der Union liegt und dass FDP und Grüne die 5%-Hürde schaffen. Das Umfrageergebnis lässt die Möglichkeit offen, dass

Der ARD-DeutschlandTrend kann alle Parteien wunschlos glücklich machen, denn das Umfrageergebnis lässt sich biegen bis zum Geht-nicht-mehr. Die Parteien können sich nach Herzenslust daran bedienen. Ein paar süffige Beispiele:

Im ARD-DeutschlandTrend werden die Umfrageergebnisse immer als genau präsentiert. Schließlich ist die Umfrage ja repräsentativ. Der Moderator Jörg Schönenborn erwähnt nie wie viele Wahlberechtigte befragt werden und sie für den ARD-DeutschlandTrend zusammengetrommelt werden. Von Fehlerbandbreite ganz zu schweigen.

Der Internetseite von Infratest-dimap kann man allerdings entnehmen, dass von Genauigkeit keine Rede sein kann, und dass die Zahlen wegen der Zufallsauswahl höchst ungenau sind. Für große Parteien sollen die Fehler bis zu +/- 3,1% betragen, für kleine Parteien 1,4% und mehr. (siehe Infobox von Infratest-Dimap am Ende der Seite). In Wirklichkeit sind sie weit größer, denn die Fehlerberechnung von Infratest-dimap ist falsch: Da wird klammheimlich vorausgesetzt, dass

Selbst wenn man nur diese eingestandenen Fehler in Rechnung stellt, dann müsste das Umfrageergebnis im ARD-DeutschlandTrend wie folgt dargestellt werden

CDU/CSU SPD Bündnis 90/Grüne FDP neue alte Linke
37,9 - 44,1 29,9 - 37,1 5,4 - 8,6 4,9 - 8,1 6,8 - 10,2

Das heißt im Klartext, dass die Umfrage für die Katz gewesen ist. Denn Union und FDP schaffen die Mehrheit oder eben nicht und möglicherweise ist die FDP ganz weg vom Fenster. Nur das möchte Jörg Schönenborn seinen Zahlen-Gläubigen doch nicht zumuten. Wie groß wäre wohl seine Einschaltquote, wenn er das offen ausspräche? Statt Klartext zu reden inszeniert er den DeutschlandTrend in der ARD mit bewährter Strategie: Bunte Grafiken mit geschminkten Prozentzahlen und Sprechblasen der demoskopischen Liturgie.


Technische Information:

Die in der ersten Tabelle angegeben Fehler, die durch die Zufallsauswahl der befragten Wahlberechtigten verursacht werden, kann man auch als Laie mit Hilfe der Misserfolgs-Statistik von Umfragen verifizieren. Es zeigt sich, dass etwa

3% der Umfragen (Auslosungen) die Toleranzen von +/- 1% für die großen Parteien und +/- 0,5% für die kleinen einhalten

23% der Umfragen (Auslosungen) die Toleranzen von +/- 2% für die großen Parteien und +/- 1% für die kleinen einhalten

56% der Umfragen (Auslosungen) die Toleranzen von +/- 3% für die großen Parteien und +/- 1,5% für die kleinen einhalten

84% der Umfragen (Auslosungen) die Toleranzen von +/- 4% für die großen Parteien und +/- 2% für die kleinen einhalten

Detaillierte Resultate kann man der unten angeführten Tabelle entnehmen. Etwa 95% der Umfragen (Auslosungen) vermögen die Toleranzen von +/- 5,0% für große Parteien und +/- 2,5% für kleine einzuhalten. Aber knapp 16% der Umfragen (Auslosungen) schaffen nicht einmal das. Mit andern Worten, in jeder sechsten Umfrage (Auslosung) übersteigt der Fehler für eine große Partei +/- 4,0% oder für eine kleine Partei +/- 2,0%!


Grundlage der Simulation: 1.000.000 Wiederholungen, Parteistärken laut ARD-DeutschlandTrend vom 8.9.2005, ebenso Stichprobenumfang (1000) und Wahlbeteiligung (67%)

Maximale Abweichung eingehalten von
für große Parteien für kleine Parteien (in Prozent von 1.000.000 Umfragen)
1,0% 0,5% 3%
1,2% 0,6% 4%
1,4% 0,7% 8%
1,6% 0,8% 13%
1,8% 0,9% 16%
2,0% 1,0% 23%
2,2% 1,1% 31%
2,4% 1,2% 35%
2,6% 1,3% 44%
2,8% 1,4% 52%
3,0% 1,5% 56%
3,2% 1,6% 64%
3,4% 1,7% 71%
3,6% 1,8% 74%
3,8% 1,9% 80%
4,0% 2,0% 84%
4,2% 2,1% 86,2%
4,4% 2,2% 89,8%
4,6% 2,3% 92,4%
4,8% 2,4% 93,4%
5,0% 2,5% 95,3%
5,2% 2,6% 96,6%
5,4% 2,7% 97,1%
5,6% 2,8% 98,0%
5,8% 2,9% 98,6%
6,0% 3,0% 98,8%
>6,0% >3,0% 1,2%