Die 5 Probleme repräsentativer Umfragen

diagramm

Meinungsforschung ist einerseits wichtig für so ziemlich jeden Bereich von Politik bishin zur Wirtschaft, andererseits aber manchmal auch einfach nur Unterhaltsam. Wie viele Menschen wollen den Atomausstieg? Wo gehen die meisten deutschen fremd? Welcher Computernutzer nutzt einen Computer?

Gerade bei der letzten Frage mag mancher stutzen. Tatsächlich ist das aber ein Problem von vielen, die wir mit der repräsentativität mancher Umfragen haben. Andere greifen auf eine zu geringe Datenbasis zurück, schneiden ethisch fragwürdige Themen an, oder werten nach abenteuerlichen Mustern aus.

„Traue keiner Statistik, die du nicht selbst gefäscht hast.“ Jeder kennt das Zitat, das zwar ziemlich sicher nicht von Winston Churchill stammt, ihm aber nach wie vor gerne in den Mund gelegt wird.
So weit möchten wir hier aber gar nicht gehen, denn eine mutwillige Fälschung muss man den Meinungsforschern nicht unterstellen, um an ihren Umfragen zu zweifeln. Viel eher sind es die Methoden, die Fragen aufwerfen.

Die Probleme der Umfragen

Nehmen wir als Fallbeispiel zuerst ein fiktives Extrem, dass ein absolutes Tabuthema anspricht.

Nehmen wir an, eine deutsche Kinderschutzorganisation stellt in einem annonymen Online-Formular die brenzlige Frage: „Hatten Sie schonmal sexuelles Interesse an einer/einem Minderjährigen.“
Diese wird später nach Altersgruppen und Regionen ausgewertet.

Wie würden die Ergebnisse ausfallen? Jedenfalls ziemlich sicher nicht repräsentativ, denn hier spielen alle Faktoren mit ein, die ein Ergebnis verfälschen können.

Nehmen wir an, 3200 Menschen hätten teilgenommen – eine, für Umfragen, schon recht hohe Anzahl. Generell kann man behaupten, ganz Deutschland werde gefragt, denn das Formular steht ja öffentlich im Netz.

1. Problem: Der Umfrageort

Das Internet ist ein öffentlicher Ort, jeder kann online gehen und die Frage beantworten? So kann man danach angeben, ganz Deutschland gefragt zu haben? Ja, vielleicht. Aber wer treibt sich denn Online herum? Zuerst muss man sich über die Zielgruppe im Klaren sein. Senioren sind nachweislich seltener im Netz als Teenager.

Generell gesprochen lässt sich das auf jede Umfrage übertragen: Welche Zielgruppe erwischt man am Donnerstag Nachmittag auf der Straße? Die arbeitende Bevölkerung schonmal weniger. Wer lässt sich Samstags in Einkaufszentren blicken? Vermutlich nicht der Familienvater mit seinen zwei kleinen Kindern. Ausnahmen bestätigen hierbei selbstverständlich die Regel, aber zum Denken sollte es mindestens anregen, insbesondere, wenn die Ergebnisse danach in Umfragegruppen gesplittet werden.

Telefonumfragen bedienen sich oft (wenn auch leider nicht immer) bei Telefonbüchern und freiwillig registerten Anschlüssen, sprich Menschen, die ihr Augenmerk auf die Privathaltung ihrer Nummer legen, fallen hier durch das Raster. Natürlich legen auch viele der angerufenen direkt auf.

Nochmal zurück zum Internet: Auch wenn jeder gefragt ist, heißt das nicht, dass auch „jeder“ die Frage findet. Und wer sucht gezielt im Gewirr der unzähligen Websiten?

2. Problem: Die ethische Komponente

In unserem Fallbeispiel fragen wir ganz klar nach einem Tabu. Dabei ist die Beantwortung der Frage selbst nichts Verbotenes. Das sexuelle Interesse stellt ja keinen akuten Tatbestand dar; nur weil Interesse da ist, muss keine Handlung geschehen. Doch viele sehen das anders. Bereits der Gedanke daran disqualifiziert sie bei ihrem Umfeld. Sie würden niemals öffentlich ihre Meinung teilen – sei es auch annonym.

Bei diesem Problem brauchen wir uns nicht unserem fiktiven Beispiel verstecken. die TiHo Hannover veröffentlichte 2013 eine Umfrage zur Antibiotikabeigabe in der Nutztierhaltung. Die „repräsentative Studie“ schneidet aber ein Tabu an, bei dem sich viele Landwirte in einem moralischen Dilemma sehen, aus dem es einen ganz einfachen Ausweg gibt, der hier unser 3. Problem beschreibt:

3. Problem: Freiwilligkeit

Im Gesetz ist es verankert, dass die Teilnahme an Umfragen generell (mit wenigen Ausnahmen) freiwillig geschieht. In unserem fiktiven Beispiel kann ein potentieller Pädophiler also einfach die Aussage verweigern. So muss er nicht einmal Lügen. Wie „keine Antwort“ zu werten ist, ist von Studie zu Studie unterschiedlich. Beantwortet der Teilnehmer alle anderen Fragen, kann man eventuell Vermutungen anstellen. Bricht er die Umfrage ab, existiert er einfach nicht mehr als Teilnehmer.

Ähnlich verhält es sich bei Landwirten, die weniger bewusst mit Antibiotika umgehen. Niemand muss sich selbst anzeigen. Und tendentiell werden solche Menschen eben das Thema, und damit die Umfrage meiden.

4. Problem: Zu wenige Teilnehmer – häufig durch regionale Auswertung.
Wie oben erwähnt, wird unsere fiktive Umfrage am Ende in die Regionen Deutschlands aufgeteilt. Die 3200 Teilnehmer dividieren sich also in 16 Länder, was im besten Fall bedeutet, dass nur 200 Personen pro Bundesland abgestimmt haben. Warum ist das ein Problem?
Zwar kann man repräsentative Befragungen auf ganze Bevölkerungsschichten hochrechnen, sofern (und das steckt bereits im Wort repräsentativ) der Teilnehmerstamm ausreichend heterogen ist (sich also aus unterschiedlichen Gruppen und Ansichten zusammen setzt), jedoch ist die Auswahl bei den Teilnehmern letztendlich zufällig.

Worin liegt das Problem mit dem Zufall?
Schweifen wir ein wenig ab, und nehmen Münzwürfe als Beispiel für eine 50/50 Chance. Bei einhundert mal einhundert Würfen, erhielt man in einer Versuchsreihe nur acht mal eine 50 Kopf / 50 Zahl Verteilung. Bei jeder vierten Serie dominierte eine Seite sogar stärker als 10% – sprich 60/40. Das gleicht sich mit steigenden Durchgangszahlen aus – in der Unendlichkeit erreicht man durchaus seine fifty fifty. Aber diese sind Theorie. Praktisch gesehen ist es bei so kleinen Teilnehmerzahlen durchaus wahrscheinlich, dass eine Seite überrepräsentiert ist.

5. Problem: Definition und Interpretation
Unser Extrembeispiel macht es klar: selbst bei eindeutigen Begriffen haben manche eine unterschiedliche Definition. Die Frage, ob man schon einmal sexuelles Interesse an Minderjährigen hatte, mag für die Redaktion, die jeden Tag im Umfeld vier bis zehnjähriger verbringt, klar gestellt sein. Das eigentliche Wort schließt aber jeden Menschen bis zur Vollendung des 18. Lebensjahres mit ein. Also muss der 19 Jährige die Frage bejahen, wenn er ein sexuelles Interresse an seiner 17 Jährigen Freundin hat. Überhaupt nicht definiert ist die Frage für Minderjährige selbst. Was kreuzt also das 16 jährige Mädchen mit dem 16 jährigen Freund an?

Besonders interessant wird das bei Themen, die eigenanalysen erfragen: Konsumieren Sie Drogen? Sind sie zu dick? Ist Shopping eine Krankheit?
Oft reden sich Umfragen allein mit ihrem Titel aus der Verantwortung. So steht nicht mehr die Headline: „Adipositas in Deutschland nimmt zu“, sondern „Immer mehr Deutsche halten sich für zu Dick“. Selbst wenn die Umfrage zu 100% repräsentativ wäre, müsste man sich dann fragen, welchen Sinn sie überhaupt hatte…

Quellen:
http://www.achtung-statistik.de/
http://www.spiegel.de/wissenschaft/mensch/umfragen-von-wegen-repraesentativ-a-1057924.html
http://www.spiegel.de/wissenschaft/mensch/umfragen-in-deutschland-wir-wuerfeln-uns-eine-studie-a-1052493.html
http://www.klein-singen.de/statistik/
http://www.tiho-hannover.de/aktuelles-presse/pressemitteilungen/pressemitteilungen-2013/pressemitteilungen-2013/article/antibiotika-in-der-nutztierhal-2/

Bild: selbst

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

Ich akzeptiere