8 Qualitätssicherung in der Umfrageforschung und die Bedeutung von Raum, Zeit und Befindlichkeit (S. 151-152)

Die Bedeutung einer Theorie der Umfrageforschung ergibt sich nicht allein aus ihrer Konsistenz und ihrem Neuigkeitswert, sondern bemisst sich auch in ihrem Beitrag für die Weiterentwicklung der Praxis. Im Konkreten sehen wir eine Stärke einer prozessorientierten Theorie zur Umfrageforschung darin, ein Raster für die Qualitätsbestimmung und -sicherung von Umfrageforschung zu bieten und auf diese Weise dazu beizutragen, Umfragen zu verbessern.

8.1 Qualitätsstandards in der Umfrageforschung: Ein Überblick

Geht man der Frage nach, wie die Qualität von Umfragen zu beurteilen ist und welche Maßnahmen zu ihrer Sicherung zu ergreifen sind, so ist eine beachtliche Vielfalt, aber auch Inkonsistenz diverser Ansätze zu erkennen (im Detail vgl. dazu Weichbold 2008 und 2009). Grundsätzlich kann man unterschiedliche Zielrichtungen der Ansätze identifizieren: solche, die versuchen, einer inhaltlichen Konzeption von Qualität zu folgen, solche, die auf die beteiligten Personen fokussieren und solche, die den Forschungsprozess und/oder zugrunde liegende Organisationsstrukturen zu kontrollieren und optimieren versuchen.

Die klassischen Gütekriterien Validität, Reliabilität und Objektivität stehen für eine inhaltliche Definition von Qualität. Sie basieren auf den Axiomen der klassischen Testtheorie, die davon ausgeht, dass ein „wahrer Wert“ existiert, der – in der Regel allerdings verbunden mit Fehlern – gemessen werden kann. Im Idealfall streuen diese Fehler zufällig rund um Null. Diese an einer möglichst fehlerfreien Messung orientierte Konzeption von Qualität ist in der (zumindest: deutschsprachigen) Methodenliteratur weit verbreitet, kein Lehrbuch für empirische Sozialforschung kommt um die klassischen Gütekriterien herum. Zugleich ist die praktische Umsetzbarkeit im Rahmen einer Qualitätssicherung für Umfragen aber mit Schwierigkeiten behaftet.

Diese Schwierigkeiten betreffen zunächst eine praktische Ebene, weil eine Messung von Validität i. e. S. nicht möglich ist (vgl. Bortz/Döring 2006: 199) oder Kennwerte zur Reliabilitätsbestimmung (etwa Cronbachs Alpha) nicht unproblematisch sind (vgl. Schnell/ Hill/Esser 2008: 153). Es gibt aber auch grundsätzlichere Bedenken, ob die Anwendung der Gütekriterien angebracht ist: Für Testverfahren oder zur Erhebung bestimmter Sachverhalte erscheint die Annahme eines „wahren Wertes“ (und somit die Bestimmung der Güte seiner Messung) durchaus sinnvoll, ob dies auch für Meinungen und Einstellungen zutrifft, ist hingegen fraglich, werden diese doch auf einer Mikroebene auch durch situative Kontexte (wie gezeigt wurde, besonders durch Raum, Zeit und Befindlichkeit), aber auch auf einer Makroebene kulturell mit konstruiert.75 Qualitative Ansätze gehen noch weiter und stellen die Existenz eines wahren Wertes ohnehin in Abrede (vgl. Steinke 1999: 81).76