B. Methodologische Fundierung der psychometrischen Güteprüfung des Dienstleistungsqualitätsurteils von Mystery Shoppern (S. 11)

Im Folgenden soll ein Prüfschema für die Beantwortung der Frage nach der Reliabilität und Validität des Dienstleistungsqualitätsurteils von Testkäufern generiert werden. Die methodologische Fundierung dieses Konzepts bedient sich der Klassischen Testtheorie (KTT). Hierbei werden zunächst Reliabilitätskoeffizienten für die Bewertung des inhärenten Zufallsfehlers der Mystery Shopping-Methodik abgeleitet. Anschließend werden aus der KTT die Inhalts-, die Kriteriums- und die Konstruktvalidität als Maße für den systematischen Messfehler deduziert. Zum Abschluss werden die erläuterten Gütekriterien für die Reliabilitäts- und Validitätsprüfung in einem tabellarischen Schema zusammengetragen.

1. Gegenstand der Testtheorie

Ein Test wird in der Verhaltensforschung benötigt, um beispielsweise zu prüfen, ob sich Eigenschaften oder Leistungen von Personen aufgrund des Wirkens bestimmter Einflussfaktoren ändern. Solche Informationen über die Wirkung bestimmter Einflussfaktoren könnten wie im Alltag üblich – verbal, dem subjektiven Eindruck nach, beschrieben werden. Allerdings erschweren einige Nachteile dieses pragmatische Vorgehen:

1. Die Beurteilung der Einflussfaktoren und deren Wirkung auf den Untersuchungsgegenstand sind von den Eigenschaften des Beurteilers abhängig. Je nach Wertesystem des Beurteilers resultieren verschiedene Beschreibungen für die Einflussfaktoren und den Untersuchungsgegenstand. Eine Beschreibung, die wissenschaftlichen Anforderungen genügen soll, muss aber objektiv sein. Das bedeutet, dass alle möglichen Beurteiler bei ihrer Beschreibung zum gleichen Ergebnis gelangen müssten.

2. Allgemeingültige Wirkungszusammenhänge können für einen Untersuchungsgegenstand nur abgeleitet werden, wenn die Erkenntnisse auf einer ausreichend großen Stichprobe basieren. Eine verbale Beschreibung der beobachteten Eigenschaften ist jedoch wegen des großen Aufwandes nur begrenzt durchführbar. Darüber hinaus ist der Forscher aufgrund der resultierenden Unübersichtlichkeit und fehlenden Vergleichbarkeit der Ergebnisse nicht in der Lage, solche Wirkungszusammenhänge abzuleiten.

3. Statistische Methoden, die es ermöglichen, die Beziehung zwischen mehreren Variablen zu analysieren, bedürfen einer Datenbasis, deren Erhebung spezifischen Anforderungen (wie beispielsweise der Vergleichbarkeit des Beurteilungsprozesses und der Ergebnisse verschiedener Rater) genügt. Diese Bedingungen sind jedoch nur dann erfüllt, wenn die zur Datengewinnung eingesetzten Messprozeduren bekannt sind.

4. Aufgrund des Wunsches nach Einsatz statistischer Methoden zur Analyse der Ursache- Wirkungsbeziehung zwischen mehreren Variablen ist die verhaltenswissenschaftliche Forschung folgerichtig bestrebt, möglichst quantitative Aussagen über die Eigenschaften des jeweiligen Untersuchungsgegenstandes zu erheben. Voraussetzung hierfür ist allerdings die Messbarkeit der Variablen.

Eine objektive, umfassende, quantitative Aussagen liefernde und auf ihre Güte überprüfbare Messung verhaltenswissenschaftlicher Zusammenhänge der oben beschriebenen Art ist bei einer Vielzahl von latenten Variablen (wie z.B. der Dienstleistungsqualität von Reisebüros) nicht möglich. Daher bedient sich die Forschung zur Messung dieser latenten Variablen bzw. der Wirkungszusammenhänge zwischen diesen Konstrukten des psychometrischen Tests.

Der psychometrische Test ist nach Lienert/Raatz ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Eigenschaftsmerkmale. Sein Ziel besteht darin, eine möglichst quantitative Aussage über den relativen Grad der Merkmalsausprägung zu treffen.

Die sozialwissenschaftliche Methodenlehre verfügt über zwei konträre Auffassungen des testtheoretischen Begriffs. Ein Ansatz bezeichnet das Ziehen von Konklusionen, basierend auf Stichprobendaten als „Testtheorie", da Hypothesen getestet bzw. einer Prüfung unterzogen werden. Demgegenüber betrachtet die geläufigere Begriffsauffassung die Theorie über den psychometrischen Test selbst als Testtheorie. Die Literatur unterscheidet in diesem Zusammenhang Tests im engeren und weiteren Sinne. Psychometrische Tests im engeren Sinne sind Verfahren, die verhindern, dass das Testergebnis vom Probanden willentlich in eine gewünschte Richtung verfälscht wird.