Textprobe: Kapitel 2.4.1, Gütekriterien der Sozialkompetenzmessung: Diagnoseinstrumente müssen in einem zu definierenden Maß bestimmten Anforderungen bzw. Gütekriterien genügen. Dabei sind Haupt- und Nebengütekriterien unterscheidbar. Erstere sind erfüllt, wenn eine Diagnose objektiv, reliabel und valide ist, letzteren wird entsprochen, wenn sie ökonomisch, nützlich, normiert und vergleichbar ist (vgl. z. B. Bortz/Döring 2003, S. 193ff., zitiert nach Bauer-Klebl/Gomez 2006, S. 13). Mit der Objektivität wird das Ausmaß beschrieben, in dem die Messergebnisse vom Untersuchenden abhängig sind. Hierbei können drei Arten unterschieden werden (vgl. Bauer-Klebl/Gomez 2006, S. 16f.): - Durchführungsobjektivität: Diese ist umso höher, je standardisierter die Durchführungsbedingungen und die Untersuchungssituation sind, weil variierende Bedingungen während der Durchführung einer Messung die Ergebnisse beeinflussen können. - Auswertungsobjektivität: Diese ist tendenziell umso größer, je enger die Antwortmöglichkeiten sind. Wenn Items beispielsweise lediglich ein Ja oder Nein als Antwort zulassen, ist die Auswertungsobjektivität praktisch verwirklicht, bei freien Beantwortungen ist sie bedeutend geringer, weil hierbei zu entscheiden ist, ob die Antwort im Sinne der Erwartungen einzuschätzen ist oder nicht. - Interpretationsobjektivität: Werden Auswertungsergebnisse von unterschiedlichen Personen gleich interpretiert, dann ist Objektivität gegeben. Dies ist vor allem dann unproblematisch, wenn die Auswertung einen numerischen Wert liefert, der die Position der Testpersonen entlang einer Testskala festlegt. Die Überprüfung der verschiedenen Arten der Objektivität kann durch Korrelation der Testergebnisse unterschiedlicher Untersucher oder der Auswertungsergebnisse unterschiedlicher Auswerter bzw. der Interpretationsergebnisse verschiedener Interpreten erfolgen (vgl. z. B. Bortz/Döring 2003, S. 194f., zitiert nach Bauer-Klebl/Gomez 2006, S. 17). Die Reliabilität ist ein Maß für die Genauigkeit, mit der eine spezifische Kompetenz gemessen wird, unabhängig davon, ob dieses Merkmal auch gemessen werden sollte. Auch hier können verschiedene Arten unterschieden werden (vgl. z.B. Bortz/Döring 2003, S. 195ff., zitiert nach Bauer-Klebl/Gomez 2006, S. 15f.): -Halbierungsreliabilität bzw. innere Konsistenz: Ein Test wird in zwei möglichst gleiche Hälften unterteilt, die miteinander korreliert werden. Die Anwendung dieses Verfahrens setzt voraus, dass sich durch die Teilung gewissermaßen zwei Paralleltestformen von halber Länge ergeben, die dasselbe Merkmal messen. Dies ist nur dann der Fall, wenn die Items homogen sind. Der große Vorteil dieser Vorgehensweise besteht darin, dass zur Reliabilitätsbestimmung nur ein Test und eine Messung vorliegen müssen. -Retest-Reliabilität: Ein Test wird derselben Stichprobe zu verschiedenen Zeitpunkten vorgelegt und anschließend wird die Korrelation zwischen den Ergebnissen ermittelt. Dazu darf sich das zu messende Merkmal bis zur zweiten Untersuchung nicht verändern. Generell ist davon auszugehen, dass diese Vorgehensweise umso weniger geeignet ist, je höher die Erinnerung an die Testaufgaben ist, je charakteristischer und inhaltlich interessanter sie sind, je kürzer der Zeitabstand zwischen Test und Wiederholungstest ist, je weniger Aufgaben in einem Test enthalten sind und je instabiler und zeitabhängiger das zu messende Merkmal ist. Da Kompetenzen über die Zeit erworben und erweitert werden bzw. Erinnerungseffekte eintreten können, erscheint eine Anwendung auf Tests, die Sozialkompetenzen messen, weniger geeignet. -Paralleltestreliabilität: Zwei Testversionen, die beide dasselbe Konstrukt abbilden, werden einer gleichen Stichprobe kurz hintereinander zur Bearbeitung vorgelegt. Die Reliabilität ist umso höher, je ähnlicher die Ergebnisse ausfallen bzw. je mehr vergleichbare Aufgaben in derselben Weise beantwortet werden. Wenn die Testaufgaben einen gewissen Einmaligkeitscharakter besitzen, Lösungskonzepte leicht von einem Test auf den anderen übertragbar sind oder signifikante Lern- oder Übungsfortschritte zu erwarten sind, ist dieses Verfahren weniger geeignet. Valide ist eine Messung dann, wenn tatsächlich jene Kompetenzen gemessen werden, die auch gemessen werden sollen. Hierbei kann zwischen drei Arten der Validität unterschieden werden (vgl. z. B. Bortz/Döring 2003, S. 199ff., zitiert nach Bauer-Klebl/Gomez 2006, S. 13ff.): -Inhaltsvalidität: Diese Art der Validität liegt dann vor, wenn der Inhalt der Testitems das zu messende Merkmal in seinen wichtigsten Aspekten erschöpfend erfasst. Wenn z. B. in einem Fragebogen zur Messung des Verhaltens in Konfliktsituationen keine Items zur Emotionskontrolle enthalten sind, so kann dieser in diesem Zusammenhang auch nicht als valide eingestuft werden. Die Inhaltsvalidität wird im Normalfall nicht über einen Kennwert erfasst, sondern über logische bzw. fachliche Überlegungen bzw. ein Expertenrating. -Kriteriumsvalidität: Dabei wird ein Zusammenhang zwischen der Messleistung und einem so genannten 'Außenkriterium' erhoben. Beispielsweise wird das Messergebnis eines Tests zur Diagnose der Berufseignung mit dem späteren beruflichen Erfolg, der vom Test unabhängig erhoben wird, korreliert. Ein adäquates Außenkriterium zu finden, das indikativ für das zu messende Merkmal ist und nicht nur Teilbereiche abdeckt, ist jedoch schwierig. -Konstruktvalidität: Diese bestimmt, ob durch die Messung auch die Kompetenz erfasst wird, welche erfasst werden soll. Von Konstrukt wird gesprochen, weil sich Kompetenzen in der Regel nicht direkt messen, sondern nur aus beobachtbarem Verhalten erschließen lassen. Wenn die ermittelte Konstruktvalidität hoch ist, können Aussagen darüber getroffen werden, ob eine Person über eine entsprechende Kompetenz verfügt. Sind aus dem Zielkonstrukt Hypothesen ableitbar, die sich anhand der Testwerte empirisch überprüfen lassen, dann gilt ein Test als konstruktvalide. Zwischen den verschiedenen Hauptgütekriterien bestehen Zusammenhänge. Ein Test ist z.B. tendenziell umso reliabler, je mehr dessen Durchführung sowie seine Auswertung und Interpretation dem Anspruch der Objektivität genügen. Jedoch gewährleistet eine hohe Objektivität nicht per se eine hohe Reliabilität. Wenn die Reliabilität gering ist, kann der Test nur wenig valide sein, weil das zu untersuchende Merkmal eines Menschen nur einen ungenauen Wert liefert. Umgekehrt kann aber die Reliabilität eines Tests sehr hoch sein, seine Validität jedoch sehr gering, wenn der Test z. B. nicht das Merkmal misst, welches er messen soll (vgl. Bauer-Klebl/Gomez 2006, S. 17). Für die Beurteilung der Güte eines Tests sind neben den genannten Hauptgütekriterien auch folgende Nebengütekriterien wichtig (vgl. Bauer-Klebl/Gomez 2006, S. 17ff.): -Eine Messung ist dann normiert, wenn Angaben vorhanden sind, welche als Bezugssystem für die Einschätzung einer Testantwort herangezogen werden können. Liegt z. B. ein Mittelwert einer Klasse bezogen auf eine konkrete Testaufgabe vor, wäre eine Einschätzung möglich, wie die Leistung einer Person bezogen auf diese Aufgabe im Vergleich zu diesem Mittelwert zu verorten ist. Wenn Antworten nicht als richtig oder falsch bewertet werden können, ist dieses Kriterium besonders bedeutsam. -Vergleichbar sind Tests dann, wenn eine oder mehrere Parallelformen mit gleichem Gültigkeitsbereich vorliegen. Dies ist dann besonders vorteilhaft, wenn Personen wiederholt getestet werden sollen oder bei Testungen in Gruppensituationen, weil so ein Abschreiben der Teilnehmer/innen nicht möglich ist. -Ökonomisch ist ein Test dann, wenn er einfach einsetzbar und zu handhaben bzw. schnell und bequem auszuwerten ist sowie nur kurze Zeit zur Durchführung beansprucht. Nur so ist eine Verbreitung und entsprechende Anwendung des Tests gewährleistet. Zwischen dem Kriterium der Ökonomie und den Hauptgütekriterien besteht häufig ein Konflikt, weil hohe Konsistenzwerte, eine hohe Auswertungs- und Interpretationsobjektivität oder eine hohe Validität neben einem höheren Zeitbedarf zur Konstruktion in der Regel auch eine höhere Durchführungs- und Auswertungszeit erfordern. -Vor dem Hintergrund der Verbreitung eines Tests ist auch dessen Nützlichkeit wichtig, da er nur dann entsprechend zum Einsatz kommen wird, wenn es bezüglich der Fragen, die er zu beantworten versucht, ein praktisches Bedürfnis gibt. Inwieweit ein Messinstrument den dargestellten Gütekriterien bei der Erhebung von Sozialkompetenzen zu genügen hat, kann nicht generell, sondern nur situativ beantwortet werden. Auf allgemeiner Ebene kann festgehalten werden, dass es möglichst valide, reliabel und objektiv sein sollte und einem Mindestmaß an Ökonomie entsprechen sollte. Außerdem ist bei der Konzipierung darauf zu achten, dass die im Test abgebildeten Teilkompetenzen für die Fragestellungen von Bedeutung sind und auch entsprechend nachgefragt werden (vgl. Bauer-Klebl/Gomez 2006, S. 19).