Inhaltsübersicht | 5 |
Inhaltsverzeichnis | 6 |
Abbildungsverzeichnis | 12 |
Tabellenverzeichnis | 13 |
1Einleitung | 16 |
1.1 Organisation Hochschule und Evaluation | 16 |
1.2 Aufbau und Intention der Arbeit | 19 |
1.2.1 Theorie und Forschungsstand | 20 |
1.2.2 Empirieteil | 21 |
TEIL 1 – THEORIE UND FORSCHUNGSSTAND | 24 |
2 Die Hochschule – eine Organisation im Wandel | 25 |
2.1 Begriffsklärung | 25 |
2.1.1 Definitorische Einordnung | 26 |
2.1.2 Merkmale der Organisation Hochschule | 27 |
2.1.2.1 Mitgliedschaft | 27 |
2.1.2.2 Zweck | 28 |
2.1.2.3 Hierarchie | 28 |
2.2 Organisationstheorien – vom Einfachen zum Komplexen | 29 |
2.2.1 Bürokratietheorie von Max Weber | 30 |
2.2.2 Arbeitsteilung: Taylorismus und Fordismus | 30 |
2.2.3 Human-Relation-Ansatz | 32 |
2.2.4 Situativer Ansatz | 32 |
2.2.5 Neoinstitutionalistische Organisationstheorie | 33 |
2.2.6 Systemtheorien | 34 |
2.2.7 Dezentralisierung als aktueller Trend? | 35 |
2.3 Hochschulspezifische Organisationstheorien | 40 |
2.3.1 Hochschule als Profibürokratie | 40 |
2.3.2 Hochschule als organisierte Anarchie | 41 |
2.3.3 Hochschule als lose gekoppelte Systeme | 41 |
2.4 Outputsteuerung als eine Folge von Dezentralisierung | 41 |
2.4.1 Neues Steuerungsmodell | 42 |
2.4.2 Hochschulgovernance | 43 |
2.4.2.1 Staatliche Regulierung | 43 |
2.4.2.2 Außensteuerung | 44 |
2.4.2.3 Wettbewerb | 44 |
2.4.2.4 Akademische Selbstorganisation | 45 |
2.4.2.5 Hierarchisch administrative Selbststeuerung | 46 |
2.4.3 Zusammenfassung | 46 |
2.5 Qualitätssicherung im Hochschulbereich | 48 |
2.5.1 Qualität, Qualitätssicherung und Qualitätsmanagement | 49 |
2.5.1.1 Qualität | 49 |
2.5.1.2 Qualitätssicherung | 50 |
2.5.1.3 Qualitätsmanagement | 51 |
2.5.2 Qualitätssicherungsmodelle | 52 |
2.5.2.1 Die Qualitätssicherungsnormreihe ISO 9000ff. | 52 |
2.5.2.2 Total Quality Management | 54 |
2.5.2.3 European Foundation for Quality Management | 56 |
2.5.2.4 Benchmarking | 57 |
2.5.2.5 Wissensbilanz | 58 |
2.5.2.6 Monitoring und Controlling | 58 |
2.5.2.7 Balanced Scorecard | 59 |
2.5.2.8 Zielvereinbarungen | 60 |
2.5.2.9 Zusammenfassung und mögliches Anwendungspotential | 61 |
2.5.3 Hochschulspezifische Qualitätssicherungsmodelle | 63 |
2.5.3.1 Hochschulrankings | 63 |
2.5.3.2 Indikatorgesteuerte Mittelverteilung | 64 |
2.5.3.3 Absolventenbefragungen | 65 |
2.5.3.4 Das „Institutional Evaluation Programme“ der EUA | 66 |
2.5.3.5 Akkreditierung | 66 |
3 Evaluation im Überblick | 72 |
3.1 Begriffliche Einordnung | 72 |
3.1.1 Definition | 72 |
3.1.2 Zwecke der Evaluation | 75 |
3.1.2.1 (Gesellschaftliche) Aufklärung | 75 |
3.1.2.2 Legitimation | 76 |
3.1.2.3 Steuerung | 77 |
3.1.3 Formen der Evaluation | 77 |
3.1.3.1 Summative vs. formative Evaluation | 77 |
3.1.3.2 Interne vs. externe Evaluation | 78 |
3.2 Historische Entwicklung | 78 |
3.2.1 International | 78 |
3.2.2 National | 85 |
3.2.3 Entwicklungstrends und Perspektiven | 90 |
3.3 Evaluationstheorien – eine Systematisierung | 92 |
3.3.1 Methodenast | 94 |
3.3.2 Nutzungsast | 99 |
3.3.3 Wertungsast | 105 |
3.3.4 Zusammenfassung | 110 |
4 Evaluation an Hochschulen | 113 |
4.1 Entstehungsgeschichte der Evaluation an Hochschulen | 113 |
4.2 Qualitätssicherung durch Evaluationen an Hochschulen | 115 |
4.3 Zwecke der Evaluation an Hochschulen | 117 |
4.3.1 Forschungsparadigma | 117 |
4.3.2 Kontrollparadigma | 118 |
4.3.3 Entwicklungsparadigma | 118 |
4.4 Formen der Evaluation von Lehre und Studium | 119 |
4.4.1 Lehrberichte | 120 |
4.4.2 Interne und externe Evaluation | 121 |
4.4.2.1 Interne Evaluation | 121 |
4.4.2.2 Externe Evaluation | 122 |
5 Studentische Lehrveranstaltungsevaluation im Fokus | 124 |
5.1 Aktuelle Praxis der LVE | 124 |
5.1.1 Entwicklung und Verbreitung der LVE | 124 |
5.1.2 Evaluationsinstrumente | 125 |
5.1.3 Durchführung und Datenerhebung | 126 |
5.1.4 Auswertung und Interpretation | 127 |
5.2 Zur Aussagekraft studentischer LVE | 128 |
5.2.1 Studentisches Urteilsverhalten | 129 |
5.2.1.1 Bewerten Studierende wirklich den Lehrenden oder vielmehr sich selbst? | 129 |
5.2.1.2 Individuelle Urteile | 129 |
5.2.1.3 Über die Fähigkeit differenzierter Bewertungen | 130 |
5.2.1.4 Veränderungen der Beurteilungen im Zeitverlauf | 131 |
5.2.1.5 Verzerrungen durch Drop-Outs? | 131 |
5.2.2 Einfluss lernangebotsunabhängiger Aspekte | 132 |
Teil 2 – EMPIRIE | 142 |
6 Ausgangslage und Forschungsdefizit | 143 |
6.1 Empirische Sozialforschung und ihr Erkenntnisgewinn | 146 |
6.1.1 Besonderheiten der empirischen Sozialforschung | 147 |
6.1.2 Methoden der empirischen Sozialforschung | 148 |
6.1.2.1 Quantitative und qualitative Methoden im Forschungsprozess | 148 |
6.1.2.2 Methodentriangulation als ‚versöhnender’ Kompromiss | 150 |
6.1.3 Die Einzelfallstudie in der quantitativen Forschungslogik | 151 |
6.2 Fragestellungen | 152 |
7 Methodisches Vorgehen | 154 |
7.1 Konstruktion des Messinventars | 155 |
7.1.1 Zweck der Lehrveranstaltungsevaluation | 156 |
7.1.2 Struktur und Aufbau | 156 |
7.1.3 Itempool | 158 |
7.1.4 Implementationen für die Entwicklung des Messinventars | 160 |
7.2 Zur Güte eines Messinventars | 161 |
7.2.1 Objektivität | 161 |
7.2.2 Reliabilität | 162 |
7.2.3 Validität | 166 |
7.2.3.1 Befunde aus der Forschung | 166 |
7.2.4 Nebenkriterien | 171 |
7.2.5 Implementationen für die Testung des Messinventars | 171 |
8 Analyse existierender Messinstrumente studentischer LVE | 174 |
8.1 Fragebögen der Fakultät 11 der LMU München | 175 |
8.2 Heidelberger Inventar zur Lehrveranstaltungsevaluation | 178 |
8.3 Trierer Inventar zur Lehrveranstaltungsevaluation | 182 |
8.4 Modifizierte Version des TRIL der Universität Landau | 185 |
8.5 Inventar „Student Evaluation of Educational Quality“ | 186 |
8.6 Implikationen für die Neukonstruktion | 189 |
I Entwicklung der Fragebögen | 191 |
9 Vorstudien | 192 |
9.1 Vorstudie 1 – Subjektive Vorstellungen guter Lehre | 192 |
9.1.1 Theorie | 192 |
9.1.2 Methodik | 196 |
9.1.3 Ergebnis: „Modell guter Lehre“ | 198 |
9.2 Vorstudie 2 – Critical Incident Technique-Workshops | 200 |
9.2.1 Theorie | 200 |
9.2.2 Methodik | 201 |
9.2.2.1 Zielkriterien genau bestimmen | 201 |
9.2.2.2 Planung der Datenerhebung | 201 |
9.2.2.3 Datensammlung | 202 |
9.2.2.4 Datenanalyse | 202 |
9.2.2.5 Interpretation und Ergebnisdarstellung | 202 |
9.2.3 Ergebnisse der CIT-Workshops an der Fakultät 11 | 202 |
9.2.3.1 CIT-Workshops mit Studierenden | 203 |
9.2.3.2 CIT-Workshops mit Lehrenden | 210 |
10 Konstruktion der Fragebögen | 217 |
10.1 Zweck der Lehrveranstaltungsevaluation | 217 |
10.2 Itempool | 218 |
11 Die Pilotierung | 220 |
11.1 Stichprobe | 221 |
11.2 Modellannahmen | 222 |
11.2.1 Modellannahme I: Das kongenerische Modell | 222 |
11.2.2 Modellannahme II: Das Parsimonieprinzip | 223 |
11.3 Allgemeiner Ablauf einer Testphase | 223 |
11.3.1 Datenaufbereitung | 224 |
11.3.1.1 Export der Daten | 224 |
11.3.1.2 Datensichtung und -bereinigung | 225 |
11.3.2 Prüfung der Modellvoraussetzungen | 225 |
11.3.2.1 Eignung der Daten | 226 |
11.3.2.2 Itemanalyse | 226 |
11.3.2.3 Umgang mit fehlenden Werten | 227 |
11.3.3 Datenanalysen | 227 |
11.3.3.1 Parallelanalyse | 228 |
11.3.3.2 Minimum Average Partial Correlation Approach | 228 |
11.3.3.3 Bayesien Information Criterion | 229 |
11.3.3.4 Faktorenanalyse | 229 |
11.3.4 Modellprüfung | 231 |
11.4 Vorlesungsbogen | 232 |
11.4.1 Wintersemester 2014/15 | 232 |
11.4.1.1 „VL_neu_1“ – die Ausgangsversion | 232 |
11.4.1.2 Stichprobe | 233 |
11.4.1.3 Eignung der Daten | 233 |
11.4.1.4 Itemanalyse | 233 |
11.4.1.5 Datenanalysen | 235 |
11.4.1.6 Umgang mit fehlenden Werten | 238 |
11.4.2 Sommersemester 2015 | 238 |
11.4.2.1 Der „VL_neu_2“ – die revidierte Version | 238 |
11.4.2.2 Stichprobe | 240 |
11.4.2.3 Eignung der Daten | 240 |
11.4.2.4 Itemanalyse | 240 |
11.4.2.5 Datenanalysen | 242 |
11.4.2.6 Umgang mit fehlenden Werten | 245 |
11.4.3 Ergebnis der Analysen des Vorlesungsbogens | 245 |
11.5 Seminarbogen | 247 |
11.5.1 Sommersemester 2015 | 247 |
11.5.1.1 „S_neu_1“ – die Ausgangsversion | 247 |
11.5.1.2 Stichprobe | 248 |
11.5.1.3 Eignung der Daten | 248 |
11.5.1.4 Itemanalyse | 248 |
11.5.1.5 Datenanalyse | 250 |
11.5.1.6 Umgang mit fehlenden Werten | 253 |
11.5.2 Wintersemester 2015/16 | 253 |
11.5.2.1 Der „S_neu_2“ – die revidierte Version | 253 |
11.5.2.2 Stichprobe | 254 |
11.5.2.3 Eignung der Daten | 254 |
11.5.2.4 Itemanalyse | 254 |
11.5.2.5 Datenanalyse | 256 |
11.5.2.6 Umgang mit fehlenden Werten | 258 |
11.5.3 Ergebnisanalyse des MILVE Seminarbogens | 258 |
II Validierung der Fragebögen | 260 |
12 Testung der Gütekriterien des MILVE | 261 |
12.1 Objektivität im MILVE | 262 |
12.2 Reliabilität im MILVE | 262 |
12.2.1 Trennschärfe | 264 |
12.2.2 Intraklassenkorrelation | 264 |
12.3 Validität im MILVE | 265 |
12.3.1 Inhalts- und Augenscheinvalidität | 265 |
12.3.2 Konstruktvalididtät | 266 |
12.3.3 Kriteriumsvalidität | 267 |
12.4 Nebenkriterien | 270 |
12.5 Zusammenfassung | 270 |
12.5.1 Implikationen für weitere Berechnungen | 271 |
12.5.1.1 Expertenratings | 271 |
12.5.1.2 Vergleich mit ähnlichen Instrumenten | 272 |
12.5.1.3 Vergleich von Fremd- und Studierendenbewertungen | 272 |
12.5.1.4 Vergleich der Bewertung des Lehrenden und den Studierendenbewertungen | 272 |
12.5.1.5 Vergleich mit Leistungsnachweisen | 272 |
12.5.1.6 Vergleich mit der Forschungsleistung (z.B. HIRSCH-Index) | 273 |
12.5.1.7 Berechnen des Einflusses von Rahmenbedingungen | 273 |
12.5.2 Methodische Restriktionen | 274 |
12.5.2.1 Auswahl der Veranstaltungen – Stichprobenbezogene Einflüsse | 274 |
12.5.2.2 Drop-Outs | 275 |
12.5.2.3 Mehrebenenstruktur | 275 |
13 MILVE in der Praxis | 277 |
13.1 Fakultätsübergreifende Anwendung des Messinventars | 278 |
13.2 Auswertung der Daten | 280 |
13.2.1 Deskriptive Statistik | 281 |
13.2.1.1 Vorlesungen | 281 |
13.2.1.2 Seminar | 287 |
13.2.2 Weiterführende Auswertungen | 293 |
13.2.2.1 Vorlesung | 295 |
13.2.2.2 Seminar | 297 |
13.3 Zusammenfassung der Ergebnisse | 299 |
14 Diskussion und Ausblick | 301 |
14.1 Aspekte der Bewertung | 302 |
14.1.1 Probleme bei der Bewertung durch Mittelwerte | 302 |
14.1.2 Über die Notwendigkeit von Qualitätskriterien und -standards | 303 |
14.1.3 Zur Bewertung der Ergebnisse studentischer LVE | 305 |
14.2 Formen der Nutzung | 305 |
14.2.1 Transparenz- und Forschungsmodell | 306 |
14.2.2 Qualifikationsmodell | 307 |
14.2.3 Kommunikationsmodell | 308 |
14.2.4 Steuerungsmodell | 309 |
14.3 Ein Fazit vor dem hochschulpolitischen Gesamtkontext | 311 |
14.3.1 Fakultätsebene | 311 |
14.3.2 Fakultätsübergreifende Ebene | 312 |
14.3.3 Hochschulische und hochschulpolitische Ebene | 313 |
Literaturverzeichnis | 315 |
Anhang | 354 |