Buchtitel | 1 |
Inhalt | 4 |
1. Problemstellung, Ziele und Aufbau der Arbeit | 8 |
1.1 Ziele der Arbeit und Untersuchungsaufgaben | 8 |
1.2 Fragestellung, Hintergrund und Kontextinformationen | 10 |
1.3 Kurzbeschreibung der einzelnen Kapitel | 13 |
2. Evaluation von Programmen | 17 |
2.1 Wissenschaft, Bewertung und Nutzung: Evaluation im Spannungsfeld unterschiedlicher Erfordernisse | 17 |
2.1.1 Definition von Evaluation – eine erste Annäherung | 17 |
2.1.2 Begründung einer gegenstandsbezogenen Begriffsklärung | 18 |
2.1.3 Wissenschaft, Bewertung und Nutzung: Situierung im evaluationstheoretischen „Koordinatensystem“ | 21 |
2.2 Programmevaluation: Die theoretische Perspektive der Evaluation auf den Untersuchungsgegenstand | 25 |
2.2.1 Programme – eine breite Vielfalt | 26 |
2.2.2 Programme als Evaluationsgegenstand: Eine Heuristik der Evaluation | 28 |
2.3 Weichenstellungen für das Evaluationsdesign | 32 |
2.3.1 Produktevaluation – Grenzen und Anregungspotenzial | 32 |
2.3.2 Evaluation von Personen und was man aus ihren Problemen lernen kann | 34 |
2.3.3 Evaluation von Organisationen: Eine andere Perspektive der Untersuchung | 36 |
2.3.4 Die Programmheuristik und ihre theoretischen Vorannahmen | 36 |
3. Bundesmodellprogramme als innovative multizentrische Programme: Merkmale und Anforderungen an die Evaluation | 39 |
3.1 Modellprogramm als politisches Instrument | 39 |
3.1.1 Bundesmodellprogramme in der Kinder- und Jugendhilfe | 40 |
3.1.2 Übertragbarkeit der Ergebnisse und wissenschaftliche Begleitung | 43 |
3.2 Veränderungen in den Zuschnitten von Modellvorhaben und Begleitforschung: Von der wissenschaftlichen Begleitung zur Evaluation | 45 |
3.2.1 Modellförderung der Kinder- und Jugendhilfe im „(Wind-)Schatten“ der Bildungsreformen | 45 |
3.2.2 Begleitforschung im Spannungsfeld zwischen Kontroll- und Handlungsforschung | 49 |
3.2.3 Übergänge zur Evaluation | 50 |
3.2.4 Evaluation und Begleitforschung: Gemeinsamkeiten und Unterschiede | 53 |
3.3 Zwei Beispiele: Die Bundesmodellprogramme „Mobile Jugendsozialarbeit“ und „Interkulturelles Netzwerk“ | 56 |
3.3.1 Das Bundesmodellprogramm „Mobile Jugendsozialarbeit“ | 58 |
3.3.2 Das Bundesmodellprogramm „Interkulturelles Netzwerk“ | 59 |
3.4 Besonderheiten von Bundesmodellprogrammen als Evaluationsgegenstand – innovativ, emergent, heterogen,multizentrisch und „modellhaft“ | 61 |
3.4.1 Bundesmodellprogramme als innovative Programme | 61 |
3.4.2 Bundesmodellprogramme als emergente Programme | 63 |
3.4.3 Bundesmodellprogramme als multizentrische und heterogen implementierte Programme | 65 |
3.4.4 Bundesmodellprogramme als Mehrebenen- und Multiakteursprogramme | 67 |
3.4.5 Bundesmodellprogramme als modellhafte Erprobung zur Gewinnung übertragbarer Erkenntnisse – die Aufgaben der Evaluation | 70 |
3.5 Herausforderungen für die Programmevaluation – eine Zusammenfassung | 74 |
4. Übertragung der Cluster-Evaluation auf die Evaluation von Bundesmodellprogrammen | 76 |
4.1 Hintergrund und Kontext der Cluster-Evaluation | 76 |
4.1.1 „Multisite evaluations“ – eine erste Systematisierung multizentrischer Evaluationen | 77 |
4.1.2 Cluster-Evaluation als Gegenentwurf zur „multisite evaluation“ | 78 |
4.1.3 Förderprogramme der WKKF als Gegenstand der Cluster-Evaluation | 80 |
4.2 Konzeptionelle Merkmale der Cluster-Evaluation | 83 |
4.2.1 Die „vier Schlüsselmerkmale“ der Cluster-Evaluation – programmatische Eckwerte der W.K. Kellogg Foundation | 84 |
4.2.2 Sechs Gestaltungsmerkmale der Cluster-Evaluation – ein Systematisierungsvorschlag | 86 |
4.3 Anwendbarkeit auf andere Kontexte: Cluster-Evaluation als „Stiftungs-Evaluationsmodell“ oder übertragbarer Evaluationsansatz? | 95 |
4.3.1 Ein Evaluationsansatz – viele mögliche Evaluationsdesigns | 95 |
4.3.2 Cluster-Evaluation und ihr Ausgangspunkt als „Stiftungs-Evaluationsmodell“ | 98 |
4.3.3 Verbreitung der Cluster-Evaluation über die W.K. Kellogg Foundation hinaus | 100 |
4.4 Die impliziten Programmannahmen der Cluster-Evaluation als konzeptionelles Kernelement des Evaluationsansatzes | 101 |
4.4.1 Ansätze multizentrischer Evaluation | 102 |
4.4.2 Typologisierung multizentrischer Ansätze nach den Kriterien von Sinacore und Turpin | 104 |
4.4.3 Die impliziten Annahmen über die Programmarchitektur als Unterscheidungskriterium multizentrischer Evaluationszugänge | 107 |
4.4.4 Theoretische Annahmen der Cluster-Evaluation über das Programm und seine „Architektur“ | 110 |
4.4.5 Differenzen in den Programmarchitekturannahmen multizentrischer Evaluationsansätze | 113 |
4.4.6 Zwischenfazit: Cluster-Evaluation als übertragbarer Evaluationsansatz und „onsite evaluation“ als eine Alternative | 115 |
4.5 Erfahrungen aus der Übertragung der Cluster-Evaluation auf Bundesmodellprogramme | 116 |
4.5.1 Evaluative Fallstudien und responsive Evaluation als Ausgangspunkte der Studie „Mobile Jugendsozialarbeit“ | 117 |
4.5.2 Konzeptübergang zur Cluster-Evaluation | 120 |
4.5.3 Erfahrungen mit dem Ansatz der Cluster-Evaluation in zwei Evaluationsstudien | 122 |
4.6 Zusammenfassung und Resümee zur Übertragbarkeit der Cluster-Evaluation in andere Kontexte | 139 |
5. Entwicklung einer Konzeption rekonstruktiver multizentrischer Programmtheorie-Evaluation | 144 |
5.1 Programmtheorie-Evaluation zwischen Generalisierungsanspruch und Nutzungsorientierung – oder: Empirisch begründete Theorieentwicklung als weißer Fleck? | 144 |
5.1.1 Programmtheorie-Evaluation: Unterschiedliche Zugänge und evaluationstheoretische Entwicklungslinien | 146 |
5.1.2 Empirisch begründete Theorieentwicklung als weißer Fleck programmtheoriebasierter Evaluationszugänge | 157 |
5.1.3 Herausforderungen für ein programmtheoriebasiertes Vorgehen in der Cluster-Evaluation | 167 |
5.2 Von der Programmtheorie als „konstitutiver Bestandteil“ eines Programms zur Beschreibung des Untersuchungsgegenstandes | 169 |
5.2.1 Programmtheorie – ein mehrdeutiger Begriff | 169 |
5.2.2 Programmtheorie: Die theoretische Beschreibung des Untersuchungsgegenstandes in einer Evaluation | 172 |
5.2.3 Konsequenzen für ein programmtheoriebasiertes Vorgehen der Cluster-Evaluation | 174 |
5.3 Programmtheorien auf drei „Ebenen“ der Cluster-Evaluation: Programmkonzeption, Handlungskonzepte der Projekte und fachliche Strategien | 177 |
5.3.1 Programmtheorie auf der Beobachtungsebene der Programmkonzeption | 178 |
5.3.2 Programmtheorien auf der Beobachtungsebene der Projektaktivitäten | 181 |
5.3.3 Programmtheorien modellhaft erprobter fachlicher Strategien | 183 |
5.4 Programmtheorien als Repräsentationen professionellen berufsfeldspezifischen Wissens | 185 |
5.4.1 Innovative Handlungskonzepte und sozialpädagogisches Wissen | 186 |
5.4.2 Sozialpädagogische Wissensformen und ihre Berücksichtigung in Konzepten der Programmtheorie | 190 |
5.5 Programmarchitekturtheorie: Das fehlende Bindeglied einer Verknüpfung von Cluster-Evaluation mit programmtheoriebasierter Evaluation | 202 |
5.5.1 Programmarchitekturtheorie – die theoretische Beschreibung der wechselseitigen Bezüge von Programm und Projekten | 203 |
5.5.2 Rekursive Programmarchitekturtheorie und Sortierung vielfältiger Programmtheorien | 209 |
5.5.3 Programm-Makrotheorie: Wie soziale Veränderungen ermöglicht werden | 212 |
5.6 Schlüsselkonzepte rekonstruktiver multizentrischer Programmtheorie-Evaluation oder programmtheoriebasierter Cluster-Evaluation | 215 |
6. Methodisches Vorgehen in zwei Studien: Programm-Modelle als heuristische Instrumente und ExpertInneninterviews zur Rekonstruktion fachlicher Strategien | 218 |
6.1 Vom Fall zur fallübergreifenden Strategie: Übergang zu einem programmtheoriebasierten Vorgehen in der Studie „Mobile Jugendsozialarbeit“ | 218 |
6.1.1 Vorgehen in der ersten Hälfte der Evaluationslaufzeit | 219 |
6.1.2 Anknüpfungspunkte für den Übergang zu einer Programmtheorie-Evaluation | 224 |
6.1.3 Grundlegende Veränderungen des Evaluationsdesigns | 229 |
6.2 Ereigniskette als Auswertungsheuristik | 233 |
6.2.1 Die Ereigniskette nach Bennett als strukturiertes Schema zur Abbildung der Programmtheorie | 233 |
6.2.2 Ereignisketten im Bundesmodellprogramm „Mobile Jugendsozialarbeit“ | 236 |
6.2.3 Ereigniskette als heuristisches Instrument der Cluster-Evaluation | 242 |
6.3 Programm-Modelle als heuristische oder praktische Instrumente der Evaluation – zwei zu unterscheidende Konzeptionen | 245 |
6.4 Programm-Modelle in der Evaluationsstudie „Interkulturelles Netzwerk“ | 253 |
6.4.1 Das „logische Modell“ als Instrument der Evaluation | 254 |
6.4.2 Verwendungsformen des „logischen Modells“ in der Evaluationsstudie „Interkulturelles Netzwerk“ | 256 |
6.4.3 Ereigniskette und Veränderungsmatrix als Auswertungsheuristiken | 264 |
6.5 Programmtheorie-rekonstruierende ExpertInneninterviews: Berufsfeldspezifisches (Deutungs-)Wissen als Untersuchungsgegenstand | 267 |
6.5.1 Professionelles berufsfeldspezifisches Wissen und Expert(inn)enwissen | 268 |
6.5.2 Handlungsrelevante „Programmtheorien“ als Deutungswissen von Expert(inn)en | 271 |
6.5.3 Zur Explizierbarkeit handlungsrelevanten Wissens und zur Praxisrelevanz der Rekonstruktionen fachlichen Handelns | 274 |
6.6 Durchführung und Auswertung programmtheorierekonstruierender ExpertInneninterviews | 277 |
6.6.1 Förderung erzählender Darstellungen der fachlichen Handlungspraxis – zur Gestaltung der Eingangssequenzund der Evaluationssituation | 278 |
6.6.2 Die Rolle der Befragenden | 281 |
6.6.3 Auswahl der Expert(inn)en und die Organisation des Interviews | 283 |
6.6.4 Aufbau der ExpertInneninterviews | 285 |
6.6.5 Auswertungsschritte | 291 |
7. Evaluation innovativer Entwicklungsprogramme – einige Thesen | 300 |
Nachwort: Einige Worte des Dankes und wenige Worte zum Schluss | 314 |
Literaturverzeichnis | 315 |