Bundeskriminalamt (BKA)

Navigation durch den Inhalt des Kapitels / Modules

Inhalt des Kapitels / Moduls

Wirkungsorientierung und Wirkungsmodellierung

Mehr Alltagstauglichkeit als konventionelle evidenzorientierte RCT-Designs, die auf nachträgliche Wirkungskontrolle zentriert sind, versprechen Ansätze der Wirkungsorientierung, die neben Wirkungsfeststellung und -identifizierung58) das innovations-, optimierungs- und lösungsbezogene Potenzial von Evaluation zur Geltung bringen.

Wirkungsorientierte Evaluation nach der Gruppe um Beywl59) verläuft idealerweise in einem fünfstufigen Verfahren. Auf Stufe 1 wird das Verhältnis zwischen Input und gezähltem Output im Sinne einer Kosten-Leistungs-Rechnung bestimmt. Stufe 2 unternimmt die Messung und Bewertung der Zielerreichung, also die Outcome-Evaluation. Auf Stufe 3 wird das Verhältnis zwischen Incomes und Outcomes gemessen und bewertet, also der Nutzenzuwachs, den das Angebot für die Adressatengruppierungen erbracht hat. Die Feststellung und Bewertung der Wirksamkeit des Angebots mittels Wirkungseinschätzungen Externer zu den Outcomes, Untersuchungen zur Funktionslogik des Angebots mittels Wirkungsmodellierung und/oder statistisch abgesicherte Messungen mit Interventions- und Kontroll- bzw. Vergleichsgruppen passieren auf Stufe 4. Stufe 5 ist der Bestimmung und Bewertung der Wirtschaftlichkeit des Angebots gewidmet.

Zugleich macht Beywl jedoch deutlich, dass ein solcher Stufenaufbau in den realen Beschaffenheiten von Feldern Sozialer Arbeit – z. B. explizit in der Kinder- und Jugendhilfe, die auch einen höchst bedeutsamen Bereich von Extremismusprävention darstellt – in seiner Gänze kaum zu realisieren ist. Designs mit Interventions- und Kontroll- bzw. Vergleichsgruppen eignen sich demnach nur für Einzelfälle der evaluativen Bildungsforschung, nämlich dort, wo „stark standardisierte, fokussierte Programme (…) über längere Zeit stabil angewandt werden“, wie dies etwa beim Mathematikunterricht angenommen werden könnte, „da dort die Outcomes mit breitem Fachkonsens festgelegt werden können“.60) Das von Dynamik und starken Wertekonflikten bestimmte und zudem noch ressourcenschwache Gebiet Sozialer Arbeit dagegen braucht demgemäß Evaluationen, die in Abstimmung und Kooperation mit Fachleuten aus der Praxis „mindestens auf Stufe 2 der Wirkungsorientierung angelegt werden“, nach Möglichkeit auch Stufe 3 erreichen und auf Stufe 4 Wirkungsfeststellungen mittels Wirkungseinschätzung oder Wirkungsmodellierung vornehmen.61)

Für wirkungsorientierte Evaluation plädiert z. B. auch der Stockmannsche Ansatz,62) der allerdings nicht speziell auf soziale und pädagogische Arbeit oder Extremismusprävention zugeschnitten ist, sondern ausdrücklich ein weites Anwendungsspektrum offeriert. Er kann auf experimentelle und quasi-experimentelle Elemente verzichten und sucht dies durch Multiperspektivität und Multi-Methodeneinsatz zu kompensieren, wobei vor allem auch auf die Triangulation quantitativer und qualitativer Methodiken gesetzt wird. Kern der Konzeption sind fünf Analysebereiche: Erstens werden die Angebotskonzeption mit ihren Zielsetzungen, Wirkannahmen und zu deren Realisierung bereitgestellten Ressourcen analysiert, die Zielgruppen identifiziert sowie die Felder beschrieben, in denen sich die beabsichtigten Wirkungen entfalten sollen. Zweitens wird der gesamte Planungs- und Durchführungsprozess sowie seine Steuerung analysiert, um die kausalen Verkettungen einzelner Phasen miteinander in den Blick nehmen zu können. Drittens werden die zentralen Parameter der durchführenden Organisation untersucht, wie personelle, räumliche, organisatorische, technische und kommunikative Strukturen und Ressourcen, damit die Leistungsfähigkeit interner Wirkungsbedingungen bestimmbar wird. Viertens werden die intendierten und nicht-intendierten Brutto- und Netto-Wirkungen auf Seiten der Adressatinnen und Adressaten, bei Mitgliedern sozialer Gruppen, die mit ihnen in Kontakt sind und innerhalb der gesellschaftlichen Felder, in denen die Aktivitäten des Angebots stattfinden, identifiziert, bewertet und einem Soll-Ist-Vergleich unterzogen. Zum fünften wird die Nachhaltigkeit der registrierten Wirkungen in ihren sozialen, ökonomischen und ökologischen Aspekten untersucht. Der Ansatz erfordert eine partizipative Einbindung von Evaluierten, die auch dadurch realisiert wird, dass in Workshops vorab Abstimmungen über die Evaluationsziele und den Evaluationsaufbau erfolgen, Zwischenergebnisse zur Verfügung gestellt und Ergebnisbewertungen auch unter Einbezug von Evaluierten vorgenommen werden.

Wirkungsmodellierung

Um Analyse-, Konzept-, Struktur-, Prozess- und Ergebnisqualität einfangen, aber auch soweit wie möglich (dabei) Wirkungen und Wirkungsweisen umfassend und differenziert evaluativ feststellen zu können, bedarf es der systematisch dokumentierenden Beschreibung und ggf. auch Visualisierung der angestrebten Verbindungen zwischen dem beabsichtigten und auch dem realisierten Präventionsgeschehen einerseits und den Wirkungen, die damit erzielt werden (sollen), andererseits. Im Rahmen von Angebotstheorien (evaluatorisch: „Programmtheorien“) werden Wirkungspfade und -mechanismen erläutert und begründet und auf diese Weise Interventionslogiken dargelegt. In ihnen drückt sich aus, welche vor und während der Umsetzung des Angebots vermuteten oder anschließend registrierten Wirkungen auf welche Wirkungsbedingungen zurückgeführt werden. Sie stellen sich, je nachdem, wer sie anstellt und oft auch je nachdem, zu welchem Zeitpunkt sie vorgebracht werden, zumeist durchaus unterschiedlich dar. Insofern erscheint es angebracht, zu ihrer Erfassung auf ein Vorgehen zu setzen, das sowohl multiperspektivisch als auch prozesshaft angelegt ist. Die Konstruktion Logischer Modelle bietet dafür ein gut handhabbares, z. B. auch von Beywl63) favorisiertes und bereits seit mehreren Jahren in der Evaluation von Extremismus- sowie Kriminalitäts- und Gewaltprävention auf Maßnahmen-, Projekte- wie Programmebene bewährtes Verfahren.64)

Bei Logischen Modellen handelt es sich um Abbildungen der Deutungs- und Funktions-logiken von Projekten und damit u. a. auch der Wirkungs-annahmen der in ihnen Mitarbeitenden – seien sie explizit vorhanden oder als „tacit knowledge“ implizite, atheoretische und pragmatische „konjunktive Wissensbestände“ im Sinne Karl Mannheims.65)

Sie stellen – in Abb. 1 angelehnt an den Programmbaum von Univation,66) ihn jedoch erweiternd – dar, in welcher Weise Verbindungen zwischen Ausgangsbedingungen, konzeptionellen Planungen, ihren realisierten Umsetzungen und Ergebnissen konstruiert werden und wie verlaufsbezogen Rahmenbedingungen und die Professionalität der Fachkräfte darauf einwirken (vgl. Abb. 1). In diesem Sinne beanspruchen sie, sowohl institutionell als auch subjektiv repräsentierte Theorien mit nicht nur deskriptiver, sondern auch askriptiver und explikativer Funktion aufzeigen zu können und sind deshalb mit sog. „Programmtheorien“67) vergleichbar, auch wenn sie im Unterschied zu ihnen nicht zwingend eine forschungsbasierte Begründung besitzen.68)

Gezeigt ist ein logisches Programmmodell. Dadurch kann Evaluation und Beratung strukturiert werden, wie zum Beispiel bei Projekten, wie Bedingungen, Aktivitäten und Resultate. Die Grafik ist von unten nach oben in vier Stufen aufgebaut.
Abb. 1: Logisches Modell; eigene Darstellung

Struktur und Informationen zum Kapitel / Modul

Fussnoten

Literatur