Ohne dabei den Sinn aus den Augen zu verlieren
Die Evaluation von Massnahmen zur sozialen und beruflichen Integration stützt sich auf Wirkungsindikatoren. Deren Verwendung ist keineswegs neutral, sondern bringt methodische Entscheidungen und Auswirkungen auf die Praxis mit sich.
Von Éric Moachon, assoziierter Professor und Morgane Kuehni, ordentliche Professorin, Hochschule für Sozialarbeit und Gesundheit Lausanne (HES·SO)
Der Artikel wurde von Charlotte Miani von Arbeitsintegration Schweiz übersetzt; die Originalfassung ist auf Französisch verfasst und in der Zeitschrift Reiso verfügbar.
Die Evaluation der sozialen und beruflichen Integration stützt sich weitgehend auf Wirkungsindikatoren. Diese Instrumente haben jedoch Mühe, die Komplexität der Verläufe und der durch die Massnahmen hervorgerufenen Effekte zu erfassen. Die Analyse von vier Indikatoren, die von Einrichtungen zur sozialen und beruflichen Integration häufig verwendet werden, verdeutlicht deren Vorteile und Grenzen und liefert gleichzeitig Anhaltspunkte für eine zweckmässigere Konzeption und Nutzung dieser Instrumente.
Mehrere für die soziale und berufliche Integration spezifische Merkmale erschweren deren Evaluation. Zunächst einmal beruht dieser Bereich – im Gegensatz zu anderen – nicht auf einem einzigen Kausalmodell, das eine einzelne Massnahme mit einer klar identifizierbaren Wirkung verknüpft, wie beispielsweise der Bau einer Brücke und die Verbesserung der Mobilität. Die Integrationsverläufe der Individuen hängen von zahlreichen Faktoren ab – verfügbare Ressourcen, wirtschaftliches Umfeld, Arbeitskräftebedarf –, die sich der Kontrolle der betroffenen Personen und der Fachleute, die sie begleiten, entziehen.
Zweitens sind die Wege zur Integration vielfältig und verlaufen nicht zwangsläufig über vordefinierte Etappen wie einen Kurs zu Techniken der Stellensuche oder ein Berufspraktikum. Ausserdem lässt sich Integration nicht eindeutig definieren und bedeutet nicht zwangsläufig die (Wieder-)Aufnahme einer Beschäftigung: Eine Person kann sozial integriert sein, ohne beruflich tätig zu sein. Schliesslich stellt sich im Hinblick auf die berufliche Integration die Frage nach der Qualität der wiedergefundenen Stelle: Ist sie dauerhaft oder prekär? Entspricht sie den Bedürfnissen und Erwartungen der Betroffenen hinsichtlich der Arbeitsbedingungen (Lohn, Beschäftigungsgrad) oder der Vereinbarkeit der verschiedenen Lebensbereiche?
Zu dieser Komplexität kommt die Vielfalt der Massnahmen zur sozialen und beruflichen Integration hinzu. Tatsächlich variieren die Vorgehensweisen der Fachleute im Bereich der Integration je nach institutionellem Auftrag (Arbeitslosenversicherung, Invalidenversicherung, Sozialhilfe, Migration), den behandelten Problemstellungen (mangelnde Qualifikation, Gesundheit, Isolation) und den unterstützten Zielgruppen (Alter, Bildungsniveau).
Die Wirkung evaluieren: Herausforderungen und Ansätze
Angesichts dieser Vielfalt an Lebensläufen und Massnahmen stellt sich die Frage nach der Wirkungsevaluation mit besonderer Dringlichkeit. Der Bereich der Evaluation zeichnet sich durch eine Fülle von Begriffen aus – Inputs, Ressourcen, Outputs, Aktivitäten, Leistungen, Outcomes, Ergebnisse, direkte und indirekte Auswirkungen, kurz-, mittel- und langfristige Auswirkungen –, deren Definitionen manchmal mehrdeutig bleiben (Delahais et al.). Diese Fülle kann für Laien verwirrend sein.
Zur Verdeutlichung schlägt dieser Artikel vor, sich auf eine binäre Unterscheidung zwischen einerseits der Funktionsweise einer Massnahme und andererseits deren Folgen zu beschränken. Im Bereich der sozioprofessionellen Integration bezeichnen die Wirkungen somit die Gesamtheit der Effekte – ob erwartet oder nicht, vorhersehbar oder nicht –, die eine Massnahme auf die Teilnehmenden und deren Umfeld hat [1] .
Grob gesagt gibt es zwei sich ergänzende Perspektiven zur Untersuchung der Wirkungen. Die erste, der lineare kausale Ansatz, ist in erster Linie quantitativ. Er zielt darauf ab, Ursache-Wirkungs-Zusammenhänge zwischen einer Intervention und einer Wirkung herzustellen, wobei Faktoren ausserhalb der evaluierten Intervention so gut wie möglich neutralisiert werden. Er stützt sich auf den Vergleich von Wirkungsindikatoren zweier Interventionen, die in ähnlichen Kontexten mit ähnlichen Zielgruppen durchgeführt wurden, nach einem Modell, das dem von klinischen Studien ähnelt. So kann es beispielsweise darum gehen, die Arbeitsmarkteingliederungsquote einer Gruppe von Jugendlichen, die an einem Motivationssemester (SEMO) teilgenommen haben, mit der einer anderen Gruppe zu vergleichen, die nicht daran teilgenommen hat. Der kausale Ansatz wird vor allem von denjenigen bevorzugt, die über die Finanzierung einer Massnahme entscheiden.
Der umfassende Ansatz, der oft qualitativer Natur ist, zielt weniger darauf ab, die Frage nach dem «Wie viel» zu beantworten, als vielmehr die nach dem «Wie». Indem er sich mehr auf die Prozesse als auf die quantifizierten Ergebnisse konzentriert, dokumentiert er die Wirkungen einer Massnahme auf eine Zielgruppe im Hinblick auf erlebte Veränderungen, wie beispielsweise die Stärkung des Selbstvertrauens, die Entwicklung von Kompetenzen oder den Aufbau eines Netzwerks. Dieser Ansatz ist zudem bestrebt, die bedeutendsten Veränderungen unter Berücksichtigung der Profile der Teilnehmenden und des sozioökonomischen Kontexts zu ermitteln. Er analysiert auch die Zusammenhänge zwischen diesen verschiedenen Veränderungen und den angestrebten Wirkungen (Devaux-Spatarakis, 2023), beispielsweise um aufzuzeigen, wie Coaching das Selbstvertrauen beeinflusst oder wie Praktika die Einstellung zur Arbeit verändern. Ein solcher Ansatz verdeutlicht die Hebel für Verbesserungen für die Fachleute, die die Massnahmen umsetzen.
Wirkungsindikatoren: Stärken, Grenzen und Anwendungsmöglichkeiten
Im Bereich der sozialen und beruflichen Integration gibt es keinen Konsens darüber, welche Indikatoren für die Wirkungsevaluation relevant sind. Die Auftraggeber erwarten meist eine Quote positiver Abschlüsse der Begleitungen (in eine Anstellung oder eine Ausbildung). Die meisten Dienstleister halten diesen Ansatz jedoch für zu vereinfachend und kombinieren mehrere Indikatoren, um der Vielfalt der Wirkungen ihrer Massnahmen Rechnung zu tragen und mögliche Hebel für Verbesserungen zu identifizieren.
Die folgende Tabelle bietet einen Überblick über die Stärken und Schwächen von vier Indikatoren, die von Einrichtungen zur sozialen und beruflichen Eingliederung häufig herangezogen werden: der Vorher-Nachher-Vergleich der Kompetenzen der Teilnehmenden, die Wiedereingliederungsquote, die Zufriedenheitsquote der Zielgruppen und die Abbruchquote der Massnahme.
Tabelle 1: Stärken und Schwächen von vier Indikatoren
Der Einsatz von Indikatoren ist oft sinnvoll, insbesondere um bestimmte Dimensionen der Wirkung einer Massnahme zur sozialen und beruflichen Eingliederung aufzuzeigen. Die Messung eines Phänomens anhand eines Indikators stellt jedoch eine erhebliche Vereinfachung der Realität dar. Per Definition konzentriert sich ein Indikator auf einen bestimmten Aspekt und sagt nichts über den Kontext aus. Zudem lässt sich anhand der Erhebung eines Indikators kein eindeutiger Zusammenhang zwischen einer Massnahme und einer Wirkung feststellen: Die Wiederaufnahme einer Erwerbstätigkeit durch eine Person nach einer Massnahme bedeutet nicht, dass diese Massnahme die Ursache dafür ist. Die Messung eines Indikators ist keinesfalls gleichbedeutend mit einer umfassenden Bewertung der Wirksamkeit, Relevanz oder Wirkung einer Massnahme.
Indikatoren sind zudem mit einer politischen Dimension behaftet. Es handelt sich um Instrumente, die im Zentrum von Machtverhältnissen stehen, beispielsweise zwischen Auftraggebenden und Anbietern einer Integrationsmassnahme. Sie können dazu genutzt werden, Einrichtungen in Konkurrenz zueinander zu stellen (durch den Vergleich ihrer Leistung) und können zu Belohnungen oder Sanktionen führen (mit einem Bonus-Malus-System). Eine solche Nutzung führt manchmal zu opportunistischem Verhalten, was dazu führt, dass Einrichtungen und Fachleute eher auf die Indikatoren als auf die Zielgruppen ausgerichtet arbeiten (Moachon, 2007).
Relevante Indikatoren konzipieren und nutzen
Die Arbeit mit Indikatoren erfordert einige Vorsichtsmassnahmen. Mehrere Aspekte verdienen sowohl bei ihrer Konzeption als auch bei ihrer Anwendung besondere Beachtung.
Zunächst muss sichergestellt werden, dass relevante Indikatoren zur Verfügung stehen. Damit die gemessene Wirkung aussagekräftig ist, müssen die Realität und die Anliegen der verschiedenen betroffenen Personen über die blossen Erwartungen der Geldgeber hinaus bekannt sein. Dazu ist es angebracht, die Indikatoren gemeinsam mit den Beteiligten zu erarbeiten.
Sobald der Indikator ausgewählt ist, muss er genau definiert werden, um seine Zuverlässigkeit zu gewährleisten. Es müssen klare und gemeinsam vereinbarte Kriterien festgelegt werden. Klarheit und Transparenz sind hier unerlässlich. Beim Indikator «Wiedereingliederungsquote» muss beispielsweise überlegt werden, anhand welcher Daten diese Quote berechnet wird. Was ist die Referenzpopulation: alle Personen, die an der Massnahme teilgenommen haben, oder nur diejenigen, die die Massnahme abgeschlossen haben? Wie sieht der zeitliche Rahmen der Erhebung aus: unmittelbar nach Abschluss der Massnahme, sechs Monate oder ein Jahr nach Massnahmenende? Kann jeder Arbeitsvertrag als Wiedereinstieg in den Arbeitsmarkt gewertet werden (befristeter Vertrag, temporärer Einsatz, Praktika)?
Ist der Indikator erst einmal ausgewählt und definiert, muss er auch noch einsetzbar sein, das heisst, es müssen die notwendigen Ressourcen zur Verfügung stehen, um die Datenerhebung zu gewährleisten. Für die Organisatoren von Massnahmen sind Zeit und methodische Ressourcen oft begrenzt. Es ist daher angebracht, die Kosten für die Erhebung und Aufbereitung der Daten so weit wie möglich zu reduzieren, indem zu aufwendige und zu komplexe Verfahren vermieden werden.
Schliesslich ist eine reflexive Herangehensweise erforderlich, bei der man die Verwendung und Interpretation der Indikatoren aufmerksam im Auge behält. Es ist daher sinnvoller, die Indikatoren zu nutzen, um die Entwicklung der Wirkung einer Massnahme zu verstehen, als zu versuchen, zu erreichende Mindestschwellenwerte festzulegen (zum Beispiel 40 % (Wieder-)Einstieg in den Arbeitsmarkt). Im Bereich des Managements zeigen Studien übereinstimmend die unbeabsichtigten Auswirkungen solcher Praktiken auf: erheblichen Stress, um diesen Schwellenwert zu erreichen, und eine gewisse Nachlässigkeit, sobald er erreicht ist.
Verstehen statt nur messen
Es erweist sich als sinnvoll, sich mit den Wirkungen von Integrationsmassnahmen zu befassen, insbesondere aus einer konstruktiven Perspektive zur Verbesserung der Praxis. Einfache quantitative Indikatoren können geeignet sein, um die Auswirkungen in einfachen Fällen (homogene Zielgruppe, ein einziges Ziel) darzustellen. Bei komplexeren Situationen sollte man sich jedoch nicht auf das Messen beschränken, sondern vielmehr versuchen zu verstehen, warum und wie eine Massnahme Wirkung zeigt oder auch nicht. Partizipative Ansätze ermöglichen es oft, den Blickwinkel zu erweitern und die Vielfalt der Ziele der Massnahmen sowie unerwartete Auswirkungen zu berücksichtigen.
Über die AIS Fachtagung 2025
Im September 2025 befasste sich die nationale Fachtagung von Arbeitsintegration Schweiz mit einer zentralen Frage des Integrationsbereichs: Wie lassen sich die Wirkungen von Massnahmen zur sozialen und beruflichen Integration messen? Angesichts steigender Anforderungen seitens der Auftraggebenden und des Bestrebens der Eingliederungsorganisationen, die Qualität ihrer Dienstleistungen zu verbessern, wird die Wirkungsevaluation zu einer zentralen Herausforderung für den Sektor.
Im Rahmen einer Zusammenarbeit zwischen Insertion Suisse und REISO ist eine Reihe aus drei Artikeln und einem Interview erschienen, um die Komplexität dieses Themas zu beleuchten. Die aus dem Französischen ins Deutsche übersetzte Fassung des Artikels stammt von Charlotte Miani von Insertion Suisse; die Originalversion des Artikels ist hier abrufbar.
Literaturverzeichnis
- Delahais, T., Devaux-Spatarakis, A., Revillard, A.,& Ridde, V . (dir) (2022). Évaluation. Fondements, controverses, perspectives. Éditions science et bien commun.
- Devaux-Spatarakis, A. (2023). L’évaluation basée sur la théorie, in A. Revillard (dir.) Méthodes et approches en évaluation des politiques publiques (pp. 269-278). Éditions science et bien commun.
- Moachon, E. (2007). La mise en œuvre de la lutte contre les abus : le cas du chômage. Carnets de bord, 13, 16-24.