Die Evaluation eines Programms zur sozialen und beruflichen Integration von Jugendlichen ist komplex. Im Rahmen eines Pilotprojekts im Kanton Wallis wurde ein Modell entwickelt, das versucht, diese Schwierigkeiten zu überwinden, indem es Wissenschaftlichkeit, Partizipation und Reflexivität miteinander verbindet.
Von Maël Dif-Pradalier, Professor, Joseph Hivert, wissenschaftlicher Mitarbeiter, und Riccardo Milani, wissenschaftlicher Mitarbeiter, Hochschule für Sozialarbeit Freiburg (HES-SO)
Der Artikel wurde von Charlotte Miani von Arbeitsintegration Schweiz übersetzt; die Originalfassung ist auf Französisch verfasst und in der Zeitschrift Reiso verfügbar.
Ausgangslage
Die Evaluation staatlichen Handelns bedeutet immer, den Wert einer Massnahme zu hinterfragen: Was bringt sie, für wen und nach welchen Kriterien? Im Bereich der sozialen und beruflichen Integration junger Erwachsener ist diese Aufgabe besonders komplex. Es geht nicht nur darum, die unmittelbaren Auswirkungen einer Begleitung zu bewerten, sondern auch Prozesse zu erfassen, deren Ergebnisse sich oft erst im Laufe der Zeit entfalten. Wie lässt sich also die Tragweite einer Begleitung zur sozialen und beruflichen Integration einschätzen, deren nachhaltigste Auswirkungen manchmal erst lange nach Abschluss des Programms sichtbar werden? Denn diese Wirkungen liegen ebenso sehr in den subjektiven und zwischenmenschlichen Veränderungen wie in objektivierbaren Ergebnissen, die jedoch unterschiedlichen Zeiträumen zuzuordnen sind.
Klassische Bewertungsmodelle, die auf einfachen Kausalzusammenhängen zwischen einer Massnahme und ihren Auswirkungen beruhen, erweisen sich als unzureichend, um der Vielfalt der Verläufe und der dabei wirksamen Zeitrahmen gerecht zu werden. Im Bereich der Integration junger Menschen sind die Verläufe von Brüchen, Neuorientierungen und Weggabelungen geprägt, die standardisierte Bewertungsinstrumente nur unvollständig erfassen. Zudem erschwert die Vielzahl der beteiligten Akteure – öffentliche Verwaltungen, Dienstleistungsorganisationen, Ausbildungsbetriebe, Schulen, aber auch Eltern oder Angehörige – jede eindeutige Zuordnung der Wirkungen zu einer einzigen Massnahme.
Vor diesem Hintergrund wurde die Evaluation des Pilotprogramms FormAvenir im Kanton Wallis konzipiert, das sich direkt am Programm FORJAD (Ausbildung für junge Erwachsene in schwierigen Lebenssituationen) orientiert. Dieses dient seit 2006 im Kanton Waadt als Referenzmodell für die Integration junger Menschen, indem es sie auf dem Weg zu einer Berufsausbildung und während dieser begleitet.
Kombination quantitativer und qualitativer Methoden
Die Evaluation von FormAvenir basiert auf einem gemischten Ansatz, der quantitative und qualitative Methoden miteinander verbindet. Sie stützt sich zudem auf eine Logik der begleitenden Evaluation, d. h., sie wird parallel zur Einführung des Programms im Jahr 2023 und für eine anfängliche Pilotphase von drei Jahren durchgeführt. Sie berücksichtigt zudem eine Entwicklungsperspektive, indem sie darauf ausgerichtet ist, laufend Anpassungen am Angebot im Verlauf seiner Umsetzung zu ermöglichen.
Der gewählte Ansatz legt den Schwerpunkt auf die Ko-Konstruktion von Erfolgsindikatoren mit allen Beteiligten – Jugendlichen, Fachkräften vor Ort, Ausbildungsbetrieben, Lehrkräften und dem Auftraggeber. Diese Entscheidung spiegelt den Willen wider, eine Logik der ex-post-Kontrolle zugunsten eines reflexiven und partizipativen Prozesses zu überwinden. Dadurch wird die Evaluation zu einem Instrument des kollektiven Lernens und der kontinuierlichen Verbesserung des öffentlichen Handelns. Sie verfolgt die Werdegänge der Jugendlichen auf der Grundlage mehrerer Quellen und Beobachtungszeitpunkte. Das Verfahren kombiniert von den Coaches ausgefüllte Fragebögen mit Interviews mit den Akteuren des Programms. Das Ziel besteht letztendlich darin, sowohl die konkreten Entwicklungen im beruflichen, schulischen, persönlichen und sozialen Leben der Jugendlichen als auch die subtileren Veränderungen, die ihre Begleitung prägen, sichtbar zu machen.
Fortschritte und Schwierigkeiten dokumentieren
Im Rahmen des Programms stützt sich die quantitative Erfassung auf drei Fragebögen, die auf den Unterlagen basieren, die die Coaches bereits in ihrer täglichen Arbeit verwenden. Sie stützen sich auf Kriterien, die gemeinsam mit dem Auftraggeber festgelegt wurden, um die Fortschritte und Schwierigkeiten der Jugendlichen zu dokumentieren.
Der erste Fragebogen, der zu Beginn des Programms ausgefüllt wird, liefert ein erstes Profil jeder Teilnehmerin und jedes Teilnehmers. Er umfasst soziodemografische Daten, Informationen zur angestrebten Ausbildung und zum Beruf sowie zu Risikofaktoren und dem vorhandenen Unterstützungsnetzwerk. So lässt sich der Ausgangspunkt jedes Werdegangs ermitteln, die Ressourcen identifizieren, auf die die Jugendlichen zurückgreifen können, und ihre potenziellen Schwachstellen verstehen.
Der zweite Fragebogen, der jedes Semester von den Coaches ausgefüllt wird, verfolgt die Entwicklung der Jugendlichen in den Bereichen Beruf, Schule, Privatleben und Soziales. Er kombiniert abgestufte Bewertungen und freie Kommentare, um Fortschritte, aufgetretene Hindernisse und die von den Coaches vorgenommenen Anpassungen zur Unterstützung jeder einzelnen Person darzustellen.
Der dritte Fragebogen wird ausgefüllt, wenn die teilnehmende Person das Programm verlässt – sei es aufgrund einer Stabilisierung ihrer Situation, einer notwendigen Neuorientierung oder weil es dem Coach nicht mehr möglich ist, eine wirksame Begleitung fortzusetzen. Diese Bilanz verdeutlicht die eingeschlagenen Wege und die im Laufe der Begleitung getroffenen Entscheidungen.
Den Beteiligten das Wort geben
Die qualitative Begleitung ergänzt diese Beobachtungen, indem sie den beteiligten Akteur:innen das Wort erteilt. Zwischen Dezember 2023 und April 2026 wurden 28 halbstrukturierte Interviews mit Vertreter:innen des Sozialdienstes des Kantons Wallis (SAS), Coaches, Jugendlichen, Arbeitgeber:innen und Lehrpersonen geführt. Parallel dazu ermöglichten zwei Fokusgruppen, die gemeinsam mit dem SAS und den Partnerorganisationen durchgeführt wurden, die unterschiedlichen Standpunkte herauszuarbeiten, die Bewertungskriterien zu hinterfragen und die Überlegungen zur Entwicklung der Erfolgsindikatoren für die Massnahme zu bereichern.
Diese Kombination aus indirekten Beobachtungen, Kommentaren und Erfahrungsberichten bildet die Grundlage für den vom Evaluationsteam geleiteten Prozess der Ko-Konstruktion der Indikatoren. Ziel war es, die Komplexität der individuellen Werdegänge, die Vielfalt der gemachten Erfahrungen und die Pluralität der Sichtweisen der am FormAvenir-Programm beteiligten Akteur:innen zu berücksichtigen.
Ko-Konstruktion der Erfolgsindikatoren
Die Ko-Konstruktion der Erfolgsindikatoren des Programms bildete einen zentralen Bestandteil der begleitenden Evaluation. Sie erfolgte in drei Schritten: Zunächst ging es um die Identifizierung und Konkretisierung der Bewertungskriterien der Beteiligten – Jugendliche, Coaches, Partnerorganisationen, Arbeitgeber:innen, Lehrpersonen und Auftraggeber. Jede Akteursgruppe hat nämlich spezifische Erwartungen und Werte hinsichtlich dessen, was den Erfolg des Programms ausmacht oder ausmachen würde. Diese Perspektiven können übereinstimmen aber auch voneinander abweichen.
Anschliessend wurden diese Kriterien thematisch zusammengefasst, wodurch sich vier grosse Gruppen herauskristallisierten: die Erreichung der Ziele und die beobachtbaren Auswirkungen auf die Jugendlichen, die Qualität der Begleitung, die Mobilisierung und Festigung des Partnernetzwerks sowie die Begleitung und Überwachung des Projekts. Auf dieser Grundlage wurde eine Reihe qualitativer und quantitativer Indikatoren erarbeitet, mit denen sich die identifizierten Kriterien qualitativ beschreiben oder quantitativ messen lassen. Insgesamt wurden 36 Indikatoren vorgeschlagen, von denen 22 sofort einsetzbar waren, da sie anhand der verfügbaren Quellen ermittelt werden konnten. Vierzehn mussten noch „operationalisiert“ werden, da sie von der künftigen Einführung geeigneter Erhebungsmethoden abhingen, die mehr oder weniger lange Zeiträume umfassten.
Die Stimmen aller Akteur:innen werden hörbar gemacht
Dieser Prozess der Ko-Konstruktion verdeutlicht die Vorteile, aber auch die Grenzen des Bewertungssystems. Die gewählte Struktur ermöglicht eine detaillierte Nachverfolgung der Verläufe und Wirkungen, insbesondere hinsichtlich der Entwicklung des persönlichen und beruflichen Netzwerks der Jugendlichen. Sie bietet den Coaches regelmässiges Feedback zu den Wirkungen ihrer Begleitung. Sie ermöglicht es dem SAS zudem, das Programm kontinuierlich anzupassen, und bildet einen Bewertungsrahmen, der über die Pilotphase hinaus übertragbar ist. Schliesslich macht sie die Stimmen der verschiedenen Akteur:innen hörbar und wirft gleichzeitig die Frage nach dem relativen Gewicht jeder Perspektive im Falle von Meinungsverschiedenheiten auf. Denn nicht alle Vorstellungen von „Erfolg“ sind im Hinblick auf die Ziele des Programms zwangsläufig gleichwertig.
Die Wirksamkeit der Evaluation hängt von mehreren Faktoren ab: der Fähigkeit des Forschungsteams, die Sichtweise der Jugendlichen einzubeziehen, der Zusammenarbeit mit den Fachkräften der Partnerorganisationen für den Zugang vor Ort und der Auswahl der Teilnehmenden sowie der Flexibilität, die erforderlich ist, um das Monitoring an die schwankenden Zu- und Abgänge anzupassen. Sie stützt sich zudem auf die vom Auftraggeber festgelegten Kriterien, die je nach Fachkraft unterschiedlich interpretiert werden können oder im Falle von Personalfluktuation variieren können. Zwei Einschränkungen bleiben bestehen: die fehlende Nachverfolgung der Jugendlichen nach ihrem Ausscheiden, wodurch die weitere Entwicklung ihres Werdegangs nicht dokumentiert werden kann. Und die Unmöglichkeit, mittel- und langfristige Auswirkungen zu bewerten, insbesondere hinsichtlich der Qualität der ausgeübten Beschäftigung oder der Gesundheit.
Die Evaluation als Instrument zur gemeinsamen Wissensgenerierung
Die Evaluation des Programms FormAvenir verdeutlicht die Vorteile eines Ansatzes, der Wissenschaftlichkeit, Partizipation und Reflexivität miteinander verbindet. Durch die frühzeitige Einbindung der betroffenen Akteure – der SAS, der Partnerorganisationen, der teilnehmenden Jugendlichen und der Forscher:innen – ermöglichte sie die Entwicklung eines Analyserahmens, der den Realitäten vor Ort Rechnung trägt und gleichzeitig methodische Stringenz gewährleistet. Dieser Ansatz begünstigte die Entwicklung gemeinsamer „Erfolgsindikatoren“, die auf den Bewertungskriterien der Beteiligten basieren und nicht von aussen auferlegt wurden.
Gleichzeitig hat die Erfahrung gezeigt, dass mit jedem Evaluationssystem auch offene Fragen und Graubereiche verbunden sind. Das derzeitige Fehlen einer Längsschnittbeobachtung der Teilnehmenden nach der Zertifizierung schränkt das Verständnis der mittel- und langfristigen Auswirkungen des Programms ein – sei es hinsichtlich der Qualität der gefundenen Beschäftigung, der Stabilisierung der beruflichen Laufbahnen oder der psychosozialen Aspekte der Eingliederung. Zudem kann die für die gemeinsame Erarbeitung der Indikatoren erforderliche Nähe die kritische Distanz der Forscher:innen beeinträchtigen. Dies wirft die Frage nach den Bedingungen für eine Evaluation auf, die zugleich engagiert und distanziert ist. Dieser Spannungszustand wurde durch eine systematische Verknüpfung der Sichtweisen der beteiligten Akteure sowie durch ein besonderes Augenmerk auf die Wiedergabe und Aufwertung der Aussagen der jungen Teilnehmenden berücksichtigt.
Diese Erkenntnisse legen nahe, die Evaluation nicht als einmalige Rechenschaftsübung zu betrachten, sondern als dynamischen Prozess der Anpassung und der gemeinsamen Erarbeitung von Wissen. Indem das Erfahrungswissen anerkannt und die Sichtweisen aller Beteiligten in einen Dialog gebracht werden, veranschaulicht die Erfahrung von FormAvenir einen Paradigmenwechsel in der Evaluation staatlicher Massnahmen: Sie ist mehr als ein Instrument zur Überprüfung, sie wird zu einem Werkzeug der gemeinsamen Wissensgenerierung. Und sie kann dazu beitragen, die Praxis weiterzuentwickeln – hin zu einem staatlichen Handeln, das reflektierter, inklusiver und letztlich gerechter ist.
AIS Fachtagung 2025
Im September 2025 befasste sich die nationale Fachtagung von Arbeitsintegration Schweiz mit einer zentralen Frage des Integrationsbereichs: Wie lassen sich die Wirkungen von Massnahmen zur sozialen und beruflichen Integration messen? Angesichts steigender Anforderungen seitens der Auftraggebenden und des Bestrebens der Eingliederungsorganisationen, die Qualität ihrer Dienstleistungen zu verbessern, wird die Wirkungsevaluation zu einer zentralen Herausforderung für den Sektor. Im Rahmen einer Zusammenarbeit zwischen Arbeitsintegration Schweiz und REISO ist eine Reihe aus drei Artikeln und einem Interview erschienen, um die Komplexität dieses Themas zu beleuchten. Die aus dem Französischen ins Deutsche übersetzte Fassung des Artikels stammt von Charlotte Miani von Arbeitsintegration Schweiz; die Originalversion des Artikels ist hier abrufbar.
Bibliografie
- Bieri, Oliver; Bachmann, Ruth; Bodenmüller, Daniela; Balthasar, Andreas (2006).
- RAV-Strategien zur Arbeitsmarktintegration und deren Wirksamkeit. Eine qualitativ-quantitativ angelegte Evaluation am Beispiel von jungen, niedrig qualifizierten und älteren, gut qualifizierten Personen. Bern: Staatssekretariat für Wirtschaft: Seco Publikation Arbeitsmarktpolitik No 17 (10. 2006)
- Baumgartner, Edgar; Haunberger, Sigrid (2024). Wirkungsevaluationen in der Sozialen Arbeit. Ein Orientierungsbuch für die Praxis. Bern: Haupt.
- Kanton Zürich 2025. Allgemeine Ausführungen zu Fragen der beruflichen und sozialen Integration | Kanton Zürich (abgerufen am 31.07.2025)
- Kita, Zuzanna; Haunberger, Sigrid; Wirz, Daniela; Gisler, Fiona (2022). Wirkungsannahmen sichtbar machen: Konstruktion eines kontext-mechanismusbasierten Wirkungsmodells in der Arbeitsintegration. Schweizerische Zeitschrift für Soziale Arbeit/Revue suisse de travail social 29, 72-109. https://doi.org/10.33058/szsa.2022.0967
- Neuenschwander, Peter; Fritschi, Tobias; Sepahniya, Samin (2022). Herausforderungen und Zukunftsperspektiven in der Arbeitsintegration. Abschlussbericht: Berner Fachhochschule.
- Neuenschwander, Peter; Fritschi, Tobias; Jörg, Reto (2015). Wirken Integrationsprogramme – und wenn ja, wie? Ein Wirkungsmodell als theoretische Grundlage zur Wirksamkeitsüberprüfung von fünf Integrationsprogrammen im Kanton Bern. Sozial Aktuell, 47/3, 32-33.
- Suhling, Stefan (2020). Zur Erfassung der Wirkungen des Strafvollzugs. In: Meier, BD., Leimbach, K. (Hg.) Gefängnisse im Blickpunkt der Kriminologie. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-662-62072-4_3
- Sundermann, Larissa; Haunberger, Sigrid; Gisler, Fiona; Kita, Zuzanna (2022). How do supported employment programs work? Answers from a systematic literature review. Int J Educ Vocat Guid 23(3), 659-679. https://doi.org/10.1007/s10775-022-09533-3