evaluation von projekten der (beruflichen) rehabilitation von …...gesundheit von...

Evaluation von Projekten der (beruflichen) Rehabilitation von Jugendlichen mit Mental

Health Problemen: Ergebnisse einer 3-Jahresevaluation

Monika Finsterwald & Georg Spiel

Unter Mitwirkung von Petra Schurian und den Teams der REHA

Vortrag auf der DeGEval 2014, Zürich

Vortragszeit: ca. 20-25 Min.

1

Anliegen

• Im Gesundheitsbereich:

• immer stärker werdende Forderung Maßnahmen zur

Evaluation, Qualitätssicherung und Qualitätsentwicklung zu

ergreifen

• Besonders herausfordernd: Im Bereich der psychischen

Gesundheit von Kindern/Jugendlichen

• Erfolge eingeschränkt bzw. zum Teil nur langfristig

nachweisbar sind

• Vorgestellt und diskutiert wird anhand eines Beispiels…

wie Evaluation hier durchgeführt werden kann.

welche Problembereiche sich in der Durchführung und

Auswertung ergeben.

Gliederung

1. Der Fachbereich (berufliche) REHA im Kontext des Gesamtunternehmens pmkijufa

2. Zielgruppe des Fachbereichs

3. Evaluation

Outcomes

Ziele der (beruflichen) Reha

Herausforderungen, Problemfelder, Lösungsansätze

Nächste Schritte

4. Schlussfolgerungen / offene Fragen

3

Verein pro mente: kinder jugend familie Advisory

Board

Stabstelle

Evaluation &

Innovation pro mente: kinder jugend familie GmbH

Fachbereich

Prävention

Fachbereich

Ambulanz

Fachbereich

Krisenintervention

Fachbereich

Soziotherapie

Fachbereich

Rehabilitation

Abgeschl. Projekte:

Gehsteig

Peer Helper

Feelok

It‘s my life

Youth Point

Jugendzentrum

Laufend:

Mentoringprojekt

„Ich und Du“

Außenstelle

Völkermarkt

Außenstelle

Klagenfurt

Mini-Ambulatorium

Wolfsberg

Mini-Ambulatorium

St. Veit/Glan

Prozess-

begleitung

KIZ

Klagenfurt

KIZ

Spittal/Drau

Betreutes

Wohnen

JUGENDBURG

Strassburg

KINDERBURG

Strassburg

SOWIESO

Wolfsberg

MWG

Möllbrücke

WOGE

Viktring

WORKS/LEHRE

Klagenfurt

WORKS/LEHRE

Villach

WORKS/LEHRE

Wolfsberg

SALUTO

Klagenfurt

SALUTO

Villach

Vereinsinitiative

Transitbeschäftigung

Stand: Mai 2014

Gesundheits-

förderung

Pilotprojekt

Ausbildungsfit Prozessbegleitung

2. Zielgruppe

Jugendliche (ab 15) / junge Erwachsene mit

• (neurologischen) psychiatrischen Erkrankungen/ Störungen/ Symptomen => Mental Health Problematik

Störung des Sozialverhaltens, Kombinierte Störungen: Sozialverhalten & Emotionen, Anpassungsstörungen

• hoher Anteil an komorbiden/ koexistierenden Störungen

• Problem-/Konfliktbehafteten Familienhintergrund

• Sozialer Benachteiligung

• Passungsproblemen im gesellschaftlichen/ beruflichen Kontext

• Basis-Bildungsprobleme

• Perspektivenlosigkeit

Meist Mehr-Ebenen-Problematik 5

6

3. Evaluation

Erhebungszeitraum von 3,5 Jahren (Juli 2010 bis Dezember 2013)

a. Outcomes


b. Ziele


Evaluation - Outcomes

Zu erreichende Outcomes bei den KlientInnen

= maßgeblich für Fördergeber:

• Soziale Teilhabe (v.a. bei SALUTO, WORKS)

Indikator: Anwesenheit

• Heranführung an den 1. Arbeitsmarkt

(v.a. bei WORKS/ LEHRE)

• Vermittlung in den allgemeinen Arbeitsmarkt

(nur bei WORKS/ LEHRE)

7

Outcomes – Beispiel: WORKS

8

In Summe N=193 Jugendliche von Juli 2010 bis Dez 2013 bei

Works.

• 18 davon sind noch bei Works (9%)

50% wurden vermittelt:

• Am häufigsten: Vermittlung von Lehrstellen (44%), Lehrstellen

bei pmkijufa (12%), sonstige integrative Maßnahmen (15%)

50% haben das Projekt nicht „erfolgreich“ beendet:

• 46% haben WORKS selbst abgebrochen

• bei 35% wurde Maßnahme aufgrund des „Zeitablaufs“ beendet

• Weitere Gründe: Abbruch durch zwingende Gründe wie

Umzug, Schwangerschaft; Abbruch durch Projekt etc.

51% Jugendliche (N=89) haben Nachbetreuung in Anspruch

genommen => 12% davon wurden vermittelt

Evaluation - Outcomes

9

Problemfeld: Outcomes sind „harte Kriterien“

Genügend arbeitslose Jugendliche ohne Mental-Health

Problematik!

Herausforderung: Sichtbarmachen, was Maßnahme leistet /

leisten kann

Lösungsansatz: Partizipative Entwicklung eines

Evaluationskonzepts

10

3. Evaluation


a. Outcomes


b. Ziele

• Partizipative Erstellung eines Evaluationskonzepts

• Design und Messinstrumente

• Ergebnisse

• Nächste Schritte


Schritt 1: Bildung Evaluations-team

Schritt 2: Entwicklung Evaluations-konzept in Workshops

Schritt 3: Multiplikation des Konzepts

Schritt 4: Probelauf

Schritt 5: Durchführung zur Daten-gewinnung

Schritt 6: Daten-analyse

Schritt 7: Reflexion

Evaluation - Ziele

(Mitarbeiter-

Innen)

(Stabstelle

Evaluation)

(alle)

Entwicklung eines Evaluationskonzepts

(alle)

Evaluation - Ziele

12

Herausforderungen bei der partizipativen Entwicklung des

Evaluationskonzepts:

• Ziele bestimmen/ Clustern/ Fokussieren

• Maßnahmen zur Zielerreichung diskutieren

• Indikatoren und Messinstrumente bestimmen

v.a. Verständlichkeit der Instrumente

• Design bestimmen unter Berücksichtigung von …

Machbarkeit (Zeit, Integration in den Arbeitsablauf)

Nutzbarkeit für die Interventionsplanung

• …

Entwicklungsaufgaben

Andere Helfersysteme

Lebensqualität/ (psychische) Gesundheit

Projekt - MitarbeiterInnen

Eltern/ Angehörige

Fähigkeiten/ Fertigkeiten/ Kompetenzen

Arbeitsplatz

allgemein berufs(bild)- spezifisch

Entwicklung beruflicher Perspektiven

Bedingungen am

Arbeitsmarkt

Projekt - TeilnehmerInnen

Schaffung von Grund-voraussetzungen für Vermittlung am

Arbeitsmarkt




allgemein berufs(bild)- spezifisch

Hauptfokus bei Saluto



Eltern/ Angehörige


Arbeitsplatz


Bedingungen am

Arbeitsmarkt


Arbeitsmarkt




allgemein berufs-

spezifisch

Hauptfokus bei WORKS



Eltern/ Angehörige


Arbeitsplatz


Bedingungen am

Arbeitsmarkt


Arbeitsmarkt




allgemein berufs-

bildspezifisch

Hauptfokus bei LEHRE



Eltern/ Angehörige


Arbeitsplatz


Bedingungen am

Arbeitsmarkt


Arbeitsmarkt

Eintritt in

REHA

Befragung Befragung Befragung Befragung

6 Monate

MZP1 6 Monate 6 Monate usw.

MZP2 MZP3 MZP4

Bei SALUTO/ LEHRE: innerhalb

des 1. Monats;

bei WORKS: bis zum 3. Monat

Befragung

MZP5 6 Monate

IP 2 6

Monate

IP 1 3

Monate

IIP 3 12

Monate

IP 4 18

Monate

Design und Messinstrumente

17

Hinweis:

• Verweildauer WORKS: ca. 12 Monate (bis MZP3)

• Verweildauer LEHRE: abhängig vom Berufsfeld,

ca. 3 Jahre (bis MZP7)

• Verweildauer SALUTO: ca. 24 Monate (bis MZP5)

Design und Messinstrumente

Spezifika der Messinstrumente:

• Verwendung von (standardisierten) Fragebögen soweit

möglich

• Selbst- und Fremdeinschätzungen

– Jugendliche/ junge Erwachsene

– BetreuerInnen und PsychologInnen

• Direkte und indirekte Veränderungsmessungen

Indikatoren für alle Zielvariablen

zusätzlich: Zufriedenheit mit dem Projekt (Jgdl.)

18

19

3. Evaluation


a. Outcomes

b. Ziele

• Partizipative Erstellung eines Evaluationskonzepts

• Design und Messinstrumente

• Ergebnisse

Datenlage

Veränderungsmessung:

- Direkte Veränderungsmessungen

- Indirekte Veränderungsmessungen

- Individuelle Veränderungen


Orientierung an

Verlaufs- und

Prozessforschung

von Therapien

Datenlage - TeilnehmerInnen

20

Verwendbare Fragebögen für die Evaluation:

Problemfeld: Trotz langer

Datenerhebungszeit ist das N klein!

Evaluation - Ziele

21

Problemfeld „Datenlage“: lange Dauer, bis Ergebnisse

sichtbar sind

Herausforderung:

„langer Atem“ notwendig => Commitment der Projekte

aufrecht erhalten!

Lösungsansatz: Nützlichkeit des Evaluationsinstruments auch

für die Interventionsplanung!

Veränderungen MZP1 – MZP3 (Projekteintritt/ ein Jahr später = Projektende)

Stimmt

Stimmt

nicht

WORKS

22

Problemfeld: sehr hohe Varianzen!

Herausforderung für Auswertung!

WORKS: Indirekte Veränderungsmessung

Veränderungen MZP1 - MZP2 – MZP3 (Projekteintritt/ ein halbes Jahr/ ein Jahr)

23

MZP12:

Selbst

MZP12:

Fremd

MZP123:

Selbst

MZP123:

Fremd


(gelingen)

Lebensqualität/

psy. Gesundheit

Allgemeine Kompetenzen

Arbeits- und

Lernverhalten

Motivation --- ---

Sozial kompetentes

Verhalten

Coping (aktiv) --- ---

Soziale Unterstützung

Problemfeld: keine nennenswerten

Veränderungen bei Mittelwertsvergleichen!

Lösungsansatz: Fokus auf intra-indiv. Veränderungen

25

Dazu: Definition von Erfolgskriterien:

(1) Wie viele der untersuchten Merkmale sollten bei einer

Person verändert worden sein, um von einem Erfolg

sprechen zu können?

Eine positive Veränderung und: es sollte sich nichts

verschlechtern…

(Stabilität ist auch ein Erfolg bei dieser Zielgruppe!)

(2) Wie „groß“ sollen diese Veränderungen sein? Woran

macht man die Größe fest?

Klinisch signifikante Differenzen!

Reliable Change Index (RCI) (nach Jacobson and Truax,

1991):

Veränderungen MZP1 - MZP2 – MZP3 (Projekteintritt/ ein halbes Jahr/ Jahr später)

WORKS

26

keine Ver-schlechterungen!

Immerhin bei 61% ein Kriterium verbessert!

Lösungsansatz 2: Fokus auf individuellen Veränderungen

27

Nächste Schritte

• Rückmeldung der Ergebnisse an die Projekte

• Weitere Daten sammeln!

→ Evaluation von Subgruppen/ Latent Class Analysis

→ Evaluation des Zusammenhangs der Ziele mit den Outcomes (Vermittlung in den/ Annäherung an den1ten Arbeitsmarkt)

→ Evaluation aller Reha-Bereiche (auch Saluto & Lehre)

• Sichtbarmachen der Betreuungspfade (Wechsel, Wiedereintritte, Abbrüche etc.)

• Nähere Analyse der Abbrüche notwendig bzw. der Fälle, bei denen Outcome nicht erreicht wurde!

• In Diskussion: Ergänzender qualitativer Zugang!?!

28

Gliederung

1. Der Fachbereich (berufliche) REHA im Kontext des Gesamtunternehmens pmkijufa

2. Zielgruppe des Fachbereichs

3. Evaluation

Outcomes

Ziele der (beruflichen) Reha


Nächste Schritte

4. Schlussfolgerungen / offene Fragen

29

Schlussfolgerungen/ Offene Fragen

• Evaluationen in diesen Projekten sind herausfordernd!

• Langer Atem notwendig, Commitment muss aufrecht erhalten werden

• Kombination von direkten & indirekten & individuellen Veränderungsmessungen wichtig (Orientierung an Therapieforschung)

• Anwenden vieler Auswertungsansätze/-methoden ist notwendig

• Noch optimierbar: Wie kann man bei diesen Jugendlichen Erfolge gut sichtbar machen? (hohe Schwankungen der psych. Befindlichkeit)?

• v.a. Hintergrund der eingeschränkten zeitlichen Ressourcen für Auswertungen

30


• Rückkoppelung mit MitarbeiterInnen aus Projekten zentral für

Interpretation und Lernen aus den Ergebnisse

Ohne zu demotivieren!

Was bedeutet „Erfolg“ in diesen Settings?

Diskussion, warum keine Effekte bei indirekten Messungen

sichtbar werden: liegt es an Maßnahme oder an

Herangehensweise in der Evaluation?

Dilemma bei interner Evaluation (kann man Maßnahme

ganz in Frage stellen? Evaluationsvorgehen in Frage stellen

ohne eigene Profession/ Professionalität damit in Frage zu

stellen?)

31


• Möglicherweise verschiedene Sicht von Lernen aus dieser

Evaluation zwischen MitarbeiterInnen/ Leitung &

EvaluatorIn? => Arbeit an der Evaluationskultur innerhalb

der Organisation

• Nutzens-Anspruch der Evaluatorin: gemeinsames

Herausarbeiten, was der Nutzen von Evaluationen für

Projekte sein kann

32

Zum Schluss: Herzlichen Dank an das Team der

(beruflichen) Reha!

33

evaluation von projekten der (beruflichen) rehabilitation von …...gesundheit von...

Documents