evaluation von projekten der (beruflichen) rehabilitation von …...gesundheit von...
Post on 25-Feb-2021
4 Views
Preview:
TRANSCRIPT
Evaluation von Projekten der (beruflichen) Rehabilitation von Jugendlichen mit Mental
Health Problemen: Ergebnisse einer 3-Jahresevaluation
Monika Finsterwald & Georg Spiel
Unter Mitwirkung von Petra Schurian und den Teams der REHA
Vortrag auf der DeGEval 2014, Zürich
Vortragszeit: ca. 20-25 Min.
1
Anliegen
• Im Gesundheitsbereich:
• immer stärker werdende Forderung Maßnahmen zur
Evaluation, Qualitätssicherung und Qualitätsentwicklung zu
ergreifen
• Besonders herausfordernd: Im Bereich der psychischen
Gesundheit von Kindern/Jugendlichen
• Erfolge eingeschränkt bzw. zum Teil nur langfristig
nachweisbar sind
• Vorgestellt und diskutiert wird anhand eines Beispiels…
wie Evaluation hier durchgeführt werden kann.
welche Problembereiche sich in der Durchführung und
Auswertung ergeben.
Gliederung
1. Der Fachbereich (berufliche) REHA im Kontext des Gesamtunternehmens pmkijufa
2. Zielgruppe des Fachbereichs
3. Evaluation
Outcomes
Ziele der (beruflichen) Reha
Herausforderungen, Problemfelder, Lösungsansätze
Nächste Schritte
4. Schlussfolgerungen / offene Fragen
3
Verein pro mente: kinder jugend familie Advisory
Board
Stabstelle
Evaluation &
Innovation pro mente: kinder jugend familie GmbH
Fachbereich
Prävention
Fachbereich
Ambulanz
Fachbereich
Krisenintervention
Fachbereich
Soziotherapie
Fachbereich
Rehabilitation
Abgeschl. Projekte:
Gehsteig
Peer Helper
Feelok
It‘s my life
Youth Point
Jugendzentrum
Laufend:
Mentoringprojekt
„Ich und Du“
Außenstelle
Völkermarkt
Außenstelle
Klagenfurt
Mini-Ambulatorium
Wolfsberg
Mini-Ambulatorium
St. Veit/Glan
Prozess-
begleitung
KIZ
Klagenfurt
KIZ
Spittal/Drau
Betreutes
Wohnen
JUGENDBURG
Strassburg
KINDERBURG
Strassburg
SOWIESO
Wolfsberg
MWG
Möllbrücke
WOGE
Viktring
WORKS/LEHRE
Klagenfurt
WORKS/LEHRE
Villach
WORKS/LEHRE
Wolfsberg
SALUTO
Klagenfurt
SALUTO
Villach
Vereinsinitiative
Transitbeschäftigung
Stand: Mai 2014
Gesundheits-
förderung
Pilotprojekt
Ausbildungsfit Prozessbegleitung
2. Zielgruppe
Jugendliche (ab 15) / junge Erwachsene mit
• (neurologischen) psychiatrischen Erkrankungen/ Störungen/ Symptomen => Mental Health Problematik
Störung des Sozialverhaltens, Kombinierte Störungen: Sozialverhalten & Emotionen, Anpassungsstörungen
• hoher Anteil an komorbiden/ koexistierenden Störungen
• Problem-/Konfliktbehafteten Familienhintergrund
• Sozialer Benachteiligung
• Passungsproblemen im gesellschaftlichen/ beruflichen Kontext
• Basis-Bildungsprobleme
• Perspektivenlosigkeit
Meist Mehr-Ebenen-Problematik 5
6
3. Evaluation
Erhebungszeitraum von 3,5 Jahren (Juli 2010 bis Dezember 2013)
a. Outcomes
Herausforderungen, Problemfelder, Lösungsansätze
b. Ziele
Herausforderungen, Problemfelder, Lösungsansätze
Evaluation - Outcomes
Zu erreichende Outcomes bei den KlientInnen
= maßgeblich für Fördergeber:
• Soziale Teilhabe (v.a. bei SALUTO, WORKS)
Indikator: Anwesenheit
• Heranführung an den 1. Arbeitsmarkt
(v.a. bei WORKS/ LEHRE)
• Vermittlung in den allgemeinen Arbeitsmarkt
(nur bei WORKS/ LEHRE)
7
Outcomes – Beispiel: WORKS
8
In Summe N=193 Jugendliche von Juli 2010 bis Dez 2013 bei
Works.
• 18 davon sind noch bei Works (9%)
50% wurden vermittelt:
• Am häufigsten: Vermittlung von Lehrstellen (44%), Lehrstellen
bei pmkijufa (12%), sonstige integrative Maßnahmen (15%)
50% haben das Projekt nicht „erfolgreich“ beendet:
• 46% haben WORKS selbst abgebrochen
• bei 35% wurde Maßnahme aufgrund des „Zeitablaufs“ beendet
• Weitere Gründe: Abbruch durch zwingende Gründe wie
Umzug, Schwangerschaft; Abbruch durch Projekt etc.
51% Jugendliche (N=89) haben Nachbetreuung in Anspruch
genommen => 12% davon wurden vermittelt
Evaluation - Outcomes
9
Problemfeld: Outcomes sind „harte Kriterien“
Genügend arbeitslose Jugendliche ohne Mental-Health
Problematik!
Herausforderung: Sichtbarmachen, was Maßnahme leistet /
leisten kann
Lösungsansatz: Partizipative Entwicklung eines
Evaluationskonzepts
10
3. Evaluation
Erhebungszeitraum von 3,5 Jahren (Juli 2010 bis Dezember 2013)
a. Outcomes
Herausforderungen, Problemfelder, Lösungsansätze
b. Ziele
• Partizipative Erstellung eines Evaluationskonzepts
• Design und Messinstrumente
• Ergebnisse
• Nächste Schritte
Herausforderungen, Problemfelder, Lösungsansätze
Schritt 1: Bildung Evaluations-team
Schritt 2: Entwicklung Evaluations-konzept in Workshops
Schritt 3: Multiplikation des Konzepts
Schritt 4: Probelauf
Schritt 5: Durchführung zur Daten-gewinnung
Schritt 6: Daten-analyse
Schritt 7: Reflexion
Evaluation - Ziele
(Mitarbeiter-
Innen)
(Stabstelle
Evaluation)
(alle)
Entwicklung eines Evaluationskonzepts
(alle)
Evaluation - Ziele
12
Herausforderungen bei der partizipativen Entwicklung des
Evaluationskonzepts:
• Ziele bestimmen/ Clustern/ Fokussieren
• Maßnahmen zur Zielerreichung diskutieren
• Indikatoren und Messinstrumente bestimmen
v.a. Verständlichkeit der Instrumente
• Design bestimmen unter Berücksichtigung von …
Machbarkeit (Zeit, Integration in den Arbeitsablauf)
Nutzbarkeit für die Interventionsplanung
• …
Entwicklungsaufgaben
Andere Helfersysteme
Lebensqualität/ (psychische) Gesundheit
Projekt - MitarbeiterInnen
Eltern/ Angehörige
Fähigkeiten/ Fertigkeiten/ Kompetenzen
Arbeitsplatz
allgemein berufs(bild)- spezifisch
Entwicklung beruflicher Perspektiven
Bedingungen am
Arbeitsmarkt
Projekt - TeilnehmerInnen
Schaffung von Grund-voraussetzungen für Vermittlung am
Arbeitsmarkt
Entwicklungsaufgaben
Lebensqualität/ (psychische) Gesundheit
Fähigkeiten/ Fertigkeiten/ Kompetenzen
allgemein berufs(bild)- spezifisch
Hauptfokus bei Saluto
Andere Helfersysteme
Projekt - MitarbeiterInnen
Eltern/ Angehörige
Projekt - TeilnehmerInnen
Arbeitsplatz
Entwicklung beruflicher Perspektiven
Bedingungen am
Arbeitsmarkt
Schaffung von Grund-voraussetzungen für Vermittlung am
Arbeitsmarkt
Entwicklungsaufgaben
Lebensqualität/ (psychische) Gesundheit
Fähigkeiten/ Fertigkeiten/ Kompetenzen
allgemein berufs-
spezifisch
Hauptfokus bei WORKS
Andere Helfersysteme
Projekt - MitarbeiterInnen
Eltern/ Angehörige
Projekt - TeilnehmerInnen
Arbeitsplatz
Entwicklung beruflicher Perspektiven
Bedingungen am
Arbeitsmarkt
Schaffung von Grund-voraussetzungen für Vermittlung am
Arbeitsmarkt
Entwicklungsaufgaben
Lebensqualität/ (psychische) Gesundheit
Fähigkeiten/ Fertigkeiten/ Kompetenzen
allgemein berufs-
bildspezifisch
Hauptfokus bei LEHRE
Andere Helfersysteme
Projekt - MitarbeiterInnen
Eltern/ Angehörige
Projekt - TeilnehmerInnen
Arbeitsplatz
Entwicklung beruflicher Perspektiven
Bedingungen am
Arbeitsmarkt
Schaffung von Grund-voraussetzungen für Vermittlung am
Arbeitsmarkt
Eintritt in
REHA
Befragung Befragung Befragung Befragung
6 Monate
MZP1 6 Monate 6 Monate usw.
MZP2 MZP3 MZP4
Bei SALUTO/ LEHRE: innerhalb
des 1. Monats;
bei WORKS: bis zum 3. Monat
Befragung
MZP5 6 Monate
IP 2 6
Monate
IP 1 3
Monate
IIP 3 12
Monate
IP 4 18
Monate
Design und Messinstrumente
17
Hinweis:
• Verweildauer WORKS: ca. 12 Monate (bis MZP3)
• Verweildauer LEHRE: abhängig vom Berufsfeld,
ca. 3 Jahre (bis MZP7)
• Verweildauer SALUTO: ca. 24 Monate (bis MZP5)
Design und Messinstrumente
Spezifika der Messinstrumente:
• Verwendung von (standardisierten) Fragebögen soweit
möglich
• Selbst- und Fremdeinschätzungen
– Jugendliche/ junge Erwachsene
– BetreuerInnen und PsychologInnen
• Direkte und indirekte Veränderungsmessungen
Indikatoren für alle Zielvariablen
zusätzlich: Zufriedenheit mit dem Projekt (Jgdl.)
18
19
3. Evaluation
Erhebungszeitraum von 3,5 Jahren (Juli 2010 bis Dezember 2013)
a. Outcomes
b. Ziele
• Partizipative Erstellung eines Evaluationskonzepts
• Design und Messinstrumente
• Ergebnisse
Datenlage
Veränderungsmessung:
- Direkte Veränderungsmessungen
- Indirekte Veränderungsmessungen
- Individuelle Veränderungen
Herausforderungen, Problemfelder, Lösungsansätze
Orientierung an
Verlaufs- und
Prozessforschung
von Therapien
Datenlage - TeilnehmerInnen
20
Verwendbare Fragebögen für die Evaluation:
Problemfeld: Trotz langer
Datenerhebungszeit ist das N klein!
Evaluation - Ziele
21
Problemfeld „Datenlage“: lange Dauer, bis Ergebnisse
sichtbar sind
Herausforderung:
„langer Atem“ notwendig => Commitment der Projekte
aufrecht erhalten!
Lösungsansatz: Nützlichkeit des Evaluationsinstruments auch
für die Interventionsplanung!
Veränderungen MZP1 – MZP3 (Projekteintritt/ ein Jahr später = Projektende)
Stimmt
Stimmt
nicht
WORKS
22
Problemfeld: sehr hohe Varianzen!
Herausforderung für Auswertung!
WORKS: Indirekte Veränderungsmessung
Veränderungen MZP1 - MZP2 – MZP3 (Projekteintritt/ ein halbes Jahr/ ein Jahr)
23
MZP12:
Selbst
MZP12:
Fremd
MZP123:
Selbst
MZP123:
Fremd
Entwicklungsaufgaben
(gelingen)
Lebensqualität/
psy. Gesundheit
Allgemeine Kompetenzen
Arbeits- und
Lernverhalten
Motivation --- ---
Sozial kompetentes
Verhalten
Coping (aktiv) --- ---
Soziale Unterstützung
Problemfeld: keine nennenswerten
Veränderungen bei Mittelwertsvergleichen!
Lösungsansatz: Fokus auf intra-indiv. Veränderungen
25
Dazu: Definition von Erfolgskriterien:
(1) Wie viele der untersuchten Merkmale sollten bei einer
Person verändert worden sein, um von einem Erfolg
sprechen zu können?
Eine positive Veränderung und: es sollte sich nichts
verschlechtern…
(Stabilität ist auch ein Erfolg bei dieser Zielgruppe!)
(2) Wie „groß“ sollen diese Veränderungen sein? Woran
macht man die Größe fest?
Klinisch signifikante Differenzen!
Reliable Change Index (RCI) (nach Jacobson and Truax,
1991):
Veränderungen MZP1 - MZP2 – MZP3 (Projekteintritt/ ein halbes Jahr/ Jahr später)
WORKS
26
keine Ver-schlechterungen!
Immerhin bei 61% ein Kriterium verbessert!
Lösungsansatz 2: Fokus auf individuellen Veränderungen
27
Nächste Schritte
• Rückmeldung der Ergebnisse an die Projekte
• Weitere Daten sammeln!
→ Evaluation von Subgruppen/ Latent Class Analysis
→ Evaluation des Zusammenhangs der Ziele mit den Outcomes (Vermittlung in den/ Annäherung an den1ten Arbeitsmarkt)
→ Evaluation aller Reha-Bereiche (auch Saluto & Lehre)
• Sichtbarmachen der Betreuungspfade (Wechsel, Wiedereintritte, Abbrüche etc.)
• Nähere Analyse der Abbrüche notwendig bzw. der Fälle, bei denen Outcome nicht erreicht wurde!
• In Diskussion: Ergänzender qualitativer Zugang!?!
28
Gliederung
1. Der Fachbereich (berufliche) REHA im Kontext des Gesamtunternehmens pmkijufa
2. Zielgruppe des Fachbereichs
3. Evaluation
Outcomes
Ziele der (beruflichen) Reha
Herausforderungen, Problemfelder, Lösungsansätze
Nächste Schritte
4. Schlussfolgerungen / offene Fragen
29
Schlussfolgerungen/ Offene Fragen
• Evaluationen in diesen Projekten sind herausfordernd!
• Langer Atem notwendig, Commitment muss aufrecht erhalten werden
• Kombination von direkten & indirekten & individuellen Veränderungsmessungen wichtig (Orientierung an Therapieforschung)
• Anwenden vieler Auswertungsansätze/-methoden ist notwendig
• Noch optimierbar: Wie kann man bei diesen Jugendlichen Erfolge gut sichtbar machen? (hohe Schwankungen der psych. Befindlichkeit)?
• v.a. Hintergrund der eingeschränkten zeitlichen Ressourcen für Auswertungen
30
Schlussfolgerungen/ Offene Fragen
• Rückkoppelung mit MitarbeiterInnen aus Projekten zentral für
Interpretation und Lernen aus den Ergebnisse
Ohne zu demotivieren!
Was bedeutet „Erfolg“ in diesen Settings?
Diskussion, warum keine Effekte bei indirekten Messungen
sichtbar werden: liegt es an Maßnahme oder an
Herangehensweise in der Evaluation?
Dilemma bei interner Evaluation (kann man Maßnahme
ganz in Frage stellen? Evaluationsvorgehen in Frage stellen
ohne eigene Profession/ Professionalität damit in Frage zu
stellen?)
31
Schlussfolgerungen/ Offene Fragen
• Möglicherweise verschiedene Sicht von Lernen aus dieser
Evaluation zwischen MitarbeiterInnen/ Leitung &
EvaluatorIn? => Arbeit an der Evaluationskultur innerhalb
der Organisation
• Nutzens-Anspruch der Evaluatorin: gemeinsames
Herausarbeiten, was der Nutzen von Evaluationen für
Projekte sein kann
32
Zum Schluss: Herzlichen Dank an das Team der
(beruflichen) Reha!
33
top related