methoden der evaluation methoden der evaluation struktur - prozess - ergebnis fonds gesundes...

Methoden der EvaluationMethoden der EvaluationStruktur - Prozess - Ergebnis

Fonds Gesundes Österreich

Prof. Dr. Wolfgang StarkLabor für OrganisationsentwicklungUniversität Duisburg-Essenwww.orglab.de

7. Österreichische Gesundheitsförderungskonferenz25. Mai 2005

Wolfgang Stark 7. Österreichische Gesundheitsförderungskonferenz25. Mai 2005

2

Ziele Warum ist Evaluation wichtig?

Evaluation ist mehr als die Orientierung an Standards – zu den Grundlagen der Bewertung

Evaluation als Förderung von Empowerment und Qualität

Was lernen wir aus Evaluation? – Evaluation als Überwindung der Vergangenheit und Entdeckung der Zukunft


3

Wozu dient Evaluation?

Legitimieren und Förderung sichern

Ziele erreichen

Abläufe verbessern

Zufriedenheit der NutzerInnen/KundInnen feststellen

Wirkungen erzielen

Evaluation schafft Transparenz und fördert die Reflexion über die eigene Arbeit, muss aber auch nachhaltig

auf die Gestaltung der Zukunft gerichtet sein.

Innovationen erreichen/Zukunft erspüren


4

Evaluation bedeutet• auf der Grundlage von gewonnenen

Informationen

• mit Hilfe von Methoden und Instrumenten der empirischen Sozialforschung

• auswerten und bewerten

• mit dem Ziel Beratungen, Empfehlungen und/oder Entscheidungen argumentativ zu unterstützen

• Evaluationen besitzen in der Regel Anteile aus allen vier Feldern

• Aus der jeweiligen Interessenslage und den daraus resultierenden Fragestellungen ergibt sich ein bestimmter Schwerpunkt

Entwickeln

Innovation

Verbessern

Qualifizierung

Prüfen

Kontrolle

Verstehen

Aufklärung


5

WirklichkeitLief alles ab wie vorgesehen? Was geschah? Was wurde getan? Wo gab es Schwierigkeiten, unvorhergesehene Hindernisse? Was war/ist erfreulich?

WirksamkeitWie weit wurden die gesteckten Ziele erreicht? Wie sind die Abweichungen zu erklären? Gab es Nebeneffekte, wie wichtig sind sie?

WirtschaftlichkeitSteht das Erreichte in einem vernünftigen Verhältnis zum Aufwand (an Zeit, Geld, Nerven)? Hat es sich gelohnt, warum, für wen?

Lernen und InnovationWelche neuen Erkenntnisse habe ich gewonnen? Welche Erfahrungsmöglichkeiten sind wichtig? Was lässt sich verbessern, was übertragen?

Evaluieren und Auswerten - zentrale Perspektiven


6

Dimensionen von Evaluation

Strukturqualität Prozessqualität Ergebnisqualität

Personal Information Kundenzufriedenheit

Sachmittel Kommunikation Wirksamkeit

Ausstattung Kooperation Mitarbeiterzufriedenheit

Räumlichkeiten Entscheidungswege gesell. Verantwortung

Pädag. Konzept Dokumentation Effizienz

Qualifikation Koordination Effektivität

Grundlagen der Bewertung


8

Steuerungsformen von Systemen Input-Kontrolle (Filter)

Auswahlverfahren, danach eigenständiges Verhalten

Verhaltenskontrolle Verhalten wird teilweise detailliert vorgegeben

Output-Kontrolle (Ergebnisorientierung) Zielvorgabe, Weg ist eigenständig


9

Steuerungsformen

Filter

„Macht“Ziele, Mittel

INPUT

SYSTEM

VERHALTEN

OUTPUT

Inputkontrolle

Input- vorgaben

Kontrolle


INPUT

SYSTEM

VERHALTEN

OUTPUT

Verhaltenskontrolle

Handlungs- vorgaben

Kontrolle


INPUT

SYSTEM

VERHALTEN

OUTPUT

Ergebniskontrolle

Ziele

Kontrolle

Optimierung der

Verhaltens-steuerung

Darstellung nach Wottawa, H. & Thierau, H. (1998). S. 28.


10

Drei Zugänge zum Wissen

1) Subjektiv durch Bewertung und eigene Reflexion

2) Intersubjektiv durch Informationsaustausch, Diskussion und Konsensprozess

3) Objektivdurch Datenerhebung und -auswertung


11

Evaluation und Zielentwicklung

Unterscheiden zwischen Maßnahme, Ziel und Ergebnis

Ein Ergebnis habe ich immer! Der Weg ist der Weg und das Ziel ist das Ziel. Ein Ziel ist Voraussetzung, damit ich die richtige

Maßnahme treffen kann. Maßnahmen, die Schlüsselprozesse sind, eignen

sich als Mittel/Weg, um das Ziel zu erreichen. Anhand des Ziels kann ich das Ergebnis

überprüfen.

Auch Maßnahmen/Schlüsselprozesse haben (Prozess)ziele!

Evaluation als Förderung von Qualität


13

Qualitätsmanagement und Evaluation

Qualitätsmanagement umfaßt ein System an qualitäts-sichernden Maßnahmen einer Einrichtung

Evaluation ist darin ein Baustein bzw. methodisches Element, beinhaltet aber darüber hinaus weitere Schritte der Selbst- und Fremdevaluationen (siehe Anhang)

Evaluation

Qualitäts-management


14

Qualitätsmanagement-Kreislauf

Qualitätsziele

Leitbild

Evaluation

Schlüsselprozesse

Dokumentation

QM-HandbuchProzess-Verbesserungen

Qualitätszirkelarbeit

Qualitätsstandards

Ist-Analyse

Strukturqualität

Prozessqualität

Ergebnisqualität

Kundenorientiert

Mitarbeiterinnenorientiert

Zielorientiert

Prozessorientiert

Qualitätspolitik-Strategie


15

Lernen & Innovation

5Prozesse

1 Führung9

Geschäfts-ergebnisse

2 Politik & Strategie

3 Mitarbeiter- orientierung

4 Partnerschaften & Ressourcen

6 Kunden- Zufriedenheit

7 Mitarbeiter- zufriedenheit

8 Gesellschaftl. Verantwortung / Image

Befähiger Resultate

Das Modell der European Foundation for Quality Management


16

Die RADAR-Logik anwenden

Die gewünschten Ergebnisse bestimmen

(Results)

Vorgehen und dessen Umsetzung planen und

erarbeiten(Approach)

Vorgehen umsetzen(Deploy)

Vorgehen und dessen Umsetzung bewerten und

überprüfen (Assess and Review)

Evaluation als Förderung von Lernen


18

Empowerment-Evaluation als gemeinsamer Lernprozess

Evaluation als Förderung der Zusammenarbeit verschiedener

Interessensgruppen (stakeholder) Vorhandene Stärken entdecken und fördern Training neuer Fertigkeiten Soziale Aktion unterstützen Neue Prozesse/Möglichkeiten entdecken Empowerment für Professionelle anstossen


19

Empowermentebenen

Die drei Ebenen von Empowerment werden verbunden ..

… durch gemeinsame Werte (lernende Gemeinschaften)

Methoden: Narrative Analyse, Dialog, Szenarios

Individuen

Organisation und Struktur

Gruppen

WerteÜberzeugungen

Geist


20

Ergebnisorientierte Evaluation zur Förderung von Empowerment

GesundheitsförderlicheAngebote

Zusammenarbeit mit Organisationen

SozialeMobilisierung

EntwicklungpersönlicherKompetenzen

Angebote der GF

Strategien/Politik der GF

GF soziales Potential

und Engagement

IndividuelleGesundheitskompetenzen

Ges.förderliche materielle Umwelt

Ges. förderlicheSoziale Umwelt

Ges.förderlichepersonale RessourcenUnd Verhaltensmuster

GesteigerteLebens

erwartung und

Lebensqualität

VerringerteMorbidität

undvorzeitige Mortalität

Maßnahmen derGesundheitsförderung

Einflußfaktoren auf Gesundheitsdeterminanten Gesundheitsdeterminanten

Gesundheit der Bevölkerung


21

Balance zwischen Lernen und Zeit

KairosKairos

MetisMetis

Persönliches Persönliches WachstumWachstum

WerteWerte

Soziale VerantwortungSoziale Verantwortung

DialogDialog

LernendeLernendeGemeinschaftenGemeinschaften

Innovation

Inspiration

methoden der evaluation methoden der evaluation struktur - prozess - ergebnis fonds gesundes...

Documents