personalentwicklung – evaluation von off-the-job-maßnahmen der
TRANSCRIPT
Dennis Hoss
______________________________________
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung
Theoretische Grundlagen und praxisorientierter Leitfaden zur Lösung der Evaluationsproblematik
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung I
Inhaltsverzeichnis
Abbildungsverzeichnis .................................................................................................. IV
Tabellenverzeichnis ...................................................................................................... V
1 EINFÜHRUNG UND AUFBAU DER ARBEIT .......................................................... 1 2 DEFINITORISCHE UND INHALTLICHE GRUNDLEGUNG..................................... 3
2.1 Personalentwicklung ...................................................................................... 3 2.1.1 Definition Personalentwicklung ................................................................... 3 2.1.2 Ziele der Personalentwicklung .................................................................... 4 2.1.3 Maßnahmen der Personalentwicklung........................................................ 6
2.2 Betriebliche Weiterbildung als Teilbereich der Personalentwicklung........ 7 2.2.1 Definition betriebliche Weiterbildung........................................................... 8 2.2.2 Betriebliche Bildungsmaßnahmen off the job.............................................. 8
2.3 Evaluation...................................................................................................... 10 2.3.1 Definition Evaluation ................................................................................. 10 2.3.2 Evaluation betrieblicher Weiterbildungsmaßnahmen ................................ 11 2.3.3 Abgrenzung der Bildungsevaluation von Bildungscontrolling.................... 12
3 EVALUATION IN DER BETRIEBLICHEN WEITERBILDUNG .............................. 14
3.1 Ziele der Evaluation...................................................................................... 14 3.1.1 Bewertung................................................................................................. 15 3.1.2 Optimierung .............................................................................................. 15 3.1.3 Integration ................................................................................................. 15 3.1.4 Kontrolle.................................................................................................... 16 3.1.5 Dokumentation.......................................................................................... 16 3.1.6 Entscheidung ............................................................................................ 17 3.1.7 Imageverbesserung .................................................................................. 17
3.2 Formen der Evaluation................................................................................. 17 3.2.1 Teil- und Gesamtevaluation ...................................................................... 17 3.2.2 Input- und Outputevaluation...................................................................... 18 3.2.3 Selbst- und Fremdevaluation .................................................................... 18 3.2.4 Vergleichende und nichtvergleichende Evaluation.................................... 19 3.2.5 Interne und externe Evaluation ................................................................. 19 3.2.6 Additive und integrierte Evaluation............................................................ 20
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung II
3.2.7 Subjektive und objektive Evaluation.......................................................... 20 3.2.8 Direkte und indirekte Evaluation ............................................................... 21 3.2.9 Quantitative und qualitative Evaluation ..................................................... 21 3.2.10 Hypothesenprüfende und hypothesengenerierende Evaluation................ 21 3.2.11 Intrinsische und extrinsische Evaluation ................................................... 22 3.2.12 Formative und summative Evaluation ....................................................... 22
3.3 Evaluationsdesign ........................................................................................ 24 3.4 Adressaten der Evaluationsergebnisse...................................................... 26
3.4.1 Teilnehmer ................................................................................................ 27 3.4.2 Lehrkräfte.................................................................................................. 28 3.4.3 Interne Bildungsexperten .......................................................................... 28 3.4.4 Externe Bildungsexperten......................................................................... 28 3.4.5 Vorgesetzte............................................................................................... 29 3.4.6 Unternehmensführung .............................................................................. 30
3.5 Probleme der Evaluation.............................................................................. 30
3.5.1 Methodenprobleme ................................................................................... 31 3.5.2 Probleme durch verschiedene Personengruppen ..................................... 32
4 LEITFADEN ZUR EVALUIERUNG VON OFF-THE-JOB-MASSNAHMEN............ 34
4.1 Evaluation im Vorfeld der Maßnahmenrealisierung ................................. 37
4.1.1 Entscheidung zwischen interner und externer Qualifizierung.................... 38 4.1.2 Auswahl des Anbieters.............................................................................. 40 4.1.3 Auswahl des Trainers ............................................................................... 42 4.1.4 Ermittlung der Eingangsvoraussetzungen der Teilnehmer ....................... 43
4.2 Evaluation in der Durchführungsphase...................................................... 44 4.2.1 Formative Evaluation ................................................................................ 50
4.2.1.1 Methoden zur Ermittlung des Zufriedenheitserfolgs ......................... 50
4.2.1.1.1 Schriftliches Feedback........................................................... 51 4.2.1.1.2 Mündliches Feedback............................................................ 52
4.2.1.2 Methoden zur Ermittlung des Lernerfolgs ......................................... 53
4.2.1.2.1 Beobachtung ......................................................................... 53 4.2.1.2.2 Testverfahren ........................................................................ 54
4.2.2 Summative Evaluation .............................................................................. 55
4.2.2.1 Methoden zur Ermittlung des Zufriedenheitserfolgs ......................... 55
4.2.2.1.1 Schriftliches Feedback........................................................... 55 4.2.2.1.2 Bewertung des Referenten .................................................... 56 4.2.2.1.3 Bewertung durch den Referenten.......................................... 57
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung III
4.2.2.2 Methoden zur Ermittlung des Lernerfolgs ......................................... 57
4.2.2.2.1 Beobachtung ......................................................................... 57 4.2.2.2.2 Befragung .............................................................................. 58 4.2.2.2.3 Testverfahren ........................................................................ 58
4.3 Evaluation nach Beendigung der Maßnahme ............................................ 59 4.3.1 Transfererfolg und Methoden zur Ermittlung des Transfererfolgs ............. 59
4.3.1.1 Transfererfolg ................................................................................... 59 4.3.1.2 Methoden zur Ermittlung des Transfererfolgs................................... 64
4.3.1.2.1 Fremd- und Selbstbeobachtung ............................................ 64 4.3.1.2.2 Transfergespräch mit dem Vorgesetzten............................... 65 4.3.1.2.3 Fragebogen zum Lerntransfer ............................................... 65
4.3.2 Organisationserfolg und Methoden zur Ermittlung des Organisationserfolgs ................................................................................. 66
4.3.2.1 Organisationserfolg........................................................................... 66 4.3.2.2 Methoden zur Ermittlung des Organisationserfolgs .......................... 67
4.4 Sonderfall E-Learning und Evaluation........................................................ 69
4.4.1 E-Learning ................................................................................................ 69 4.4.2 Evaluation ................................................................................................. 70
5 FAZIT UND AUSBLICK.......................................................................................... 73 Anlagenverzeichnis...................................................................................................... 76
Literatur- und Quellenverzeichnis .............................................................................. 120
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung IV
Abbildungsverzeichnis Abb. 1 Personalentwicklungsmaßnahmen 7 Abb. 2 Ziele der Evaluation 14 Abb. 3 Kontrollgruppen-Design in der Evaluation 25 Abb. 4 Adressaten der Evaluationsergebnisse 27 Abb. 5 Evaluation – Widerstände und Probleme 30 Abb. 6 Entscheidung zwischen interner und externer Qualifizierung 39 Abb. 7 Nutzwertanalyse – Auswahl des besten Anbieters 41
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung V
Tabellenverzeichnis Tab. 1 Gegenüberstellung der wesentlichen Merkmale von Evaluation und Controlling 13 Tab. 2 Evaluationsobjekte und Evaluationsmethoden 36
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 1
1 EINFÜHRUNG UND AUFBAU DER ARBEIT
Unternehmen unterliegen zunehmend gravierenderen Veränderungsprozessen, die
durch rasantes Tempo und Komplexität gekennzeichnet sind. Die Ursachen dieses
ständigen Wandels liegen in der Globalisierung, in einer stärkeren Markt- und
Technologiedynamik, in geänderten Werthaltungen und in einem größeren
ökologischen Verantwortungsbewusstsein.1
Häufig betreffen technologische Entwicklungen gleichzeitig die Bereiche Verfahrens-,
Werkstoff- und Produkttechnologie. Eine wichtige Rolle fällt – vor allem zukünftig – der
Kommunikationstechnologie zu. Immer schnellere und kostengünstigere Informations-
und Kommunikationsalternativen eröffnen neue Horizonte.2
Die Mitarbeiter verkörpern den entscheidenden Erfolgsfaktor in diesen turbulenten
Abläufen. Ihr Qualifikationspotenzial, ihre Veränderungsfähigkeit und ihre
Anpassungsbereitschaft ermöglichen erst, einerseits mit dem ständigen Wandel Schritt
zu halten und andererseits stets neue Impulse den ökonomischen Prozessen zu
geben.3 Das vom Personal geforderte Kompetenzspektrum beschränkt sich nicht nur
auf die fachliche Ebene, sondern umfasst verstärkt Schlüsselqualifikationen, die
persönliche, soziale und methodische Kompetenzen beinhalten. Als Schlüssel-
qualifikationen gelten insbesondere Lernbereitschaft und Lernfähigkeit, logisches
Denken, Konzentrationsfähigkeit, Kreativität, Kontaktfähigkeit, Planungsfähigkeit,
kooperatives Verhalten sowie sprachliche Kompetenz4. Der Personalentwicklung
kommt die verantwortungsvolle Aufgabe zu, den Mitarbeitern ständig aktuelles Wissen
und Können zu vermitteln.
Die vorliegende Arbeit befasst sich mit der Evaluation von off-the-job-Maßnahmen der
betrieblichen Weiterbildung und enthält einen praxisbezogenen Leitfaden für die Vorge-
1 Vgl. Mudra, P.: Personalentwicklung. Integrative Gestaltung betrieblicher Lern- und Veränderungsprozesse, München 2004, S. 1. 2 ebenda 3 Vgl. Mudra, P., a.a.O., S. 2. 4 Vgl. Körner, P.: Betriebliche Weiterbildung als Teil der Personalentwicklung. Konzeption und exemplarische Entwicklung eines rechnergestützten Systems zum Weiterbildungsmanagement, Landau 1997, S. 35.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 2
hensweise bei der Evaluierung. In der Betriebspraxis erfolgt häufig eine Evaluierung
nur am Ende einer Qualifizierungsmaßnahme anhand eines Fragebogens5. Die
folgenden Ausführungen verstehen die Evaluation dagegen als systematischen,
ganzheitlichen Prozess, der in den gesamten Bildungsvorgang integriert ist.
Im Kapitel Definitorische und inhaltliche Grundlegung wird die begriffliche und
thematische Basis zum Verständnis der Arbeit gelegt. Ausgangspunkt bildet die
Personalentwicklung, in deren „Landschaft“ sich die Funktion der betrieblichen Weiter-
bildung einordnen lässt; danach wird auf die Evaluation eingegangen.
Der theoretische Teil Evaluation in der betrieblichen Weiterbildung beschreibt die
Ziele und die verschiedenen Formen der Evaluierung. Es folgen Ausführungen zum
Evaluationsdesign, zu den Adressaten der Evaluationsergebnisse und zu den
Evaluationsproblemen.
Das Kapitel Leitfaden zur Evaluierung von off-the-job-Maßnahmen beinhaltet einen
praxisorientierten Ansatz zur Bewertung von Qualifizierungsmaßnahmen, die nicht
unmittelbar am Arbeitsplatz erfolgen. Dabei wird das Produkt Bildungsmaßnahme in die
Phasen des Ablaufs – vor, während und nach der Qualifizierung – zerlegt und für jede
der Phasen ein geeignetes Instrumentarium aufgezeigt, das eine umfassende
Bewertung ermöglicht.
Die vorliegende Arbeit schließt mit dem Kapitel Fazit und Ausblick. Hier sind wichtige
Aussagen und Erkenntnisse zusammengefasst, die aus Vorangegangenem resultieren.
Weiterhin wird ein Ausblick in das zukünftige Feld der Personalqualifizierung und ihrer
Evaluierung gewagt.
Wegen der einfacheren Lesbarkeit findet ausschließlich die männliche Form
Verwendung. Die jeweilige Aussage bezieht sich gleichermaßen auf Frauen wie auf
Männer.
5 Vgl. Häring, K.: Evaluation der Weiterbildung von Führungskräften. Anspruch und Realität des Effektivitätscontrolling in deutschen Unternehmen, Wiesbaden 2003, S. 97.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 3
2 DEFINITORISCHE UND INHALTLICHE
GRUNDLEGUNG 2.1 Personalentwicklung
Innovationsdruck, neue Technologien und hohe Ansprüche an Qualität von Produkten
und Leistungen zwingen Unternehmen, die Qualifikationen ihrer Mitarbeiter ständig an
die wachsenden Anforderungen anzupassen. Dabei handelt es sich um das Schließen
der Lücke zwischen Qualifikations- und Anforderungsprofil durch Bildungsaktivitäten.
Prinzipiell kann Personalentwicklung aus zwei Blickwinkeln betrachtet werden: aus
Unternehmensperspektive und aus Mitarbeiterperspektive. Aus der Sicht des
Unternehmens geht es darum, Mitarbeiter für die Bewältigung der gegenwärtigen und
zukünftigen Aufgaben zu qualifizieren und somit sicherzustellen, dass sie den
vielfältigen Anforderungen gewachsen sind. Diesen betrieblichen Notwendigkeiten
stehen die Bedürfnisse, Ziele, Wünsche und Erwartungen der Mitarbeiter gegenüber.
Gelingt es durch Personalentwicklungsmaßnahmen, die beruflichen Vorhaben der
Beschäftigten zu fördern bzw. zu realisieren, dann wird dies positive Auswirkungen auf
deren Motivationslage haben.6
2.1.1 Definition Personalentwicklung
Unter Personalentwicklung versteht man alle Formen der Mitarbeiterqualifizierung. Sie
umfasst die Aus-, Fort- und Weiterbildung von Mitarbeitern und kommt immer dann
zum Tragen, wenn Defizite zwischen der derzeitigen Qualifikation der Mitarbeiter und
den Anforderungen der Arbeitsaufgabe bestehen.7
6 Vgl. Freund, F.; Knoblauch, R.; Eisele, D.: Praxisorientierte Personalwirtschaftslehre, 6. Aufl., Stuttgart 2003, S. 152 f. 7 Vgl. Scholz, C.: Personalmanagement. Informationsorientierte und verhaltenstheoretische Grundlagen, 5. Aufl., München 2000, S. 505.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 4
2.1.2 Ziele der Personalentwicklung
Sowohl Mitarbeiter als auch Unternehmen verfolgen in Bezug auf die
Personalentwicklung eigene Ziele. Diese Ziele differieren oftmals und können sogar
miteinander konkurrieren. Aufgabe der Verantwortlichen ist es, die unterschiedlichen
Interessenlagen zusammen zu führen, indem sie die Interessen der Mitarbeiter in die
Unternehmensziele integrieren.8
Zu den Hauptzielen zählen die Vermittlung notwendiger Qualifikationen zur Ausübung
der Tätigkeit, die Gewährleistung des optimalen Personaleinsatzes9 und die intensive
Bindung der im Betrieb Beschäftigten an das Unternehmen10. Des weiteren wird von
der Personalentwicklung erwartet, dass sie einen wichtigen Beitrag zur Erreichung der
ökonomischen Zielsetzungen leistet11. Aus diesen zentralen Zielen lassen sich weitere
Ziele der Personalentwicklung ableiten:
• Sicherung des Bestands an Fach- und Führungskräften,
• Vorbereitung geeigneter Mitarbeiter auf höherwertige Tätigkeiten,
• Reduzierung der Abhängigkeit vom externen Arbeitsmarkt, insbesondere beim
Führungsnachwuchs,
• Verbesserung des Sozialverhaltens der Mitarbeiter,
• Erkennen und Ausschöpfen von Potenzialen der Mitarbeiter,
• Erhöhung der Leistung und der Flexibilität von Mitarbeitern,
• Vermittlung von Schlüsselqualifikationen,
• Schaffung eines Anreizes für Mitarbeiter, sich beruflich weiter zu entwickeln,
• Aufdecken und Vermeiden von Fehlbesetzungen,
• Erzeugung und Förderung von Innovationsbereitschaft,12
• Erhöhung der Reaktionsfähigkeit des Unternehmens auf Veränderungen am
Markt13,
8 Vgl. Mentzel, W.: Personalentwicklung. Erfolgreich motivieren, fördern und weiterbilden, 2. Aufl., München 2005, S. 11 f. 9 Vgl. Mentzel, W., a.a.O., S. 10. 10 Vgl. Schöni, W.: Praxishandbuch Personalentwicklung. Strategien, Konzepte und Instrumente, Chur, Zürich 2001, S. 34. 11 ebenda 12 Vgl. Mentzel, W., a.a.O., S. 10 f. 13 Vgl. Schöni, W., a.a.O., S. 35.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 5
• Verbesserung des Unternehmensimage und damit Erhöhung der
akquisitorischen Wirkung auf potenzielle neue Mitarbeiter,
• Vermittlung von Wissen und Kenntnissen im Hinblick auf die
Organisationsentwicklung,14
• Erhöhung der Arbeitsmotivation und –zufriedenheit15.
Diesen unternehmensorientierten Zielen stehen die mitarbeiterbezogenen Ziele
gegenüber. Mitarbeiter sehen in der Personalentwicklung die Möglichkeit zur
Verwirklichung folgender Ziele:
• Erlangen eines ausreichenden Qualifikationsniveaus, um die Tätigkeit optimal
wahrnehmen zu können,
• Vorantreiben des beruflichen Fortkommens und Nutzung von
Karrieremöglichkeiten,
• Verbesserung der Chancen auf dem Arbeitsmarkt, insbesondere bei
wirtschaftlichem und technologischem Wandel,
• Steigerung des Grads an Selbstverwirklichung wegen des größeren
Handlungsspielraums,
• Übernahme von mehr Verantwortung,
• Erhaltung des Status quo im Unternehmen und in der Gesellschaft,
• Sicherung eines ausreichenden Arbeitsvolumens,16
• Befriedigung persönlicher Bildungsbedürfnisse und Weiterentwicklung der
eigenen Persönlichkeit,
• Verbesserung der Arbeitszufriedenheit,
• Erhöhung der Arbeitsplatzsicherheit.17
14 Vgl. Lung, M.: Betriebliche Weiterbildung. Grundlagen und Gestaltung, Leonberg 1996, S. 40. 15 Vgl. Petersen, T.: Handbuch zur beruflichen Weiterbildung. Leitfaden für das Weiterbildungsmanagement im Betrieb, Frankfurt, Berlin, Bern, Brüssel, New York, Wien 2000, S. 15. 16 Vgl. Nentzel, B.: Personalentwicklung. Ergebnisse des Projekts „Neue Instrumente für Innovationsprozesse zur Gestaltung von Arbeit und Technik in öffentlichen Büro- und Verwaltungsbereichen“, hrsg. von: Grimmer, K., Düsseldorf 1997, S. 25. 17 Vgl. Mentzel, W., a.a.O., S. 12.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 6
2.1.3 Maßnahmen der Personalentwicklung
Grundsätzlich kann zwischen folgenden Gruppen von Personalentwicklungs-
maßnahmen unterschieden werden:
• Personalentwicklung into the job
Hier sind alle Maßnahmen zuzuordnen, die dem Erlernen einer neuen Funktion
und der Hinführung zu einer neuen Tätigkeit dienen.
• Personalentwicklung on the job
Diese Gruppe umfasst solche Bildungsmaßnahmen, die direkt am Arbeitsplatz
durchgeführt werden.
• Personalentwicklung along the job
Dabei handelt es sich um laufbahnbegleitende Qualifizierungsmaßnahmen.
• Personalentwicklung near the job
Unter diesem Begriff subsumiert man sämtliche arbeitsplatznahen
Bildungsaktivitäten.
• Personalentwicklung off the job
Zu diesem Maßnahmenbündel gehören externe Weiterbildungsveranstaltungen,
Inhouse-Qualifizierungen und Corporate Universities.
• Personalentwicklung out of the job
Diese Aktivitäten stellen die Beschäftigungsfähigkeit von ausscheidenden
Mitarbeitern sicher. Auch Ruhestandsregelungen fallen unter diese Gruppe.18
Betrachtet man die berufliche Biographie eines Mitarbeiters, dann wird deutlich, dass
eine erfolgreiche Personalentwicklungsstrategie nur durch die Kombination diverser
Personalentwicklungsaktivitäten sicherzustellen ist: So durchläuft ein Mitarbeiter
während seiner beruflichen Laufbahn beispielsweise die folgenden
Personalentwicklungsmaßnahmen:
• into the job: Berufsausbildung und diverse Einarbeitungen,
• on the job: Training,
18 Vgl. Scholz, C., a.a.O., S. 510 f.; siehe dazu auch: Oechsler, W. A.: Personal und Arbeit. Grundlagen des Human Resource Management und der Arbeitgeber-Arbeitnehmer-Beziehungen, 7. Aufl., München, Wien 2000, S. 593-596.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 7
• off the job: betriebsinterne Schulungen und externe Bildungsmaßnahmen,
• out of the job: gleitender Ruhestand.
Nachstehende Abbildung gibt einen Überblick über die verschiedenen Maßnahmen
der Personalentwicklung:
Abb. 1: Personalentwicklungsmaßnahmen Quelle: Scholz, C., a.a.O., S. 511.
2.2 Betriebliche Weiterbildung als Teilbereich der Personalentwicklung
Die betriebliche Weiterbildung gehört neben anderen Bildungsformen zur
Personalentwicklung. Betrieblich bedeutet, dass der Träger der Weiterbildung das
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 8
Unternehmen selbst ist. Dabei kommt dem Unternehmen die Aufgabe der Planung,
Organisation, Durchführung, Kontrolle und Finanzierung der Weiterbildungsmaßnahme
im Ganzen oder nur in Teilen zu. Unter Weiterbildung versteht man die Fortsetzung
oder Wiederaufnahme organisierten Lernens nach Abschluss einer ersten
Bildungsphase.19
2.2.1 Definition betriebliche Weiterbildung
Betriebliche Weiterbildung stellt den Teil der beruflichen Weiterbildung dar, der im
Bereich des Unternehmens angesiedelt ist20. Die Maßnahmen werden vom
Unternehmen durchgeführt und/oder veranlasst und finanziert; dazu gehören folglich
interne und externe Weiterbildungsmaßnahmen sowie Mischformen21.
2.2.2 Betriebliche Bildungsmaßnahmen off the job
Bei den sog. off-the-job-Maßnahmen der betrieblichen Weiterbildung werden die
Qualifizierungsmaßnahmen nicht am Arbeitsplatz umgesetzt, sondern an einem
anderen Ort.
Gerade wegen der fehlenden Nähe zum Arbeitsplatz und zu dessen Umfeld kann es im
Rahmen der Qualifizierung off the job zu Problemen beim Transfer kommen; d. h. das
im Rahmen der Weiterbildung Erlernte lässt sich aus verschiedenen Gründen nicht
immer unmittelbar auf die konkrete Arbeitssituation übertragen.22
19 Vgl. Weingärtner, M.: Betriebliche Weiterbildung und Weiterbildungsberatung in mittelständischen Unternehmen, Bergisch Gladbach, Köln 1995, S. 8 f. 20 Vgl. Mudra, P., a.a.O., S. 72. 21 Vgl. Pawlowsky, P.; Bäumer, J.: Betriebliche Weiterbildung. Management von Qualifikation und Wissen, München 1996, S. 9. 22 Vgl. Reuther, U.; Frank, G.: Lernerfolg und Transfer, in: Heeg, F. J.; Münch, J. (Hrsg.): Handbuch Personal- und Organisations- entwicklung, Stuttgart, Dresden 1993, S. 424.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 9
Bildungsmaßnahmen off the job können unterschieden werden in:
• Präsenzmaßnahmen: Hier hat der Lernende direkten Kontakt mit dem Trainer.
Die Vorzüge liegen darin, dass der Lehrende die Reaktion des Lernenden
wahrnimmt, den Lernfortschritt kontrollieren und ggf. intervenieren kann.
Außerdem besteht die Möglichkeit der Motivierung des Lernenden.
• Fernbildungsmaßnahmen: Bei dieser Art der Weiterbildung existiert kein direkter
Kontakt zwischen Trainer und Lernendem. Einst erhielt der Lernende die
Aufgaben und Lernmaterialien per Post, später per E-Mail.23 In der heutigen Zeit
gewinnt das sog. E-Learning, bei dem der Lernprozess anhand multimedialer
Lernprogramme und Computerunterstützung stattfindet, permanent an
Bedeutung24. Die zeitliche und räumliche Flexibilität25, die sehr kostengünstige
Umsetzung sowie verkürzte Trainingszeiten bilden die entscheidenden Vorteile
solcher Maßnahmen26.
Die Durchführung von Bildungsmaßnahmen kann unternehmensintern und/oder -extern
erfolgen. Zahlreiche Faktoren beeinflussen die Entscheidung darüber, ob die
Veranstaltung vom Unternehmen selbst oder von einem Fremdanbieter realisiert wird.
Meist können kleine und mittlere Unternehmen allein aus Kostengründen keine interne
Bildungsmaßnahme abhalten. Für sie kommt häufig nur eine Durchführung in
Kooperation mit einem externen Bildungsdienstleister in Frage27. Eine
zwischenbetriebliche Alternative besteht in einem Zusammenschluss mit anderen
Unternehmen zu einem Weiterbildungsverbund, z. B. mit Unternehmen der selben
Branche, um kostengünstig und bedarfsorientiert den Mitarbeitern Bildungsmaßnahmen
anbieten zu können28.
23 Vgl. Gutmann, J.; Klose, I.: Personalentwicklung. Wie Sie Ihre Mitarbeiter fit machen, Planegg 2005, S. 47. 24 Vgl. Dittler, U.: Einführung – E-Learning in der betrieblichen Aus- und Weiterbildung, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 11. 25 Vgl. Gutmann, J.; Klose, I., a.a.O., S. 47. 26 Vgl. Fackiner, C.: Konzepte für die Integration von Computer Based Training (CBT) in die betriebliche Weiterbildung am Beispiel Banken. Zielsetzung und Kriterien für den Einsatz computerunterstützter Lernprogramme in der Mitarbeiterschulung, Stuttgart, Marburg, Erfurt 1995, S. 58 f. 27 Vgl. Weingärtner, M., a.a.O., S. 73-84. 28 Vgl. Lung, M., a.a.O., S. 138 f.; siehe dazu auch: Engel, A.: Personalentwickler auf Abruf, in: managerSeminare 1/03, S. 80-88.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 10
Nachstehende Aufzählung benennt Formen der betrieblichen Weiterbildung off the job:
• Lehrgespräch,
• Fallmethode/Planspiel,
• Gruppenarbeit,
• Rollenspiel,
• gruppendynamisches Training,
• Moderationsmethode,
• Förderkreis/Erfahrungsaustauschgruppe,
• Qualitätszirkel,
• computerunterstütztes Lernen,
• Fernunterricht,29
• selbstgesteuertes Lernen,
• Leittextmethode,
• Referat/Vortrag/Vorlesung/Lehrvortrag.30
2.3 Evaluation
In diesem Teil wird zunächst der Begriff „Evaluation“ bestimmt, um dadurch das weitere
Verständnis von Evaluation im Zusammenhang mit Bildungsmaßnahmen zu
erleichtern. Anschließend erfolgt eine Abgrenzung zwischen Evaluation und Controlling.
2.3.1 Definition Evaluation
Evaluation lässt sich allgemein als Bewertung bzw. Beurteilung bezeichnen31. Die
Begriffe „Evaluation“ und „Evaluierung“ können dem englischen Begriff „evaluation“
29 Vgl. Mentzel, W., a.a.O., S. 202-219. 30 Vgl. Lung, M., a.a.O., S. 148-165. 31 Vgl. Lang, K.: Bildungs-Controlling. Personalentwicklung effizient planen, steuern und kontrollieren, Wien 2000, S. 87.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 11
gleichgesetzt werden; er hat die Bedeutung „Einschätzen eines Wertes“ oder „Etwas
einen Wert beimessen“.32
Kennzeichnend für Evaluation ist, dass
• sie als Planungs- und Entscheidungsunterstützung dient,
• ihre Hauptfunktion in der Überprüfung und Verbesserung von Maßnahmen33,
inhaltlich und methodisch34, besteht.
2.3.2 Evaluation betrieblicher Weiterbildungsmaßnahmen Die Evaluierung betrieblicher Weiterbildung umfasst die Aktivitäten im Vorfeld der
Maßnahmenrealisierung (z. B. interne oder externe Veranstaltung, Auswahl des
Anbieters) sowie sämtliche Aktivitäten zur Erfolgsbestimmung der Kompetenz-
erweiterung bei Mitarbeitern durch Qualifizierung35. Bei dieser Erfolgsfeststellung geht
es um die Ermittlung des
• Zufriedenheitserfolgs,
• Lernerfolgs,
• Transfererfolgs,
• Organisationserfolgs.
Daraus leitet sich ab, dass die Evaluation nicht nur die Bewertung des Erfolgs am Ende
einer Maßnahme übernimmt, sondern in allen Phasen des Bildungsprozesses zum
Einsatz gelangen muss. Sie kann auf diese Weise z. B. ganz entscheidend dazu
beitragen, dass noch im Verlauf einer Qualifizierungsveranstaltung aktuell
aufgetretenen Problemen entgegengewirkt wird.
32 Vgl. Mudra, P., a.a.O., S. 392. 33 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H.: Evaluation von Personalentwicklungsmaßnahmen, in: Sonntag, K. (Hrsg.): Personalentwicklung in Organisationen. Psychologische Grundlagen, Methoden und Strategien, 2. Aufl., Göttingen, Bern, Toronto, Seattle 1999, S. 261. 34 Vgl. Scherer, D.: Evaluation beruflicher Weiterbildung. Eine theoretisch-empirische Analyse auf der Datenbasis des sozio- ökonomischen Panels, Frankfurt, Berlin, Bern, New York, Paris, Wien 1996, S. 142 f. 35 Im Gegensatz dazu: Pieler, D.: Weiterbildungscontrolling. Eine systemorientierte Perspektive, Wiesbaden 2000, S. 37 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 12
2.3.3 Abgrenzung der Bildungsevaluation von Bildungscontrolling
Unter Bildungscontrolling36 versteht man die Planung, Steuerung und Kontrolle von
Bildungsmaßnahmen, in erster Linie mit dem Fokus auf Aufwand und Ertrag37. Im
Mittelpunkt steht also die Frage, wie sich die Bildungsinvestition, ökonomisch
betrachtet, auf das Unternehmen auswirkt.
Die Bildungsevaluation hingegen bewertet – anstelle der ökonomischen – die
pädagogische und qualifikatorische Zielerreichung der Bildungsaktivität38. Die
Messungen beziehen sich meist auf qualitative Merkmale und nicht auf mit Zahlen oder
monetären Größen quantifizierbare Faktoren.
Evaluation darf keinesfalls getrennt von Bildungscontrolling betrachtet werden, sondern
ist als integratives Element des Bildungscontrollings zu sehen39.
36 Siehe dazu: Kailer, N.: Controlling in der Weiterbildung, in: Münch, J. (Hrsg.): Ökonomie betrieblicher Bildungsarbeit. Qualität – Kosten – Evaluierung – Finanzierung, Berlin 1996, S. 233-250. 37 Vgl. Münch, J.: Personalentwicklung als Mittel und Aufgabe moderner Unternehmensführung, Bielefeld 1995, S. 134 f. 38 Vgl. Häring, K., a.a.O., S. 13. 39 Vgl. Mudra, P., a.a.O., S. 393.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 13
Untenstehende Tabelle macht die Unterschiede zwischen Bildungsevaluation und
Bildungscontrolling ersichtlich:
Tab. 1: Gegenüberstellung der wesentlichen Merkmale von Evaluation und Controlling Quelle: Gerlich, P.: Controlling von Bildung, Evaluation oder Bildungs-Controlling? Überblick, Anwendung
und Implikationen einer Aufwand-Nutzen-Betrachtung von Bildung unter besonderer Berücksichtigung
wirtschafts- und sozialpsychologischer Aspekte am Beispiel akademischer Nachwuchskräfte in Banken,
München, Mering 1999, S. 15.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 14
3 EVALUATION IN DER BETRIEBLICHEN
WEITERBILDUNG
3.1 Ziele der Evaluation
Die Evaluierung betrieblicher Weiterbildungsmaßnahmen hat für die verschiedenen
Adressaten eine unterschiedliche Bedeutung. So konzentriert sich die Unternehmens-
führung beispielsweise darauf, inwieweit sich die Bildungsinvestition positiv auf das
Geschäftsergebnis auswirkt. Die Trainer ihrerseits haben ausgeprägtes Interesse
daran, großen Lernerfolg zu erzielen, hohe Teilnehmerzufriedenheit zu erreichen sowie
ihre Weiterbildungsmaßnahmen stetig zu verbessern. Die Vorgesetzten der Mitarbeiter,
die zu einer Qualifizierung geschickt werden, erhoffen sich, dass ihre Mitarbeiter nach
Rückkehr möglichst viel von dem Erlernten am Arbeitsplatz anwenden können.
Nachfolgend abgebildetes Schaubild ermöglicht einen Überblick über die Ziele, welche
mit der Evaluation verfolgt werden:
Abb. 2: Ziele der Evaluation
Quelle: Der Verfasser
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 15
3.1.1 Bewertung Die Bewertungsfunktion der Evaluation zielt darauf ab, den Nutzen einer
Bildungsmaßnahme zu ermitteln. Sie gibt Aufschluss darüber, inwieweit sich die
Investition amortisiert. Die Bewertung dient der Rechtfertigung für die aufgewendeten
Kosten der Maßnahme; deshalb nennt man diese Funktion auch Legitimations-
funktion.40 Das Ergebnis einer Bildungsaktivität wird abschließend mit dem Ausmaß der
Erreichung bestimmter Bewertungsmaßstäbe verglichen. Solche Maßstäbe sind vorher
festgelegte Nutzenkriterien oder Zielerreichungsgrade.
3.1.2 Optimierung Die Optimierung der Bildungsmaßnahmen stellt ein bedeutendes Ziel der Evaluation
dar. Permanente Verbesserungen in der Qualität der Bildung sollen angestrebt
werden41. Optimierende Eingriffe können bereits in laufende Bildungsprozesse
geschehen. Durch die gewonnenen Erfahrungen lassen sich zukünftige
Qualifizierungen entsprechend verbessern42. Die Qualitätssicherung in der
Bildungsarbeit ist durch die Standardisierung der Anforderungen zu realisieren, die eine
Bildungsmaßnahme zu erfüllen hat43. Solch ein Qualitätsstandard kann sich
beispielsweise auf die technische Ausstattung beziehen, die in einem
Weiterbildungsseminar verwendet wird. Qualitätskriterien in diesem Zusammenhang
sind die Funktionalität, die Modernität, die Ästhetik u. a.44
3.1.3 Integration
Wie bereits oben dargelegt, soll die Evaluierung nicht lediglich als abschließende
Bewertung nach der Qualifizierung vollzogen werden, sondern in den Gesamtablauf
40 Vgl. Häring, K., a.a.O., S. 18 f. 41 Vgl. Götz, K.: Zur Evaluierung beruflicher Weiterbildung. Eine theoretische und empirische Studie zur Wirksamkeit beruflicher Weiterbildung, Weinheim 1993, S. 65. 42 Vgl. Mudra, P., a.a.O., S. 395. 43 Vgl. Mudra, P., a.a.O., S. 405 ff. 44 Vgl. Mudra, P., a.a.O., S. 407.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 16
des Bildungsprozesses integriert sein. Die sich daraus ergebende positive Wirkung des
Hawthorne-Effekts ruft eine Erhöhung der Lernmotivation bei den Teilnehmern hervor.
Der Hawthorne-Effekt besagt, dass die Evaluation selbst den Untersuchungs-
gegenstand beeinflusst.45 Übertragen auf die Bildungssituation bedeutet dies, dass sich
die Teilnehmer mehr anstrengen und mehr Verantwortung in ihrer Situation
übernehmen, wenn ständig Evaluierungsmaßnahmen „drohen“. Das Resultat sind
bessere Lernergebnisse.
3.1.4 Kontrolle
Eine weitere Zielsetzung liegt in der Kontrolle. Aufgabe der Evaluation ist, anhand
geeigneter Informationen Analysen durchzuführen und Bewertungen vorzunehmen, um
daraus einen Handlungsvorschlag für zukünftige Bildungsmaßnahmen ableiten zu
können.46 Dabei stellt der Erfolg einer Bildungsmaßnahme nicht ein zufällig
eingetretenes Resultat dar, sondern er ist das Ergebnis einer zielorientierten
Steuerung47. Es wird überprüft, ob die vorher festgelegten Ziele erreicht wurden.
Kontrolle ist demnach als Controlling-Aktivität zu verstehen48.
3.1.5 Dokumentation
Als weiteres Ziel der Evaluation gilt die Dokumentation der gewonnenen Ergebnisse.
Diese Resultate sollen systematisch gesammelt, verarbeitet und gespeichert werden.
Auf ihrer Grundlage werden später Entscheidungen getroffen.49 Je mehr Informationen
über frühere Weiterbildungsmaßnahmen vorhanden sind, desto sicherere Entschei-
dungen lassen sich treffen.
45 Vgl. Häring, K., a.a.O., S. 20. 46 Vgl. Häring, K., a.a.O., S. 21. 47 Vgl. Bronner, R.; Hische, V.: Zur Entwicklung eines Evaluations-Instrumentariums, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 50 f. 48 Vgl. Häring, K., a.a.O., S. 21. 49 Vgl. Häring, K., a.a.O., S. 22.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 17
3.1.6 Entscheidung
Die Ergebnisse der Evaluierung fließen in Entscheidungsprozesse ein; die Evaluation
beeinflusst insoweit Entscheidungen. Dabei werden Ergebnisse und Analysen aus
vergangenen Evaluationen dazu verwendet, richtige Entscheidungen über künftige
Weiterbildungsmaßnahmen zu fällen.50 Die Qualität der Entscheidung wirkt sich
letztendlich auf die Qualität der Maßnahme aus51.
3.1.7 Imageverbesserung
Die Imagewirkung wird zunehmend an Bedeutung gewinnen, weil Unternehmen mehr
und mehr um qualifizierte Nachwuchskräfte konkurrieren müssen. Eine Evaluierung der
Personalentwicklungsmaßnahmen wertet die Funktion der Personalentwicklung eines
Unternehmens auf und dies hat positive Konsequenzen auf das Image des Unter-
nehmens.52
3.2 Formen der Evaluation
Unter Evaluierungsformen versteht man die formale Vorgehensweise bei der
Datenerhebung. Davon abzugrenzen ist die inhaltliche Vorgehensweise, die sich mit
den Methoden und dem Design des Evaluationsvorgangs befasst.53
3.2.1 Teil- und Gesamtevaluation
Eine Teilevaluierung beurteilt nur bestimmte Aspekte einer Bildungsmaßnahme. Die
inhaltliche Konzeption, die Methodik, die Didaktik, oder der Einfluss des Trainers bilden
50 Vgl. Häring, K., a.a.O., S. 21. 51 Vgl. Götz, K., a.a.O., S. 71. 52 Vgl. Häring, K., a.a.O., S. 22. 53 Vgl. Götz, K., a.a.O., S. 105.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 18
beispielsweise solche Gesichtspunkte. Sind gleichzeitig mehrere Elemente Gegenstand
der Untersuchung, spricht man von einer Teilevaluierung oder partiellen Evaluierung.
Wird der Fokus auf ein einziges Element gerichtet, so heißt die Evaluation singuläre
Evaluation.54
Die Gesamtevaluierung bewertet alle relevanten Elemente einer Bildungsmaßnahme.
Das Ziel ist, kausale Zusammenhänge zwischen der Qualifizierung und den späteren
Verhaltenseffekten beim Teilnehmer am Arbeitsplatz aufzudecken.55
3.2.2 Input- und Outputevaluation
Die Inputevaluation hält fest, welche Mittel zur Durchführung einer Bildungsmaßnahme
eingesetzt werden. Dazu zählen sowohl die finanziellen Mittel als auch andere
Inputfaktoren, wie die verwendeten Medien und Unterlagen. Die Überprüfung, ob ein
vorher gestecktes Budgetziel eingehalten wurde, ist eine mögliche Form der
Inputevaluation. Weitere rein quantitative Datenerhebungen – z. B. Anzahl der
angebotenen Seminare, Zahl der Teilnehmer – sind denkbar.56
Die Outputevaluation misst das Ergebnis der Weiterbildungsmaßnahme. Dabei stehen
die beabsichtigten und unbeabsichtigten Wirkungen im Mittelpunkt. Eine
Gegenüberstellung der investierten Mittel mit dem erzielten Nutzen ermöglicht es,
Aussagen über die Effizienz der Maßnahme zu treffen.57
3.2.3 Selbst- und Fremdevaluation
Bei der Selbstevaluation nehmen die am Bildungsprozess Beteiligten eine Bewertung in
eigener Verantwortung vor. Gegenstandsbereiche können in diesem Fall der
Lernprozess, der Lernerfolg und der Lerntransfer sein.58
54 Vgl. Götz, K., a.a.O., S. 105. 55 ebenda 56 Vgl. Götz, K., a.a.O., S. 106. 57 ebenda 58 Vgl. Götz, K., a.a.O., S. 107-110.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 19
Eine Fremdevaluation erfolgt i. d. R. durch Verhaltensbeobachtung der Teilnehmer
durch andere Personen. Als mögliche Beobachter kommen hier Weiterbildungs-
teilnehmer, Vorgesetzte, Trainer und Kollegen in Frage.59
3.2.4 Vergleichende und nichtvergleichende Evaluation
Bei einer vergleichenden Evaluation werden die Erfolge einer Weiterbildungs-
maßnahme mit den Erfolgen einer oder mehrerer Gruppen, die an identischen
Maßnahmen teilgenommen haben, verglichen. Zu berücksichtigen ist allerdings, dass
sich ein empirisch-wissenschaftlicher Vergleich nur mit wirklich vergleichbaren
Datensätzen durchführen lässt.60
Die nichtvergleichende Evaluation stellt eine Bewertung der Teilnehmergruppe
und/oder eine Bewertung einzelner Teilnehmer innerhalb dieser Gruppe dar. Es wird
kein Vergleich mit einer anderen Gruppe vorgenommen.61
3.2.5 Interne und externe Evaluation
Bei einer internen Evaluierung erfolgt die Bewertung der Maßnahme von derselben
Organisation, die auch die Bildungsmaßnahme durchgeführt hat62. Dies kann das
Unternehmen selbst oder ein externer Veranstalter sein.
Um eine externe Evaluation handelt es sich dann, wenn eine betriebsfremde
Organisation mit der Untersuchung beauftragt wurde. Auch Mischformen aus beiden
Evaluationsarten sind vorstellbar.63
59 Vgl. Götz, K., a.a.O., S. 107-110. 60 Vgl. Reischmann, J.: Weiterbildungs-Evaluation. Lernerfolge messbar machen, Neuwied, Kriftel 2003, S. 105 f. 61 Vgl. Götz, K., a.a.O., S. 114. 62 Vgl. Götz, K., a.a.O., S. 117. 63 ebenda
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 20
3.2.6 Additive und integrierte Evaluation
Eine additive Evaluation hat keinen Einfluss auf einen laufenden Qualifizierungs-
prozess. Sie beurteilt lediglich am Ende einer Bildungsmaßnahme, inwieweit
Zufriedenheit bei den Teilnehmern herrscht und welche Verbesserungen angebracht
wären. Finden allerdings keine vergleichbaren Veranstaltungen mehr statt, so bleibt die
Evaluation ohne Wirkung.64
Die integrierte Evaluation ist die prozessuale Beurteilung einer Bildungsmaßnahme. Sie
ermöglicht es, steuernd auf die Maßnahme einzuwirken, um so von den notwendigen
Veränderungen und damit Verbesserungen profitieren zu können. Darüber hinaus dient
sie der Qualitätsmessung und Qualitätssicherung.65
3.2.7 Subjektive und objektive Evaluation
Als subjektiv bezeichnet man eine Evaluation, wenn Vorstellungen und Meinungen der
evaluierten Personen die Informationsgrundlage bilden66. Der Vorteil dieser
Evaluierungsart liegt darin begründet, dass derjenige, der selbst am Bildungsprozess
teilnimmt, am besten erkennen kann, was tatsächlich wichtig ist. Allerdings sollte sich
der Selbstevaluierende fragen, ob er sich selbst realistisch und nicht zu gut beurteilt
hat.67
Von objektiver Evaluierung spricht man dann, wenn die Informationen aus dem
erkennbaren Verhalten der beobachteten Personen abgeleitet werden68. Der Vorteil
einer Fremdevaluierung besteht darin, dass eine neutrale Person, die nicht an der
Schulung teilgenommen hat, zu „objektiveren“ Ergebnissen kommt69.
64 Vgl. Götz, K., a.a.O., S. 116. 65 Vgl. Götz, K., a.a.O., S. 116 f. 66 Vgl. Götz, K., a.a.O., S. 110. 67 Vgl. Reischmann, J., a.a.O., S. 106 f. 68 Vgl. Götz, K., a.a.O., S. 110. 69 Vgl. Reischmann, J., a.a.O., S. 106.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 21
3.2.8 Direkte und indirekte Evaluation
Bei der direkten Evaluation sammeln die Teilnehmer einer Bildungsveranstaltung selbst
Daten, um daraus den Erfolg zu bestimmen70.
Um indirekte Evaluation handelt es sich, wenn außenstehende Personen das Verhalten
der Teilnehmer beobachten und aus den daraus gewonnenen Informationen den
Maßnahmenerfolg ableiten.71
3.2.9 Quantitative und qualitative Evaluation
Kriterien, die anhand von Evaluationsverfahren bewertet werden, können quantitativ
erfasst werden. Darunter zu verstehen sind beispielsweise die Anzahl der gelösten
Aufgaben und/oder die dazu benötigte Zeit. Aber auch qualitative Aussagen lassen sich
anhand von Ratingskalen quantitativ ausdrücken. Entscheidender Vorteil dieser Form
ist die einfache Auswertung und Weiterverarbeitung der gewonnenen Daten,
gravierender Nachteil das vorgegebene Antwortspektrum.72
Ferner können die Bewertungen mittels qualitativer Evaluation durchgeführt werden;
dabei ist die Beurteilung in einem Freitextfeld abzugeben. Der Vorteil besteht im breiten
Informationsspektrum, das diese offene Bewertung ermöglicht. Die Schwierigkeit, die
gesammelten Antworten zusammenzufassen und weiterzuverarbeiten, stellt den
Nachteil dieser Methode dar.73
3.2.10 Hypothesenprüfende und hypothesengenerierende Evaluation
Bei einer hypothesenprüfenden Evaluation sind abzufragende Merkmale bekannt, mit
denen sich Fragestellungen formulieren lassen. Eine solche Frage könnte bei einem
70 Vgl. Götz, K., a.a.O., S. 112. 71 ebenda 72 Vgl. Reischmann, J., a.a.O., S. 108 f. 73 ebenda
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 22
Teilnehmer-Feedback beispielsweise sein: „Wie war der Medieneinsatz?“. Methoden
zur Informationsgewinnung sind Beobachtung, Befragung und Dokumentenanalyse.74
Viele Aspekte der Pädagogik und zahlreiche Probleme im Qualifizierungsbereich
können jedoch nicht klar strukturiert und leicht konkretisiert werden. Oftmals gestaltet
sich die Situation derart, dass lediglich das Bewusstsein zu einer notwendigen
Veränderung vorhanden ist. Damit sind zunächst die Vorgehensweise und teilweise
sogar der Zielzustand unbekannt. Es geht also in erster Linie darum, sich zuerst
Klarheit darüber zu verschaffen, was untersucht werden soll und welche Kriterien zur
Bewertung herangezogen werden sollen. Hierbei handelt es sich um eine
hypothesengenerierende Evaluation. Als Methoden eignen sich Beobachtungen im
Bildungsprozess, Befragungen der beteiligten Personen sowie Analysen von
Protokollen aus anderen Weiterbildungsveranstaltungen.75
3.2.11 Intrinsische und extrinsische Evaluation
Die intrinsische Evaluierung bewertet das Evaluierungsinstrument. Ansatzpunkte dazu
geben beispielsweise die angewandte Methode oder die Einstellung des Trainers. Die
einzuschätzenden Kriterien können jedoch nicht operationalisiert werden, da es nicht
um konkrete Auswirkungen einer Maßnahme, sondern um das Instrument selbst geht.76
Die extrinsische Evaluation beurteilt die Auswirkung des Lehrverhaltens des Trainers
auf die Teilnehmer einer Weiterbildungsmaßnahme77.
3.2.12 Formative und summative Evaluation
Die formative und die summative Evaluation werden im Bildungsbereich am häufigsten
durchgeführt. Die Anwendung beider Verfahren auf einen Bildungsprozess
74 Vgl. Reischmann, J., a.a.O., S. 109. 75 Vgl. Reischmann, J., a.a.O., S. 109 f. 76 Vgl. Götz, K., a.a.O., S. 113. 77 ebenda
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 23
kann zu Qualitätsverbesserungen führen.78 Aufgrund der großen Verbreitung der
formativen und summativen Formen in der Praxis werden sie im Rahmen dieser Arbeit
ausführlicher als die vorangehend beschriebenen Evaluationsformen erörtert.
Die formative Evaluation betrachtet den laufenden Bildungsprozess, um diesen noch
während der Durchführung optimieren zu können79. Sie hat zwei wesentliche
Zielsetzungen: Zum einen soll sie dem Trainer eine Rückmeldung zum laufenden
Abschnitt der Bildungsveranstaltung ermöglichen. Es kann sich herausstellen, dass in
einer bestimmten Phase gehäuft Probleme bzw. Defizite bei Teilnehmern auftreten. An
diesen Stellen gilt es, zu intervenieren und zu modifizieren. Zum anderen sollen die
Teilnehmer Informationen über ihren Lernfortschritt erhalten. Dazu können als
Methoden z. B. Zwischenprüfungen und prozessbegleitende Tests eingesetzt werden.
Auf diese Weise lassen sich sowohl Misserfolge als auch Erfolge offen legen.80 An
kritischen Punkten muss weiter gearbeitet werden, während Erfolgserlebnisse
motivieren.
Die formative Evaluation kann in die Untersuchung der Qualität sowie in die
Untersuchung der Wirkung aufgeteilt werden. Die Qualitätsanalyse bewertet die
Bildungsmaßnahme hinsichtlich Inhalt, Didaktik sowie Medieneinsatz. Im Gegensatz
dazu beschäftigt sich die Wirkungsanalyse mit der Akzeptanz der Qualifizierung durch
die Teilnehmer, mit der Lernprozessanalyse, mit der Lernerfolgsanalyse und mit der
Transferanalyse während der Bildungsmaßnahme.81 Somit wird in diesem Modell die
Transferanalyse bereits im Rahmen der formativen Bewertung berücksichtigt, also
schon während des Verlaufs der Maßnahme. Ein solches Verfahren ist dann sinnvoll
und notwendig, wenn eine komplexe Bildungsaktivität – zeitlich betrachtet – sukzessive
in Teilabschnitten durchgeführt wird, also z. B. Trainees nach einer gewissen
Lernphase off the job wieder an den Arbeitsplatz zurückkehren und sich danach wieder
für eine bestimmte Zeit off the job weiterqualifizieren.
78 Vgl. Götz, K., a.a.O., S. 118. 79 Vgl. Sonntag, K.: Lernen im Unternehmen, München 1996, S. 187. 80 Vgl. Götz, K., a.a.O., S. 114 f. und Pech, U.: Bildungscontrolling. Deskription, Klassifikation, Identitäten und Disparitäten, Aachen 2001, S. 173. 81 Vgl. Sonntag, K., a.a.O., S. 187 ff.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 24
Zu beachten bleibt, dass die formative Evaluation im Normalfall nur dann sinnvoll ist,
wenn es sich um eine länger andauernde Bildungsmaßnahme handelt82.
Die summative Evaluation hat die Aufgabe, das Ergebnis nach Abschluss einer
Bildungsmaßnahme zu beurteilen. Untersuchungsgegenstand kann entweder die
Veranstaltung – mit allen ihren Aspekten (Inhalt, Trainer, Methodik, Didaktik,
Räumlichkeiten etc.) – oder das Lernergebnis der Teilnehmer nach der Maßnahme
sein. Die summative Evaluierung trägt dazu bei, dass künftige Qualifizierungen
verbessert werden können.83 Diese Ergebnisevaluation konzentriert sich eher auf harte
Fakten und quantifizierbare Größen, als dies bei einer formativen Evaluation der Fall
ist84.
3.3 Evaluationsdesign
Da bei länger andauernden Maßnahmen zahlreiche Faktoren auf die Organisation
einwirken und möglicherweise Veränderungen hervorrufen, kann eine Leistungs-
verbesserung der Teilnehmer nicht zwangsläufig als Resultat einer Qualifizierung
betrachtet werden. Um den Erfolg einer betrieblichen Weiterbildungsmaßnahme
nachweisen zu können, ist methodisch ein größerer Aufwand notwendig, als lediglich
eine Vorher-/Nachhermessung bei den Teilnehmern vorzunehmen.85 Allerdings sind die
dafür notwendigen empirisch-wissenschaftlichen Vorgehensweisen im Betrieb aus
einer Vielzahl von Gründen gar nicht umsetzbar.
In der empirischen Evaluationsforschung finden sich u. a. folgende Design-Varianten:
• einfaches Kontrollgruppen-Design, Messung vor und nach dem Training;
• Design mit einer Trainingsgruppe sowie zwei Kontrollgruppen und
Placeboeffekt, Messung vor und nach dem Training;
82 Vgl. Münch, J., a.a.O., S. 140. 83 Vgl. Götz, K., a.a.O., S. 115 f. 84 Vgl. Münch, J., a.a.O., S. 139 f. 85 Vgl. Kolb, M; Bergmann, G.: Qualitätsmanagement im Personalbereich, Landsberg/Lech 1997, S. 166.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 25
• Design mit einer Trainingsgruppe sowie zwei Kontrollgruppen, Messung vor und
nach dem Training;
• Zeitreihen-Design;
• institutionelle Zyklus-Analyse;
• Mehrphasen-Design.86
Das Kontrollgruppen-Design soll exemplarisch kurz aufgezeigt werden, da es die
praktikabelste Lösung ist, um nachzuweisen, dass sich die Leistungsverbesserung als
Folgewirkung der Qualifizierung ergibt. Allerdings muss hier der Hinweis erfolgen, dass
selbst ein einfaches Kontrollgruppen-Design in der Praxis selten zur Anwendung
gelangt87. Die Ursachen dafür liegen hauptsächlich in finanziellen, zeitlichen und
personellen Restriktionen88.
Nachstehende Abbildung veranschaulicht ein einfaches Modell des Kontrollgruppen-
Designs:
Abb. 3: Kontrollgruppen-Design in der Evaluation Quelle: Kolb, M.; Bergmann, G., a.a.O., S. 167.
86 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 271 ff. 87 Vgl. Bergmann, G.: Bildungscontrolling – Transfer – Evaluation, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, 3. Aufl., Göttingen, Bern, Toronto, Seattle 2003, S. 268 f. 88 Vgl. Häring, K., a.a.O., S. 245.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 26
Die Schwierigkeit besteht in der Bestimmung der Parallelgruppe, welche in ihrer
Zusammensetzung die gleichen Merkmale (z. B. Hierarchieebene, Abteilung, Funktion)
wie die Versuchsgruppe besitzen sollte89.
Aus den gewonnenen Daten der Messungen vor und nach der Qualifizierungs-
maßnahme lässt sich der Erfolg, der aus der Maßnahme resultiert, nachweisen: Die
Qualifizierung war dann erfolgreich, wenn sich beispielsweise die Arbeitseffektivität bei
der Versuchsgruppe signifikant positiv im Vergleich zur Kontrollgruppe, die nicht
geschult wurde, verändert hat.90
Für die betriebliche Praxis ist das sog. „After-Only-Kontrollgruppen-Design“ aus
wirtschaftlichen Erwägungen interessant, bei dem die Versuchs- und die Kontrollgruppe
jeweils nur nach der Weiterbildungsaktivität geprüft werden91.
3.4 Adressaten der Evaluationsergebnisse
Als Adressaten der Resultate aus der Evaluation gelten Teilnehmer, Lehrkräfte, interne
Bildungsexperten, externe Bildungsfachleute, Vorgesetzte und die Unternehmens-
führung. Nur die Einbeziehung aller an der Evaluierung Beteiligten92 gewährleistet ein
wirksames und wirtschaftliches Weiterbildungsmanagement.
89 Vgl. Kolb, M.; Bergmann, G., a.a.O., S. 167. 90 Vgl. Götz, K., a.a.O., S. 132. 91 Vgl. Kolb, M.; Bergmann, G., a.a.O., S. 167. 92 Siehe dazu auch: Arzberger, H.; Mayer, T.: Evaluation als integraler Bestandteil der HR-Arbeit, in: Personalführung 3/04, S. 32-40.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 27
Abb. 4: Adressaten der Evaluationsergebnisse Quelle: Der Verfasser
3.4.1 Teilnehmer
Wenn die Teilnehmer selbst eine Evaluierung durchführen, hat dies den Vorteil, dass
die direkt am Bildungsprozess beteiligten Personen eine Auswertung vornehmen, die
nicht wegen zeitlicher Verschiebungen oder subjektiver Verzerrungen durch
Außenstehende beeinflusst ist. Der Trainer erhält wichtige Informationen über den Kurs
und darüber hinaus auch die Möglichkeit, Rückfragen an die Teilnehmer zu richten. Die
Teilnehmer können ihrerseits eine Rückmeldung über ihre eigene Rolle durch andere
Teilnehmer bekommen. Durch ein solches Feedback erhalten sie die Chance, ihre
Ansichten, Meinungen, Einstellungen und Verhaltensweisen zu überdenken.93
Allerdings muss in diesem Zusammenhang die Gefahr gesehen werden, dass
begeisterungsfähige Trainer „alles“ überstrahlen und dieser Effekt zu insgesamt viel zu
guten Resultaten bei der Evaluierung führt.
93 Vgl. Götz, K., a.a.O., S. 141 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 28
3.4.2 Lehrkräfte
Die Dozenten haben großen Einfluss auf den Erfolg einer Schulungsmaßnahme. Sie
sollten vor der Schulung die Bedürfnisse der Teilnehmer kennen und deren
Vorerfahrung mit einbeziehen. Anhand geeigneter Methoden – beispielsweise durch
Tests, Befragungen und systematische Beobachtungen – können sie Problemfelder der
Maßnahme aufdecken und diese durch gezieltes Gegensteuern beheben.94
3.4.3 Interne Bildungsexperten
Die betrieblichen Bildungsexperten tragen Verantwortung dafür, dass die
Evaluierungsergebnisse Beachtung finden und daraus ein verbessertes
Qualifizierungsangebot hervorgeht. Auf diese Weise lassen sich die Bildungs-
bedürfnisse der Teilnehmer adäquat berücksichtigen. Ferner haben die Teilnehmer
vorab Informationen über das Schulungsprogramm zu erhalten, um die Gefahr von
Enttäuschungen zu bannen. Die aus den Evaluationen gewonnenen Daten dienen den
internen Bildungsverantwortlichen dazu, ihre Arbeit sowie das Bildungsbudget vor dem
Management zu rechtfertigen. Die Evaluation fördert das Verständnis für den Bildungs-
prozess sowie die Identifizierung von Schwachstellen.95
3.4.4 Externe Bildungsexperten
Unternehmen können auch externe Anbieter mit der Evaluation ihrer
Bildungsmaßnahmen beauftragen. Externe Fachleute sind oftmals mit der formalen
Durchführung besser vertraut als unternehmenseigene Evaluatoren; interne Experten
beherrschen dafür im Regelfall jedoch das inhaltliche Spektrum und kennen die
unternehmensspezifischen Gegebenheiten. Es bedarf einer gründlichen Prüfung, ob
Externe „mit ins Boot“ geholt werden sollen, da durch ihre Beteiligung am betrieblichen
Bildungsprozess noch weitere Nachteile entstehen können. So existiert die Gefahr,
94 Vgl. Götz, K., a.a.O., S. 142. 95 Vgl. Götz, K., a.a.O., S. 142 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 29
dass es zu Kommunikationsproblemen zwischen den externen Bildungsexperten und
den internen Verantwortlichen kommt. Außerdem kann der Weiterbildungsvorgang
gestört werden, wenn die Operationalisierung der Lernziele für den Fremdanbieter zu
komplex oder zu abstrakt ist bzw. zu viel Zeit beansprucht. In der betrieblichen Praxis
wird diese Problematik oftmals umgangen, indem der Anbieter den Bildungs-
verantwortlichen im Unternehmen ein Bündel operationalisierter Lernziele zur Auswahl
stellt, woraus diese ggf. auswählen.96
Unter bestimmten Bedingungen muss man sogar völlig auf die Miteinbeziehung
externer Anbieter verzichten. Gründe dafür lassen sich in der gezielten Geheimhaltung
und im Datenschutz finden.
3.4.5 Vorgesetzte
Der Vorgesetzte übernimmt eine entscheidende Rolle im Bildungsprozess.
Insbesondere Gespräche mit dem Mitarbeiter vor und nach der Schulung haben
zentrale Bedeutung. Einerseits erhält der Vorgesetzte dadurch Informationen über
Zielsetzung, Motivation und Kenntnisniveau seines Mitarbeiters, andererseits versetzen
ihn diese Erkenntnisse in die Lage, notwendige Veränderungen einzuleiten sowie den
Transferprozess zu steuern und zu unterstützen. Den Erfolg der Qualifizierung kann der
Vorgesetze dadurch steigern, dass er seinem Mitarbeiter Zeit zur Vor- und
Nachbereitung der Bildungsmaßnahme gibt und ihn motiviert, indem er ihm Aufgaben
überträgt, die eine Anwendung des Gelernten in der Praxis erfordern. Ferner lassen
sich seitens des Vorgesetzten betriebliche Veränderungen vorantreiben, die zur
Transferverbesserung beitragen können.97
96 Vgl. Götz, K., a.a.O., S. 143 f. 97 Vgl. Götz, K., a.a.O., S. 144 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 30
3.4.6 Unternehmensführung Die Unternehmensführung verwertet die aus der Evaluation gewonnenen Daten zur
Schaffung einer effizienten Weiterbildungspolitik. Das Management erwartet
ökonomisch messbare Erfolge als Resultat einer Weiterbildungsinvestition.98 Die
gewonnenen Ergebnisse aus früheren Evaluationen stecken den Rahmen für die
Planung zukünftiger Qualifizierungsaktivitäten ab. Durch das Heranziehen der
Evaluationsergebnisse können qualifizierte Anbieter von Weiterbildungsmaßnahmen
ausgewählt und beauftragt werden. Damit eng verbunden steht die Bereitschaft, sich
für kostenintensive Angebote zu entscheiden, um von einem hohen Qualitätsniveau zu
profitieren.99
3.5 Probleme der Evaluation
Die nachstehende Abbildung zeigt im Überblick mögliche Widerstände und Probleme,
die im Zusammenhang mit der Evaluation stehen:
Abb. 5: Evaluation – Widerstände und Probleme Quelle: Häring, K., a.a.O., S. 253. 98 Vgl. Götz, K., a.a.O., S. 146. 99 Vgl. Spiel, C.: Aus Evaluation lernen?!, in: Personalführung 3/04, S. 1.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 31
Folgende Ausführungen befassen sich vertieft mit der methodenbezogenen und der
personengruppenorientierten Evaluationsproblematik.
3.5.1 Methodenprobleme
Da sich der Teilnehmer einer Weiterbildungsaktivität in Alltagssituationen bewegt und
nicht – wie im Labor – von Störeinflüssen abgeschirmt ist, entsteht die Schwierigkeit,
eine objektive, valide (gültige) und reliable (zuverlässige) Aussage über den
tatsächlichen Erfolg zu treffen100. Die Evaluation in der betrieblichen Personal-
entwicklungsarbeit genügt nicht den wissenschaftlichen Erfordernissen101.
Ob sich die festgestellten Verhaltensänderungen unmittelbar auf die Maßnahme
zurückführen lassen, und ob sie ohne die Qualifizierung ausgeblieben wären,
bezeichnet man als Kausalitätsproblem102. Es ist unmöglich, sämtliche Einflüsse, die im
Laufe der Bildungsmaßnahme auf alle im Prozess beteiligten Faktoren wirken, zu
benennen sowie die Messinstrumente entsprechend darauf abzustimmen. Der
Nachweis eines Ursache-Wirkung-Zusammenhangs zwischen dem Erfolg der
Maßnahme und dem Unternehmenserfolg kann nicht zweifelsfrei erbracht werden.103
Bei einer experimentellen Vorgehensweise wäre es zwingend erforderlich, die
Teilnehmer zufallsbedingt auszuwählen. Untersuchungen belegen, dass diese Auswahl
de facto ohnehin nicht zufallsbedingt geschieht, weil Beurteilungen, Mitarbeiter-
gespräche und das Verhältnis zwischen Vorgesetztem und Mitarbeiter eine gravierende
Rolle spielen. Die reine Zufallsauswahl implizierte Probleme der Gleichbehandlung:
Diejenigen Mitarbeiter, die die Qualifizierung absolvieren dürften, hätten damit die
Chance, möglicherweise einen beruflichen Aufstieg zu erreichen, was den anderen
verwehrt bliebe.104 Die Betriebspraxis würde darüber hinaus eine reine Zufallsauswahl
kaum erlauben, da einige Mitarbeiter zum Zeitpunkt der Maßnahme aus verschiedenen
Gründen verhindert wären.
100 Vgl. Häring, K., a.a.O., S. 97. 101 Vgl. Graf, A.: Evaluation von Personalentwicklung, in: Wirtschaftswissenschaftliches Studium 2/2001, S. 71. 102 Vgl. Häring, K., a.a.O., S. 99. 103 Vgl. Häring, K., a.a.O., S. 244. 104 Vgl. Häring, K., a.a.O., S. 100 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 32
Die Bestimmung des Indikators zur Erfolgsmessung ist eine weitere Schwierigkeit.
Zuerst hat man die Zielsetzung einer Maßnahme zu bestimmen, um Erfolgsfaktoren zu
erkennen, die den Grad der Zielerreichung quantifizierbar machen. Der Erfolg einer
Weiterbildungsaktivität kann allerdings nicht anhand eines einzigen generalisierbaren
Indikators ermittelt werden. Oftmals treten Verhaltensänderungen auf, die nicht
beabsichtigt waren und die deswegen keine Aussage über die Zielrealisierung
zulassen.105
Problematisch ist ferner die Bestimmung des Messzeitpunkts. Bei dessen Festlegung
gilt es zu berücksichtigen, dass ein angemessener Zeitraum für die Teilnehmer zur
Verfügung stehen muss, damit sie ihr verändertes Verhalten am Arbeitsplatz zeigen
können. Als schwierig erweist sich hier die Einschätzung, wie groß die Zeitspanne im
Einzelfall sein sollte.106
3.5.2 Probleme durch verschiedene Personengruppen
Die von der Evaluierung betroffenen Personenkreise begegnen ihr oft mit Widerstand,
weil sie negative Konsequenzen vermuten.
So haben die Teilnehmer an einer Qualifizierungsmaßnahme nicht selten die
Befürchtung, dass aus den Ergebnissen der Evaluation Rückschlüsse auf ihre
Fähigkeiten und ihr Potenzial gezogen werden. Diese Vermutung kann Auswirkungen
auf den Lernprozess haben – im schlimmsten Fall wird dieser kontraproduktiv
beeinflusst.107
Das selbe Problem lässt sich auf die Dozenten übertragen. Auch sie befürchten Folgen
eines negativen Feedbacks von den Teilnehmern. Außerdem besteht für die Trainer die
Gefahr des Akzeptanzverlusts bei den Lernenden, wenn sie sich in der Doppelrolle
Evaluierender/Evaluierter befinden.108
105 Vgl. Häring, K., a.a.O., S. 102 f. 106 Vgl. Häring, K., a.a.O., S. 103. 107 Vgl. Häring, K., a.a.O., S. 104 f. 108 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 264.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 33
Ein weitere Schwierigkeit liegt möglicherweise in der Person des Evaluators. Ist er
methodisch nur unzulänglich ausgebildet oder genügt die Datenerhebung nicht den
geforderten Maßstäben, schlägt sich das direkt auf die Qualität der Ergebnisse
nieder.109 Ebenso können Schwierigkeiten bei der Interpretation der Ergebnisse und bei
der Zuordnung des Erfolgs ein Hindernis darstellen110.
Der Vorgesetzte hat evtl. zu erwarten, dass sein Mitarbeiter in der Qualifizierung
schlechte Ergebnisse erzielt, was Rückschlüsse auf seine Führungsqualität erlauben
könnte. Damit wäre ein potenzieller Autoritätsverlust des Vorgesetzten verbunden.111
Unter Umständen nimmt die Unternehmensleitung eine ablehnende Haltung gegenüber
einem Evaluationsvorhaben ein. Mögliche Gründe sind generell fehlendes Interesse,
aber auch unzureichende Ressourcen.112
Der Betriebsrat kann ebenfalls zum Evaluationshemmnis werden. Sieht die
Personalvertretung durch die Evaluation den Datenschutz verletzt, dann wird sie diese
unterbinden. Weiterhin besteht die Möglichkeit, dass der Betriebsrat die
Evaluationsmaßnahme als ein Instrument der Unternehmensführung ansieht, um
schwache Mitarbeiter zu identifizieren und ggf. solche Mitarbeiter für Entlassungen
vorzusehen.113
109 Vgl. Häring, K., a.a.O., S. 105 f. 110 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 264. 111 Vgl. Häring, K., a.a.O., S. 105. 112 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 263. 113 Vgl. Häring, K., a.a.O., S. 106.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 34
4 LEITFADEN ZUR EVALUIERUNG VON
OFF-THE-JOB-MASSNAHMEN
Die in diesem Kapitel aufgezeigte Vorgehensweise bei der Evaluation von off-the-job-
Maßnahmen der betrieblichen Weiterbildung stellt eine Orientierung für Unternehmen
dar, die vor der anspruchsvollen Aufgabe der Evaluierung stehen. Der Leitfaden ist in
folgende Phasen des Weiterbildungsprozesses gegliedert:
• Phase im Vorfeld der Maßnahmenrealisierung,
• Phase der Durchführung und
• Phase nach Beendigung der Maßnahme.
Als Primärziel der Evaluierung kann die Ermittlung des Erfolgs der Qualifizierungs-
aktivität angesehen werden. Allerdings existiert nicht nur eine einzige Erfolgsgröße, die
als Indikator für effektive und effiziente betriebliche Bildungsarbeit Gültigkeit besitzt.
Vielmehr „summiert“ sich der „Gesamterfolg“ aus den vier Erfolgsgrößen
• Zufriedenheitserfolg
Die Teilnehmerzufriedenheit mit der Qualifizierungsmaßnahme wird durch diese
Erfolgsgröße zum Ausdruck gebracht.
• Lernerfolg
Der Lernerfolg erfasst den Wissenszuwachs bzw. positive Einstellungs- und
Verhaltensänderungen.
• Transfererfolg
Diese Erfolgsgröße beschreibt das Ausmaß der Umsetzung des „Gelernten“.
• Organisationserfolg
Der Nutzen der Weiterbildungsaktivität für das Unternehmen zeigt sich im
Organisationserfolg.
Die Erfolgsbestandteile Zufriedenheitserfolg und Lernerfolg lassen sich in der
Durchführungsphase ermitteln, während der Transfererfolg und der Organisationserfolg
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 35
erst in der Phase nach der eigentlichen Weiterbildungsmaßnahme festgestellt werden
können.
Die Frage, in welcher Relation die Erfolgsgrößen zueinander stehen, ist nicht eindeutig
zu beantworten. Vielfältige Konstellationen sind denkbar; einige wenige sollen hier
erwähnt werden:
• Zufriedenheitserfolg tritt beim Teilnehmer ein, nicht jedoch Lernerfolg,
Transfererfolg und Erfolg für die Organisation. Damit wird verdeutlicht, dass der
Zufriedenheitserfolg losgelöst von den übrigen Erfolgsgrößen vorliegen kann.
Sein Vorhandensein ist somit keine zwingende Voraussetzung für das
Wirksamwerden der übrigen Erfolgsgrößen.
• Lernerfolg und Transfererfolg sind eng miteinander verknüpfte Faktoren.
Transfererfolg existiert nur, wenn vorher Lernerfolg eingetreten war. Ohne
Lernerfolg gibt es keinen Transfererfolg.
• Organisationserfolg resultiert im optimalen Fall als Produkt aus Zufriedenheits-,
Lern- und Transfererfolg. Der Organisationserfolg kann sich auch lediglich
aufgrund des mit dem Lernerfolg verbundenen Transfererfolgs einstellen. Im
Extremfall ist sogar vorstellbar, dass das Unternehmen insgesamt profitiert –
also Organisationserfolg hat –, wenn ein Teilnehmer mit der Maßnahme
ausschließlich zufrieden war. Dann hat der Teilnehmer nicht erfolgreich gelernt
und wird deshalb nichts an seinen Arbeitsplatz mit Erfolg transferieren. Dennoch
kann sich die Teilnahme an der Bildungsmaßnahme positiv auf das
Unternehmen auswirken, wenn der Mitarbeiter durch die Weiterbildung in
irgendeiner Form motiviert wurde. Dies wird in der Folgezeit z. B. auf sein
Engagement, seine Zielstrebigkeit und seine Einsatzfreude günstige
Konsequenzen haben, die sich positiv auf den Unternehmenserfolg
niederschlagen.
Die nachfolgende Tabelle zeigt die drei Phasen der Qualifizierung. Ihnen sind jeweils
Evaluationsobjekte und geeignete Evaluationsmethoden zugeordnet, die in den
folgenden Ausführungen des Kapitels 4 detailliert dargestellt werden.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 36
Tab. 2: Evaluationsobjekte und Evaluationsmethoden Quelle: Der Verfasser
Anzumerken gilt es, dass sich bestimmte Methoden nicht strikt und ausschließlich
bestimmten Phasen des Evaluationsprozesses zuordnen lassen. Einige Methoden sind
vielseitig einsetzbar: phasenübergreifend, für unterschiedliche Bewertungszwecke und
in Kombination mit anderen Evaluationsmethoden.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 37
4.1 Evaluation im Vorfeld der Maßnahmenrealisierung
Bereits im Vorfeld von Weiterbildungsmaßnahmen werden Evaluierungen unum-
gänglich. Ihre Funktion besteht in dieser Phase in der Bestimmung und Bewertung der
Maßnahmenziele sowie in der Beurteilung der Rahmenbedingungen und der
notwendigen Ressourcen114.
Zunächst ist es notwendig, den Bildungsbedarf zu ermitteln. Einerseits wirken externe
Faktoren, wie Änderungen der rechtlichen Bestimmungen oder veränderte
Marktbedingungen, auf das Unternehmen und seine Mitarbeiter. Andererseits führen
Neuerungen bzw. Optimierungen in der Organisation zu modifizierten Anforderungs-
profilen. Damit verbunden ist die Notwendigkeit zur kontinuierlichen Veränderung im
Sinne der stetigen Anpassung der Qualifikationsstruktur von Mitarbeitern; denn nur auf
die Weise können Mitarbeiter permanent ihre Aufgaben optimal wahrnehmen. Die
Diskrepanz zwischen qualifikatorischem Soll- und Istprofil der Mitarbeiter hat die
Personalentwicklung aufzudecken und als Bildungsbedarf festzuhalten. Nach der
Bildungsbedarfsanalyse ist der Maßnahmenkatalog aufzustellen, um die beste
Problemlösungsstrategie zu eruieren. Die Absolvierung einer Weiterbildungs-
maßnahme stellt keineswegs stets den idealen Weg dar, die Kenntnis- und/oder
Fähigkeitslücke zu schließen. Situativ günstigere Alternativen können z. B. die
Einstellung neuer Mitarbeiter oder der Einsatz von Job Rotation sein.115
Hat man sich zugunsten einer Weiterbildungsaktivität entschlossen, müssen die
Bildungsziele festgelegt werden. Sie sind möglichst operational hinsichtlich Inhalt,
Ausmaß und Zeitbezug zu beschreiben, um die Kontrolle der Zielerreichung wiederum
möglichst präzise realisieren zu können.116
Im Anschluss daran erfolgt die Planung der Weiterbildungsmaßnahme. Grundsätzlich
haben jetzt die Bildungsverantwortlichen darüber zu entscheiden, ob die Maßnahme
114 Vgl. Tergan, S.-O.: Grundlagen der Evaluation. Ein Überblick, in: Schenkel, P.; Tergan, S.-O.; Lottmann, A. (Hrsg.): Qualitäts- beurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand, Nürnberg 2000, S. 39; siehe dazu auch: Becker, M.: Kosten der Personalentwicklung: Wer soll das zahlen?, in: Personal 1/04, S. 9-13. 115 Vgl. Häring, K., a.a.O., S. 25 ff. 116 Vgl. Lang, K., a.a.O., S. 47 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 38
on the job, off the job etc. umgesetzt werden soll.117 Da sich die vorliegende Arbeit
ausschließlich mit off-the-job-Maßnahmen beschäftigt, wird hier unterstellt, dass die
Entscheidung zugunsten off the job ausgefallen ist. Nun folgt die Auswahl der
geeignetsten Veranstaltungsform aus dem breiten Spektrum potenzieller Formen.
Ferner ist festzulegen, ob die Maßnahme innerbetrieblich oder außerbetrieblich
stattfinden soll.
4.1.1 Entscheidung zwischen interner und externer Qualifizierung
Die Planung der Qualifizierungsmaßnahme muss sowohl pädagogische als auch
ökonomische Aspekte berücksichtigen. Das pädagogische Ziel einer Qualifizierung
besteht darin, dass der Teilnehmer die angestrebte Entwicklung bestimmter
Qualifikationen erreicht. Die ökonomische Zielsetzung gilt dann als erreicht, wenn sich
ein bestimmter pädagogischer Erfolg mit minimalem Mitteleinsatz einstellt.118 In diesem
Zusammenhang stellt sich die Frage, ob die Weiterbildungsaktivität intern oder extern
erfolgen soll.
Nachstehende Abbildung verschafft einen Überblick über die Entscheidungsproble-
matik zwischen interner und externer Realisierung:
117 Vgl. Lang, K., a.a.O., S. 52. 118 Vgl. Weingärtner, M., a.a.O., S. 60.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 39
Abb. 6: Entscheidung zwischen interner und externer Qualifizierung Quelle: Weingärtner, M., a.a.O., S. 62.
Wesentliche unternehmensbezogene Vorteile des Bildungsoutsourcings, auch
Managed Training Services (MTS) genannt, sind:
• Erhöhung der Leistungsfähigkeit im Bereich Weiterbildung,
• Planungssicherheit durch feste Grundkosten und veranstaltungsabhängige
Kosten,
• Kostenreduzierung durch Netzwerknutzung mit Trainern und Logistikpartnern,
• Vermeidung von Investitionen für Hardware, Software und Lizenzen,
• Konzentration auf Kernprozesse des Personalwesens.119
119 Vgl. Lau, V.: Personalentwicklung von außen, in: managerSeminare 11-12/03, S. 21.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 40
Ausschließlich aus ökonomischem Blickwinkel betrachtet, ist es dann sinnvoll, sich für
eine externe Bildungsmaßnahme zu entscheiden, wenn diese vergleichsweise
kostengünstiger ist, als eine interne. Allerdings darf man sich nicht nur von der
Kostenseite leiten lassen.120 Wichtiger sind die pädagogischen Lernziele und
Lerninhalte121 sowie deren Vermittlung, die letztendlich die Qualität einer Maßnahme
bestimmen und sich auf den Qualifizierungserfolg auswirken.
Die Entscheidung, ob die Weiterbildung komplett oder nur teilweise intern bzw. extern
durchgeführt wird, oder ob man sich mit anderen Unternehmen zu einem
Weiterbildungsverbund122 zusammenschließt, kann nur vor dem spezifischen
betrieblichen Hintergrund getroffen werden.
Die in der Anlage 1 dargelegten Gründe für interne oder externe Durchführung von
Weiterbildungsmaßnahmen bieten eine Entscheidungshilfe.
4.1.2 Auswahl des Anbieters
Hat man sich dazu entschlossen, die Maßnahme unternehmensextern durchzuführen,
steht man vor einer weiteren Entscheidung – der Auswahl des geeignetsten Anbieters.
Da sich der Weiterbildungsmarkt weitgehend intransparent präsentiert, macht es Sinn,
eine systematische Evaluation der verschiedenen Anbieter vorzunehmen.123
Anlage 2 listet die Qualitätskriterien für die Auswahl des Anbieters bei Fremdvergabe
der Bildungsaktivität auf.
Eine Methode zur Entscheidung zwischen mehreren Alternativen ist die Nutz-
wertanalyse. Sie eignet sich insbesondere, wenn – wie in diesem Anwendungsfall –
kaum quantifizierbare Größen vorhanden sind.124
120 Vgl. Pawlowsky, P.; Bäumer, J., a.a.O., S. 128 f. 121 Vgl. Weingärtner, M., a.a.O., S. 73. 122 Vgl. Pawlowsky, P.; Bäumer, J., a.a.O., S. 129. 123 Vgl. Weingärtner, M., a.a.O., S. 74 f. 124 Vgl. Niklas, C., 2002 online: Mehr Entscheidungssicherheit mit der Nutzwertanalyse. http://community.easy-mind.de/page- 76.htm, 18.11.05
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 41
Die Evaluation mit der Nutzwertanalyse vollzieht sich in folgenden Schritten:
1. Bestimmung der in Frage kommenden Anbieter,
2. Kriterien, anhand derer beurteilt wird, festlegen und gewichten (z. B. Kosten mit
Gewichtungsfaktor 0,15, Praxisnähe mit Gewichtungsfaktor 0,15),
3. Ausprägungen dieser Bewertungskriterien festlegen und diese mit Punkten bewerten
(z. B. gut = 3 Punkte, mittel = 2 Punkte, schlecht = 1 Punkt),
4. Multiplikation der Punkte mit den Gewichtungsfaktoren der Auswahlkriterien,
5. Addition der ermittelten Werte von Schritt 4 für jeden einzelnen Anbieter ergibt die
Angebotsgesamtpunktzahl.
Das Angebot mit der höchsten Punktzahl hat den größten Nutzwert, d. h. dieses ist aus
Unternehmenssicht das beste.125
Nachfolgende Abbildung zeigt beispielhaft eine Nutzwertanalyse zur Auswahl des
günstigsten Anbieters:
Abb. 7: Nutzwertanalyse – Auswahl des besten Anbieters
Quelle: Weingärtner, M., a.a.O., S. 78.
125 Vgl. Weingärtner, M., a.a.O., S. 77.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 42
Als nächster Vorgang folgt die organisatorische Planung, die sich hauptsächlich mit der
Bereitstellung der erforderlichen Ressourcen befasst. Zu berücksichtigen sind im
Wesentlichen die terminliche Koordination, die Beschaffung der Lernmaterialien, die
Buchung der Seminarplätze bei einem externen Anbieter bzw. die Organisation im
eigenen Unternehmen, die Freistellung der Mitarbeiter, die Aushändigung von
Informationsmaterial an alle Beteiligte und die Regelung der sonstigen Rahmen-
bedingungen (Fahrtkosten, Verpflegung etc.).126
Anschließend werden auf der Grundlage der vorab fixierten Bildungsziele die
entsprechenden Ziele der Weiterbildungsmaßnahme generiert. Aus den Richtzielen
konkretisiert man Grobziele und leitet daraus detaillierte Feinziele ab. Dieses
Zielsystem bildet die Basis für die Weiterbildungskonzeption. Zu berücksichtigende
Aspekte beziehen sich auf die Inhalte, die Problem- und Aufgabenstellungen sowie die
Organisation eines laufenden Feedbacks.127
4.1.3 Auswahl des Trainers Ein Unternehmen, das sich für die externe Weiterbildungsalternative entschließt, hat
üblicherweise lediglich einen begrenzten Einfluss auf die Auswahl der Person des
Trainers, der zum Einsatz kommen soll. Kann das Unternehmen allerdings die Wahl
des Trainers selbst treffen, werden die Bildungsverantwortlichen unter den potenziellen
Dozenten den am besten geeigneten auswählen. Das Kompetenzspektrum eines
Trainers erstreckt sich auf fachliche, pädagogische, soziale, organisatorische und
individual-personale Bereiche. Um aussagefähige Erkenntnisse darüber gewinnen zu
können, inwieweit ein Trainer über die für die geplante Weiterbildung notwendigen
Kompetenzen verfügt, ist ein persönlicher Eindruck erforderlich. Diesen erhält man am
ehesten in einem Auswahlgespräch, das strukturiert anhand eines Fragenkatalogs zu
führen ist. Dieser Fragenkatalog soll alle ausschlaggebenden trainerrelevanten
Kriterien enthalten, die für eine erfolgreiche Qualifizierung notwendig sind. Der Vorteil
126 Vgl. Lang, K., a.a.O., S. 59 f. 127 Vgl. Lang, K., a.a.O., S. 67-73.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 43
der Standardisierung erlaubt die einfache Vergleichbarkeit der Trainereigenschaften.128
Ein exemplarischer Fragenkatalog (Anlage 3) sowie ein Beurteilungsblatt zum Gesamt-
eindruck des Trainers (Anlage 4) enthält der Anhang.
Erfolgt die Qualifizierung unternehmensintern, und sind die Dozenten Mitarbeiter des
eigenen Unternehmens, dann erübrigt sich das oben beschriebene aufwändige
Vorgehen. Große Unternehmen verfügen über einen Trainerpool, aus dem die
Bildungsorganisatoren Lehrkräfte mit den geforderten Qualifikationen finden und zur
Maßnahmedurchführung verpflichten können. Eignungsgesichtspunkte brauchen nicht
mehr geklärt zu werden, da die Dozenten erst dann in den Pool aufgenommen werden,
nachdem sie die entsprechende persönliche, fachliche und pädagogische Eignung
nachgewiesen haben.
4.1.4 Ermittlung der Eingangsvoraussetzungen der Teilnehmer
Die Erfassung der Eingangsvoraussetzungen129 bei den Teilnehmern dient dazu, ein
klares Bild über deren Wissensstand und Bildungsniveau zu erhalten. Gemeint sind in
diesem Zusammenhang alle Kenntnisse, Fähigkeiten und Fertigkeiten, die es dem
Teilnehmer durch das Absolvieren der Qualifizierung ermöglichen, die intendierten
Ziele zu erreichen. Sollten starke Abweichungen innerhalb der geplanten
Teilnehmergruppe festgestellt werden, ist es unerlässlich, vor der eigentlichen
Weiterbildung Beratungsgespräche mit betreffenden Mitarbeitern zu führen.130 Man darf
weder eine Über- noch eine Unterforderung der Teilnehmer verursachen131. Um
defizitäre Kenntnisstände auszugleichen, ist es unter Umständen sogar sinnvoll, der
eigentlichen Maßnahme die Vermittlung bestimmter Qualifizierungsinhalte
vorzuschalten132.
128 Vgl. Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler-Universität Linz, o.J. online: Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.05 129 Siehe dazu: Ebner, H. G.: Das Problem des Anknüpfens an Vorerfahrungen in Veranstaltungen der Erwachsenenbildung, in: Müller, K. R. (Hrsg.): Kurs- und Seminargestaltung. Ein Handbuch für Mitarbeiter/-innen im Bereich von Training und Kursleitung, 5. Aufl., Weinheim, Basel 1994, S. 218-227; Köhl, K.: Seminar für Trainer. Das situative Lehrtraining, Trainer lernen lehren, Hamburg 1996, S. 34-40. 130 Vgl. Lang, K., a.a.O., S. 81. 131 Vgl. Becker, M.: Aufgaben und Organisation der betrieblichen Weiterbildung, 2. Aufl., München, Wien 1999, S. 278. 132 Vgl. Lang, K., a.a.O., S. 82.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 44
Im Rahmen der Erhebung der Eingangsvoraussetzungen sind folgende wichtige
Informationen zu erfragen:
• Daten zur Person (Alter, Schulbildung, erlernter Beruf und ausgeübte Tätigkeit),
• Berufserfahrung und Vorkenntnisse (erworbenes Wissen durch Schule, Aus-
und Weiterbildung sowie Kenntnisse aus beruflicher und sonstiger Tätigkeit),
• Erfahrungen mit Lernen („klassisches Lernen“, andere Lernformen),
• Lernbedürfnisse (Interessen, Fragen, Probleme).133
Anlage 5 beinhaltet einen Fragebogen zu den Eingangsvoraussetzungen der
Teilnehmer.
4.2 Evaluation in der Durchführungsphase
Auf die vorangegangene Phase, die die Analyse und Planung umfasst, folgt die
Durchführung der Bildungsaktivität. Zunächst sind die Erwartungen der Teilnehmer zu
erheben, um die Maßnahme auf sie abzustimmen.
Die Feststellung der Teilnehmererwartungen bietet schon zu Beginn der Maßnahme
eine einfache Möglichkeit, die Qualifizierung weitestgehend auf die eruierten
Erwartungen zugeschnitten zu gestalten. Der Lehrende kann dadurch spezielle
Problembereiche behandeln und auf Wünsche eingehen und somit die Inhalte an den
Bedürfnissen der Teilnehmer orientiert vermitteln.
Anlage 6 enthält einen Fragebogen zu den Teilnehmererwartungen.
Gerade für den erfolgreichen Transfer ist es unbedingt erforderlich, das soziale
betriebliche Umfeld des Teilnehmers bereits am Anfang der Maßnahme zu kennen, um
133 Vgl. Lang, K., a.a.O., S. 82.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 45
die didaktische Konzeption entsprechend zu harmonisieren134.
Der Dozent hat durch die Eruierung der Teilnehmererwartungen am Maßnahmebeginn
die Möglichkeit,
• darauf einzugehen, ob die Erwartungen im Laufe der Weiterbildungsmaßnahme
erfüllt werden. Sollte dies nicht der Fall sein, muss eine differenzierte Be-
gründung dafür gegeben werden, um keine Enttäuschung hervorzurufen;
• seine eigene Erwartungshaltung an die der Teilnehmer anzupassen. Trainer-
und Teilnehmervorstellungen können deutlich variieren;
• Probleme und Fragestellungen der Teilnehmer aufzugreifen und Lösungs-
ansätze gemeinsam mit ihnen zu entwickeln bzw. Antworten zu geben;
• Methodenwahl und -einsatz auf die speziellen Interessen abzustimmen;
• während sowie am Ende der Maßnahme einen Abgleich anzustellen, welche
Erwartungen erfüllt werden/wurden und welche nicht.135
In der Durchführungsphase des Bildungsprozesses genügt keineswegs – wie es jedoch
in der betrieblichen Praxis häufig vorkommt –, die Bewertung einer Maßnahme lediglich
durch Abfrage der Zufriedenheit der Teilnehmer am Ende der Qualifizierung
vorzunehmen. Davon abgesehen, dass die Teilnehmerzufriedenheit keinerlei Hinweise
über den intendierten Lernerfolg, noch über die Umsetzung der erworbenen Kenntnisse
geben kann, besteht nach einer abschließenden Wertung keine Möglichkeit mehr, auf
Fehlentwicklungen angemessen zu reagieren. Hieraus lässt sich leicht erkennen, dass
nicht nur der Zufriedenheitserfolg abgefragt werden muss, sondern auch der Lernerfolg.
Um ein Maximum an Erfolg aus einer Qualifizierungsmaßnahme zu erzielen, ist es
unerlässlich, schon regelmäßig während der Weiterbildung Bewertungen durchzu-
führen, also formativ zu evaluieren. Die Ermittlung der Teilnehmerbedürfnisse und die
Feststellung der Zufriedenheit können mit Hilfe sog. Feedback-Sessions oder
134 Vgl. Arnold, R.: Betriebliche Weiterbildung. Selbstorganisation – Unternehmenskultur – Schlüsselqualifikationen, 2. Aufl., Baltmannsweiler 1995, S. 159. 135 Vgl. Lang, K., a.a.O., S. 78.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 46
auch in informeller Form, z. B. in Pausengesprächen oder abends „beim Bier“,
geschehen136. Der jeweils aktuelle Kenntnisstand lässt sich bei den Lernenden am
besten durch periodische Abfragen, beispielsweise nach jeder Lerneinheit, in Erfahrung
bringen. Man spricht in diesem Zusammenhang von Lernprozessevaluierung137.
Bei der summativen Evaluation handelt es sich um eine abschließende Bewertung der
Qualifizierungsmaßnahme. Sie leistet einen bedeutenden Beitrag zur permanenten
Verbesserung der Weiterbildungsaktivitäten hinsichtlich Qualität und Zielerreichung.
Auch sie muss zunächst den Zufriedenheitserfolg berücksichtigen. Der Lernerfolg, der
aus der gesamten Qualifizierungsmaßnahme resultiert, bildet ein zusätzliches
Evaluationsobjekt. Durch dessen Feststellung wird überprüft, ob die angestrebten
Lernziele realisiert wurden. Bei bestimmten Qualifizierungsmaßnahmen (z. B. bei
Verhaltenstrainings) stellt sich der Lernerfolg erst geraume Zeit nach der Intervention
ein; er kann somit nicht schon am Ende der Durchführungsphase der
Bildungsmaßnahme festgestellt werden. In einem solchen Fall bleibt nur, den
Lernerfolg anhand des Anwendungserfolgs am Arbeitsplatz zu messen.138 Ergänzend
gibt die Einschätzung der Lehrenden Aufschluss über den Verlauf der Qualifizierung.
Es ist wichtig, die Teilnehmer der Weiterbildungsmaßnahme frühzeitig, d. h. möglichst
schon zu Beginn, über das Evaluierungsvorhaben zu informieren und ihnen den
Stellenwert der Evaluation zu verdeutlichen. Man muss Verständnis erzeugen und
Akzeptanz für den Bewertungsprozess sicherstellen, schließlich sind die Teilnehmer die
entscheidende Komponente der „Prozedur“.
Basismethoden sowohl zur formativen als auch zur summativen Evaluation des
Zufriedenheits- und Lernerfolgs einer Qualifizierung stellen Befragung, Beobachtung
und Test dar.
Befragungen dienen der Sammlung individueller Daten durch Gespräch, Diskussion,
Interview und Fragebogen. Ein planmäßiges Vorgehen wird vorausgesetzt.139 Bei der
136 Vgl. Häring, K., a.a.O., S. 28. 137 Vgl. Götz, K., a.a.O., S. 86-89. 138 Vgl. Häring, K., a.a.O., S. 31 ff. 139 Vgl. Saldern, M. von: Befragung und Beobachtung im Betrieb, Hohengehren 1998, S. 43.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 47
Befragung hat man folgende Grundsätze zur Frageformulierung zu beachten:
• Fragen sollen möglichst knapp formuliert werden,
• Fragen sollen sich einfacher Worte bedienen,
• Fragen sollen möglichst konkret sein,
• Fragen sollen neutral formuliert werden,
• Fragen sollen nicht eine bestimmte Beantwortung provozieren,
• Fragen sollen keine hypothetischen Elemente enthalten,
• Fragen sollen sich nicht auf mehrere Sachverhalte gleichzeitig beziehen,
• Fragen sollen keine doppelten Verneinungen enthalten,
• Fragen sollen beim Befragten keine Überforderung hervorrufen,
• Fragen sollen so formuliert sein, dass alle Antwortmöglichkeiten erkannt werden
können,140
• Fragen sollen ein möglichst überschaubares Antwortspektrum zulassen.141
Eine Befragung kann mündlich und schriftlich durchgeführt werden. Mündliche Be-
fragungsformen lassen sich unterscheiden in:
• wenig strukturierte,
• teilstrukturierte und
• stark strukturierte.
Bei der wenig strukturierten Form bestimmt weitgehend der Interviewte den Gang des
Gesprächs; hier werden die Formulierungen der Fragen den Bedürfnissen und
Vorstellungen des Befragten angepasst. Erfolgt die Befragung teilstrukturiert, hat der
Interviewer einen Fragenkatalog zur Hand, aus dem er zwar sämtliche Fragen
abzuarbeiten hat, jedoch ihre Abfolge bestimmt er selbst.142 Ferner kann bei der wenig
strukturierten und bei der teilstrukturierten Befragung auf neue und unerwartete Ideen
näher eingegangen werden143. Die stark strukturierte Form der Befragung wird anhand
140 Vgl. Schnell, R.; Hill, P. B.; Esser, E.: Methoden der empirischen Sozialforschung, 7. Aufl., München 2005, S. 334 f. 141 Vgl. Saldern, M. von, a.a.O., S. 48. 142 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 322 f. 143 Vgl. Kleber, E. W.: Diagnostik in pädagogischen Handlungsfeldern. Einführung in Bewertung, Beurteilung, Diagnose und Evaluation, Weinheim, München 1992, S. 212.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 48
eines standardisierten Fragebogens vollzogen; bei ihr müssen sowohl die Formulierung
als auch die Reihenfolge der Fragen eingehalten werden.144
Der wesentliche Vorteil der mündlichen Befragung liegt im persönlichen Kontakt,
wodurch der Befragte ggf. Rückfragen stellen kann. Als gravierender Nachteil erweist
sich jedoch der hohe zeitliche Aufwand, wenn es sich um eine Befragung einer Vielzahl
einzelner Personen und nicht um eine Befragung einer gesamten Gruppe handelt.
Zur Durchführung der schriftlichen Befragung werden Fragebogen eingesetzt. Meist
handelt es sich dabei um standardisierte Bogen, die eine rasche Vergleichs- und
Auswertungsmöglichkeit der Ergebnisse zulassen.
Die Befragung mittels Fragebogen hat gegenüber der persönlichen Befragung
wesentliche Vorzüge:
• Durch die größere Anonymität kommen ehrlichere Ergebnisse zustande;
• der Befragte kann sich intensiver mit dem Befragungsgegenstand auseinander-
setzen;145
• Interviewfehler lassen sich leichter vermeiden (z. B. „erster Eindruck“);
• die eigene Motivation zum Ausfüllen des Fragebogens ist höher, da kein Druck
von einem Interviewer ausgeübt wird.146
Unter Beobachtung versteht man die Sammlung von Daten in einem nicht-
kommunikativen Prozess anhand sämtlicher Wahrnehmungsmöglichkeiten147. Die
Beobachtung kann generell differenziert werden in:
• teilnehmende und nichtteilnehmende Beobachtung,
• offene und verdeckte Beobachtung,
• reaktive und nonreaktive Beobachtung, 144 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 322 f. 145 Vgl. Bortz, J.; Döring, N.: Forschungsmethoden und Evaluation. Für Human- und Sozialwissenschaftler, 3. Aufl., Berlin, Heidelberg, New York, Barcelona, Hongkong, London, Mailand, Paris, Tokio 2002, S. 237. 146 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 359. 147 Vgl. Bortz, J.; Döring, N., a.a.O., S. 262.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 49
• Einzel- und Gruppenbeobachtung,
• direkte und indirekte Beobachtung,
• Selbst- und Fremdbeobachtung.148
Bei der Evaluierung von Weiterbildungsmaßnahmen kommt es, abhängig vom
Blickwinkel des Beobachters, zur Unterscheidung zwischen Selbst- und Fremd-
beobachtung. Die Rolle des Beobachters können der Teilnehmer, der Trainer, die
Weiterbildungsverantwortlichen, die Kollegen und der Vorgesetzte einnehmen.149 Die
Beobachtungsergebnisse unterliegen stets den subjektiven Wahrnehmungen des
jeweiligen Beobachters. In diesem Zusammenhang ist auf Beurteilungsfehler hinzu-
weisen. Das Bewusstsein über deren Existenz und Auswirkung kann solche
Wahrnehmungsfehler erheblich reduzieren, so dass relativ unverfälschte Beobach-
tungsergebnisse zustande kommen.
Zu den gravierenden Beurteilungsfehlern zählen:
• der Halo-Effekt,
• die Self-fulfilling prophecy,
• der erste Eindruck,
• der Sympathie-Effekt,
• die selektive Beobachtung,150
• verschobene Wahrnehmung extremer Ereignisse,
• zu großzügige Urteilsfindung,
• Urteilen nach einer implizit zugrunde gelegten Theorie,151
• Identifizierung mit der beobachteten Person,
• zu frühe Urteilsfindung,152
• Vorurteile.
148 Vgl. Häring, K., a.a.O., S. 85. 149 ebenda 150 Vgl. Freund, F.; Knoblauch, R.; Eisele, D., a.a.O., S. 95. 151 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 401. 152 Vgl. Saldern, M. von, a.a.O., S. 91.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 50
Als Testverfahren werden standardisierte Methoden zur Messung von Leistungs- und
Verhaltensmerkmalen bezeichnet. Tests müssen die Kriterien Objektivität,
Zuverlässigkeit und Gültigkeit erfüllen. Als objektiv gilt ein Test dann, wenn
verschiedene Evaluatoren, die einen Test durchführen, auswerten und interpretieren,
zu den selben Ergebnissen gelangen. Zuverlässig ist der Test, wenn er bei einer
Wiederholung unter den selben Bedingungen wieder die selben Ergebnisse liefert. Das
Kriterium Gültigkeit erfüllt ein Test, wenn er das misst, was er zu messen
beansprucht.153
Es lässt sich zwischen norm- und kriterienorientierten Testverfahren unterscheiden. Bei
den normorientierten Tests werden die Ergebnisse eines Teilnehmers mit dem
Durchschnittsergebnis der gesamten Teilnehmergruppe verglichen. In der betrieblichen
Weiterbildung spielt das Erreichen bestimmter vorgegebener Lernziele eine zentrale
Rolle, das mit Hilfe der Evaluation bewertet werden soll. Zur Messung dieses
Zielerreichungsgrads sind kriterienorientierte Testverfahren heranzuziehen. Die
Kontrolle der Lernerfolge mittels Tests kann bei den Teilnehmern unterschiedliche
Reaktionen hervorrufen. Zum einen geraten sie möglicherweise unter Druck, wenn sie
glauben, ein schlechtes Abschneiden könnte sich negativ auf ihr berufliches
Fortkommen auswirken. Zum anderen jedoch spornt das Wissen über bevorstehende
Tests die Teilnehmer evtl. dazu an, sich engagierter an der Bildungsaktivität zu
beteiligen sowie intensiver und fleißiger zu lernen.154
4.2.1 Formative Evaluation
4.2.1.1 Methoden zur Ermittlung des Zufriedenheitserfolgs
Zur Feststellung der Teilnehmerzufriedenheit während Qualifizierungsmaßnahmen
stehen eine Vielzahl von Möglichkeiten zur Auswahl. Diese lassen sich in zwei
Kategorien einordnen: schriftliches Feedback und mündliches Feedback.
153 Vgl. Tergan, S.-O., a.a.O., S. 34 f. 154 Vgl. Häring, K., a.a.O., S. 84.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 51
4.2.1.1.1 Schriftliches Feedback
Diese Form der Rückmeldung geschieht meistens mit Fragebogen, die inhaltlich, je
nach Befragungsschwerpunkten, unterschiedlich gestaltet sein können. Allerdings sind
auch andere Formen der schriftlichen Rückmeldung möglich.
Im Folgenden werden zwei Alternativen des schriftlichen Feedbacks beschrieben:
Stimmungsbarometer
Das Stimmungsbarometer ist ein sog. Polaritätenprofil, bei dem die Beurteilung des
Trainers und des Seminars anhand von begrifflichen Gegensatzpaaren vorgenommen
wird. Die Beurteilung durch die Teilnehmer vollzieht sich individuell und anonym
anhand eines Fragebogens.155 Ein Beispiel dafür zeigt Anlage 7. Mit Hilfe dieses
Instruments lässt sich die Stimmungslage der Teilnehmer relativ einfach erfassen. Es
erscheint sinnvoll, dieses Hilfsmittel nach jeder größeren Lerneinheit oder am Ende
eines Qualifizierungstags einzusetzen.
Thermometerrückmeldung
Bei der Thermometerrückmeldung handelt es sich um eine Bewertungsmethode, die
die Ergebnisse für alle Teilnehmer transparent und sichtbar macht. Es werden mehrere
Skalen in Form von Thermometern nebeneinander an das Flipchart gezeichnet. Über
den Thermometern befestigt man Kärtchen, auf denen das jeweils zu beurteilende
Kriterium (Zufriedenheit mit den Inhalten, Zufriedenheit mit den eingesetzten Medien,
Zufriedenheit mit den Arbeitsmitteln, Zufriedenheit mit den Trainern etc.) steht. Jeder
Kursteilnehmer klebt jeweils einen Klebepunkt auf die Thermometer. Je weiter oben der
Klebepunkt auf der Skala angebracht wird, desto besser ist die Bewertung des
Kriteriums. Die Auswertung dieses Verfahrens erfolgt unmittelbar mit den Teilnehmern,
die Stellung zu ihrer Klebepunktplatzierung beziehen.156 Markante Auffälligkeiten hat
der Trainer mit der Gruppe ausführlich zu erörtern. Die Thermometerrückmeldung
bietet sich am Ende einer Lerneinheit oder am Abend eines Trainingstags als
Bewertungsalternative an. 155 Vgl. Martens, J.-U.: Empirische Erprobung „objektivierter Lehrsysteme“, in: Will, H.; Winteler, A.; Krapp, A. (Hrsg.): Evaluation in der beruflichen Aus- und Weiterbildung. Konzepte und Strategien, Heidelberg 1987, S. 96. 156 Vgl. Reischmann, J., a.a.O., S. 47 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 52
4.2.1.1.2 Mündliches Feedback
Beim mündlichen Feedback geht es im Normalfall um die Bestimmung des
Zufriedenheitsgrads, die mit dem Einsatz vielfältiger Methoden durchgeführt werden
kann. Ein Feedback hat stets mit zweierlei Wahrnehmung zu tun: mit der
Wahrnehmung einer anderen Person (Fremdwahrnehmung) und mit der eigenen
Wahrnehmung (Selbstwahrnehmung). Relevant ist dabei, sich bewusst zu machen,
dass alle Wahrnehmungen subjektiv, selektiv und situativ sind.
Mündliche Feedbacks haben bestimmten Anforderungen zu genügen; demnach sollten
sie sein:
• beschreibend,
• konkret,
• angemessen,
• brauchbar,
• erbeten,
• klar und genau formuliert,
• korrekt.157
Nachstehend wird eine Variante zur mündlichen Eruierung der Zufriedenheit kurz vor-
gestellt:
Blitzlicht
Das Blitzlicht dient der Momentaufnahme der Stimmungs- und Gefühlslage der
Teilnehmer. Die Feedback-Methode Blitzlicht läuft folgendermaßen ab: Der Moderator
- in diesem Fall der Dozent - gibt zunächst einen Impuls, z. B.:
• „Wie fühle ich mich gerade?“
• „Wie erlebe ich die Seminarsituation?“
• „Wie empfinde ich die Stimmung?“
157 Vgl. Toelstede, B. G.; Gamber, P.: Video-Training und Feedback, Weinheim, Basel 1993, S. 96 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 53
und schreibt ihn an das Flipchart. Dann begründet er, warum er von jedem Teilnehmer
eine Stellungnahme wünscht. Nach einer ausreichenden Pause zum Nachdenken
fordert er alle Teilnehmer auf, nacheinander ein Feedback zu geben. Die
Teilnehmeräußerungen bleiben „im Raum stehen“, über sie darf nicht diskutiert werden.
Der Lehrende wird aus den abgegebenen Statements einen Tenor ableiten und daraus
ggf. Rückschlüsse für den weiteren Verlauf der Weiterbildungsmaßnahme ziehen.158
Das Blitzlicht ist ein schnell und einfach durchführbares Verfahren. Vorteile bestehen
auch darin, dass Außenseiter unter den Teilnehmern integriert und Vielredner gebremst
werden.159
Alternative Übungen bzw. Varianten zur Ermittlung des Zufriedenheitserfolgs sind in
Anlage 8 beschrieben.
4.2.1.2 Methoden zur Ermittlung des Lernerfolgs
4.2.1.2.1 Beobachtung
Beobachtung der Teilnehmer in Rollenspielen
Hauptsächlich bei Verhaltenstrainings lassen sich mit Rollenspielen realitätsnahe
Situationen herstellen, die das Verhalten der Teilnehmer unter bestimmten
Bedingungen zeigen. Beim Versuch, Einstellungen zu ändern, kann es hilfreich sein,
die Teilnehmer durch entsprechende Rollenzuweisung zu einem bestimmten Verhalten
zu veranlassen. Vorteilhaft ist bei Rollenspielen, dass die Trainingsteilnehmer häufig
ihre Sichtweise in der Realität erst durch das Einnehmen der bestimmten Rolle
erkennen und verstehen lernen. Der Trainer, der die Beobachtung von Rollenspielen
als Evaluierungsmethode vorsieht, muss über umfassende Qualifikationen verfügen,
denn es gestaltet sich schwierig, aus „konstruierten“ Situationen eindeutige Erfolge
abzuleiten. Hier empfiehlt sich in jedem Fall die Aufzeichnung auf Videoband, mit deren
Hilfe das Rollenspiel später genau analysiert und ausgewertet werden kann. 158 Vgl. Fraunhofer-Verbund, e-Industrial Services, o.J. online: Blitzlicht. http://www.e-industrial-services.de/servlet/is/11819/, 28.11.05 159 ebenda
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 54
Beobachtung der Teilnehmer bei der Bearbeitung von Fallstudien
Eine Methode, die sich insbesondere dazu eignet, den Lernerfolg einer Qualifizierungs-
maßnahme in einem Anwendungsfall zu überprüfen, ist die Bearbeitung von Fallstudien
durch die Teilnehmer. Durch den Einsatz von Fallstudien wird erkennbar, ob sich ein
Lernerfolg im Sinne von Beherrschung des Lernstoffs eingestellt hat. Des weiteren gilt
diese „Kontrolle“ gleichzeitig als transferfördernde Maßnahme, weil sich die Fallstudien
auf praxisorientierte Sachverhalte, die den Arbeitsproblemen der Teilnehmer ähneln,
beziehen. Mögliche Anhaltspunkte zur Erfolgsbestimmung können sein:
• Zeit, die die Teilnehmer benötigen, um gestellte Probleme zu lösen,
• Zusammenarbeit und Kooperationsverhalten,
• Vorgehensweise bei der Entscheidung für einen bestimmten Lösungsweg,
• Berücksichtigung aller möglichen Lösungsalternativen und
• Qualität der Lösungsstrategie.
4.2.1.2.2 Testverfahren
Geht es in der Weiterbildungsmaßnahme vorrangig um die Vermittlung kognitiver
Inhalte, dann stellen Testmethoden eine praktikable Möglichkeit dar, um Lernerfolge
nachzuweisen. Je nach Inhalt und Intention der Qualifizierung sind unterschiedliche
Tests einzusetzen. Allgemein können Testverfahren in Form von Multiple Choice-Tests,
Wortergänzungstests und mit Fragebogen – standardisiert oder mit offenen Fragen –
durchgeführt werden. Wenn die Lernziele vor Durchführung der Maßnahme genau
definiert wurden und ein Test zur Eruierung des Wissenstands vor Beginn der
Qualifizierung zu absolvieren war, lässt sich nun im Verlauf der Qualifizierung der
Kenntnisstand der Teilnehmer und somit der Lernerfolg im Hinblick auf die Erreichung
der Lernziele bestimmen.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 55
4.2.2 Summative Evaluation
4.2.2.1 Methoden zur Ermittlung des Zufriedenheitserfolgs
4.2.2.1.1 Schriftliches Feedback
Zum Feedback verwendet man in der Praxis häufig einen Fragebogen, der von jedem
Teilnehmer unmittelbar vor Abschluss der Weiterbildung auszufüllen ist. Mit seiner Hilfe
wird die abschließende Beurteilung der Maßnahme durch die Teilnehmer vor-
genommen.
Grundsätzlich sollte die Schlussbewertung durch die Teilnehmer folgende Punkte
beinhalten:
• Inhalt der Veranstaltung (Schwerpunkte, Praxisbezug etc.),
• Methodik und Didaktik (Abstimmung des Inhalts auf die Methode, Einsatz
aktivierender Methoden, Eingehen auf Fragen und Probleme der Teilnehmer
etc.),
• Kompetenz des Trainers (fachlich, pädagogisch und sozial),
• Zeitrahmen (ausreichend Zeit für Erfahrungsaustausch etc.),
• Arbeitsbedingungen (Ausstattung mit Medien, Nützlichkeit der Arbeitsunterlagen
etc.),
• Zusammensetzung der Teilnehmergruppen und Arbeitsklima (einheitlicher
Vorkenntnisstand bei den Teilnehmern, Atmosphäre etc.),
• Gesamtbeurteilung der Qualifizierung (gewonnene Erkenntnisse, Erweiterung
von Kompetenzbereichen, Empfehlung der Maßnahme etc.).160
Anlage 9 zeigt die Möglichkeit eines schriftlichen Feedbacks auf.
160 Vgl. Liepmann, D.; Felfe, J.; Resetka, H.-J.: Bedarfsanalysen – Voraussetzung für Qualifizierung, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996, S. 61.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 56
4.2.2.1.2 Bewertung des Referenten
Die Bewertung des Referenten durch die Teilnehmer spiegelt dem Dozenten
hauptsächlich die Wahrnehmung seines Verhaltens und seiner Fähigkeiten wider.
Wenn hier Defizite ans Licht kommen, weiß der Referent, woran er an sich selbst
arbeiten muss. Besteht jedoch seitens der Teilnehmer beispielsweise Unzufriedenheit
mit dem mangelnden Praxisbezug der Maßnahme, kann der Referent Konsequenzen
für zukünftige Maßnahmen ableiten und die Hinweise, die Anregungen und die Kritik als
Anhaltspunkte zur Optimierung nutzen. Darüber hinaus dient diese Bewertung bei
Bildungsoutsourcing dazu, dem zur Durchführung der Qualifizierung beauftragten
Unternehmen eine Rückmeldung über die Verhaltensweisen und die Qualifikationen
der eingesetzten Lehrkraft zu liefern.
Die Referentenbewertung durch die Veranstaltungsteilnehmer sollte schriftlich erfolgen.
Somit sind die Ergebnisse dokumentiert und können – sofern diese Form der
Evaluierung regelmäßig stattfindet – mit den Ergebnissen anderer Bildungsaktivitäten
verglichen werden. Durch den Vergleich lassen sich im Zeitverlauf Rückschlüsse
ziehen, ob und in welchen Belangen sich die Dozentenqualität verbessert hat.
Bestehen Unklarheiten bei den Resultaten, kann der Referent Rückfragen stellen, um
zusätzliche, noch weiter ins Detail gehende Informationen zu erhalten.
Der Fragebogen zur Zufriedenheit mit dem Dozenten sollte prinzipiell die Bereiche
• fachliche, soziale und methodisch-didaktische Kompetenz des Referenten,
• Medieneinsatz,
• Schulungsunterlagen,
• Praxisbezug,
• allgemeines Lernklima
abdecken.
Als günstig erweist sich ein Freitextfeld auf dem Fragebogen; dieses bietet die
Möglichkeit, auf einzelne Aspekte ausführlich einzugehen.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 57
In Anlage 10 ist ein Fragebogen zur Bewertung des Referenten abgebildet.
4.2.2.1.3 Bewertung durch den Referenten
Auch der Referent nimmt eine abschließende Bewertung der Maßnahme vor. Die
Ergebnisse seiner Evaluation erfüllen vorwiegend die Aufgabe, die zukünftigen
Bildungsaktivitäten besser zu gestalten. Anhand der gemachten Angaben kann das
Bildungswesen des Unternehmens bzw. das externe Bildungsinstitut, das den
Referenten mit der Qualifizierung beauftragt hat, entscheiden, ob die absolvierte
Bildungsmaßnahme künftig nochmals in der selben Form stattfinden soll, oder ob
Verbesserungen vorzunehmen sind.
Inhaltlich bezieht sich die Bewertung durch den Referenten, die schriftlich mit einem
Fragbogen umgesetzt wird, auf die Aspekte
• Inhalt,
• Seminarunterlagen,
• Teilnehmergruppe sowie
• Rahmenbedingungen.
Außerdem steht auch hier dem Beurteiler ein Freitextfeld zur Verfügung, in dem er
darüber hinausgehende Anmerkungen anbringen kann.
Anlage 11 enthält einen Bogen, der die Bewertung einer Maßnahme durch den
Referenten zulässt.
4.2.2.2 Methoden zur Ermittlung des Lernerfolgs
4.2.2.2.1 Beobachtung
Die am Ende der Qualifizierungsmaßnahme erfolgende Evaluierung des Lernerfolgs
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 58
mittels Beobachtung ist identisch mit der beschriebenen Beobachtung bei der
formativen Evaluation (siehe 4.2.1.2.1 Beobachtung). Für die Entwicklung von
Fallstudien sowie von Rollenspielen zur Abschlussbewertung hat man zu beachten,
dass sämtliche inhaltlichen Aspekte der Qualifizierungsmaßnahme Berücksichtigung
finden.
4.2.2.2.2 Befragung
Die Selbsteinschätzung der Teilnehmer über den erzielten Lernerfolg mit Hilfe der
Befragungsmethode gibt dem Referenten einen Überblick, wie die Teilnehmer das
Resultat der Maßnahme betrachten. Die Befragung kann auch hier sowohl schriftlich
als auch mündlich vorgenommen werden. Es empfiehlt sich jedoch nicht, einen
standardisierten Fragebogen lediglich für diesen Zweck zu konzipieren, da der dazu
notwendige Aufwand in keiner Relation zu den sehr subjektiven, und somit nur bedingt
aussagefähigen, Ergebnissen stehen würde. Vielmehr bietet sich an, den Lernerfolg
„spielerisch“ zu eruieren.
Nachfolgende Aufstellung enthält die Nennung von Übungen, die in der Anlage 12
dargestellt sind:
• „Was habe ich gelernt?“;
• „Ich habe gelernt...“;
• „Masken“.
4.2.2.2.3 Testverfahren
Die Evaluation des Lernerfolgs durch Tests vollzieht sich mit den selben Testarten wie
bei der formativen Evaluation (siehe 4.2.1.2.2 Testverfahren).
Auch müssen bei der Anwendung dieser Bewertungsmethoden – analog zur
summativen Beobachtung der Teilnehmer bei der Bearbeitung von Fallstudien und bei
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 59
Rollenspielen – alle inhaltlichen Bestandteile der Weiterbildungsmaßnahme Gegen-
stand der eingesetzten Tests sein.
4.3 Evaluation nach Beendigung der Maßnahme
Während sich in der Durchführungsphase der Zufriedenheitserfolg und der Lernerfolg
feststellen lassen, geht es in der Phase nach Abschluss der Maßnahme um die
Ermittlung von zwei weiteren Erfolgsgrößen; sie können aus den Kernzielen der
Qualifizierung abgeleitet werden.
Kernziele von Bildungsaktivitäten sind:
• dem Mitarbeiter zusätzliche Qualifikationen zu vermitteln.
Er soll dazu befähigt werden, anfallende Aufgaben anforderungsgerecht zu
erledigen. Entscheidend dafür ist, inwieweit es gelingt, dass der Teilnehmer
einer Weiterbildungsmaßnahme das Gelernte in die Arbeitssituation transferieren
und am Arbeitsplatz anwenden kann. Aus Mitarbeiterperspektive wird in diesem
Zusammenhang der Transfererfolg zur primären Erfolgsgröße.
• durch die Bildungsinvestition für das Unternehmen einen positiven Beitrag zum
Unternehmenserfolg zu leisten.
Aus Sicht der Unternehmensführung rechnet sich das investive Engagement in
Weiterbildung nur dann, wenn der Mitarbeiter durch Lerntransfer zum Erfolg der
Organisation beiträgt. Erfolgsmaßstab wird somit der Organisationserfolg.
4.3.1 Transfererfolg und Methoden zur Ermittlung des Transfererfolgs
4.3.1.1 Transfererfolg
Der Transfererfolg lässt sich daran beurteilen, ob das in der Qualifizierung Gelernte am
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 60
Arbeitsplatz abrufbar ist, und/oder ob es zu den intendierten Veränderungen im
Arbeitsverhalten des Mitarbeiters kommt161.
Man kann zwischen lateralem und vertikalem Transfer unterscheiden. Der laterale
Transfer beinhaltet die Übertragung des Gelernten auf neue Arbeiten mit ähnlicher
Komplexität. Von vertikalem Transfer spricht man dann, wenn das Erlernte zur Lösung
von Aufgaben genutzt wird, die komplexer sind als die in der Lernsituation.162
Der Lerntransfer verkörpert einen psychosozialen Prozess, der zum einen die
Aufnahme und Übertragung von Gelerntem auf eine Anwendungssituation umfasst, die
nicht die Lernsituation selbst sein muss. Zum anderen bezieht der Lerntransfer
sämtliche Maßnahmen vor, während und nach der Lernsituation, die zur Einübung von
Veränderungen und zur innerbetrieblichen Umsetzung benötigt werden, ein. Aus
diesem Grund sind Transferhemmnisse im Unternehmen abzubauen und transfer-
fördernde Bedingungen herzustellen.163
Zu den Transferhemmnissen zählen insbesondere:
• Schwierigkeiten bei der Anpassung von der Theorie an die Praxis,
• gemachte Erfahrungen, bestehende Traditionen und Vorurteile,
• Zeitmangel, Termindruck und Tagesgeschäft,
• wirtschaftliche, technische und organisatorische Rahmenbedingungen,
• gruppendynamische Abläufe,
• blockierendes Verhalten des Vorgesetzten.164
Nach der Qualifizierung hat man in erster Linie den Erfolg der Maßnahme zu sichern;
das geschieht primär durch transferfördernde Maßnahmen. Weil gerade bei off-the-job-
Qualifizierungen der direkte Bezug zum Arbeitsplatz fehlt, fällt der Transfersicherung
besondere Bedeutung zu. Je weiter die Arbeitsituation physisch, zeitlich und inhaltlich
161 Vgl. Beywl, W.; Geiter, C.: Evaluation – Controlling – Qualitätsmanagement in der betrieblichen Weiterbildung. Kommentierte Auswahlbibliographie, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996, S. 29. 162 Vgl. Ruschel, A.: Die Transferproblematik bei der Erfolgskontrolle betrieblicher Weiterbildung, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 301. 163 Vgl. Häring, K., a.a.O., S. 34. 164 Vgl. Häring, K., a.a.O., S. 39.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 61
von der Lernsituation entfernt ist, desto gravierender wird das Problem des Lern-
transfers165.
Übungen zur Transfersicherung sind in Anlage 13 dargestellt.
Geeignete Strategien zur Transfersicherung166 in der Phase nach Beendigung der
Maßnahme sind:
• Taktik der Transferrealisierung
Besonders schwierig gestaltet sich die Umsetzung des Erlernten, wenn mit ihr
persönliche Verhaltensänderungen des Teilnehmers einhergehen müssen.
Hemmnisse sollen durch die Schaffung von Anreizen und durch Umgehungs-
strategien abgebaut werden.167
• Unterstützung durch Transferpartner
Nach beendetem Training sollte der Mitarbeiter Unterstützung bei der
Umsetzung suchen. Als unterstützende Personen kommen u. a. der
Vorgesetzte, die Kollegen, der Trainer und sogar der Lebenspartner in Frage.
Diese Personen fungieren dann quasi als Coach oder Mentor.168
• Möglichkeiten zum Erfahrungsaustausch
Ein gegenseitiger Austausch der Teilnehmer noch nach der Qualifizierung
ermöglicht es, dass bisherige Transferfolge sowie Tipps und Anregungen zum
Abbau von Umsetzungshemmnissen diskutiert werden können.169 Ein solcher
Erfahrungsaustausch kann auch regelmäßig stattfinden; Ziel entsprechender
Follow-up-Maßnahmen ist die langfristige Sicherung des Transfererfolgs.
• Transfervereinbarung
In einem Gespräch zwischen Vorgesetztem und Mitarbeiter wird konkret
festgehalten, welche Kenntnisse bzw. Verhaltensweisen, die in der
Qualifizierung gelernt wurden, umzusetzen sind. Der Mitarbeiter verpflichtet sich
165 Vgl. Staehle, W. H.: Management. Eine verhaltenswissenschaftliche Perspektive, 8. Aufl., München 1999, S. 887; Faulstich, P.: Strategien der betrieblichen Weiterbildung. Kompetenz und Organisation, München 1998, S. 193. 166 Siehe dazu: Wilkening, O. S.: Bildungs-Controlling – Erfolgssteuerungssystem für Personalentwicklungsinvestitionen?, in: Riekhof, H.-C. (Hrsg.): Strategien der Personalentwicklung. Esso, Gore, Hamburg-Mannheimer, Hewlett-Packard, Matsushita, Opel, Philips, Siemens, VW, Weidmüller, Weka, 4. Aufl., Wiesbaden 1997, S. 261. 167 Vgl. Reuther, U.; Frank, G., a.a.O., S. 428. 168 Vgl. Reuther, U.; Frank, G., a.a.O., S. 429. 169 ebenda
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 62
damit definitiv, das Gelernte anzuwenden. Diese Vereinbarung sollte immer an
einen festen Zeitpunkt, mit dem spätesten Umsetzungstermin, geknüpft sein. Die
getroffenen Regelungen werden schriftlich, in Form eines Transfervertrags,
fixiert. Anlage 14 beinhaltet eine Transfervereinbarung.
• Vertrag mit sich selbst
Bei einem solchen Vertrag wird die Selbstverantwortung des Mitarbeiters be-
sonders betont. Der Teilnehmer dokumentiert während des Verlaufs der
Qualifizierungsmaßnahme seine Lernergebnisse in einem sog. Lerntagebuch.
Auf Grundlage der darin festgehaltenen Notizen fertigt er nach Beendigung der
Weiterbildung einen Selbstvertrag an, in dem er konkret verankert, welche Ziele
er erreichen will. Der gewünschte Umsetzungserfolg tritt wahrscheinlicher ein,
wenn klare positive Konsequenzen zu erwarten sind. Deshalb sollten auch
Selbstbelohnungen mit in den Vertrag aufgenommen werden.170 Die in Anlage
15 aufgezeigte Checkliste beinhaltet wichtige Elemente eines Selbstvertrags.
Ein neuer methodischer Ansatz geht so weit, den Transfererfolg schon vor Beginn der
Maßnahme zu antizipieren. Durch den sog. M.E.N.T.A.L.-Test lassen sich bereits vor
der Weiterbildung Kennzahlen generieren, die Aufschluss über die Wirksamkeit der
bevorstehenden Qualifizierung geben. Darüber hinaus können Problempunkte
identifiziert werden, die das Unternehmen durch geeignete Maßnahmen im Vorfeld
angehen kann.171 Diese Vorgehensweise bildet die Grundlage für ein ökonomisches
Qualitätsmanagement in der betrieblichen Weiterbildungsarbeit172. Die Evaluation des Transfererfolgs bewertet die Auswirkungen einer Qualifizierungs-
maßnahme auf die Arbeitssituation. Relativ leicht zu beurteilen sind Mitarbeiter, die
psychomotorische und kognitive Lerninhalte vermittelt bekommen haben. In diesem
Fall lassen sich Verhaltensänderungen am Arbeitsplatz im Normalfall durch Be-
obachtung erkennen. Die Messung des Transfererfolgs bei der Vermittlung affektiver
Lerninhalte – wie bei Führungs- und Verhaltenstrainings – gestaltet sich schwierig.173
170 Vgl. Kurtz, H.-J.: Anwendungsverträge und Transfercontrolling, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 185 ff. 171 Vgl. Gloger, S.: Den Trainingserfolg voraussagen, in: managerSeminare 11/05, S. 18-21. 172 Vgl. Brehm, K.-H.; Oesterle, H.: Qualitätsmanagement in der Weiterbildung der Siemens AG, in: Süddeutsche Zeitung (Hrsg.): Bildungscontrolling in der betrieblichen Personalentwicklung, München 1996, S. 25. 173 Vgl. Hummel, T. R.: Erfolgreiches Bildungscontrolling. Praxis und Perspektiven, Heidelberg 1999, S. 74.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 63
Unter bestimmten Umständen ist es jedoch möglich, dass sich trotz gutem Lernerfolg
keine Änderung am Arbeitsplatz einstellt. Überlastung, mangelnde Zeit oder generell
keine Bereitschaft, das Gelernte anzuwenden, sind Gründe dafür.174 Der Vorgesetzte
spielt in diesem Zusammenhang eine wichtige Rolle. Er hat die Möglichkeit,
maßgeblich und nachhaltig dafür zu sorgen, dass die Voraussetzungen für den
erfolgreichen Transfer geschaffen werden und kann dem Mitarbeiter bei Bedarf
Orientierung und Hilfestellung geben.
Der Nachweis des Maßnahmenerfolgs auf der Stufe des Transfers lässt sich
schwieriger erbringen, als der auf der Lernebene. Dies liegt einerseits an der
mangelnden Quantifizierbarkeit und andererseits am Problem des Nachweises eines
kausalen Zusammenhangs zwischen Qualifizierung und Anwendungserfolg.175 Je nach
Art und Zwecksetzung der Weiterbildung können jedoch verschiedene Kriterien zur
Beurteilung des Transfererfolgs herangezogen werden. Solche Kriterien sind176:
• die Zeit, die die Teilnehmer dazu benötigen, die angeeigneten Fähigkeiten am
Arbeitsplatz anzuwenden,
• die Effizienz, mit der die Teilnehmer nach Abschluss der Maßnahme Probleme
lösen,
• die Motivation, mit der die Teilnehmer an die Arbeitsaufgaben herangehen,
• der Grad der Kooperation, den die Teilnehmer in ihrer Zusammenarbeit mit
Kollegen zeigen,
• die Qualität der Kommunikation, mit der die Teilnehmer mit Kollegen in Kontakt
treten,
• die Qualität der Problemlösungen, welche die Teilnehmer erarbeiten,177
• die Akzeptanz der Tätigkeit und der Arbeitsergebnisse der Teilnehmer bei
Vorgesetzten und Kollegen sowie
• die Handlungs- und Entscheidungsfähigkeit der Teilnehmer an ihrem
Arbeitsplatz.178
174 Vgl. Martens, J.-U., a.a.O., S. 92. 175 Vgl. Weingärtner, M., a.a.O., S. 88. 176 Vgl. Häring, K., a.a.O., S. 40. 177 Vgl. Münch, J., a.a.O., S. 142. 178 Vgl. Häring, K., a.a.O., S. 41.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 64
4.3.1.2 Methoden zur Ermittlung des Transfererfolgs
Als Methoden zur Evaluation des Transfererfolgs bieten sich an:
• Fremd- und Selbstbeobachtung
• Transfergespräch mit dem Vorgesetzten
• Fragebogen zum Lerntransfer.
4.3.1.2.1 Fremd- und Selbstbeobachtung
Die Beobachtung, in den Formen Fremdbeobachtung und Selbstbeobachtung, stellt zur
Bewertung des Transfererfolgs ein wirksames Instrument dar.
Die Fremdbeobachtung – insbesondere durch den Vorgesetzten – steht im Vorder-
grund. Der Vorgesetzte kennt seine Mitarbeiter sowie deren Arbeitsweise im Regelfall
schon längere Zeit, so dass er den „Vorher-Zustand“ in Bezug auf das Merkmal, das
durch die Qualifizierung verändert werden sollte, gut einzuschätzen vermag. Kehrt der
Mitarbeiter an seinen Arbeitsplatz zurück, kann der Vorgesetzte durch gezielte
Beobachtung feststellen, inwieweit sich die Handlungskompetenz, die Leistung bzw.
das Verhalten seines Mitarbeiters geändert haben. Die Differenz zwischen dem
„Vorher- und Nachher-Zustand“ ist der Erfolg, der aus der Qualifizierungsmaßnahme
resultiert.
Bei der Selbstbeobachtung betrachtet, analysiert und würdigt der Mitarbeiter selbst sein
Arbeitsverhalten und sein Leistungsvermögen kritisch nach Beendigung der Maß-
nahme. Seine Beobachtungen sollte er schriftlich festhalten. Die Erkenntnisse dienen
als Grundlage für ein nach der Selbstbeobachtungsphase möglicherweise statt-
findendes Transfergespräch mit dem Vorgesetzten.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 65
4.3.1.2.2 Transfergespräch mit dem Vorgesetzten
Eine weitere Methode, den Transfererfolg eines Mitarbeiters zu evaluieren, stellt das
Transfergespräch dar. Im Rahmen eines teilstrukturierten Interviews erfragt der
Vorgesetzte, ob und inwieweit sein Mitarbeiter das in der Weiterbildung Gelernte in die
betriebliche Praxis umsetzen kann. Als Vergleichsmaßstab zwischen Soll- und Ist-
Zustand dient insbesondere der Transfervertrag, durch den sich der Mitarbeiter nach
Rückkehr von der Qualifizierung dazu verpflichtet hat, bis zu einem festgelegten
Zeitpunkt bestimmte Qualifizierungserfolge nachzuweisen. Der Termin des Transfer-
gesprächs muss sich deshalb am vereinbarten Umsetzungszeitpunkt orientieren.
4.3.1.2.3 Fragebogen zum Lerntransfer
Der Teilnehmer wird etwa drei Monate nach Beendigung der Qualifizierung zu einer
Selbsteinschätzung hinsichtlich erzielter Umsetzungserfolge der Bildungsinhalte
aufgefordert. Zwar ist diese Selbstbeurteilung stärker als andere Methoden zur
Ermittlung des Lerntransfers von subjektiven Einflüssen geprägt, dennoch liefert sie
wichtige Daten in Bezug auf den Abbau von Transferhemmnissen. Der Zeitraum von
drei Monaten dürfte genügen, dem Teilnehmer die Chance zu bieten, ausreichend
Erfahrungen zu sammeln. Gerade bei Weiterbildungsmaßnahmen, die auf eine
Einstellungsänderung des Mitarbeiters abzielten, muss eine gewisse Zeit vergangen
sein, bis dieser tatsächlich bereit ist, seine alte Einstellung für eine neue aufzu-
geben179.
Inhalte des Fragebogens zum Lerntransfer sind:
• Maßnahmen zur Transferunterstützung, die vom Vorgesetzten erwartet werden,
• Verbesserungs- und weitere Unterstützungsmöglichkeiten in der
Umsetzungsphase,
• Beurteilung des Vorgesetztenverhaltens, das maßgeblich den
Anwendungserfolg bestimmt, 179 Vgl. Häring, K., a.a.O., S. 32.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 66
• Selbsteinschätzung des Transferausmaßes.
Anlage 16 beinhaltet einen Fragebogen zur Ermittlung des Transfererfolgs durch
Teilnehmer.
4.3.2 Organisationserfolg und Methoden zur Ermittlung des Organisationserfolgs
4.3.2.1 Organisationserfolg Für die Existenz des Unternehmens ist überlebenswichtig, wettbewerbsfähig zu blei-
ben; dies gelingt auf Dauer nur mit hoch qualifiziertem Personal. Die Evaluation auf der
Organisationserfolgsebene beschäftigt sich nicht damit, wie viel gelernt wurde und wie
viel davon am Arbeitsplatz angewendet wird, sondern in welchem Umfang das
Unternehmen von der Weiterbildung profitiert. Äußerst diffizil gestaltet sich allerdings
die Herstellung eines eindeutigen Zusammenhangs zwischen Lern- und Transfererfolg
sowie Organisationserfolg. Weil innerbetriebliche Faktoren, wie Führungskultur und
organisatorische Bedingungen, ebenso auf den Organisationserfolg Einfluss nehmen
wie außerbetriebliche, also beispielsweise die Wettbewerbssituation und allgemeine
Marktbedingungen, lässt sich keine eindeutige qualifikationsspezifische Komponente
zurechnen. Auch kann es möglich sein, dass sich aus erkennbarem Transfer keine
Auswirkung auf den Organisationserfolg ergibt.180 Zwei Ursachen kommen u. a. in
Frage: Einerseits ist es normalerweise so, dass der Organisationserfolg nicht allein vom
Verhalten des Mitarbeiters abhängt. Es können konjunkturelle Einflüsse oder verstärkte
Marketingmaßnahmen der Konkurrenz trotz geschultem Verkaufspersonal, das sein
Wissen über verbesserte Verkaufsstrategien nutzt, dafür verantwortlich sein, dass die
Absatzzahlen nicht steigen. Andererseits machen sich hier evtl. Unzulänglichkeiten in
der Lernzielanalyse bemerkbar: Wirkt die geschulte, verbesserte Verkaufsstrategie
nicht bei bestimmten Produkten, bleibt sie erfolglos.181 Daraus wird erkennbar, dass die
Ermittlung des monetären Erfolgs oft nur anhand von Schätzungen durchgeführt
180 Vgl. Häring, K., a.a.O., S. 41 f. 181 Vgl. Martens, J.-U., a.a.O., S. 93.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 67
werden kann. Häufig erfolgt die Bestimmung des qualifizierungsabhängigen Beitrags
zum Unternehmenserfolg ausschließlich auf der Grundlage qualitativer Faktoren.182
4.3.2.2 Methoden zur Ermittlung des Organisationserfolgs
Die Bewertung des Erfolgs auf der Organisationsebene lässt sich durch den Vergleich
verschiedener betrieblicher Kennzahlen und Statistiken, die vor und nach der
Maßnahme errechnet bzw. erhoben werden, vollziehen. Nachfolgend aufgeführte
Kennzahlen dienen als mögliche Indikatoren zur Erfolgsbestimmung der Maßnahme
auf Unternehmensebene:183
• Fluktuationsrate,
• Zahl der Verbesserungsvorschläge,
• Zahl der Beschwerden,
• Versetzungsquote,
• Abwesenheitsquote,
• Produktivität,
• Rentabilität.184
• Absentismusentwicklung,
• Zahl der Betriebsunfälle,
• Zahl der Arbeitsgerichtsprozesse,
• Kostenentwicklung und -struktur
• Umsatzentwicklung,
• Produktionszahlen,
• Fehlerzahl und
• produzierter Ausschuss.185
Um die Aussage über den Erfolg abzusichern, sollte der Kennzahlenvergleich immer in
182 Vgl. Häring, K., a.a.O., S. 42. 183 Vgl. Häring, K., a.a.O., S. 92. 184 Vgl. Götz, K., a.a.O., S. 102 f. 185 Vgl. Häring, K., a.a.O., S. 92 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 68
Kombination mit anderen Evaluationsmethoden geschehen186. In der betrieblichen
Praxis werden Teilnehmer und Vorgesetzte oft ergänzend befragt, wie sie die
Einsparpotenziale und Produktivitätssteigerungen einschätzen, die durch eine
Weiterbildung entstanden sind. Der quantitative Erfolg wird hier also über Schätzungen
und Prognosen durch vom Bildungsprozess direkt oder indirekt tangierten Personen
bestimmt.187
Weiche Kriterien, anhand derer ein Weiterbildungserfolg für das Unternehmen erkannt
werden kann, sind:
• Problembewusstsein,
• Kommunikationsverhalten,
• Mitarbeitermotivation,
• Mitarbeiterführung,
• Verantwortungsbewusstsein,
• Konfliktlösungsfähigkeit,
• Arbeitszufriedenheit,188
• Arbeits- und Betriebsklima,
• Notwendigkeit disziplinarischer Maßnahmen,189
• Prozess der Entscheidungsfindung,
• Zufriedenheit mit den Vorgesetzten,
• Identifikation mit dem Unternehmen,
• Umweltbewusstsein.190
186 Vgl. Berthel, J.; Becker, F. G.: Personal-Management. Grundzüge für Konzeptionen betrieblicher Personalarbeit, 7. Aufl., Stuttgart 2003, S. 378; Häring, K., a.a.O., S. 93. 187 Vgl. Häring, K., a.a.O., S. 93. 188 Vgl. Ruschel, A., a.a.O., S. 317. 189 Vgl. Häring, K., a.a.O., S. 93. 190 Vgl. Freimuth, J.; Hoets, A.: Evaluationsmethoden, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 218.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 69
4.4 Sonderfall E-Learning und Evaluation
4.4.1 E-Learning
E-Learning bedeutet, allgemein betrachtet, Lernen mit elektronischen Medien191.
Innerhalb dieser Lernalternative existieren zahlreiche Varianten. Die nachstehenden
Ausführungen beziehen sich auf computergestütztes E-Learning.
Als Computer Based Training (CBT) bezeichnet man eine Methode, bei der das Lernen
anhand von Computerprogrammen stattfindet, wobei es keine direkte Verbindung über
das Internet zu anderen Lernenden oder einem Teletutor gibt. Das Web Based Training
(WBT) ist eine Weiterentwicklung des CBT, bei der die Lernenden entweder über
Internet oder über Intranet mit Informationssystemen verbunden sind, die interaktive
Übungen und Lernmaterial online bereitstellen. Eine Verbindung zu anderen Lernenden
und zum Teletutor kann grundsätzlich hergestellt werden.192 Ein weiteres E-Learning-
Verfahren, bei dem ein Teil des Lernprozesses virtuell erfolgt, der andere in Form von
Präsenzveranstaltungen abgehalten wird, nennt sich Blended Learning193. Darüber
hinaus besteht die Möglichkeit, ein Seminar vollständig über das Internet oder Intranet
durchzuführen; diese Form bezeichnet man als Live-E-Learning194.
Der Trend der betrieblichen Weiterbildung geht hin zum Lernen mit multimedialer
Unterstützung. Traditionelle Weiterbildung, beispielsweise in Form von Seminaren, wird
künftig tendenziell eher rückläufig sein, da flexiblere Reaktionsmöglichkeiten in der
Weiterbildung gefragt sein werden.195 Die Wissensvermittlung geschieht durch den
Einsatz von multimedialen Lernsystemen in Zukunft nicht mehr schwerpunktmäßig
rezeptiv – wie bisher in vielen Schulungsveranstaltungen –, sondern zunehmend durch
aktives Handeln der Lernenden. Durch die neuen Lernformen sollen die Vorkennt-
191 Vgl. Mandl, H.; Winkler, K.: E-Learning in der Weiterbildung, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, Göttingen, Bern, Toronto, Seattle 2003, S. 229. 192 Vgl. Abicht, L.; Dubiel, G.: E-Learning in der beruflichen Weiterbildung, in: Peters, S. (Hrsg.): Weiterbildung – Personalentwicklung – organisationales Lernen, München, Mering 2003, S. 161. 193 Vgl. Michel, L. P.: Wunsch und Wirklichkeit – E-Learning in KMU, in: Zinke, G.; Härtel, M. (Hrsg.): E-Learning. Qualität und Nutzerakzeptanz sichern. Beiträge zur Planung, Umsetzung und Evaluation multimedialer und netzgestützter Anwendungen, Bielefeld 2004, S. 113; siehe dazu auch: Bommer, S.: Tutoring – ein kritischer Erfolgsfaktor beim E-Learning, in: Personal 1/03, S. 43 f. und Reiß, M.: Kritische Erfolgsdeterminanten des Blended Learning, in: Personal 9/03, S. 26-29. 194 Vgl. Schweizer, K.-U.: Live E-Learning – Dozentengeführte Seminare in Intranet und Internet, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 222. 195 Vgl. Michel, L. P., a.a.O., S. 105 f.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 70
nisse, die Motivation, die Lerngeschwindigkeit sowie die Einstellungen der Lernenden
besser berücksichtigt werden.196
Als wesentliche Vorteile von E-Learning gelten:
• geringere Bildungskosten als bei Präsenzveranstaltungen,
• höhere Qualifizierungsgeschwindigkeit,
• Imageförderung für das Unternehmen,197
• große Flexibilität des netzgestützten Lernens,
• Lehrstoff kann stets198 auf dem aktuellen Stand gehalten werden,
• Verbesserung des Lernerfolgs durch Anpassung des Programms an den Bedarf
sowie durch individuell bestimmbares Tempo,199
• schnelle Verfügbarkeit relevanter Informationen,
• Stärkung der Eigeninitiative der Mitarbeiter,
• Lernen in der Freizeit,
• Integration in ein Gesamtkonzept betrieblicher Weiterbildung,
• an Bedürfnissen des Arbeitsplatzes orientiertes Lernen,
• Verknüpfung mit Wissensmanagement,
• Entlastung des Bildungspersonals.200
4.4.2 Evaluation
Genau wie bei herkömmlichen Lehrmethoden sind auch im Bereich E-Learning
Evaluierungen notwendig.
Der Zufriedenheitserfolg der Teilnehmer einer E-Learning-Maßnahme kann durch
Rückmeldung an die Bildungsverantwortlichen im Unternehmen erhoben werden. Bei
196 Vgl. Mandl, H.; Winkler, K., a.a.O., S. 230. 197 Vgl. Koch, S.; Walter, P.: S-win – Wissen im Netz. Ein Erfahrungsbericht über E-Learning in der Sparkassen-Finanzgruppe, in: Backhaus, J. (Hrsg.): Aktuelle Handlungsfelder der Personalentwicklung, Stuttgart 2003, S. 143. 198 Im Gegensatz dazu: Kröll, M.: Grenzen und Möglichkeiten von E-Learning, in: Personal 2/05, S. 10. 199 Vgl. Michel, L. P., a.a.O., S. 109. 200 Vgl. Klein, H. E.: Vorsichtige Annäherung, in: Personal 2/05, S. 7.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 71
bestimmten Formen des computergestützten Lernens lässt sich das Feedback auch
direkt an die Tutoren übermitteln; dies ist beispielsweise bei Live-E-Learning der Fall.
Die Ermittlung des Lernerfolgs gestaltet sich beim E-Learning üblicherweise relativ
einfach. Zu Beginn der E-Learning-Maßnahme wird der Lernende mit einem Pre-Test
konfrontiert, womit man den Wissensstand vor der Maßnahme erhebt. Der Lernende
muss ferner nach jeder Lerneinheit einen Test sowie am Schluss der gesamten
Maßnahme einen Post-Test ablegen. Die Umsetzung sowie die Auswertung der Tests
kann komplett von der Software übernommen werden. Hierzu sind mehrere Varianten
vorstellbar: Schließt der Lernende etwa die Lerneinheit schlecht ab, so reagiert das
Lernprogramm, anstatt mit einem Aufstieg zur nächsten Stufe, mit der Wiederholung
des gesamten Moduls. Oder, sofern das Programm das Wissensdefizit des Anwenders
detailliert bestimmt hat, wiederholt es gezielt Lernbereiche, bei denen sich der
Mitarbeiter noch nicht auf dem gewünschten Wissensniveau befindet.
Beim E-Learning gilt es, möglichst verschiedene Aufnahmekanäle des Lernenden
anzusprechen. Die Präsentation des Stoffs erfolgt idealerweise durch visuelle und
auditive Unterstützung. Für das Eruieren des Lernerfolgs heißt das, es müssen
Methoden zur Verfügung stehen, die überprüfen, ob der vermittelte Stoff nicht nur
auswendig gelernt, sondern vielmehr verstanden und problemorientiert angewendet
werden kann.201 Zum Abprüfen des Lernerfolgs bieten sich Multiple-Choice-Tests und
virtuelle Rollenspiele an.
Eine abschließende Evaluation der Maßnahme durch die Teilnehmer in Bezug auf den
Zufriedenheits- und Lernerfolg lässt sich anhand eines Fragebogens durchführen, der
entweder in Papierform oder direkt am Bildschirm auszufüllen ist202. Anlage 17 zeigt
einen Fragebogen zur Bewertung eines WBT durch die Teilnehmer.
Die oben im Zusammenhang mit herkömmlichen off-the-job-Weiterbildungsmaßahmen
dargestellten Methoden zur Feststellung des Transfererfolgs und des Organisations-
erfolgs (siehe dazu 4.3.1.2.1 Fremd- und Selbstbeobachtung; 4.3.1.2.2 Transfer- 201 Vgl. Fackiner, C., a.a.O., S. 133 f. 202 Vgl. Severing, E.; Keller, C.; Reglin, T.; Spies, J.: Betriebliche Bildung via Internet. Konzeption, Umsetzung und Bewertung. Eine Einführung für Praktiker, Bern, Göttingen, Toronto, Seattle 2001, S. 146.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 72
gespräch mit dem Vorgesetzten; 4.3.1.2.3 Fragebogen zum Lerntransfer und 4.3.2.2
Methoden zur Ermittlung des Organisationserfolgs) eignen sich grundsätzlich auch zur
Evaluierung von E-Learning-Qualifizierungen.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 73
5 FAZIT UND AUSBLICK
Ein Charakteristikum des heutigen Wirtschaftslebens stellt der permanente Wandel dar.
Die damit verbundenen Change-Prozesse im Unternehmen sind primär geprägt vom
wirksamen Globalisierungstrend sowie vom hohem Veränderungstempo. Überspitzt
kann man sagen: Das einzig Beständige ist der Wandel. Schon der griechische
Philosoph Heraklit203 brachte über seine Zeit zum Ausdruck: „panta rhei“; dies bedeutet
„alles fließt“. Würde Heraklit die heutige Zeit betrachten, käme er sicherlich zur
Aussage: Alles fließt immer schneller.
Aus den Veränderungen resultieren für die Unternehmen enorme Herausforderungen,
die es zu meistern gilt. Bewältigen lassen sie sich nur, wenn die Mitarbeiter stets den
gewaltigen Anforderungen, die an sie gestellt werden, gewachsen sind. Die Mitarbeiter
verkörpern in diesem Zusammenhang den zentralen Erfolgsfaktor. Unabdingbare
Voraussetzung für das erfolgreiche Agieren des Unternehmens am Markt ist, dass die
Mitarbeiterqualifikation an die laufend wechselnden Anforderungen angepasst wird.
Dieses qualifikatorische „Aktuell-Halten“ vollzieht sich über die betriebliche Weiter-
bildung in vielfältigen Formen.
Erhöhter Wettbewerbsdruck führt im Unternehmen zu finanziellen Restriktionen;
deshalb müssen Investitionen, die getätigt werden sollen, sorgfältig geplant sein. Dies
hat auch für Bildungsinvestitionen Gültigkeit; bezogen auf den Inhalt der vorliegenden
Arbeit trifft diese Aussage damit ebenfalls auf Weiterbildungsinvestitionen off the job zu.
Die Notwendigkeit, möglichst verlässliche Aussagen über die Kosten, den Nutzen, die
Effektivität, die Effizienz und die Qualität von Qualifizierungsmaßnahmen zu gewinnen,
macht die Evaluation solcher Personalentwicklungsaktivitäten unumgänglich.
In der betrieblichen Praxis reduzieren sich Evaluierungen – falls überhaupt welche
durchgeführt werden – häufig auf die Bewertung der Teilnehmerzufriedenheit mit einer
Weiterbildungsmaßnahme. Solche Bewertungen sind jedoch völlig unzureichend.
Ausschließlich die umfassende Evaluation wird der elementaren Bedeutung der
203 Heraklit: geboren um 550 v. Chr. und gestorben um 480 v. Chr.
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 74
Bewertungsfunktion gerecht. Eine ganzheitliche Evaluation muss alle Bereiche des
Bildungsprozesses durchdringen. Für das Gelingen einer effektiven und effizienten
Weiterbildung ist äußerst wichtig, bereits vor der Maßnahmenrealisierung vielfältige
Qualifizierungsaspekte zu bewerten. Während der Durchführung tragen Evaluierungen
des Zufriedenheits- und des Lernerfolgs dafür Sorge, dass die Qualifizierung ihre
Zielsetzung erreicht. Nach der Durchführungsphase gilt es, die eigentliche
Zwecksetzung der Maßnahme zu evaluieren: den Transfererfolg und schließlich den
Unternehmenserfolg.
Anlage 18 zeigt ein Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung,
während Anlage 19 darüber hinaus die potenziellen Wirkungszusammenhänge
zwischen den Erfolgsgrößen Zufriedenheitserfolg, Lernerfolg, Transfererfolg sowie
Organisationserfolg darstellt.
Mit der Bewertungsfunktion ist unmittelbar die Funktion der Qualitätsoptimierung
verknüpft. Als Voraussetzung dafür, dass der Beitrag der Evaluation adäquat genutzt
werden kann, bleibt die Qualitätssicherung der Evaluation zu nennen. Diese Evaluation
der Evaluation hat sich mit der zentralen Frage zu beschäftigen: Sind die eingesetzten
Evaluationsmethoden zur Bewertung der Evaluationsobjekte der Bildungsmaßnahme
geeignet?
Blickt man in die Zukunft, so wird klar erkennbar, dass das Qualifikationspotenzial der
Mitarbeiter seinen hohen Stellenwert für den Erfolg und den Bestand des
Unternehmens nicht verlieren wird – im Gegenteil. Die daraus abzuleitende
Konsequenz lautet: Personalentwicklung und damit Weiterbildung haben nicht nur
heute, sondern werden auch morgen „Hochkonjunktur“ haben. Lediglich durch lebens-
langes Lernen lässt sich das Erfolgspotenzial des Mitarbeiters voll entfalten und für die
Unternehmensbelange nutzen.
Wegen der zunehmenden Knappheit der finanziellen Ressourcen werden die
betrieblichen Bildungsbudgets künftig eher kleiner ausfallen als bisher. Umso wichtiger
erweist sich dann die Konzentration auf das richtige, existenziell notwendige Weiter-
bildungsangebot des Unternehmens. Der ökonomisch sinnvolle Mitteleinsatz macht
Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 75
damit die Evaluierung wichtiger denn je. Der Verfasser kann wegen der enormen
Komplexität und der Relevanz des Evaluationsvorgangs ausschließlich für die
systematische, integrative und ganzheitliche Evaluation plädieren. Eine solche Bewer-
tung
• betrachtet die Phase im Vorfeld der Maßnahmenrealisierung, die eigentliche
Durchführungsphase und die Phase nach der Durchführung,
• ermittelt die Erfolgsgrößen Zufriedenheitserfolg, Lernerfolg, Transfererfolg und
Organisationserfolg und
• setzt die diversen Evaluationsmethoden planvoll – zum Teil auch kombiniert als
Evaluationsmethoden-Mix – ein.
In Anlage 20 ist die Mehrdimensionalität der Evaluation beispielhaft abgebildet.
Die in der Gegenwart noch überwiegend sporadischen und auf Teilaspekte
ausgerichteten Evaluierungsbemühungen müssen in Zukunft der Vergangenheit
angehören, da die Unternehmensführung zukünftig auf umfassende, aussagekräftige
Informationen für zu treffende Weiterbildungsentscheidungen angewiesen sein wird.
Nur professionell angegangene Evaluationsvorhaben im betrieblichen Bildungswesen
werden langfristig den gewünschten Erfolg bringen.
Anhang 76
Anlagenverzeichnis Anlage 1: Gründe für interne oder externe Durchführung von Weiterbildungsmaßnahmen 77 Anlage 2: Checkliste mit Qualitätskriterien für die Auswahl des Anbieters
bei Fremdvergabe der Bildungsaktivität 78 Anlage 3: Fragenkatalog zum Auswahlgespräch mit dem Trainer 81 Anlage 4: Beurteilungsblatt zum Gesamteindruck des Trainers 85 Anlage 5: Fragebogen zu den Eingangsvoraussetzungen der Teilnehmer 86 Anlage 6: Fragebogen zu den Teilnehmererwartungen 88 Anlage 7: Stimmungsbarometer 89 Anlage 8: Übungen zur Ermittlung des Zufriedenheitserfolgs 91 Anlage 9: Schriftliches Feedback 92 Anlage 10: Fragebogen zur Bewertung des Referenten 95 Anlage 11: Fragebogen zur Bewertung durch den Referenten 97 Anlage 12: Übungen zur Lernerfolgsevaluation 99 Anlage 13: Übungen zur Transfersicherung 100 Anlage 14: Transfervereinbarung 101 Anlage 15: Der Vertrag mit sich selbst – eine Checkliste 102 Anlage 16: Fragebogen für Teilnehmer zum Transfererfolg 103 Anlage 17: Fragebogen zur Bewertung eines WBT durch die Teilnehmer 107 Anlage 18: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung 117 Anlage 19: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung mit potenziellen Wirkungszusammenhängen zwischen den Erfolgsgrößen des Evaluierungsprozesses 118 Anlage 20: Mehrdimensionalität der Evaluation 119
Anhang 77
Anlage 1: Gründe für interne oder externe Durchführung von
Weiterbildungsmaßnahmen Gründe für interne Durchführung:
• Bei den Weiterbildungsinhalten handelt es sich um betriebsspezifische Probleme.
• Probleme können praxisnah behandelt werden. • Die Zahl der Teilnehmer ermöglicht eine kostengünstige Durchführung einer
internen Weiterbildungsveranstaltung. • Ein Mitarbeiter verfügt über die notwendigen Kenntnisse zur Schulung der
Teilnehmer. • Ein geeigneter externer Trainer kann für die Durchführung einer internen
Weiterbildungsmaßnahme rekrutiert werden. • Das Unternehmen verfügt über geeignete Räumlichkeiten und Sachmittel zur
Durchführung einer Weiterbildungsaktivität. • Die Lernziele einer Weiterbildungsmaßnahme müssen/sollten
teilnehmerbezogen formuliert werden. Gründe für externe Durchführung:
• Es gibt geeignete externe Weiterbildungsangebote. • Die Durchführung einer externen Weiterbildungsmaßnahme ist kostengünstiger. • Ein externer Bildungsträger verfügt über bessere Schulungsräume und eine
bessere Lehrmittelausstattung. • Es ist wichtig, dass die Weiterbildungsteilnehmer Abstand von der Tagesarbeit
gewinnen. • Durch externe Weiterbildung werden neue Ideen gewonnen und es findet ein
Erfahrungsaustausch mit Mitarbeitern anderer Unternehmen statt. Quelle: in Anlehnung an Weingärtner, M., a.a.O., S. 74.
Anhang 78
Anlage 2: Checkliste mit Qualitätskriterien für die Auswahl des Anbieters bei Fremdvergabe der Bildungsaktivität Qualitätskriterien 1. Transparenz des Angebots Stellt der Bildungsträger sicher, dass den Interessenten Informationen und Beratung zu folgenden Kriterien zur Verfügung gestellt werden? Ja Nein
• Zum Ziel der Weiterbildungsmaßnahme ڤ ڤ • Zu den Zugangsvoraussetzungen und notwendigen
Vorkenntnissen ڤ ڤ • Zu den Lerninhalten (z. B. Fächer, Themen, zeitliche Abfolge,
Praxis bzw. Praktikumsanteil) ڤ ڤ • Zur Lehrmethode ڤ ڤ • Zum Veranstaltungstermin ڤ ڤ • Zur Zeit und Dauer der Veranstaltung ڤ ڤ • Zu den Unterrichtsstunden ڤ ڤ • Zum Veranstaltungsort ڤ ڤ • Zur Prüfung bzw. zum Abschluss oder zur Teilnahme-
bescheinigung ڤ ڤ • Zu den Gesamtkosten (differenziert z. B. nach Lehrgangs-
kosten, Prüfungsgebühr, Kosten für Lehrmittel) ڤ ڤ • Zu den Förderungsmöglichkeiten ڤ ڤ • Zur Anzahl und zu den Qualifikationen der Lehrkräfte ڤ ڤ • Zu den Erfolgskriterien und Erfolgsquoten ڤ ڤ • Zur individuellen Verwertbarkeit der Qualifikation ڤ ڤ • Zu den allgemeinen Geschäftsbedingungen und zur
Vertragsgestaltung ڤ ڤ 2. Qualifikation der Lehrkräfte Ja Nein
• Werden in den Schulungen durch Ausbildung und/oder Praxiserfahrung und/oder Weiterbildung fachlich qualifizierte Lehrkräfte eingesetzt? ڤ ڤ
• Werden in den Schulungen durch Ausbildung und/oder Praxiserfahrung und/oder Weiterbildung pädagogisch qualifizierte Lehrkräfte eingesetzt? ڤ ڤ
• Kann der Kunde Informationen zu den eingesetzten Lehrkräften einholen (z. B. Name, Alter, Schulabschluss/Studium, fachliche und pädagogische Berufserfahrung, ggf. Zusatzqualifikationen, Referenzen etc.)? ڤ ڤ
Anhang 79
Ja Nein
• Stellt der Bildungsträger eine angemessene Einarbeitung sowie fachliche und pädagogische Betreuung der Lehrkräfte sicher? ڤ ڤ
3. Ausstattung Ja Nein
• Ist die Ausstattung der Schulungs- und Praxisräume dem jeweiligen Schulungsziel und –inhalt angemessen und nach zeitgemäßen fachlichen sowie pädagogischen Erfordernissen ausgerichtet? ڤ ڤ
• Wird beim Einsatz von IT-Systemen gewährleistet, dass marktübliche Hard- und Software eingesetzt werden, die eine Realisierung der Schulungsziele und Schulungsinhalte ermöglichen? ڤ ڤ
• Arbeiten die Teilnehmer(innen) mit aktuellem, dem jeweiligen Schulungsziel angemessenen Lernmaterial? ڤ ڤ
4. Teilnehmerbefragung Wird vom Bildungsträger ein schriftliches Feedback der Teilnehmer sichergestellt, das die folgenden Kriterien berücksichtigt? Ja Nein
• Beratung ڤ ڤ • Information ڤ ڤ • Ausstattung ڤ ڤ • Räumlichkeiten ڤ ڤ • Schulungsdurchführung ڤ ڤ • Lerninhalte ڤ ڤ • Lehrkräfte ڤ ڤ • Lern- und Arbeitsmittel ڤ ڤ
5. Teilnahmebescheinigung Sind in der Teilnahmebescheinigung die folgenden Informationen enthalten? Ja Nein
• Name ڤ ڤ • Vorname ڤ ڤ • Geburtsdatum (ggf.) ڤ ڤ • Titel der Schulung ڤ ڤ • Schulungsbeginn ڤ ڤ • Schulungsende ڤ ڤ • Lerninhalte ڤ ڤ
Anhang 80
Ja Nein • Ausstellungsdatum ڤ ڤ • Unterschrift ڤ ڤ • Logo bzw. Stempel ڤ ڤ
6. Vertragsgestaltung Sind die folgenden Punkte in der Vertragsgestaltung berücksichtigt? Ja Nein
• Ort ڤ ڤ • Zeit ڤ ڤ • Dauer ڤ ڤ • Gesamtzahl der Unterrichtsstunden (ggf.) ڤ ڤ • Ziel/Titel der Schulung ڤ ڤ • Schulungskosten ڤ ڤ • Zahlungsmodalitäten ڤ ڤ • Kündigungsbedingungen/Rücktrittsmöglichkeiten ڤ ڤ
7. Beschwerdemanagement Ja Nein Weist der Bildungsträger in seinen Geschäftsunterlagen schriftlich auf das hauseigene Beschwerdeverfahren hin? ڤ ڤ Quelle: Qualitätsgemeinschaft Berufliche Weiterbildung Köln, o.J. online:
http://www.weiterbildung-koeln.de/ueber_uns/qualitaetskriterien_checkliste_2005.pdf, 27.12.05
Anhang 81
Anlage 3: Fragenkatalog zum Auswahlgespräch mit dem Trainer Trainer: ___________________________ Thema: ___________________________ Gesprächsdatum: ___________________ Uhrzeit: ________ Ort: _______________ Gesprächsteilnehmer: __________________________________________________ Gesprächsunterlagen: __________________________________________________ 1. Allgemeine Fragen zum Gesprächseinstieg
• Hatten Sie eine gute Anreise? • Darf ich Ihnen etwas zum Trinken anbieten? • Haben Sie unsere Firma gleich gefunden? • Hatten Sie Zeit, sich bereits ein wenig unsere Firma anzusehen?
2. Kenntnisse über die Organisation
• Ist Ihnen unsere Organisation bekannt? • Woher kennen Sie unsere Organisation? • Haben Sie bereits früher einmal für unsere Organisation gearbeitet? • Haben Sie Vorstellungen über die Mitarbeiteranzahl, die erzeugten Produkte,
den Umsatz und dergleichen? 3. Aus- und Weiterbildung
• Welche Ausbildung haben Sie absolviert? • Wie haben Sie sich die notwendigen Trainerqualifikationen angeeignet? • Auf welchen Gebieten haben Sie sich weitergebildet? • Welche Schritte werden Sie im Hinblick auf Ihre eigene Weiterbildung zukünftig
setzen? 4. Berufszugang
• Was hat Sie dazu veranlasst, in den Trainingsbereich zu gehen? • Auf welche Umstände ist es zurückzuführen, dass Sie im Trainingsbereich
gelandet sind? • Gab es ein Schlüsselerlebnis, welches Sie maßgeblich beeinflusst hat, Trainer
zu werden? • Aus welchen Gründen haben Sie die Trainerlaufbahn eingeschlagen?
Anhang 82
5. Trainingsbereiche
• In welchen Themengebieten trainieren Sie? • Welches sind für Sie Ihre wichtigsten Trainingsbereiche? • Wollen Sie Ihr Themenspektrum in nächster Zeit ausweiten bzw. verändern? • Welche trainerischen Ziele streben Sie an?
6. Trainingserfahrungen/Referenzen
• Seit wann trainieren Sie in diesen Bereichen? • Bei welchen Firmen haben Sie bisher schon trainiert? • Sind Sie auf eine bestimmte Branche, Firmengröße, Zielgruppe usw.
spezialisiert? • Welche Referenzfirmen können Sie nennen?
7. Trainingsgrundsätze
• Wie lauten Ihre wichtigsten Prinzipien, Werte, ethischen Grundsätze ... bei der Durchführung von Trainings?
• Was darf Ihrer Meinung nach einem Trainer in einem guten Training nicht passieren?
• Wie gehen Sie mit „schwierigen“ Teilnehmern, Teilnehmerwiderständen, Gruppenkrisen, Störfaktoren usw. um?
• Mit welchem didaktischen Ansatz bzw. pädagogischen Modell arbeiten Sie in Ihren Trainings?
8. Rollen-/Selbstverständnis
• Wie definieren Sie Ihre Trainerrolle? • Was würde mir ein Trainerkollege von Ihnen über Sie erzählen? • Welches Menschenbild liegt Ihren Trainings zu Grunde? • Welche Faktoren sind für Ihr Rollen- und Selbstverständnis bestimmend?
9. Teilnehmerorientierung
• Wie wollen Sie die individuellen Wünsche, Erwartungen, Lernbedürfnisse, Problemstellungen, Ängste usw. der Seminarteilnehmer erfassen?
• Wie integrieren Sie die Erfahrungen und das Vorwissen der Teilnehmer in das Thema?
• Wollen bzw. wie wollen Sie eine Bedingungs-/Adressaten-/Erwartungsanalyse vor Seminarbeginn durchführen?
• Wie führen Sie Gruppenentscheidungen herbei?
Anhang 83
10. Trainingsziele
• Auf welche Trainingsziele achten Sie besonders in Ihren Trainings? • Welche Trainingsziele (inklusive Prioritätensetzung) versuchen Sie bei dieser
Thematik zu realisieren? • Wie realistisch und motivierend sind diese Zielsetzungen? • Welche Schwierigkeiten und Widerstände sehen Sie für die Realisierung dieser
Zielsetzungen? 11. Trainingsinhalte
• Mittels welcher Inhalte versuchen Sie die angestrebten Ziele zu realisieren? • Wie lassen sich die Seminarinhalte mit den unternehmerischen Ansprüchen
verzahnen? • Welche Inhalte liegen Ihnen besonders am Herzen? • Aus welchen Quellen resultieren Ihre Inhalte?
12. Trainingsmethoden
• Welche pädagogischen Methoden setzen Sie bevorzugt ein? • Wie wollen Sie den Seminareinstieg methodisch-didaktisch gestalten? • Welche Methode erscheint Ihnen bei den zu realisierenden Zielen am
effizientesten? • Zu welchen Haupt- und Nebeneffekten könnte Ihr geplanter Methodeneinsatz
führen? 13. Medien/Seminarunterlagen
• Wie wollen Sie den Lernprozess medial unterstützen? • Welche Medien präferieren Sie in Ihren Trainings? • Welche Skripten gedenken Sie einzusetzen? • Erhalten die Teilnehmer ein Seminarprotokoll?
14. Lernerfolgskontrolle
• Wie werden Sie die angestrebte Zielerreichung kontrollieren? • Wie überprüfen Sie den Lern- und Anwendungserfolg? • Welche Maßnahmen zur Förderung und Erhöhung der Transferleistungen wollen
Sie einsetzen? • Wie werden Sie den Teilnehmern bei der Erarbeitung von positiven
Lerntransferstrategien für den Alltag behilflich sein?
Anhang 84
15. Honorar
• Welche Honorarvorstellungen haben Sie? • Wie hoch ist Ihr Tagessatz? • Welche sonstigen Kosten (Reise-, Hotel-, Protokollierungskosten usw.) stellen
Sie in Rechnung? • Verrechnen Sie Ausfallhonorare?
16. Zusammenarbeit
• Wie kann ich in meiner Funktion als Weiterbildungsverantwortlicher bzw. Personalentwickler die Qualität unserer Zusammenarbeit fördern?
• Wie kann ich Sie unterstützen, um gute Trainingsarbeit leisten zu können? • Welche Begleitmaßnahmen, Hilfen usw. wünschen Sie meinerseits? • Was sind Ihre Vorstellungen im Hinblick auf unsere Kooperation?
Quelle: Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler-Universität Linz, o.J. online: Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.2005
Anhang 85
Anlage 4: Beurteilungsblatt zum Gesamteindruck des Trainers Trainer/Adresse: ______________________________________________________ Geplante Trainingsmaßnahme: __________________________________________ Gesprächstermin: _____________________________________________________
1 2 3 4 5 Anmerkungen Auftreten/Ausstrahlung Fachliche Kompetenz Soziale Kompetenz
Pädagogische Kompetenz Trainingserfahrung Selbstsicherheit
Vertrauenswürdigkeit Zielorientiertheit Begeisterungsfähigkeit
Verantwortungsbewusstsein Sensibilität/Einfühlungsvermögen Konzept/Setting/Trainingsdesign Skripten/Unterlagen
Honorarvorstellungen Gesamteindruck Sonstige Bemerkungen: Beurteilung: 1 = sehr gut; 2 = gut; 3 = befriedigend; 4 = genügend; 5 = ungenügend
Quelle: Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler-Universität Linz, o.J. online: Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.2005
Anhang 86
Anlage 5: Fragebogen zu den Eingangsvoraussetzungen der Teilnehmer Angaben zur Person
a) Alter
b) Schulabschluss
c) derzeitige Tätigkeit
Erfahrungen mit Lernen
Welche Lernformen bevorzugen Sie?
klassisches“ Lernen„ ڤ E-Learning ڤ :sonstige Lernformen ڤ
Lernbedürfnisse
a) Welche besonderen Interessen/Ziele verfolgen Sie mit der Teilnahme an der Weiterbildungsmaßnahme?
b) Wie schätzen Sie sich selbst ein in Bezug auf die Erreichung dieser Ziele?
c) Fragen/Probleme/Sonstiges
Anhang 87
Aus- und Weiterbildung Welche Fähigkeiten wurden dabei
erworben? a) absolvierte berufliche Ausbildung (betriebliche Ausbildung, Fachschule, Hochschule usw.)
b) absolvierte berufliche Weiterbildung (im Unternehmen oder außerhalb)
c) privat besuchte Kurse (z. B. Sprachkurse, EDV, Kulturelles)
d) frühere Arbeitsstellen, Aufgaben- bereiche (im Unternehmen oder außerhalb)
Persönliche Erfahrungen Welche Fähigkeiten wurden dabei
erworben? a) Erziehungs- oder Betreuungsaufgaben
b) Haushalt, Hauswirtschaft
c) öffentliche Aufgaben, Freiwilligenarbeit, Vereine
d) Hobbies/Freizeit
e) Sonstiges:
Quelle: in Anlehnung an Schöni, W., a.a.O., S. 193.
Anhang 88
Anlage 6: Fragebogen zu den Teilnehmererwartungen Ihre Erwartungshaltung zum Seminar: _______________________________ Datum: _______________________________ Ort: _______________________________ Name: _______________________________ Firma: _______________________________ Anschrift: _______________________________ Sehr geehrte/r Seminarteilnehmer/in, für Sie persönlich möchten wir das Seminar möglichst effektiv gestalten. Sie können uns deshalb mit diesem Fragebogen Ihre Erwartungen mitteilen. Bitte schicken oder faxen Sie uns den Fragebogen ausgefüllt innerhalb der nächsten Woche zurück. Ihre Wünsche und die der anderen Teilnehmer können wir damit so weit wie möglich berücksichtigen. 1) Aus welchen Beweggründen/auf wessen Initiative hin nehmen Sie an dieser Veranstaltung teil? _____________________________________________________________________ _____________________________________________________________________ 2) Wenn Sie sich die Eingangsvoraussetzungen durchlesen, über welche sollte der Trainer noch einmal einen Überblick geben? _____________________________________________________________________ _____________________________________________________________________ 3) Welches sind für Sie die wichtigsten Einzelthemen, die Sie nach der Bildungsmaß- nahme beherrschen wollen? _____________________________________________________________________ _____________________________________________________________________ 4) Haben Sie die Möglichkeit, das Gelernte am Arbeitsplatz auch anzuwenden? Wie können wir Ihnen hierbei behilflich sein? _____________________________________________________________________ _____________________________________________________________________ 5) Sonstige Erwartungen/Anregungen: _____________________________________________________________________ _____________________________________________________________________ Vielen Dank für Ihre Mitarbeit! Quelle: in Anlehnung an Nentzel, B., a.a.O., S. 222.
Anhang 89
Anlage 7: Stimmungsbarometer Seminar/Training: ______________________________ Liebe/r Seminarteilnehmer/in! Bei jedem Seminar bzw. Training möchten wir Erfahrungen für die weitere Gestaltung der Veranstaltung sammeln. Helfen Sie uns bitte durch Ihre Stellungnahme, das derzeitige Seminar- und Arbeitsklima zu beurteilen. Ihre Rückmeldung ist für uns und den weiteren Verlauf der Veranstaltung besonders wichtig! Vielen Dank! Kreuzen Sie bitte auf der folgenden Skala an, ob Sie mehr der linken oder der rechten Merkmalsausprägung zustimmen! Seminarinhalte sind zu schwierig ڤڤٱڤٱڤ Seminarinhalte sind zu leicht zu viel Stoff ڤڤٱڤٱڤ zu wenig Stoff zu viele praktische Übungen ڤڤٱڤٱڤ zu wenige praktische Übungen zu viel Diskussion ڤڤڤٱڤٱ zu wenig Diskussion zu viele Zusammenfassungen ڤڤٱڤٱڤ zu wenige Zusammenfassungen Seminar zu straff gelenkt ڤڤٱڤٱڤ Seminar zu locker gelenkt zu kurze Pausen ڤڤٱڤٱڤ zu lange Pausen gute Darbietung ڤڤٱڤٱڤ schlechte Darbietung gut organisiert ڤڤٱڤٱڤ schlecht organisiert entspannte Atmosphäre ڤڤٱڤٱڤ schlechte Atmosphäre offene Informationsweitergabe ڤڤٱڤٱڤ verschlossenes Agieren konstruktive Gruppenarbeiten ڤڤٱڤٱڤ ergebnisschwache Gruppenarbeiten freundliche Teilnehmer ڤڤٱڤٱڤ unfreundliche Teilnehmer
Anhang 90
Seminar insgesamt nutzbringend ڤڤٱڤٱڤ Seminar nicht nutzbringend Seminar regt an ڤڤٱڤٱڤ Seminar ist langweilig guter Eindruck vom Trainer ڤڤٱڤٱڤ schlechter Eindruck vom Trainer guter Eindruck vom Veranstalter ڤڤٱڤٱڤ schlechter Eindruck vom Veranstalter für die Praxis brauchbar ڤڤٱڤٱڤ für die Praxis unbrauchbar Quelle: Lang, K., a.a.O., S. 85 f.
Anhang 91
Anlage 8: Übungen zur Ermittlung des Zufriedenheitserfolgs Name der Übung: „Blitzlicht – Nichts anbrennen lassen“ Art der Übung: Verbale Gruppenaktivität Dauer: 5 bis 10 Minuten (ohne Auswertung) Ziel: Ein kurzes Feedback geben zu Stimmungen, Gefühlen oder
Meinungen zum Thema Inhalt: Jeder Teilnehmer erhält ein Streichholz und zündet es der Reihe
nach an. Solange das Streichholz brennt, kann diejenige Person verbal z. B. ein derzeitiges Stimmungsbild abgeben oder ihre Meinung zu einem bestimmten Thema in Kürze darlegen (als Einstieg in eine längere Diskussion). Unterbrechungen seitens des Trainers oder anderer Teilnehmer sind nicht erlaubt. Wer vor dem Abbrennen des Streichholzes fertig ist, bläst es aus. Jeweils der Nächste hält sicherheitshalber ein Gefäß (Tasse, Becher...) mit Wasser für seinen Vorredner in der Hand, in das die redende Person das Streichholz werfen kann.
Variation: Verschieden lange Streichhölzer ermöglichen unterschiedlich lange Sprechzeiten.
Quelle: in Anlehnung an Kisters, W.: Blitzlicht – Nichts anbrennen lassen, in: Rachow, A. (Hrsg.):
Spielbar II, Bonn 2002, S. 197. Name der Übung: „Auswertungszielscheibe“ Art der Übung: Einzelwertung mit Klebepunkten Dauer: 10 Minuten (ohne Auswertung) Ziel: Bewertung durch die Teilnehmer Inhalt: Der Spielleiter malt eine große Zielscheibe auf einen Papierbogen.
Der äußere Ring enthält z. B. 10 Punkte, der innerste 100. Die Scheibe wird jetzt noch in Sektoren aufgeteilt, so dass mehrere Teilstücke entstehen. In diese können Begriffe wie Trainer-verhalten, Zusammenarbeit in der Gruppe, Stimmung, Lernerfolg etc. hineingeschrieben werden. Jeder Spieler kann mit seinen Klebepunkten nun seine Bewertung zu den jeweiligen Bereichen auf die Scheibe kleben und diese so zum Ausdruck bringen.
Anmerkung: Die Punktbewertung kann auch anonym vollzogen werden. Quelle: in Anlehnung an Baer, U.: 666 Spiele. Für jede Gruppe, für alle Situationen, 9. Aufl.,
Seelze 1999, S. 50.
Anhang 92
Anlage 9: Schriftliches Feedback Titel der Maßnahme: Ihre Rückmeldung ist uns ein besonderes Anliegen. Je detaillierter Sie uns Ihre Rückmeldung geben, desto besser sind wir in der Lage, das Seminar bzw. Training weiterzuentwickeln und zu verbessern. Vielen Dank! Kreuzen Sie bitte auf der folgenden Skala an, inwieweit Sie diesen Aussagen zustimmen (von 1 = hohe Zustimmung bis 5 = niedrige Zustimmung)! 1 2 3 4 5 A. Gesamtbeurteilung ڤ ٱ ڤ ٱ ڤ 1. Die Dauer des Seminars war bezogen auf die vermittelten Inhalte zu kurz ڤ genau richtig ٱ zu lang ڤ 2. Die Seminarziele und –inhalte haben meine Erwartungen erfüllt. ڤ ٱ ڤ ٱ ڤ 3. Mein Gesamteindruck vom Seminar ist positiv und zufriedenstellend. ڤ ٱ ڤ ٱ ڤ 4. Ich würde das Seminar meinen Kollegen weiterempfehlen. ڤ ٱ ڤ ٱ ڤ B. Methoden und Medien (Methoden = z. B. Gruppenarbeiten, Rollenspiele, Präsentationen, Videotraining; Medien = z. B. Unterlagen, Folien, Skripten) 5. Der Methodeneinsatz war zielführend und auf die Inhalte abgestimmt. ڤ ٱ ڤ ٱ ڤ 6. Die Unterlagen sind gut aufbereitet und am Arbeitsplatz verwendbar. ڤ ٱ ڤ ٱ ڤ 7. Ich bin insgesamt zufrieden mit den eingesetzten Medien. ڤ ٱ ڤ ٱ ڤ 8. Ich bin insgesamt zufrieden mit den eingesetzten Methoden. ڤ ٱ ڤ ٱ ڤ C. Seminarinhalte 9. Ich wurde im Vorfeld ausreichend über Ziele und Inhalte informiert. ڤ ٱ ڤ ٱ ڤ 10. Die angekündigten Inhalte wurden behandelt. ڤ ٱ ڤ ٱ ڤ
Anhang 93
1 2 3 4 5 11. Die Inhalte waren für mich leicht verständlich. ڤ ٱ ڤ ٱ ڤ 12. Die Inhalte waren auf meine Bedürfnisse ausgerichtet. ڤ ٱ ڤ ٱ ڤ 13. Die Seminarinhalte wurden umfassend vermittelt. ڤ ٱ ڤ ٱ ڤ 14. Die Inhalte und erworbenen Kenntnisse sind in der Praxis ڤ ٱ ڤ ٱ ڤ umzusetzen. 15. Es wurde stets eine Verbindung zur Praxis hergestellt. ڤ ٱ ڤ ٱ ڤ 16. Mir wurden Tipps und Hilfestellungen gegeben, um den ڤ ٱ ڤ ٱ ڤ späteren Praxistransfer zu erleichtern. 17. Ich bin insgesamt zufrieden mit den behandelten Inhalten. ڤ ٱ ڤ ٱ ڤ D. Seminaratmosphäre 18. Die Atmosphäre in der Arbeitsgruppe war angenehm und ڤ ٱ ڤ ٱ ڤ motivierend. 19. Die Teilnehmer hatten in etwa die selben Vorkenntnisse. ڤ ٱ ڤ ٱ ڤ 20. Die Zusammensetzung der Teilnehmer hat den Lernerfolg ڤ ٱ ڤ ٱ ڤ gefördert. E. Referent 21. Der Referent war fachlich kompetent. ڤ ٱ ڤ ٱ ڤ 22. Der Referent ging ausreichend auf Fragen der ڤ ٱ ڤ ٱ ڤ Teilnehmer ein. 23. Der Referent strukturierte die Themen übersichtlich. ڤ ٱ ڤ ٱ ڤ 24. Der Referent illustrierte die Inhalte durch anschauliche ڤ ٱ ڤ ٱ ڤ Beispiele. 25. Der Referent gestaltete den Ablauf abwechslungsreich ڤ ٱ ڤ ٱ ڤ und förderte die aktive Mitarbeit. 26. Der Referent zeigte einen sicheren Umgang mit den ڤ ٱ ڤ ٱ ڤ eingesetzten Medien.
Anhang 94
1 2 3 4 5 27. Ich bin insgesamt zufrieden mit dem Referenten. ڤ ٱ ڤ ٱ ڤ F. Rahmenbedingungen 28. Ich bin zufrieden mit der Organisation (Einladung, Information etc.). ڤ ٱ ڤ ٱ ڤ 29. Ich bin zufrieden mit dem Service des Hotels. ڤ ٱ ڤ ٱ ڤ 30. Ich bin zufrieden mit der Verpflegung. ڤ ٱ ڤ ٱ ڤ 31. Ich bin zufrieden mit der Unterkunft. ڤ ٱ ڤ ٱ ڤ 32. Ich bin zufrieden mit der Ausstattung des Seminarraums. ڤ ٱ ڤ ٱ ڤ G. Besonders gut gefallen hat mir: ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ H. Folgendes hätte besser sein können: ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ Vielen Dank! Quelle: in Anlehnung an Lang, K., a.a.O., S. 89 f.
Anhang 95
Anlage 10: Fragebogen zur Bewertung des Referenten Um ständig unsere Qualität zu verbessern, brauchen wir auch Beurteilungen für unsere Referenten. Daher ist uns eine ehrliche Meinung wichtig. Name des/der Fach/Thema:__________________________ Referenten/Referentin: ______________________________ Datum: _______________ 1. Was hat Ihnen besonders gefallen? ____________________________________________________________________ ____________________________________________________________________ 2. Haben Sie Verbesserungsvorschläge? ____________________________________________________________________ ____________________________________________________________________ 3. Der/die Referent/Referentin informierte über Ziele und Inhalte der Veranstaltung. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 4. Der Inhalt wurde verständlich vermittelt. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 5. Der/die Referent/Referentin stellte den Inhalt interessant dar. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 6. Der Lernstoff war gut zu bewältigen. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 7. Der/die Referent/Referentin setzte Medien angemessen und wirkungsvoll ein. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 8. Der/die Referent/Referentin war fachlich kompetent. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 9. Es war eine gute Verknüpfung zwischen den behandelten Themen und der Praxis vorhanden. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 10. Der/die Referent/Referentin sorgte für ein gutes Klima. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 11. Auf Fragen, Einwände und Diskussionsbeiträge wurde angemessen eingegangen. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 12. Die Absprachen und Regeln wurden eingehalten. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu
Anhang 96
13. Der/die Referent/Referentin war fachlich gut vorbereitet. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 14. Die ausgehändigten Unterlagen waren gut. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu Quelle: BBQ Berufliche Bildung gGmbH: Fragebogen zur Bewertung des Referenten, Stuttgart 2005.
Anhang 97
Anlage 11: Fragebogen zur Bewertung durch den Referenten Ihre Meinung ist uns wichtig, ...denn wir wollen uns ständig verbessern! Ihre Antworten sollen helfen, Seminare und Veranstaltungen zu Ihrer Zufriedenheit zu gestalten. Schließlich wissen Sie am besten, was für Sie erforderlich und wichtig ist, was Ihnen gefällt, was wir ändern sollten oder was Sie vielleicht vermissen. Für Ihre Hinweise sind wir dankbar. Dadurch gelingt es uns, Probleme frühzeitig zu erkennen, Referenten/Dozenten qualifizierter zu unterstützen. Schon viele gute Ideen konnten so in die Tat umgesetzt werden. Bitte bewerten Sie Seminar, Seminargruppe und Rahmenbedingungen. Selbstverständlich werden Ihre Angaben anonym ausgewertet. Ein Rückschluss von Ihren Antworten auf Ihre Person ist nicht möglich. Zur Gesamtzufriedenheit ____________________________________________________________________ Insgesamt zufrieden war ich mit... voll- überhaupt kommen nicht den Seminarinhalten 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ den Seminarunterlagen 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ der Seminargruppe 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ den Rahmenbedingungen 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ ____________________________________________________________________
zu den Einzelaspekten bitte umblättern
Anhang 98
Zu den Seminarinhalten Die Seminarinhalte... trifft voll- trifft überhaupt
kommen zu nicht zu waren hinsichtlich des Schwierig- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ keitsgrads zu meistern lassen sich sinnvoll in die Arbeits- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ praxis der Teilnehmer einbinden Zu den Unterlagen Die begleitenden Unterlagen... trifft voll- trifft überhaupt
kommen zu nicht zu sind verständlich aufbereitet 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ sind geeignet, die Inhalte nach- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ zuarbeiten zu kurz genau richtig zu lang sind vom Umfang ڤ ڤ ڤ Zu den Teilnehmern Die Teilnehmergruppe... trifft voll- trifft überhaupt
kommen zu nicht zu war inhaltlich auf das Seminar 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ vorbereitet beteiligte sich aktiv am Seminar/ 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ an der Veranstaltung hat den Lernerfolg gefördert 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ Zu den Rahmenbedingungen Meine Referententätigkeit wird trifft voll- trifft überhaupt unterstützt... kommen zu nicht zu durch die Betreuung am Seminar-/ 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ Veranstaltungsort durch die Ausstattung der Seminar- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ räume Meine weiteren Eindrücke: ____________________________________________________________________ ____________________________________________________________________ Vielen Dank für Ihre Unterstützung! Quelle: Bundesagentur für Arbeit: Entwurf eines Bogens zur Bewertung durch den Referenten,
Nürnberg 2005
Anhang 99
Anlage 12: Übungen zur Lernerfolgsevaluation Name der Übung: „Was habe ich gelernt?“ Art der Übung: Verbale Einzel- und Gruppenaktivität Dauer: 1 Stunde Ziel: Schlussphase: Beurteilung des Lernerfolgs Inhalt: Alle Teilnehmer beantworten schriftlich die Frage: „Wie schätze ich
meinen Lernerfolg ein – privat und beruflich?“ Die Papiere werden eingesammelt und anonym vorgelesen, wobei
die Teilnehmer vermuten können, von wem die Aussage stammt. Quelle: Weber, H.; Röschmann, D.: Arbeitskatalog der Übungen und Spiele, hrsg. von: Jung, P., 5. Aufl.,
Hamburg 1996, S. 794. Name der Übung: „Ich habe gelernt...“ Art der Übung: Verbale Gruppenaktivität Dauer: 30 bis 60 Minuten Ziel: Schlussphase: Beurteilung des Lernerfolgs Inhalt: Jeweils ein Teilnehmer setzt sich in die Mitte des Kreises und stellt
dort 1 Min. lang dar, was er in dieser Sitzung gelernt hat. Daran anschließend sagen die anderen Teilnehmer, welche
Lernerfolge sie an ihm festgestellt haben. Quelle: Weber, H.; Röschmann, D., a.a.O., S. 795. Name der Übung: „Masken“ Art der Übung: Verbale Paaraktivität Dauer: 15 Minuten Ziel: Schlussphase: Beurteilung des Lernerfolgs Inhalt: Die Teilnehmer geben einander in Paaren Feedback darüber,
welche Verhaltensänderungen sie im Laufe der Sitzungen aneinander festgestellt haben.
Quelle: Weber, H.; Röschmann, D., a.a.O., S. 796.
Anhang 100
Anlage 13: Übungen zur Transfersicherung Name der Übung: „Mini-Coach“ Art der Übung: Partnerübung Dauer: 15 bis 20 Minuten Ziele: Erhöhung der Verbindlichkeit für die Umsetzung; gegenseitige Unterstützung Inhalt: Gegen Ende des Seminars werden 2er-Gruppen gebildet. Aufgabe
ist, dem Partner zu beschreiben, welches Teilziel man sich als erstes zum Umsetzen vorgenommen hat. Der Partner soll präzise nachfragen, damit das Ziel möglichst konkret und umsetzbar wird. Dann werden die Rollen getauscht. Anschließend vereinbaren die Partner einen wöchentlichen Telefontermin, an dem sie sich über die Umsetzung des Teilziels und später über neue Teilziele in gleicher Weise unterhalten wollen.
Quelle: in Anlehnung an Biel, M.: Mini-Coach, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000, S. 201. Name der Übung: „Hoher Gerichtshof“ Art der Übung: Verbale Gruppenaktivität Dauer: 1 Stunde Ziel: Schlussphase: Transferübung Inhalt: Ein Teilnehmer wählt sich aus der Gruppe drei Richter. Diesen
trägt er seine Verhaltensänderungswünsche vor und sie machen wiederum in einer öffentlichen Beratung Vorschläge, auf welche Weise der Teilnehmer sein Verhalten außerhalb der Gruppe ändern könnte.
Quelle: in Anlehnung an Weber, H.; Röschmann, D., a.a.O., S. 799. Name der Übung: „Brief an mich selbst“ Art der Übung: Schriftliche Individualübung Dauer: 15 Minuten Ziel: Überprüfung des bis zum Zeitpunkt der Zustellung des Briefes
Erreichten Inhalt: Zum Ende des Seminars erhalten alle Teilnehmer Briefpapier und
einen frankierten Briefumschlag (evtl. schönes Papier zur Auswahl anbieten), mit der Bitte, einen Brief an sich selbst zu schreiben in Bezug auf das Gehörte, Erlebte, Gelernte, die Zielerreichung, noch vorhandene Defizite, den Handlungsbedarf oder die Erfolge im Seminar. Der Bogen wird in den Umschlag gesteckt, der Umschlag verschlossen. Je nach Thema bzw. Strategie wird der Umschlag am Seminarende oder ein paar Wochen nach dem Seminar dem Teilnehmer zugeschickt.
Quelle: in Anlehnung an Pelzer, A.: Brief an mich selbst, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000,
S. 185.
Anhang 101
Anlage 14: Transfervereinbarung Seminar/Training: __________________________ Name: ____________________ Welche Seminar- bzw. Trainingsinhalte waren für mich am wichtigsten? _____________________________________________________________________ _____________________________________________________________________ Was werde ich aus dem Gelernten an meinem Arbeitsplatz anwenden und bis wann? _____________________________________________________________________ _____________________________________________________________________ Von wem kann ich bei der Umsetzung unterstützt werden und in welcher Form? Welche zusätzlichen Hilfsmittel benötige ich? _____________________________________________________________________ _____________________________________________________________________ Welche Seminarinhalte kann ich an meine Kollegen bzw. an meinen Vorgesetzten weitergeben und in welcher Form (z. B. Kurzreferat, on the job)? _____________________________________________________________________ _____________________________________________________________________ Was ist der erste Schritt, den ich zur Realisierung und Umsetzung des Gelernten setzen muss? _____________________________________________________________________ _____________________________________________________________________ Bis wann habe ich diesen ersten Schritt gesetzt? (Datum) _______________________ Bis wann habe ich mit meinem Vorgesetzten und/oder Bildungsbeauftragten darüber gesprochen? (Datum) _______________________ Alles Gute und viel Erfolg bei der Umsetzung! Quelle: Lang, K., a.a.O., S. 92 f.
Anhang 102
Anlage 15: Der Vertrag mit sich selbst – eine Checkliste 1. Ziele, die ich erreichen will? 2. Das will ich anfassen: 3. Ab wann? 4. Das Anwendungsprojekt soll bis ________ abgeschlossen sein. 5. Wer kann mir dabei helfen? Wen muss ich ansprechen? 6. Wer oder was kann mich hindern, das zu tun, was ich will? 7. Wie will ich die hindernden Kräfte reduzieren? 8. Wer soll mir sagen, welche Fortschritte ich mache? Wer soll mich erinnern, wenn ich es nicht mache? 9. Womit will ich mich bei Gelingen belohnen? 10. Ziele erreicht? 11. Belohnen! 12. Wenn Ziele nicht erreicht, warum nicht? 13. Weitere, neue Maßnahmen: 14. Wer kann mir dabei helfen? Wen muss ich ansprechen? 15. Sonstiges: Quelle: Kurtz, H.-J.: a.a.O., S. 187.
Anhang 103
Anlage 16: Fragebogen für Teilnehmer zum Transfererfolg 1. Wenn Sie den Zeitraum ab Seminarende bis heute betrachten, hatten Sie Gelegenheit, den Lerninhalt umzusetzen (anzuwenden)?
nein hatte ständig Gelegenheit dazu
└─────┴─────┴─────┴─────┘ 2. Wie hat Ihr Vorgesetzter reagiert, als Sie vom Lehrgang zurückkehrten? ablehnend fördernd
└─────┴─────┴─────┴─────┘ 3. Wie hat Ihr Vorgesetzter reagiert, als Sie zum ersten Mal versucht haben, den Lerninhalt umzusetzen (anzuwenden)?
ablehnend ermutigend └─────┴─────┴─────┴─────┘
4. Hat Ihr Vorgesetzter Sie bei der Umsetzung des Lerninhalts unterstützt?
ja, sehr nein, gar nicht └─────┴─────┴─────┴─────┘
5. Hatten Sie Gelegenheit, die Erfahrungen, die Sie bei der Anwendung (Umsetzung) der Lerninhalte am Arbeitsplatz gemacht haben, in Gesprächsrunden mit anderen Teilnehmern des Seminars auszutauschen und Anregungen von weiteren Teilnehmern aufzunehmen?
nein, keine Möglichkeit ja, sehr häufig └─────┴─────┴─────┴─────┘
Wenn ja, wie viel Zeit stand Ihnen hierfür zur Verfügung? ca. ________ Std.
6. Wie hat Ihr Vorgesetzter Sie bei der Umsetzung des Lerninhalts unterstützt?
trifft vollständig zu trifft überhaupt nicht zu
Durch Zuraten, auch bei Fehlschlägen └───┴───┴───┴───┘
Anhang 104
trifft vollständig zu trifft überhaupt nicht zu
Hat durch Loben gezeigt, dass ich └───┴───┴───┴───┘ erfolgreich bin Regelmäßige Gesprächsrunden mit └───┴───┴───┴───┘ dem Vorgesetzten Hat mir zur Anwendung spezielle └───┴───┴───┴───┘ Aufgaben aufgetragen Wir entwickelten einen Maßnahmenplan └───┴───┴───┴───┘ und legten in Stufen Ziele fest Der Vorgesetzte gab mir regelmäßig └───┴───┴───┴───┘ Feedback über meine Anwendungen 7. Wie sollte Ihr Vorgesetzter Sie bei der Umsetzung des Lerninhalts unterstützen?
trifft vollständig zu trifft überhaupt nicht zu
Durch Zuraten, auch bei Fehlschlägen └───┴───┴───┴───┘ Durch Loben, wenn ich erfolgreich bin └───┴───┴───┴───┘ Regelmäßige Gesprächsrunden mit └───┴───┴───┴───┘ dem Vorgesetzten Spezielle Aufgaben zur Anwendung └───┴───┴───┴───┘ auftragen Maßnahmenplan entwickeln └───┴───┴───┴───┘ und in Stufen Ziele festlegen Durch regelmäßiges Feedback └───┴───┴───┴───┘ über meine Anwendungen 8. Wie viel Zeit hat Ihr Vorgesetzter für die Gespräche aufgewendet?
ca. __________ Std./Quartal
Anhang 105
9. Wenn Sie an die Umsetzung Ihres neuen Wissens denken, würden Sie die Möglichkeiten auf
nicht 1x 3x 5x regel- mäßig
Erfahrungsaustausch mit anderen └───┴───┴───┴───┘ Teilnehmern Vertiefung des Stoffes └───┴───┴───┴───┘ Aufarbeitung von Fragen der Praxis └───┴───┴───┴───┘ unter der Leitung des Trainers Sonstiges __________________________ └───┴───┴───┴───┘ begrüßen? 10. In welchem Zeitraum? Monate 2 4 6 8 10 └───┴───┴───┴───┘ 11. Woran stellen Sie fest, dass Sie Ihr neues Wissen anwenden? ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ 12. Inwieweit setzen Sie Ihr neues Wissen ein? sporadisch systematisch
└─────┴─────┴─────┴─────┘ nach Anfertigung eines Umsetzungsplans
strenge Planeinhaltung keine Planeinhaltung └─────┴─────┴─────┴─────┘
nach Umsetzungsort innerbetrieblich außerbetrieblich
└─────┴─────┴─────┴─────┘
Anhang 106
13. Erwarten Sie, dass der Vorgesetzte Sie bei der Umsetzung unterstützt? ja gelegentlich nein
└─────┴─────┴─────┴─────┘ 14. Wie ist Ihr Gesamteindruck über die Nachbereitung des Trainings? sehr gut zufriedenstellend miserabel
└─────┴─────┴─────┴─────┘ 15. Wie viel können Sie umsetzen? nichts alles
└───┴───┴───┴───┴───┴───┴───┴───┘ Vielen Dank für Ihre Mithilfe! Quelle: in Anlehnung an Frankenreiter, J., a.a.O., S. 289 f.
Anhang 107
Anlage 17: Fragebogen zur Bewertung eines WBT durch die Teilnehmer 1. Fragen zum Inhalt des Lernprogramms 1.1 Die Inhalte des WBT-Kurses fand ich
zu ausführlich ڤ gerade richtig ڤ zu knapp ڤ 1.2 An den Inhalten hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 1.3 Waren die Inhalte verständlich aufbereitet?
nein ڤ ja ڤ 1.4 Mir fehlte oft der Bezug zur Praxis
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
1.5 Die Behandlung des Lernstoffs war eher zu oberflächlich ڤ
gerade richtig ڤ zu detailliert ڤ
1.6 Glauben Sie, dass Sie die angebotenen Lerninhalte für Ihre tägliche Arbeit gebrauchen können?
nein ڤ ja ڤ 1.7 Wenn Sie die angebotenen Lerninhalte nicht gebrauchen können: Warum nicht? ___________________________________________________________ ___________________________________________________________
Anhang 108
2. Aufbau des Lernprogramms 2.1 Die Einführung in das Lernprogramm gab mir entscheidende Hinweise zum Aufbau des Programms
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
2.2 Die Programmbedienung des Lernprogramms finde ich technisch eher
schwierig ڤ einfach ڤ 2.3 Womit hatten Sie bei der Bedienung Schwierigkeiten? ___________________________________________________________ ___________________________________________________________ 2.4 Mit der E-Mail-Funktion bin ich gut zurechtgekommen
nein ڤ ja ڤ 2.5 Wo gab es Schwierigkeiten? ___________________________________________________________ ___________________________________________________________ 2.6 Gab es Probleme mit interaktiven Übungsaufgaben? nein ڤ ja ڤ 2.7 Wenn ja, wo liegen die Schwierigkeiten? ___________________________________________________________ ___________________________________________________________ 2.8 Ich konnte mich im Lernprogramm gut orientieren
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
Anhang 109
2.9 An der Struktur (Gliederung) hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 2.10 Die Grafiken veranschaulichten sehr gut das im Text Gesagte
nein ڤ ja ڤ 2.11 Der Text auf den Seiten war zu lang und schwer lesbar
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
3. Die Kommunikation im Lernprogramm 3.1 Der Kontakt mit den Teledozenten war sehr gut
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
3.2 Am Kontakt mit dem Teledozenten hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 3.3 Der Kontakt mit anderen Teilnehmern im Chatroom des Lernprogramms war sehr intensiv
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
3.4 Falls kein oder nur wenig Kontakt vorhanden war: Warum? ___________________________________________________________ ___________________________________________________________
Anhang 110
3.5 Welche Vorteile/Nachteile hat der Kontakt über E-Mail? ___________________________________________________________ ___________________________________________________________ 3.6 Welche Vorteile/Nachteile hat der Kontakt über Newsgroups? ___________________________________________________________ ___________________________________________________________ 3.7 Welche Vorteile/Nachteile hat der Chat-Kontakt? ___________________________________________________________ ___________________________________________________________ 3.8 Welche Vorteile/Nachteile hat das Application-Sharing? ___________________________________________________________ ___________________________________________________________ 3.9 Welche Vorteile/Nachteile haben Video-Konferenzen? ___________________________________________________________ ___________________________________________________________ 4. Ihre Vorgehensweise beim Lernen 4.1 Ich habe folgenden Lernweg eingeschlagen:
individuelle Vorgehensweise ڤ nach der Reihenfolge der Kapitel ڤ nach Anweisung des Dozenten ڤ :sonstiges ڤ _______________________________________________________________
4.2 Ich habe von der Freiheit Gebrauch gemacht, mir meinen eigenen Lernweg zu suchen
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
Anhang 111
4.3 Ich war oft überfordert und wusste nicht, wo es weiter geht
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
4.4 Das individuelle Lernen war für mich eine positive Erfahrung
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
4.5 Ich habe die einzelnen Module eher
unsystematisch bearbeitet ڤ systematisch ڤ 5. Lernkontrolle 5.1 Die Übungsaufgaben haben mir geholfen, meine Lernfortschritte zu beurteilen
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
5.2 Die Übungsaufgaben waren eher
trivial ڤ zu leicht ڤ zu schwer ڤ unlösbar ڤ
5.3 Gab es Schwierigkeiten bei der Lösung der Übungsaufgaben?
nein ڤ ja ڤ
Anhang 112
5.4 Falls ja, welche: ____________________________________________________________________ ____________________________________________________________________ 5.5 Die Lernempfehlungen des Dozenten brachten mich nicht weiter
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ
5.6 Die Praxisbeispiele waren sehr anschaulich
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ
überhaupt nicht zutreffend ڤ 5.7 Beinhaltete das Lernprogramm eine Lern-Statistik?
nein ڤ ja ڤ 5.8 In meine individuelle Lern-Statistik habe ich
noch nie hineingesehen ڤ selten hineingesehen ڤ
oft hineingesehen ڤ 5.9 Falls Sie Ihre Lern-Statistik nicht genutzt haben: Bitten nennen Sie die Gründe: ___________________________________________________________ ___________________________________________________________ 5.10 Welche Informationen in der Lern-Statistik fanden Sie überflüssig? ___________________________________________________________ ___________________________________________________________
Anhang 113
5.11 Ordnen Sie die folgenden Lernhilfe-Werkzeuge nach ihrer Wichtigkeit! (Verwenden Sie die Ziffern 1 bis 6. 1 = sehr wichtig, 6 = am wenigsten wichtig)
______ Lern-Statistik ______ Dozentenrat ______ Praxisbeispiel ______ Informationen aus dem WWW ______ Austausch mit anderen Teilnehmern
5.12 Welche Schwierigkeiten und Probleme sind aufgetreten? ___________________________________________________________ ___________________________________________________________ 6. Lernort und Lernzeit 6.1 Mein Lernort ist
mein Arbeitsplatz in der Firma ڤ ein Rechner, den ich eigens zum Lernen aufsuchen muss ڤ zu Hause ڤ in der Firma und daheim ڤ
6.2 Falls Sie zu Hause und im Betrieb lernen: Wo finden Sie Ihrer Meinung nach die besseren Lernbedingungen vor?
im Betrieb ڤ zu Hause ڤ 6.3 Warum? ___________________________________________________________ ___________________________________________________________ 6.4 Mit dem Lernort bin ich
nicht zufrieden ڤ zufrieden ڤ 6.5 Falls nicht zufrieden: Was könnte verbessert werden? ___________________________________________________________ ___________________________________________________________
Anhang 114
6.6 Welche Störungen hindern Sie am Lernen? ___________________________________________________________ ___________________________________________________________ 6.7 Wie müsste der Arbeitsplatz gestaltet werden, um optimale Lernbedingungen zu erreichen? ___________________________________________________________ ___________________________________________________________ 6.8 Ich lerne mit dem Programm vornehmlich
während der Arbeitszeit (zu festen Zeiten) ڤ während der Arbeitszeit (bei geringem Arbeitsanfall) ڤ nach der Arbeitszeit ڤ in der Pause ڤ
6.9 Ich lerne
unregelmäßig ڤ regelmäßig ڤ 6.10 Falls Sie regelmäßig lernen, lernen Sie immer
zu bestimmten Zeiten ڤ zu unterschiedlichen Zeiten ڤ
6.11 Wenn Sie regelmäßig gelernt haben, wie lange am Tag? ungefähr ___________ 6.12 Wie lange sollte der Kurs Ihrer Ansicht nach dauern? ___________________
Anhang 115
7. Organisation durch den Bildungsanbieter 7.1 Wie funktionierte die Organisation durch den Bildungsanbieter?
sehr gut ڤ gut ڤ befriedigend ڤ ausreichend ڤ schlecht ڤ
7.2 An der Organisation hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 7.3 Verbesserungsvorschläge: ___________________________________________________________ ___________________________________________________________ 8. Lernergebnis 8.1 Der Kurs war für mich ein Erfolg
voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ
überhaupt nicht zutreffend ڤ 8.2 Falls nicht zutreffend, welche Erwartungen an den Kurs blieben unerfüllt? ___________________________________________________________ ___________________________________________________________ 8.3 Bei der neuen Lernform des Telelernens ist mir am wichtigsten: (Verwenden Sie die Ziffern 1 bis 6. 1 = sehr wichtig, 6 = am wenigsten wichtig)
______ ein ruhiger Lernort ______ individuelles Lerntempo ______ direkter Kontakt zum Dozenten ______ Austausch mit anderen Teilnehmern ______ selbstgesteuertes Vorgehen beim Lernen
Anhang 116
8.4 Welchen Rat würden Sie jemandem geben, der mit dem Lernprogramm beginnt? ___________________________________________________________ ___________________________________________________________ 8.5 Ich war zufrieden mit der Lernform und würde sie noch einmal wählen
ja, weil ڤ___________________________________________________________ ___________________________________________________________ nein, weil ڤ ___________________________________________________________ ___________________________________________________________ 8.6 Mir hat gefehlt: ___________________________________________________________ ___________________________________________________________ 8.7 Besonders gefallen hat mir: ___________________________________________________________ ___________________________________________________________ Quelle: Severing, E.; Keller, C.; Reglin, T.; Spies, J., a.a.O., S. 147-155.
Anhang 117
Lernerfolg
Anlage 18: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung
Entscheidung interne/externe Qualifizierung Evaluation interne externe im Vorfeld der Maß- nahmen- realisierung Evaluation in der Durch- führungs- phase Evaluation nach Beendigung der Maßnahme
Quelle: Der Verfasser
Evaluationsprozess
Auswahl des Trainers
Auswahl des Anbieters
Auswahl des Trainers
Ermittlung der Eingangsvoraus-
setzungen der Teilnehmer
Formative Evaluation
Summative Evaluation
Zufriedenheits-erfolg Lernerfolg
Zufriedenheits-erfolg
Transfererfolg Organisations-erfolg
Anhang 118
Lernerfolg
Anlage 19: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung mit potenziellen Wirkungszusammenhängen zwischen den Erfolgsgrößen des Evaluierungsprozesses
Entscheidung interne/externe Qualifizierung Evaluation interne externe im Vorfeld der Maß- nahmen- realisierung Evaluation in der Durch- führungs- phase Evaluation nach Beendigung Legende: Darstellung der potenziellen Wirkungs- der Maßnahme zusammenhänge zwischen den Erfolgsgrößen
Quelle: Der Verfasser
Evaluationsprozess
Auswahl des Trainers
Auswahl des Anbieters
Auswahl des Trainers
Ermittlung der Eingangsvoraus-
setzungen der Teilnehmer
Formative Evaluation
Summative Evaluation
Zufriedenheits-erfolg Lernerfolg
Zufriedenheits-erfolg
Transfererfolg Organisations-erfolg
Anhang 119
Anlage 20: Mehrdimensionalität der Evaluation
Quelle: Der Verfasser
Literatur- und Quellenverzeichnis 120
Literatur- und Quellenverzeichnis Einzelwerke: Arnold, R.:
Betriebliche Weiterbildung. Selbstorganisation – Unternehmenskultur – Schlüsselqualifikationen, 2. Aufl., Baltmannsweiler 1995
Baer, U.:
666 Spiele. Für jede Gruppe, für alle Situationen, 9. Aufl., Seelze 1999 Becker, M.:
Aufgaben und Organisation der betrieblichen Weiterbildung, 2. Aufl., München, Wien 1999
Berthel, J.; Becker, F. G.:
Personal-Management. Grundzüge für Konzeptionen betrieblicher Personalarbeit, 7. Aufl., Stuttgart 2003
Beywl, W.; Geiter, C.:
Evaluation – Controlling – Qualitätsmanagement in der betrieblichen Weiterbildung. Kommentierte Auswahlbibliographie, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996
Bortz, J.; Döring, N.:
Forschungsmethoden und Evaluation. Für Human- und Sozialwissenschaftler, 3. Aufl., Berlin, Heidelberg, New York, Barcelona, Hongkong, London, Mailand, Paris, Tokio 2002
Fackiner, C.:
Konzepte für die Integration von Computer Based Training (CBT) in die betriebliche Weiterbildung am Beispiel Banken. Zielsetzung und Kriterien für den Einsatz computerunterstützter Lernprogramme in der Mitarbeiterschulung, Stuttgart, Marburg, Erfurt 1995
Faulstich, P.:
Strategien der betrieblichen Weiterbildung. Kompetenz und Organisation, München 1998
Freund, F.; Knoblauch, R.; Eisele, D.:
Praxisorientierte Personalwirtschaftslehre, 6. Aufl., Stuttgart 2003
Literatur- und Quellenverzeichnis 121
Gerlich, P.:
Controlling von Bildung, Evaluation oder Bildungs-Controlling? Überblick, Anwendung und Implikationen einer Aufwand-Nutzen-Betrachtung von Bildung unter besonderer Berücksichtigung wirtschafts- und sozialpsychologischer Aspekte am Beispiel akademischer Nachwuchskräfte in Banken, München, Mering 1999
Götz, K.:
Zur Evaluierung beruflicher Weiterbildung. Eine theoretische und empirische Studie zur Wirksamkeit beruflicher Weiterbildung, Weinheim 1993
Gutmann, J., Klose, I.:
Personalentwicklung. Wie Sie Ihre Mitarbeiter fit machen, Planegg 2005 Häring, K.:
Evaluation der Weiterbildung von Führungskräften. Anspruch und Realität des Effektivitätscontrolling in deutschen Unternehmen, Wiesbaden 2003
Hummel, T. R.:
Erfolgreiches Bildungscontrolling. Praxis und Perspektiven, Heidelberg 1999 Kleber, E. W.:
Diagnostik in pädagogischen Handlungsfeldern. Einführung in Bewertung, Beurteilung, Diagnose und Evaluation, Weinheim, München 1992
Köhl, K.:
Seminar für Trainer. Das situative Lehrtraining, Trainer lernen lehren, Hamburg 1996
Körner, P.:
Betriebliche Weiterbildung als Teil der Personalentwicklung. Konzeption und exemplarische Entwicklung eines rechnergestützten Systems zum Weiterbildungsmanagement, Landau 1997
Kolb, M; Bergmann, G.:
Qualitätsmanagement im Personalbereich, Landsberg/Lech 1997 Lang, K.:
Bildungs-Controlling. Personalentwicklung effizient planen, steuern und kontrollieren, Wien 2000
Liepmann, D.; Felfe, J.; Resetka, H.-J.:
Bedarfsanalysen – Voraussetzung für Qualifizierung, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996
Lung, M.:
Betriebliche Weiterbildung. Grundlagen und Gestaltung, Leonberg 1996
Literatur- und Quellenverzeichnis 122
Mentzel, W.:
Personalentwicklung. Erfolgreich motivieren, fördern und weiterbilden, 2. Aufl., München 2005
Mudra, P.:
Personalentwicklung. Integrative Gestaltung betrieblicher Lern- und Veränderungsprozesse, München 2004
Münch, J.:
Personalentwicklung als Mittel und Aufgabe moderner Unternehmensführung, Bielefeld 1995
Nentzel, B.:
Personalentwicklung. Ergebnisse des Projekts „Neue Instrumente für Innovationsprozesse zur Gestaltung von Arbeit und Technik in öffentlichen Büro- und Verwaltungsbereichen“, hrsg. von: Grimmer, K., Düsseldorf 1997
Oechsler, W. A.:
Personal und Arbeit. Grundlagen des Human Resource Management und der Arbeitgeber-Arbeitnehmer-Beziehungen, 7. Aufl., München, Wien 2000
Pawlowsky, P.; Bäumer, J.:
Betriebliche Weiterbildung. Management von Qualifikation und Wissen, München 1996
Pech, U.:
Bildungscontrolling. Deskription, Klassifikation, Identitäten und Disparitäten, Aachen 2001
Petersen, T.:
Handbuch zur beruflichen Weiterbildung. Leitfaden für das Weiterbildungs-management im Betrieb, Frankfurt, Berlin, Bern, Brüssel, New York, Wien 2000
Pieler, D.:
Weiterbildungscontrolling. Eine systemorientierte Perspektive, Wiesbaden 2000 Reischmann, J.:
Weiterbildungs-Evaluation. Lernerfolge messbar machen, Neuwied, Kriftel 2003 Saldern, M. von:
Befragung und Beobachtung im Betrieb, Hohengehren 1998 Scherer, D.:
Evaluation beruflicher Weiterbildung. Eine theoretisch-empirische Analyse auf der Datenbasis des sozio-ökonomischen Panels, Frankfurt, Berlin, Bern, New York, Paris, Wien 1996
Schnell, R.; Hill, P. B.; Esser, E.:
Methoden der empirischen Sozialforschung, 7. Aufl., München 2005
Literatur- und Quellenverzeichnis 123
Schöni, W.:
Praxishandbuch Personalentwicklung. Strategien, Konzepte und Instrumente, Chur, Zürich 2001
Scholz, C.: Personalmanagement. Informationsorientierte und verhaltenstheoretische
Grundlagen, 5. Aufl., München 2000 Severing, E.; Keller, C.; Reglin, T.; Spies, J.:
Betriebliche Bildung via Internet. Konzeption, Umsetzung und Bewertung. Eine Einführung für Praktiker, Bern, Göttingen, Toronto, Seattle 2001 Sonntag, K.:
Lernen im Unternehmen, München 1996 Staehle, W. H.:
Management. Eine verhaltenswissenschaftliche Perspektive, 8. Aufl., München 1999
Toelstede, B. G.; Gamber, P.:
Video-Training und Feedback, Weinheim, Basel 1993 Weber, H.; Röschmann, D.:
Arbeitskatalog der Übungen und Spiele, hrsg. von: Jung, P., 5. Aufl., Hamburg 1996
Weingärtner, M.:
Betriebliche Weiterbildung und Weiterbildungsberatung in mittelständischen Unternehmen, Bergisch Gladbach, Köln 1995
Beiträge aus Sammelwerken: Abicht, L.; Dubiel, G.:
E-Learning in der beruflichen Weiterbildung, in: Peters, S. (Hrsg.): Weiterbildung – Personalentwicklung – organisationales Lernen, München, Mering 2003, S. 155 bis 166
Bergmann, G.:
Bildungscontrolling – Transfer – Evaluation, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, 3. Aufl., Göttingen, Bern, Toronto, Seattle 2003, S. 267 bis 279
Biel, M.:
Mini-Coach, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000, S. 201
Literatur- und Quellenverzeichnis 124
Brehm, K.-H.; Oesterle, H.:
Qualitätsmanagement in der Weiterbildung der Siemens AG, in: Süddeutsche Zeitung (Hrsg.): Bildungscontrolling in der betrieblichen Personalentwicklung, München 1996, S. 25 bis 26
Bronner, R.; Hische, V.:
Zur Entwicklung eines Evaluations-Instrumentariums, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 47 bis 55
Dittler, U.:
Einführung – E-Learning in der betrieblichen Aus- und Weiterbildung, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 9 bis 22
Ebner, H. G.:
Das Problem des Anknüpfens an Vorerfahrungen in Veranstaltungen der Erwachsenenbildung, in: Müller, K. R. (Hrsg.): Kurs- und Seminargestaltung. Ein Handbuch für Mitarbeiter/-innen im Bereich von Training und Kursleitung, 5. Aufl., Weinheim, Basel 1994, S. 218 bis 227
Freimuth, J.; Hoets, A.:
Evaluationsmethoden, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 211 bis 222
Kailer, N.:
Controlling in der Weiterbildung, in: Münch, J. (Hrsg.): Ökonomie betrieblicher Bildungsarbeit. Qualität – Kosten – Evaluierung – Finanzierung, Berlin 1996, S. 233 bis 250
Kisters, W.:
Blitzlicht – Nichts anbrennen lassen, in: Rachow, A. (Hrsg.): Spielbar II, Bonn 2002, S. 197
Koch, S.; Walter, P.:
S-win – Wissen im Netz. Ein Erfahrungsbericht über E-Learning in der Sparkassen-Finanzgruppe, in: Backhaus, J. (Hrsg.): Aktuelle Handlungsfelder der Personalentwicklung, Stuttgart 2003, S. 142 bis 164
Kurtz, H.-J.:
Anwendungsverträge und Transfercontrolling, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 185 bis 188
Mandl, H.; Winkler, K.:
E-Learning in der Weiterbildung, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, Göttingen, Bern, Toronto, Seattle 2003, S. 229 bis 236
Literatur- und Quellenverzeichnis 125
Martens, J.-U.:
Empirische Erprobung „objektivierter Lehrsysteme“, in: Will, H.; Winteler, A.; Krapp, A. (Hrsg.): Evaluation in der beruflichen Aus- und Weiterbildung. Konzepte und Strategien, Heidelberg 1987, S. 89 bis 107
Michel, L. P.:
Wunsch und Wirklichkeit – E-Learning in KMU, in: Zinke, G.; Härtel, M. (Hrsg.): E-Learning. Qualität und Nutzerakzeptanz sichern. Beiträge zur Planung, Umsetzung und Evaluation multimedialer und netzgestützter Anwendungen, Bielefeld 2004, S. 105 bis 114
Pelzer, A.:
Brief an mich selbst, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000, S. 185 Reuther, U.; Frank, G.:
Lernerfolg und Transfer, in: Heeg, F. J.; Münch, J. (Hrsg.): Handbuch Personal- und Organisationsentwicklung, Stuttgart, Dresden 1993, S. 424 bis 436
Ruschel, A.:
Die Transferproblematik bei der Erfolgskontrolle betrieblicher Weiterbildung, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 297 bis 322
Schweizer, K.-U.:
Live E-Learning – Dozentengeführte Seminare in Intranet und Internet, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 221 bis 246
Tergan, S.-O.:
Grundlagen der Evaluation. Ein Überblick, in: Schenkel, P.; Tergan, S.-O.; Lottmann, A. (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand, Nürnberg 2000, S. 22 bis 51
Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H.:
Evaluation von Personalentwicklungsmaßnahmen, in: Sonntag, K. (Hrsg.): Personalentwicklung in Organisationen. Psychologische Grundlagen, Methoden und Strategien, 2. Aufl., Göttingen, Bern, Toronto, Seattle 1999, S. 261 bis 286
Wilkening, O. S.:
Bildungs-Controlling – Erfolgssteuerungssystem für Personalentwicklungs-investitionen?, in: Riekhof, H.-C. (Hrsg.): Strategien der Personalentwicklung. Esso, Gore, Hamburg-Mannheimer, Hewlett-Packard, Matsushita, Opel, Philips, Siemens, VW, Weidmüller, Weka, 4. Aufl., Wiesbaden 1997, S. 253 bis 278.
Literatur- und Quellenverzeichnis 126
Beiträge aus Zeitschriften: Arzberger, H.; Mayer, T.:
Evaluation als integraler Bestandteil der HR-Arbeit, in: Personalführung 3/04, S. 32 bis 40
Becker, M.:
Kosten der Personalentwicklung: Wer soll das zahlen?, in: Personal 1/04, S. 9 bis 13
Bommer, S.:
Tutoring – ein kritischer Erfolgsfaktor beim E-Learning, in: Personal 1/03, S. 43 bis 44
Engel, A.:
Personalentwickler auf Abruf, in: managerSeminare 1/03, S. 80 bis 88 Gloger, S.:
Den Trainingserfolg voraussagen, in: managerSeminare 11/05, S. 18 bis 21 Graf, A.:
Evaluation von Personalentwicklung, in: Wirtschaftswissenschaftliches Studium 2/01, S. 69 bis 74
Klein, H. E.:
Vorsichtige Annäherung, in: Personal 2/05, S. 6 bis 9 Kröll, M.:
Grenzen und Möglichkeiten von E-Learning, in: Personal 2/05, S. 10 bis 12 Lau, V.:
Personalentwicklung von außen, in: managerSeminare 11-12/03, S. 18 bis 23 Reiß, M.:
Kritische Erfolgsdeterminanten des Blended Learning, in: Personal 9/03, S. 26 bis 29
Spiel, C.:
Aus Evaluation lernen?!, in: Personalführung 3/04, S. 1
Literatur- und Quellenverzeichnis 127
Beiträge aus dem Internet: Fraunhofer-Verbund, e-Industrial Services, o.J. online:
Blitzlicht. http://www.e-industrial-services.de/servlet/is/11819/, 28.11.05 Niklas, C., 2002 online:
Mehr Entscheidungssicherheit mit der Nutzwertanalyse. http://community.easy-mind.de/page-76.htm, 18.11.05
Qualitätsgemeinschaft Berufliche Weiterbildung Köln, o.J. online:
Qualitätskriterien. http://www.weiterbildung-koeln.de/ueber_uns/ qualitaetskriterien_checkliste_2005.pdf, 27.12.05
Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler- Universität Linz, o.J. online:
Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.05
Sonstige Quellen: BBQ Berufliche Bildung gGmbH:
Fragebogen zur Bewertung des Referenten, Stuttgart 2005 Bundesagentur für Arbeit:
Entwurf eines Bogens zur Bewertung durch den Referenten, Nürnberg 2005