19. jahrestagung der degeval – gesellschaft für evaluation ... · 19. jahrestagung der degeval...

19. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V. an der School of Education und am

Fachbereich für Erziehungswissenschaft der Universität Salzburg 21.-23. September 2016

WIR DANKEN UNSEREN SPONSOREN:

19. Jahrestagung der DeGEval | „Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“ | 21. - 23. September 2016 | SoE Universität Salzburg

INHALT

Orientierungshilfe 1 Grußworte 8 Programmübersicht 11 Weiterbildungsseminare 15 Keynote 18 Sessions Block A 19 Sessions Block B 24 Sessions Block C 30 Sessions Block D 37 Sessions Block E 42 Abschlussgespräch 47 Posterpräsentationen 48 Liste der Teilnehmerinnen und Teilnehmer 49

19. Jahrestagung der DeGEval | „„Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“" | 21. - 23. September 2016 | FB Erziehungswissenschaft und SoE Universität Salzburg

19. Jahrestagung der DeGEval | „„Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“" | 21. - 23. September 2016 | FB Erziehungswissenschaft und SoE Universität Salzburg

1

ORIENTIERUNGSHILFE I. Die Paris Lodron Universität Salzburg

II. Unipark Nonntal 1. Standort der Tagung 2. Lageplan zur Tagung 3. Anreise zur Tagung

III. Wissenswertes 1. Wlan-Zugang Unipark 2. Sehenswürdigkeiten der Stadt Salzburg 3. Stadtführung, Donnerstag, 22.09.2016 (Treffpunkt: Foyer Haupteingang Unipark,

um 18.40 Uhr). Details siehe Seite 6. 4. Abendessen am Mittwoch, 21.09.2016, und Donnerstag, 22.09.2016

I. Die Paris Lodron Universität Salzburg

Salzburg zählt aufgrund seiner wunderschönen Landschaft, zahlreichen historischen Sehenswürdigkeiten und der Festspiele zu den schönsten und interessantesten Städten der Welt.

Bild: Stadt Salzburg; @ Tourismus Salzburg

Salzburg ist eine Universitätsstadt mit Tradition. Fürsterzbischof Paris Lodron, der Namenspatron der Universität, gründete sie 1622. Heute besteht sie aus vier Fakultäten mit rund 18.000 Studierenden und 2.800 Mitarbeiterinnen und Mitarbeitern. Sie ist ein Zentrum für innovative Forschung und fest in das kulturelle und wirtschaftliche Leben Salzburgs integriert. Mit ihrer nationalen wie internationalen Vernetzung ist sie eine moderne Wissensdrehscheibe im Herzen Europas. Die Universität setzt sich ehrgeizige Zukunftsziele in Forschung, Lehre und Nachwuchsförderung und versteht sich als Ort eines Bildungsdialoges zwischen Wissenschaft und Öffentlichkeit. Die Universität Salzburg bietet Studierenden ein breit gefächertes Studienangebot mit einem ausgewogenen Verhältnis von Lehrenden zu Studierenden.

Paris Lodron Universität Salzburg Kapitelgasse 4-6 5020 Salzburg Austria www.uni-salzburg.at

19. Jahrestagung der DeGEval | „Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“ | 21. - 23. September 2016 | FB Erziehungswissenschaft und SoE Universität Salzburg

2

II. UNIPARK Nonntal

1. Standort der Tagung

Bild: Dachterrasse Unipark Nonntal; @ Luigi Caputo Die Jahrestagung 2016 findet im Unipark Nonntal Salzburg statt und wird vom Fachbereich Erziehungswissenschaft und der School of Education ausgerichtet. Mit dem Bau des Uniparks im Nonntal hat die Universität Salzburg für die Kultur- und Gesellschaftswissenschaften 2011 internationale Maßstäbe gesetzt. Rund 20 Organisationseinheiten der Universität Salzburg sind in dem neuen Gebäude untergebracht. Besonders attraktiv ist die Dachterrasse mit Cafeteria und herrlichem Rundblick auf die Festung Hohensalzburg, das Benediktiner-Frauenstift Nonnberg und die umliegende Bergwelt. Tagungsadresse: UNIPARK Nonntal Erzabt-Klotz-Straße 1 5020 Salzburg

Die Nachhaltigkeitsinitiative der Paris Lodron Universität Salzburg. Weil Universitäten das Potential haben, eine Kultur der Nachhaltigkeit zu etablieren: unter den Studierenden von heute und somit den Meinungsführern von morgen.


3

2. Lageplan zur Tagung

Bild: Lageplan UNIPARK Nonntal & Altstadt Salzburg; @ https://maps.stadt-salzburg.at Legende:

Unipark Nonntal: http://www.uni-salzburg.at Restaurant Stieglkeller: http://www.taste-gassner.com/stieglkeller Abendessen am Mittwoch, 21.09.2016, mit Beginn um 19:30 Uhr

Abendessen am Donnerstag, 22.09.2016, Treffpunkt: Foyer Haupteingang Unipark (18:40 Uhr), die Stadtführung endet beim Stieglkeller; Personen, die nicht an der Stadtführung (18:40 bis 19:45 Uhr) teilnehmen, müssen selbst zum Stieglkeller kommen. Das Abendessen findet von 19:45 bis 22:30 Uhr statt.

Detaillierte Stadtpläne von Salzburg sind online abrufbar unter:

- https://maps.stadt-salzburg.at (u.a. Stadtplan für Mobilgeräte) - http://www.salzburg.info/de/service/stadtplan (verschiedene Stadtpläne)


4

3. Anreise zur Tagung Der Unipark Nonntal ist optimal ans öffentliche Verkehrsnetz angebunden und schnell erreichbar:

- 500 Meter in die Altstadt von Salzburg (5 bis 10 Minuten zu Fuß) - 6,6 km zum Flughafen - 4,1 km zum Bahnhof Salzburg - gute Erreichbarkeit zu Fuß und per Fahrrad vieler naheliegender Hotels, der Altstadt sowie

des angrenzenden Landschaftsschutzgebietes

Vergleichen Sie den Energieverbrauch, CO2- und Luftschadstoffemissionen für Flugzeuge, Autos und Züge im europäischen Personenverkehr und

kompensieren Sie die verursachten Emissionen: https://www.atmosfair.de/

Bahn: Mit den Angeboten der Deutschen Bahn, der Österreichischen Bundesbahnen (kurz ÖBB) und der Westbahn bzw. dem Bus kommen Sie besonders umweltfreundlich an Ihr Ziel:

- Die ÖBB: http://www.oebb.at/ - Die ÖBB Sparschiene: https://www.oebb.at/de/angebote-ermaessigungen/sparschiene - CityNightLine: https://www.bahn.de/p/view/angebot/fernverkehrsmittel/city-night-

line.shtml Flugzeug: Salzburg Airport W.A. Mozart:

- 4 km vom Stadtzentrum entfernt - 15 Minuten Transferzeit

Zahlreiche Direktverbindungen z.B. nach Berlin, Düsseldorf, Frankfurt, Hamburg, Köln, Zürich, London und Wien:

- Flughafen Salzburg: http://www.salzburg-airport.com/ - Flughafen München: http://www.munich-airport.de - Tuifly: https://www.tuifly.com/ - Air Berlin: https://www.airberlin.com - Germanwings: https://www.eurowings.com

Öffentlicher Stadtbus Salzburg:

- Den Unipark Nonntal können Sie mit der Linie: 3, 5, 6 und 25 (Haltstelle: Salzburg Justizgebäude) sowie 20 (Haltestelle: Salzburg Unipark / Justizgebäude) erreichen.

- Hier die Fahrplanauskunft des SVV (Salzburger Verkehrsverbunds) für das Land Salzburg, die auch als App für Mobilgeräte zur Verfügung steht: https://salzburg-verkehr.at

- Hier finden Sie die Online-Fahrplanauskunft der ÖBB (für ganz Österreich): http://www.oebb.at


5

Carsharing: Haben Sie schon einmal an die Möglichkeit von Carsharing gedacht? Die Umwelt und Ihr Geldbeutel werden sich freuen: Mitfahrgelegenheit Carpooling: https://www.blablacar.de Fahrrad: Die Fahrradstadt Salzburg lässt sich wunderbar mit dem Rad erkunden. Etliche Fahrradverleih-Stellen bieten die Möglichkeit, Fahrräder und e-Bikes zu mieten, um die Stadt etwas ausgedehnter zu besichtigen. Besonders beliebt sind Ausflüge zum Schloss Hellbrunn oder entlang der Salzach Richtung Oberndorf bzw. Richtung Hallein oder in die Umgebungsorte von Salzburg. BesitzerInnen der SalzburgCard erhalten bei einigen Anbietern eine Ermäßigung.

- Liste Fahrradverleih Salzburg: http://www.salzburg.info/de/kunst_kultur/sport/sportarten/radfahren_biken/radfahren_verleih

- Radkarte Stadt Salzburg: http://www.radlkarte.info/ Taxi: Vor dem Unipark befindet sich ein Taxistandplatz.

- Taxi Salzburg 8111: http://www.taxi.at - Taxi Salzburg 2220: http://www.taxisalzburg.at

PKW: Salzburg liegt im Schnittpunkt des europäischen Autobahnnetzes:

- A1 Wien – Salzburg: Exit 288 – Salzburg Nord – B150 – Unipark - A10 Villach – Salzburg: Exit 55 – B150 – Unipark - A8 München – Salzburg: Exit 297 – Wals – Salzburg-West – B1 – Unipark

Eingabe ins Navigationsgerät:

Straße: Erzabt-Klotz Straße 1; Ort: Salzburg; Postleitzahl: 5020 In Österreich gilt die Vignettenpflicht. Sie können auch Wochenvignetten zum Preis von € 8,00 mit einer Gültigkeit für 10 Tage kaufen. Erhältlich bei Tankstellen in Autobahnnähe.

III. Wissenswertes

1. Wlan-Zugang Unipark

Zwischen 21. und 23.09.2016 steht Ihnen ein unbegrenzter Zugang zum Wlan-Netzwerk „eduroam“ im Unipark zur Verfügung:

- Benutzer: degeval - Passwort: u4TrR9Hd

2. Sehenswürdigkeiten in der Stadt Salzburg Im Folgenden finden Sie einen Überblick zu den Sehenswürdigkeiten in der Stadt Salzburg vom Tourismus Salzburg. Details finden Sie unter: http://www.salzburg.info/de/sehenswertes. Es ist eine verspielte Leichtigkeit, die Salzburg, eine Weltstadt im Kleinformat, so unverkennbar macht: Die Silhouette von Festung, Dom und Kirchtürmen der bezaubernden Barockstadt am Nordrand der Alpen. So schön, dass sie längst UNESCO-Weltkulturerbe ist. So berühmt, dass ihre Sehenswürdigkeiten zu den bekanntesten der Welt zählen.


6

Charismatische Weggefährten: Bei einem Bummel durch die Salzburger Altstadt, liegen einem die Sehenswürdigkeiten zu Füßen: die Residenz, das Glockenspiel, der Dom, die Franziskanerkirche, der Mozartplatz, die Pferdeschwemme, die Hofstallgasse, die Festung Hohensalzburg, das Kloster St. Peter. In allen Ecken und Winkeln verspürt man den Hauch längst vergangener Zeiten: die Epochen haben in Kirchen, Türmen, Fassaden, Balustraden und Emporen ihre Spuren hinterlassen. Und auch die Straßennamen erzählen Geschichten von Ereignissen und Menschen. Schlösser und Gärten: Zahlreiche Schlösser laden in der Stadt und den Umgebungsorten zum Lustwandeln ein: das Schloss Mirabell, wo im Marmorsaal zahlreiche Trauungen vollzogen werden, und dessen Garten zu den schönsten Fotomotiven in Salzburg zählt. Das Schloss Hellbrunn im Süden der Stadt begeistert mit den wundersamen Wasserspielen im Sommer und dem charmanten Christkindlmarkt im Winter. Und auch das Schloss Klessheim in Wals, das Schloss Leopoldskron oder das Schloss Aigen mit seinem Park sind einen Ausflug ins Grüne wert. Museen und Ausstellungen: Ausgezeichnete Galerien und Museen wie das Museum der Moderne, das Rupertinum, Mozarts Geburtshaus, Mozarts Wohnhaus, das Salzburg Museum, das Dommuseum, das Barockmuseum oder das Spielzeugmuseum laden zu einem ausgiebigen Besichtigungsnachmittag ein. Wertvolle Kunstgegenstände, moderne Kunstwerke und so manch skurriles Exponat laden zum Staunen und Wundern ein. Salzburg-Perspektiven: Wie immer Sie Salzburg auch entdecken wollen: zu Fuß, im Fiaker, mit dem Schiff, auf dem Fahrrad, mit dem Bus, alleine oder in Begleitung eines Salzburger Stadtführers – die Stadt offenbart Ihnen gerne ihr Geheimnis aus ganz unterschiedlichen Perspektiven. Von Kapuzinerberg und Mönchsberg etwa blicken Sie auf die Stadt an der Salzach mit ihrer unverkennbaren Architektur, den bunten Fassaden und den Blechdächern, vor den beliebten Hausbergen Gaisberg und Untersberg. Eine Vielzahl an abwechslungsreichen Ausflugszielen in den Umgebungsorten können auf Rundfahrten erkundet werden. 3. Stadtführung: Donnerstag, 22.9.2016, 18:40 bis 19:45 Uhr Am Donnerstag, 22.09.2016, wird eine rund 45-minütige Stadtführung vom Unipark Nonntal (Treffpunkt: Haupteingang) über die Altstadt zum Restaurant Stieglkeller (Festungsgasse 10, 5020 Salzburg), wo das Abendessen stattfindet, abgehalten. Diese wird von der langjährigen Salzburg Guide Frau Reichl-de Hoogh Inez und KollegInnen durchgeführt. Aufgrund des sehr eng gestalteten Zeitrahmens, ist es wichtig, dass sich die Interessierten pünktlich um 18:40 Uhr (die Sessions enden um 18:30 Uhr!) beim Treffpunkt einzufinden. Es ist geplant, dass die Guides auf unterschiedlichen Wegen durch die Stadt zum Stieglkeller führen. Eine geführte Gruppe setzt sich aus rund 15 bis 20 TeilnehmerInnen der Jahrestagung 2016 zusammen. Ablauf der Stadtführung im Überblick:

- Beginn der Stadtführung: 18:40 Uhr, direkt im Anschluss von Session Block C (Ende 18.30 Uhr); Treffpunkt: Haupteingang / Foyer Unipark

- Eintreffen Stieglkeller: 19:30 bis 19:45 Uhr - Eröffnung Buffet: 19:45 Uhr bis 22:30 Uhr


7

4. Abendessen am Mittwoch (21.09.2016) und Donnerstag (22.09.2016)

Mittwoch, 21.09.2016: Stieglkeller (Lage siehe Seite 3; Festungsgasse 10, 5020 Salzburg); Beginn: 19:30 Uhr

Donnerstag, 22.09.2016: Stieglkeller; die Stadtführung endet beim Stieglkeller; Personen, die nicht an der Stadtführung (Beginn: 18:30 Uhr, Treffpunkt Haupteingang Unipark/Foyer) teilnehmen, müssen selbst zum Stieglkeller kommen; das Abendessen findet von 19:45 bis 22:30 Uhr statt.


8

GRUSSWORT: Univ.-Prof. Dr. Philipp Mayring Vorstandsvorsitzender der DeGEval – Gesellschaft für Evaluation e.V.

Sehr geehrte Damen und Herren,

liebe Kolleginnen und Kollegen,

im Namen des Vorstands der DeGEval – Gesellschaft für Evaluation e.V. begrüße ich Sie sehr herzlich zur 19. Jahrestagung unserer Gesellschaft, die in diesem Jahr in Salzburg stattfindet. Unsere Gastgeber sind der Fachbereich für Erziehungswissenschaft und die School of Education der Universität Salzburg.

Ein besonderer Dank geht an das Team, das für die Organisation vor Ort verantwortlich war und ist: PD DDr. Ulrike Greiner, Mag. Michaela Katstaller, Mag. Till Mayrhofer (School of Education) und Ao. Univ.-Prof. Dr. Franz Riffert, Dr. Andreas Paschon sowie Christina Weissenbach (Fachbereich für Erziehungswissenschaft).

Damit wird diesmal auch ein Schwerpunkt auf Evaluation im Bildungsbereich gelegt, was sich in der einleitenden Keynote zeigt. Es freut uns besonders, hier Univ.-Prof. Dr. Herbert Altrichter von der Johannes Kepler Universität Linz gewonnen zu haben.

Ein wesentliches Ziel der DeGEval – Gesellschaft für Evaluation ist es, zur Professionalisierung von Evaluation beizutragen. Einen wichtigen Beitrag dazu leisten unsere Jahrestagungen, die ein Forum zur Präsentation und Diskussion von neuen wissenschaftlichen Erkenntnissen und praktischen Erfahrungen bieten. Die 19. Jahrestagung steht unter dem Generalthema „Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“

Die langfristige Wirkung von Evaluationen in unterschiedlichen sozialen Systemen ist Gegenstand einer intensiven Debatte, die wir anlässlich der 19. Jahrestagung der Gesellschaft für Evaluation in Salzburg aufnehmen wollen. Die Bandbreite erstreckt sich dabei von Fragen zu den Voraussetzungen und Bedingungen für eine gewinnbringende Nutzung von Evaluation, also die Verwendung oder den Gebrauch von Evaluation durch die Stakeholder in einem geplanten Sinne, bis hin zu direkten und indirekten Einflüssen und Wirkungen von Evaluationen. Mit dem Begriff der Nachhaltigkeit wird verbunden, dass durch die Nutzung von Evaluationen und ihren Ergebnissen eine langfristig positive Wirkung entfaltet wird. Dabei sollen gesellschaftliche, ökologische und ökonomische Aspekte gleichermaßen Berücksichtigung finden.

Wie kann eine intendierte, an den Zwecken der Evaluation orientierte Nutzung von Evaluation erreicht werden? Wie greifen Nutzung des Evaluationsprozesses und der Evaluationsergebnisse ineinander? Wie lässt sich die Nachhaltigkeit von Evaluation bestimmen? Wie hängen Nutzung und Nachhaltigkeit von Evaluation zusammen? Braucht es „windows of opportunity“ oder existieren weitere Gestaltungsspielräume?

Wann und unter welchen Bedingungen wird aus Nutzung Nützlichkeit? Hat die zeitliche Nutzung von Evaluation – vor der Evaluation, währenddessen, kurz danach, lange nach der Evaluation – einen Einfluss auf die Nachhaltigkeit von Evaluation?

Welche Rollen kommen den AkteurInnen im „tricky rectangle“, den Auftraggebenden, den Evaluierenden, den VertreterInnen der Nutznießenden und BürgerInnen sowie den politischen Entscheidungsträgern zu, wenn Nutzung und Nachhaltigkeit von Evaluation erreicht werden sollen?


9

Im Jahr 2015 werden von den Vereinten Nationen die Ziele für nachhaltige Entwicklung verabschiedet (Sustainable Development Goals). Wie lässt sich bestimmen, ob diese Ziele erreicht werden? Sind die verfügbaren Monitoring- und Evaluationssystemen hierfür bereits geeignet?

Welche Rolle spielt Evaluation für eine nachhaltige Entwicklung? Welchen Einfluss hat Evaluation im demokratischen Prozess? Wie kann eine lediglich vordergründige Nutzung von Evaluation vermieden werden, die über die Interessen der Auftraggebenden hinaus ein gesellschaftliches, soziales, ökonomisches Wohl im Auge hat?

Inwiefern und wie sind nachhaltige Wirkungen in Evaluationen zu erfassen? Was sind Indikatoren und messbare Bedingungen von Nachhaltigkeit? Wie ist Nachhaltigkeit im inzwischen alltagssprachlichen Sinne zu operationalisieren im Gegensatz zum ursprünglichen Nachhaltigkeitsbegriff?

Kann man in Bezug auf die Fragestellungen von ähnlichen Prozessmustern und Mechanismen in den unterschiedlichen Systemen ausgehen oder gibt es deutliche Unterschiede? Welchen Mehrwert haben Erkenntnisse über Ähnlichkeiten bzw. systembedingte Unterschiede der Nutzung und Wirkungen von Evaluationen für das jeweils eigene Forschungs- und Handlungsfeld?

Auf solche Themenwird in 28 Sessions sowie Blitzvorträgen und Postern eingegangen. Ein Treffen des Nachwuchsnetzwerkes, ein Meet the Authors sowie das Abschlussgespräch zum Thema der Tagung runden das Programm ab. An dieser Stelle geht ein besonderer Dank auch an das Programmkomitee: Wolfgang Böttcher, Jan Hense, Susanne von Jan, Marianne Lück-Filsinger, Sonja Sheikh, Franz Riffert und Angela Wroblewski.

Ich hoffe, dass die Jahrestagung der DeGEval – Gesellschaft für Evaluation auch dieses Mal viele neue Impulse und Möglichkeiten des Austauschs sowie Anregungen für die Zukunft der Evaluation und unserer Organisation liefern wird. Im Namen des Vorstandes danke ich Ihnen herzlich für Ihre Teilnahme. Wenn Sie nicht schon Mitglied der DeGEval sind, bitte ich Sie, über eine Mitgliedschaft nachzudenken. Mitglieder darf ich bitten, für unsere Organisation zu werben.

Eine ertragreiche und anregende Tagung wünscht Ihnen, auch im Namen des Vorstandes,

Ihr Philipp Mayring


10

GRUSSWORT: Lokales Organisationsteam des Fachbereichs für Erziehungswissenschaft und der School of Education der Universität Salzburg

… PD DDr. Ulrike Greiner Dr. Andreas Paschon Ao. Univ. Prof. Dr. Franz Riffert School of Education FB Erziehungswissenschaft FB Erziehungswissenschaft Sehr geehrte Damen und Herren, als Gastgeber der 19. Jahrestagung der DeGEval begrüßen wir Sie ganz herzlich an der Universität Salzburg. Das Thema „Zwischen Nutzung, Einfluss, Wirkung und Nachhaltigkeit von Evaluation“ sowie damit verbundene Ansprüche, Diskurse, Projekte, Entwicklungen und Forschungen sollen auf dieser Tagung diskutiert werden. Evaluation wird sozusagen selbst evaluiert. Wie sehen die Verarbeitungsmuster von Resultaten externer Evaluationen in den unterschiedlichen sozialen Teilsystemen Bildung, Kultur, Wirtschaft, Verwaltung, Politik etc. aus? Wie hängen die Ergebnisse von Evaluationen und deren Kommunikation mit ihrer Nutzung zusammen? Wie werden Evaluationsergebnisse in Entscheidungsprozessen berücksichtigt? Welche unterschiedlichen Qualitätsinteressen können die beteiligten AkteurInnen haben? Und haben wir adäquate Instrumente, um langfristige Auswirkungen zu prüfen? Zu allen diesen Fragen erwartet Sie in den kommenden drei Tagen ein vielfältiges und interessantes Programm, das sich sowohl aus wissenschaftlicher als auch aus praktischer Perspektive den Herausforderungen der nachhaltigen Nutzung von Evaluationen widmet. Wir freuen uns sehr, dass wir Sie drei Tage lang hier im frühherbstlichen Salzburg begleiten können. Mögen Sie auch Momente des sinnlichen, intellektuellen und künstlerischen Genusses in unserer wunderschönen Universitätsstadt Salzburg finden. Wir wünschen Ihnen eine anregende und erlebnisreiche Tagung mit vielen spannenden Diskussionen und für Sie persönlich auch nachhaltigen Erkenntnissen! Ihr Salzburger Team


11

PROGRAMMÜBERSICHT

Mittwoch, 21.09.2016 12:30 - 16:30 Uhr Parallele Weiterbildungsseminare S 1 – Dr. Marianne Lück-Filsinger und Jessica Prigge (SE 1.003) „Einsatz der Grounded Theory (GT) in der Evaluation“ – eine

Forschungswerkstatt S 2 – Dr. Thomas Fenzl (SE 1.004) „Praktische Anwendung der computergestützten Qualitativen

Inhaltsanalyse in der Evaluation“ – eine Forschungswerkstatt S 3 – Prof. Dr. Alexandra Caspari (SE 1.002) Wirkungsmessung im Kontext von Evaluationen – Möglichkeiten und

Grenzen in der Praxis 14:15 - 14:45 Uhr Kaffeepause (Foyer Bibliothek UG) 16:30 - 17:00 Uhr Kaffeepause (Foyer Bibliothek UG) 17:00 - 19:00 Uhr Mitgliederversammlung der DeGEval (HS E.001) (nur für Mitglieder der DeGEval)

ab 19:30 Uhr: gemeinsames Abendessen im Stieglkeller Festungsgasse 10, 5020 Salzburg


12

Donnerstag, 22.09.2016 08:30 - 10:00 Uhr Treffen der Arbeitskreise Berufliche Bildung (SE 1.003) Professionalisierung (SE 1.004) Entwicklungspolitik (SE 1.006 / 1.007) Schulen (SE 1.005) Forschungs-, Technologie- und Innovationspolitik (SE 2.337) Soziale Dienstleistungen (SE 2.407)

Gender Mainstreaming (SE 2.339) Stadt- und Regionalentwicklung (SE 1.007) Gesundheitswesen (SE 2.341) Strukturpolitik (SE 1.009) Hochschulen (SE 1.008 / 1.009) Umweltbereich (SE 2.206) Kultur und Kulturpolitik (SE 2.343) Verwaltung (SE 2.206) Methoden (HS E.003) Wirtschaft (SE 2.408)

10:00 - 10:30 Uhr Kaffeepause (Foyer Bibliothek UG) 10:30 - 12:00 Uhr Tagungseröffnung, Begrüßung und Keynote (HS E.001)

Begrüßung durch Univ.-Prof. Dr. Erich Müller (Vizerektor für Lehre der PLUS) Univ.-Prof. Dr. Philipp Mayring Ao. Univ.-Prof. Dr. Franz Riffert (FB Erziehungswissenschaft der PLUS) PD DDr. Ulrike Greiner (School of Education der PLUS)

Keynote: Univ.-Prof. Dr. Herbert Altrichter, Johannes Kepler

Universität Linz: Die Nutzung von Informationen aus Evaluationen im Mehrebenensystem

Bildung 12:00 - 13:30 Uhr Mittagspause (Foyer Bibliothek UG) 12:00 - 13:30 Uhr Posterpräsentation (HS E.003)

12:15 - 13:15 Uhr Treffen des Nachwuchsnetzwerkes (SE 1.006/1.007)

13:30 - 15:00 Uhr SESSIONS BLOCK A

A 1 – Ohne Stakeholder keine Wirkung: Stakeholder-Management, Evaluation Policy und Deliberation als Strategien (SE 1.006 / 1.007)

A 2 – Evaluation von Nachhaltigkeit: Ansätze, Methoden und Rahmenmodelle (HS E.002)

A 3 – Nation oder Sektor: was prägt die Nutzung von Evaluation? (SE 1.003)

A 4 – Der Modulansatz zur Selbstevaluation von Schulentwicklungsprojekten (MSS) – Ursprüngliche Kernideen, Vernetzung mit Elinor Ostroms Self-Governance Ansatz und Vorteile der aktuellen MSS-Online-Version (SE 1.004)

A 5 – Wirksamkeit von QM und Evaluation in Hochschulen (SE 1.008 / 1.009)


13

A 6 – Wieviel Feminismus braucht die Evaluation von Gleichstellungspolitiken bzw. -maßnahmen? (SE 1.005)

15:00 - 15:45 Uhr Kaffeepause (Foyer Bibliothek UG) 15:45 - 17:15 Uhr SESSIONS BLOCK B B 1 – Salzburg, Berlin, Südtirol: Evaluation und

Evaluationswirkungen in drei Schulsystemen (SE 1.004)

B 2 – Verarbeitung und Nutzen von Evaluationen: Studien aus der Forschung über Evaluation (HS E.002)

B 3 – Systemische Ansätze in Evaluationen im Bereich Kultur und Kulturpolitik (SE 1.003)

B 4 – Nachhaltige Evaluation – Evaluation von Nachhaltigkeit: Herausforderungen für Politik und Verwaltung

(SE 1.008 / 1.009)

B 5 – Meet the authors (SE 1.005)

B 6 – Messe Wirkungen und rede darüber – von Messung und Visualisierung im Bereich der Sustainable Development Goals (SE 1.006 / 1.007)

17:15 - 17:30 Uhr Pause (Foyer Bibliothek UG) 17:30 - 18:30 Uhr SESSIONS BLOCK C

C 1 - Evaluation und Datenerhebungen bei besonderen Zielgruppen (SE 1.003)

C 2 – Evaluation ans Ruder! Verbesserte Steuerung durch Evaluation? (SE 1.004)

C 3 – Indikatoren und Indikatorensysteme: Unterstützung für die Nutzbarkeit von Evaluationen? (SE 1.006 / 1.007)

C 4 – Online-Erhebungen in der Evaluation: Anwendungen und Trends (SE 1.008 / 1.009)

C 5 – Wirken bessere Evaluationen besser? Zum Zusammenhang von Evaluationsqualität und Nutzung (HS E.002)

C 6 – Blitzvorträge (SE 1.005) 18:40 Uhr: Stadtführung (Treffpunkt: Haupteingang; endet beim Stieglkeller) 19:45 bis 22:30 Uhr: gemeinsames Abendessen im Stieglkeller


14

Freitag, 23.09.2016 09:00 - 10:30 Uhr SESSIONS BLOCK D D 1 – Nachhaltige Evaluation von Nachhaltigkeit – absehbare

Herausforderungen (SE 1.006 / 1.007)

D 2 – Wie wirkt Evaluation in Organisationen (hinein)? (SE 1.008 / 1.009)

D 3 – Bildet uns Evaluation weiter? - Nachhaltige Wirkungen von Evaluation im Sektor der Beruflichen Bildung (SE 1.003)

D 4 – Gegenwart und Zukunft der DeGEval-Standards in unterschiedlichen Handlungsfeldern (SE 1.004)

D 5 – Auditierung und Systemakkreditierung im Fokus (SE 1.005)

D 6 – Planung und Durchführung von Evaluationen aus systemischer Sicht (HS E.002)

10:30 - 11:00 Uhr Kaffeepause (Foyer Bibliothek UG) 11:00 - 12:30 Uhr SESSIONS BLOCK E E 1 – Ergebnisse ignorieren und dann weiter so? Nutzung

und Einfluss von Evaluation in politischen Prozessen (SE 1.006/1.007)

E 2 – Erfüllte und enttäuschte Wirkungserwartungen: Erfahrungen mit Evaluation und Qualitätsmanagement im Hochschulbereich (HS E.002)

E 3 – Einfluss und Nachhaltigkeit von Evaluationsergebnissen – drei Fallbeispiele (SE 1.003)

E 4 – Nachhaltigkeitsprüfungen und Evaluationskultur bei Subventionen und Steuervergünstigungen (SE 1.004)

E 5 – Zwischen Schema F und Innovation: Eine politik-feldübergreifende Diskussion zu methodischen Standards (SE 1.008 / 1.009)

E 6 – Zur Nutzung und Nützlichkeit von FTI-Evaluationen in Österreich: aktuelle Befunde (SE 2.337 / 2.339)

12:30 - 12:45 Uhr Preisverleihungen Verleihung des DeGEval Nachwuchs- und Posterpreises (HS E.001) 12:45 - 13:45 Uhr Abschlussgespräch Moderation: Univ.-Prof. Dr. Philipp Mayring (HS E.001) 13:45 - 15:00 Uhr Abschlussimbiss (Foyer Bibliothek UG)


15

WEITERBILDUNGSSEMINARE S 1: „Einsatz der Grounded Theory (GT) in der Evaluation“ – Eine Forschungswerkstatt Dr. Marianne Lück-Filsinger und Jessica Prigge

Inhalt In diesem Weiterbildungsseminar werden vor dem Hintergrund eigener Lehr- und Evaluationserfahrungen mit qualitativen Forschungsmethoden die Produktivität des Forschungsstils der Grounded Theory (GT) und seiner Kodierverfahren im Evaluationszusammenhang im Rahmen einer Forschungswerkstatt gezeigt. Keywords der GT sind Kodieren (offenes, axiales, selektives / theoretisches Kodieren), ständiges Vergleichen / komparative Analyse, Kern- bzw. Schlüsselkategorien. Im Rahmen des Weiterbildungsseminars werden die Teilnehmenden mit diesen Keywords vertraut gemacht. Der Fokus liegt daran anknüpfend auf der Interpretationspraxis qualitativen Datenmaterials im Rahmen einer Forschungswerkstatt auch unter „Zwängen der Evaluation“; weniger im Vordergrund stehen hingegen theoretisch-methodologische Grundlegungen. Unter einer Forschungswerkstatt wird eine spezifische Arbeitsform verstanden, bei der anhand von konkretem Datenmaterial zentrale Analyseschritte angewandt und methodische Fragen erörtert werden. Abschließend werden Potentiale dieses Forschungsstils für die Evaluation auf der Basis der „Kriterien einer guten Theorie“ (Strauss & Corbin, 1990) erörtert. Das Weiterbildungsseminar soll so ausgerichtet sein, dass eine Schwerpunktsetzung durch die Interessen der Seminarteilnehmenden vor Ort möglich ist. Daher ist es ausdrücklich erwünscht, Materialien einzureichen. Bei Interesse senden Sie Datenmaterial (z.B. Interviewtranskripte, Beobachtungsprotokolle) in anonymisierter Form bis zum 01.08.2016 an die ReferentInnen (Kontaktdaten s.u.). Skizzieren Sie dazu kurz den Kontext, Gegenstand und die Fragestellung sowie die zum Einsatz gebrachte Erhebungsmethode. Kontakt: Dr. Marianne Lück-Filsinger Fakultät für Sozialwissenschaften Campus Rastpfuhl Forschungsgruppe Bildungs-, Evaluations- und Sozialstudien (ForBES) Rastpfuhl 12 D-66113 Saarbrücken Tel.: +49 (0)681 / 5867 478 E-Mail: [email protected] Jessica Prigge, M.Eval. Fakultät für Sozialwissenschaften an der Hochschule für Technik und Wirtschaft des Saarlandes Rastpfuhl 12 D-66113 Saarbrücken Tel.: +49 (0)681 / 5867 479 E-Mail: [email protected]


16

S 2: „Praktische Anwendung der computergestützten Qualitativen Inhaltsanalyse in der Evaluation“ – eine Forschungswerkstatt

Dr. Thomas Fenzl

Inhalt Im Feld der sozialwissenschaftlichen Textanalyse hat sich die Qualitative Inhaltsanalyse zu einem Standardverfahren entwickelt (Titscher et al., 2000). Gleichzeitig kann sie im Sinne von Mixed Methodology als Hybrid-Methode bezeichnet werden, da in ihrer Konzeption bereits eine Kombination von Elementen der quantitativen und qualitativen Forschungstradition enthalten ist (Hussy, Schreier & Echterhoff, 2010).

Im Weiterbildungsseminar wird vor dem Hintergrund eigener Forschungs- und Evaluationserfahrungen die praktische computerunterstützte Umsetzung der QIA in der Evaluation thematisiert. Kontakt: Mag. Dr. Thomas Fenzl Institute of Psychology, Alpen-Adria-University Klagenfurt PostDoc Senior Scientist, Department of Applied Psychology and Methods Research Project Assistant, Center for Evaluation and Research Consulting (ZEF) Universitätsstraße 65-67 A-9020 Klagenfurt Tel.: +43 (0)463 / 2700 8655 od. 1608 Mobil: +43 (0)664 / 88 51 11 09 E-Mail: [email protected]


17

S 3: Wirkungsmessung im Kontext von Evaluationen – Möglichkeiten und Grenzen in der Praxis

Prof. Dr. Alexandra Caspari

Inhalt Im Kontext der Debatte um Evidenz und Evaluation wird meist auch diskutiert, ob bzw. wie Wirkungsnachweise von Maßnahmen möglich sind. Zentrale Frage ist mit welchen methodologischen und konzeptionellen Ansätzen Wirkungen kausal einer Maßnahme zugeordnet werden können. Im Mittelpunkt aufgezeigter Lösungsansätze stehen experimentelle Untersuchungsdesigns, die oft als „Königsweg“ für den Test von Kausalhypothesen gelten, aber auch quasi-experimentelle Designs. Im Seminar werden die verschiedenen Untersuchungsdesigns dargestellt und verschiedenen Möglichkeiten zur Bildung von Kontroll- bzw. Vergleichsgruppen aufgezeigt. Der Unterschied zwischen (reiner) Wirkungsmessung und Wirkungsevaluation, in deren Rahmen die Messung kausaler Wirkungen lediglich ein Aspekt darstellt, wird herausgearbeitet. Der Fokus des gesamten Seminars liegt auf konkreten Umsetzungsmöglichkeiten in der Praxis. Es wird aufgezeigt, wann adäquate Untersuchungsdesigns Sinn machen bzw. möglich sind, aber auch wo ihre Grenzen liegen. Über das „Wie“ hinaus, geht das Seminar auch auf die Frage, „was“ gemessen werden soll, ein und zeigt verschiedenen Beispiele der Operationalisierung von „Wirkungen“ auf. Anhand von Beispielen aus diversen Politikfeldern (Soziale Arbeit, Entwicklungszusammenarbeit, Coaching und Supervision) werden konkrete Praxisbeispiele gegeben. Kontakt: Evaluationsforschung, Methoden der empirischen Sozialforschung und Statistik University of Applied Sciences Fachbereich 4 – Soziale Arbeit und Gesundheit Nibelungenplatz 1 D-60318 Frankfurt am Main Tel.: +49 (0)69 / 1533 2660 E-Mail: [email protected]


18

KEYNOTE

Die Nutzung von Informationen aus Evaluationen im Mehrebenensystem Bildung

Univ.-Prof. Dr. Herbert Altrichter, Johannes Kepler Universität Linz Evaluationen sollen bei der Einschätzung und Bewertung von bestehenden Situationen sowie bei der Entdeckung und Konzipierung von Weiterentwicklungsmöglichkeiten helfen. Im Bildungssystem wurde in den letzten Jahren ein neuer Steuerungstyp, die sogenannte „evidenzbasierte Steuerung“ aufgebaut, der nicht nur anlassbezogen Evaluationen von kritischen Merkmalen des Bildungssystems und von neu entwickelten Programmen vornimmt, sondern Evaluations-strategien gleichsam zu mitlaufenden Instrumenten für die Steuerung des Bildungswesens macht. Die bekanntesten (und am weitesten verbreiteten) „evaluationsbasierten“ Steuerungsinstrumente sind die vergleichende Messung von Schülerkompetenzen (standardbezogene Lernstandserhebungen) sowie Schulinspektionen. In dem vor-geschlagenen Beitrag werden diese neuen Steuerungsinstrumente am Beispiel von Österreich und einigen deutschen Schulsystemen skizziert und in ihrer (intendierten) Wirkungslogik analysiert. Anhand von empirischen Untersuchungen über die Nutzung von Schulinspektionen und von Datenrückmeldung über SchülerInnenkompetenzen wird die Frage nach der Angemessenheit der unterstellten Wirkungslogik gestellt. Anhand von Fallstudien über den Umgang österreichischer Primar- und Sekundarschulen mit der Datenrückmeldung über Bildungsstandardergebnisse werden einige Hypothesen über förderliche und hemmende Bedingungen für deren Nutzung für Schul- und Unterrichtsentwicklung formuliert. Literatur: Kuhlmann, S. (2006). Evaluation in der Forschungs- und Innovationspolitik. In R. Stockmann

(Hrsg.), Evaluationsforschung (3. Auflage, S. 287-307). Münster: Waxmann. Strassheim, H., & Kettunen, P. (2014). When does evidence-based policy turn into policy-based

evidence? Configurations, contexts and mechanisms, Evidence & Policy, 10(2), 259-277, http://dx.doi.org/10.1332/174426514X13990433991320.

Wesselink, A., Colebatch, H., & Pearce, W. (2014), Evidence and policy: discourses, meanings and practices, Policy Sciences, 47, 339-344, DOI 10.1007/s11077-014-9209-2.


19

SESSIONS BLOCK A A 1: Ohne Stakeholder keine Wirkung: Stakeholder-Management, Evaluation Policy

und Deliberation als Strategien Donnerstag, 22.09.2016: 13:30 - 15:00 Uhr „Ohne Beteiligung, keine Verbindlichkeit“, ist der Kern von Veränderungsprozessen in Gesellschaft, Politik und Organisationen. Übertragen auf Evaluationsmethoden in komplexen Zusammenhängen stellt sich die Frage nach der konkreten Umsetzung in Multi-Akteurs-Konstellationen auf den verschiedenen Ebenen von Politiken, Programmen und Instrumenten. Gemeinsam mit ExpertInnenen aus der Entwicklungszusammenarbeit sollen anhand von Praxisbeispielen die Faktoren und Methoden erfolgreicher Einbindung von NutzerInnen, AnwenderInnen und politischer AkteurInnen diskutiert werden. Elemente der Impulsvorträge werden im Anschluss im Rahmen einer moderierten Diskussion ergänzt und diskutiert.

Prof. Dr. Jörg Faust, Direktor am Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit, stellt in seinem Beitrag „Deliberation als Strategieprinzip für Evaluierungen in komplexen Akteurskonstellationen“ die Bedeutung des kollektiven Lernens und damit der kollektiven Nützlichkeit von Evaluationen anhand ausgewählter Beispiele der Entwicklungszusammenarbeit in den Vordergrund.

Anknüpfend daran werden Lutz Meyer und Helge Roxin, Senior Evaluatoren am Deutschen

Evaluierungsinstitut der Entwicklungszusammenarbeit, das „Stakeholder-Management im Spannungsfeld zwischen Nutzung, Qualität und Unabhängigkeit strategischer Evaluierungen“ diskutieren. Anhand von Beispielen aus der Instrumentenevaluierung im Bereich der Entwicklungszusammenarbeit wird das Spannungsfeld praxisnah erläutert.

Dr. Ricardo Gomez, Leiter der Stabsstelle Evaluierung der Deutsche Gesellschaft für

Internationale Zusammenarbeit (GIZ) wird in seinem Beitrag „Damit Evaluierungen wirken: Evaluierung als Beitrag zur erkenntnisgestützten Entscheidungsfindung“ Evaluierungs-konzepte und -aktivitäten als Grundlage für „evidence-informed decisions“ in den Kontext politischer und institutioneller Prozesse stellen und die damit verbundenen Chancen und Herausforderungen bei der Umsetzung beleuchten.

Gastgeber: Arbeitskreis Wirtschaft in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Roman Noetzel A 2: Evaluation von Nachhaltigkeit: Ansätze, Methoden und Rahmenmodelle Donnerstag, 22.09.2016: 13:30 - 15:00 Uhr Nachhaltigkeit zielt darauf, Ressourcen so einzusetzen, dass die Stabilität und Regenerationsfähigkeit von Systemen erhalten bleibt. Neben dem ökologischen Anspruch umfasst Nachhaltigkeit noch zahlreiche weitere Aspekte und Konzepte. So geht es auch darum, dass einmal in Gang gesetzte Aktivitäten dauerhaft bestehen und nachwirken. In dieser Session stellen die Vortragenden vor, wie die Nachhaltigkeit von politischen Interventionen durch Evaluationen gemessen werden kann und inwieweit Evaluationen selbst in Organisationen zu nachhaltigen Entwicklungen beitragen können.


20

Sebastian Niedlich von der Freien Universität Berlin stellt einen Analyserahmen für die Evaluation der Nachhaltigkeit von Förderprogrammen vor. Im Vortrag geht es zunächst um einen Überblick zu Konzepten und eine Begriffsbestimmung von Nachhaltigkeit. Darüber hinaus wird u.a. vorgeschlagen, Programmfortführung und Programmwirkung stärker zu trennen, auch sollte der Wirkungsbegriff erweitert werden.

Dr. Lena Hohfeld, Dr. Malte Lech und Dr. Gerald Leppert zeigen an einem Beispiel aus der Entwicklungszusammenarbeit, wie geographische Daten in Wirkungsevaluierungen integriert werden. Geographische Informationen spielen eine wichtige Rolle z.B. bei Programmen der Biodiversität, Landnutzung oder Infrastruktur. Auch bei epidemiologischen Interventionen oder Programmen zu einem verbesserten Gesundheitszugang sind geographische Dimensionen bedeutsam. Im Beitrag wird erläutert, welche Relevanz die Berücksichtigung geographischer Daten für den Nachweis der nachhaltigen Wirkung von Programmen und auch deren Implementierung hat.

Melanie Staats und Kai Hagelauer beschäftigen sich in ihrem Vortrag mit der nachhaltigen Wirkung durch interne Evaluationen in Non-Profit Organisationen. An einem Beispiel der internen Evaluation des Bildungsprogramms der gemeinnützigen Stiftung „Haus der kleinen Forscher“ wird erörtert, wie Nachhaltigkeit operationalisiert werden kann, welche Methoden bei der Evaluation zum Einsatz kamen und welcher (nachhaltige) Nutzen durch die Evaluation für die Organisation entsteht.

Gastgeber: Arbeitskreis Wirtschaft in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Dr. Sonja Kind Schlagwörter: Operationalisierung von Nachhaltigkeit, Wirkungsevaluation, neuartige Evaluations- und Monitoringansätze A 3: Nation oder Sektor: was prägt die Nutzung von Evaluation? Donnerstag, 22.09.2016: 13:30 - 15:00 Uhr Häufig werden Aussagen zur Nutzung, dem Einfluss der Wirkungen und der Nachhaltigkeit von Evaluation auf nationaler Ebene behandelt und ländervergleichend ausgewertet. Dies impliziert die Annahme, dass Evaluationskulturen primär im nationalen Kontext entwickelt und durch Entscheidungen auf dieser Ebene vergleichsweise homogen über die unterschiedlichen Politikfelder und Anwendungsbereiche hinweg geprägt werden. Diese Annahme ist jedoch problematisch: Evaluation ist in seinen zentralen Einsatzbereichen unterschiedlich organisiert. Manche wie z.B. die Entwicklungszusammenarbeit sind stark von internationalen Konzepten geprägt und weisen deshalb über die Länder hinweg eine größere Ähnlichkeit auf. In anderen Anwendungsgebieten dominieren regionale Differenzierungen wie z.B. in der Schulevaluation. Hinzukommen Unterschiede in der Einbindung zivilgesellschaftlicher AkteurInnen sowohl in die politische Gestaltung des Politikfelds als auch in die Durchführung von Evaluationen. So ist z.B. die Evaluation sozialer Dienstleistungen deutlich weniger stark staatliche dominiert als die beiden anderen hier erwähnten Gebiete. Gleichzeitig unterscheiden sich die politischen Systeme verschiedener Länder erheblich: Während einige stark zentralistisch mit hierarchischen Durchgriffsmöglichkeiten ausgestaltet sind, zeichnen sich andere durch eine betont dezentrale Steuerungsstruktur aus, die AkteurInnen jenseits der nationalen Ebene Mitgestaltungsmöglichkeiten eröffnet. Die deutschsprachigen Länder sind hier aufgrund signifikanter Unterschiede interessante Fallbeispiele.


21

Dies spricht für eine systembezogene Betrachtungsweise, bei der nationale Besonderheiten in den Blick genommen und Gemeinsamkeiten sowie Unterschiede der Institutionalisierung herauszuarbeiten sind. In der Vortragssession werden folgende Fragen erörtert:

1. Wie ist Evaluation im Subsystem verankert und welche Nutzung von Evaluationen steht im Vordergrund?

2. Wer ist AdressatIn der Evaluationsergebnisse und wer nutzt sie tatsächlich? 3. Wie, durch welche Mechanismen wird sichergestellt, dass Nutzen durch Evaluation

entstehen kann? 4. Welche Rolle spielen in dem analysierten System Wirkungs- und Ex-post durchgeführte

Nachhaltigkeitsevaluationen? 5. Inwieweit werden in dem System die Wirkungen von Evaluationen erfasst?

Geplant sind vier Kurzvorträge, in denen diese Fragen beantwortet und dann in der anschließenden Diskussion im Querschnittsvergleich betrachtet werden. Moderation: PD Dr. Wolfgang Meyer A 4: Der Modulansatz zur Selbstevaluation von Schulentwicklungsprojekten (MSS) –

Ursprüngliche Kernideen, Vernetzung mit Elinor Ostroms Self-Governance Ansatz und Vorteile der aktuellen MSS-Online-Version

Donnerstag, 22.09.2016: 13:30 - 15:00 Uhr In dieser Session werden zunächst (von Dr. Andreas Paschon) die Kernideen des „Modulansatzes zur Selbstevaluation von Schulentwicklungsprojekten” (Paschon & Riffert 1997, Riffert & Paschon 2005) sowie ihre ursprüngliche Umsetzung in Form eines „paper & pencil”-Instruments, welches an mehreren verschiedenen Schultypen (AHS; BHS und Hauptschulen) in Österreich erfolgreich realisiert worden ist, dargestellt. Neben einer kurzen Darstellung der Fülle an Möglichkeiten, welche der MSS einer evidenzbasierten Schulentwicklung eröffnet – wie z.B. Berücksichtigung aller am Schulprozess beteiligter Gruppen (LehrerInnen, SchülerInnen und Eltern) und damit einhergehend eine multiperspektivische Betrachtung des Schulrealität, Sein-Sollen-Vergleiche (z.B. von Bildungszielen), ein LehrerInnenfeedback für den Unterricht und der Erfassung von zentralen Variablen wie z.B. Selbstwirksamkeitsüberzeugungen und Aggressionen – werden aber auch die Nachteile dieser “paper & pencil”-Version des MSS herausgearbeitet: (1) die bislang schwache theoretische und empirische Absicherung dieses partizipativen und lokal-fokussierten Ansatzes; (2) die relative hohen Kosten, welche den Schulen durch die Dateneingabe entstehen und (3) die ebenfalls dadurch verursachte zeitliche Verzögerung der Datenrückmeldung. Daran anknüpfend wird (von Ao. Univ.-Prof. Dr. Franz Riffert) auf die bislang schwache theoretische und empirische Fundierung des MSS eingegangen; durch eine Vernetzung des MSS mit Elinor Ostroms Self-Governance-Ansatzes (Ostrom 1990, 2010) wird dieser Nachteil deutlich reduziert; es wird insbesondere gezeigt, dass der MSS die von Ostrom in jahrzehntelanger empirischer Forschung zur nachhaltigen lokalen Self-Governance entwickelten sogenannten „Core Design Principles“ durch den MSS in ihrer Implementierung unterstützt werden; dadurch liegt einerseits eine weitere Anwendung dieser Prinzipien auf den Schulbereich vor und andererseits wird dadurch der MSS-Ansatz mit den theoretischen und empirischen Arbeiten von Ostrom vernetzt und damit sowohl theoretisch als auch empirisch gestützt. Schließlich wird auf die aktuell in Entwicklung befindliche MSS-Onlineversion (von Daniela Straitzbichler & Martina Griesmayr) eingegangen, welche gegenüber der klassischen “paper & pencil”-Version einerseits die Kosten eines MSS-Einsatzes für die Schulen stark reduziert und andererseits die Datenrückmeldung erheblich beschleunigt.


22

A 5: Wirksamkeit von QM und Evaluation in Hochschulen Session des AK Hochschulen Donnerstag, 22.09.2016: 13:30 - 15:00 Uhr Die Wirksamkeit oder Effektivität von Qualitätsmanagement und Evaluation im Bereich Hochschulen ist nach wie vor umstritten. Sie reicht von wirkungsvoll bis hin zu Entkopplungsvorwürfen und Beschreibungen von Modeerscheinungen. Dabei handelt es sich zumeist aber um Zuschreibungen, die selten mit empirischen Daten gestützt sind. In der Session wollen wir zwei Forschungsprojekte zur Wirksamkeit von Systemakkreditierung, Qualitätssicherung und -management vorstellen und diskutieren: Dorothee Polte untersucht die „Funktionen und Wirkungen der Systemakkreditierung für die Qualitätsentwicklung und Steuerung von Studium und Lehre in Hochschulen“. Angesichts der steigenden Zahl von systemakkreditierten Hochschulen stellt sich der Bedarf einer systematischen Betrachtung der Veränderungen, die durch die Systemakkreditierung und die hochschulinternen QS-Verfahren an Hochschulen bewirkt werden. Anhand von Dokumentenanalysen und 16 leitfadengestützten Interviews mit Verantwortlichen des Qualitätsmanagements wird den Fragen nachgegangen, welche Veränderungen sich aufgrund der Systemakkreditierung für die Qualitätsentwicklung und Steuerung von Studium und Lehre ergeben und was Erfolgs- und Hinderungsfaktoren für die Etablierung von Qualitätssicherungssystemen im Rahmen der Systemakkreditierung sind? Moritz Ansmann, Alexa Kristin Brase, Florian Reith und Markus Seyfried berichten in ihrem Beitrag „Wirksamkeit von QM aus der Sicht ihrer Entwickler – ein diffuses „Wirkungsgefühl!?“ die Ergebnisse aus einem WiQu-Projekt. Sie führten deutschlandweit 52 leitfadengestützte Interviews und eine bundesweite Befragung von QM-Verantwortlichen an Universitäten und Fachhochschulen durch. Der Beitrag stellt zunächst dar, welches Wirksamkeitsverständnis QualitätsmanagerInnen haben. Anschließend wird ausgewertet, für wie wirksam QM im Allgemeinen gehalten wird und worin mögliche Ursachen von Wirksamkeit bestehen. A 6: Wieviel Feminismus braucht die Evaluation von Gleichstellungspolitiken

bzw. -maßnahmen? Session des AK Gender Mainstreaming Donnerstag, 22.09.2016: 13:30 - 15:00 Uhr Der Gender Mainstreaming Ansatz in der Evaluation verlangt, dass in allen Phasen der Evaluation und in allen Evaluationsschritten die Interessen, Bedürfnisse und Betroffenheiten von unterschiedlichen Gruppen von Frauen und Männern berücksichtigt werden. Feministische Ansätze der Evaluation legen darüber hinaus verstärkt das Augenmerk auf Geschlechterrollenstereotype, Machtunterschiede und unterschiedlichen Zugang zu Ressourcen und versuchen aufzuzeigen, welche Individuen und Gruppen in einem bestimmten Kontext besonders benachteiligt sind bzw. welche dominieren. Sie stellen die Frage danach, wer in einem bestimmten Kontext profitiert, wer Privilegien genießt und ob durch bestimmte Interventionen möglicherweise bestehende Ungleichheiten weiter verstärkt werden. Ziel feministischer Evaluation ist es nicht nur, Ungleichheiten und Ungerechtigkeit sichtbar zu machen sondern auch Wege aufzuzeigen, diese Zustände zu ändern.


23

Im Rahmen der Session wird zunächst ein Überblick über feministische Evaluationsansätze, deren Hintergrund und Anknüpfungspunkte zu Gender Mainstreaming gegeben. Daran anschließend werden zwei kurze Inputs als Einstieg in die Diskussion gegeben. Dabei werden gegensätzliche Positionen vertreten, indem einerseits die Notwendigkeit einer stärkeren politischen Positionierung von Evaluation im Kontext von Gleichstellungspolitiken aufgezeigt wird und andererseits die Vorteile des vergleichsweise neutraleren Gender Mainstreaming Ansatzes betont werden. Ziel der Session ist es, ausgehend von der Einführung in die feministische Evaluation und den beiden Inputs eine breite Diskussion über die Relevanz feministischer Evaluationsansätze aus der Sicht der TeilnehmerInnen vor dem Hintergrund der jeweiligen Arbeitssituationen und Evaluationskontexte zu führen. Dabei stehen u.a. folgende Fragen im Vordergrund: Inwiefern wird durch die Wahl des Ansatzes das Evaluationsdesign beeinflusst? Ergeben sich mit der Wahl des Ansatzes spezifische Anforderungen im Hinblick auf Transfer, Nutzen und Nutzung von Evaluationsergebnissen? Beteiligte AkteurInnen

Dr. Maria Gutknecht-Gmeiner, Impulse Evaluation und Organisationsberatung, Wien: Kurze Einführung in die feministische Evaluation

Dr. Birgit Buchinger, Solution Sozialforschung & Entwicklung, Salzburg: Input für die Diskussion

Dr. Irene Pimminger, defacto Sozialwissenschaftliche Forschung & Beratung, Schlierbach / Berlin: Input für die Diskussion

Dr. Angela Wroblewski, Institut für höhere Studien, Wien: Moderation


24

SESSIONS BLOCK B B 1: Salzburg, Berlin, Südtirol: Evaluation und Evaluationswirkungen in drei

Schulsystemen Donnerstag, 22.09.2016: 15:45 - 17:15 Uhr Ein breites Spektrum empirisch orientierter Verfahren, die unter dem Evaluationsbegriff subsumiert werden können, wird in den Schulsystemen zur Schul- und Unterrichtsentwicklung herangezogen: Kompetenztests, Fremdbewertungen von Schulen im Rahmen von sogenannten Inspektionen und Evaluationsaktivitäten in schulischer Eigeninitiative. In dieser Session sollen Verfahren, die in verschiedenen nationalen Systemen zum Einsatz kommen, aus der Sicht von Nutzen und Wirksamkeit betrachtet werden. Ein Beitrag der Universität Salzburg rückt fachdidaktische Handlungsimplikationen von Lesekompetenztests in den Fokus. Ein Bericht aus einem Berliner Modellversuch an beruflichen Schulen betrachtet innerschulische Qualitätssicherung und diskutiert ambivalente Befunde. Am Beispiel der deutschen Schule in Südtirol wird das Zusammenspiel von externen und internen Evaluationsaktivitäten illustriert. Einzelbeiträge:

Priv.-Doz. DDr. Ulrike Greiner (School of Education Universität Salzburg): Auswirkungen soziologischer, personenspezifischer und unterrichtsbezogener Merkmale auf die Lesekompetenz im Unterrichtsfach Deutsch in der sechsten bis achten Klassenstufe. Eine Evaluationsstudie in einer Neuen Mittelschule im Bundesland Salzburg

Jana Rückmann (Humboldt-Universität zu Berlin, Institut für Erziehungswissenschaften, Abteilung Wirtschaftspädagogik): Interne Evaluation und Qualitätsentwicklung zwischen bildungspolitischen Vorgaben und individueller Entwicklung von Einzelschulen – Befunde aus einem Berliner Modellversuch

Dr. Ursula Pulyer (Evaluation für die deutsche Schule, Provinz Bozen): Evaluation an den deutschsprachigen Schulen Südtirols. Ein Fallbeispiel zur Frage „Das Verhältnis von externer und interner Evaluation. Ersetzen, ergänzen oder bedingen sie sich gegenseitig?“

Gastgeber: Arbeitskreis Schulen in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Michael Frais & Dr. Monika Renz Schlagwörter: Unterrichtsevaluation, Schulentwicklung, Nutzbarmachung von Evaluations-ergebnissen für Lehrkräfte, partizipative Evaluation, fokussierte Evaluation, Management, Werkzeuge


25

B 2: Verarbeitung und Nutzen von Evaluationen: Studien aus der Forschung über Evaluation

Donnerstag, 22.09.2016: 15:45 - 17:15 Uhr Zunehmend wird die Evaluation zum Gegenstand der Forschung. Immer zahlreicher zeigen uns wissenschaftliche Befunde auf, welche Ursprünge, Formen und Bedeutungen Evaluationen in verschiedensten Zusammenhängen aufweisen. Diese Reflexion vermag der Weiterentwicklung der Evaluation wirkmächtige Impulse zu geben. Zudem bietet die Perspektive der Forschung über Evaluation wertvolle Gelegenheit zu feldübergreifenden, evaluationsfachlichen Diskursen. Deswegen sind die drei Beiträge im Rahmen dieser Veranstaltung aus den Bereichen Soziale Arbeit und Bildung nicht nur für Personen aus diesen Feldern von Interesse, sondern richten sich gleichermaßen an Personen, die sich für fundamentale Fragen etwa nach der Nutzung von Evaluationen interessieren. Gegenüberstellung des Erkenntnisgewinns und Nutzens evaluativer und analytisch-deskriptiver Forschungszugänge im Bereich der sozialwissenschaftlichen Qualitätsforschung Sandra Biewers Grimm, Research Institute on Generations and Family, Youth Research, Universität Luxemburg Der Beitrag befasst sich mit dem Zusammenhang und den Abgrenzungsmerkmalen evaluativer und deskriptiv-analytischer Forschungsmethoden im Rahmen der Qualitätsforschung. Im aktuellen Qualitätsdiskurs zu sozialen Dienstleistungen wird meist ein evaluatives Qualitätsverständnis hervorgehoben, bei dem Ansprüche, Zielsetzungen und Maßstäbe durch evaluative Ansätze überprüft und je nach Erkenntnisinteresse bewertet werden. Demgegenüber bezeichnet Qualität aus einer analytisch-deskriptiven Perspektive die „Eigenart“ einer untersuchten Leistung. Diese Perspektive scheint besonders dann instruktiv, wenn von einem relationalen Qualitätsverständnis auszugehen ist, d.h. wenn unterschiedliche Interessen und Erwartung an die Qualität einer Leistung gebunden sind und ineinanderfließen. Mit einem analytisch-deskriptiven Ansatz können diese Erwartungen als Wesenszüge der Qualität rekonstruiert werden. Wie beide Ansätze zusammenwirken und sich voneinander abgrenzen lassen, wird in einem laufenden Dissertationsprojekt behandelt, welches das Passungsverhältnis externer Qualitätserwartungen und „angewandter Qualitätspraxis“ in der Offenen Jugendarbeit in Luxemburg untersucht. Das Projekt bezieht sich u.a. auf die in Luxemburg gängige Evaluationspraxis in der Offenen Jugendarbeit und reflektiert die Evaluationsergebnisse vor dem Hintergrund unterschiedlicher Qualitätsinteressen der Stakeholder. Ziel des vorliegenden Beitrages ist es, der Frage nachzugehen, in welcher Form sich das Erkenntnisinteresse, die Ergebnisstrukturen und die Nachhaltigkeit einer evaluativen und einer deskriptiv-analytischen Qualitätsforschung unterscheiden und welchen Input ggf. die dokumentarische Evaluationsforschung als „Vermittlerin“ zwischen beiden Komponenten leisten kann.


26

Evaluation im Bildungssystem der Schweiz: Eine empirische Bestandsaufnahme und kritische Einordnung Björn Neuhaus, Eidgenössisches Hochschulinstitut für Berufsbildung EHB, Zollikofen, Schweiz Ausgehend von den gesetzlichen Grundlagen zur Evaluation auf eidgenössischer und kantonaler Ebene, werden die Evaluationsaktivitäten unterschiedlicher staatlicher und nicht staatlicher AkteurInnen in der Beruflichen Bildung dargelegt. Diese ist auch in der Schweiz schwerpunktmäßig „dual“ angelegt, d.h. mit betrieblichen und schulischen Anteilen. Am Beispiel zweier „systemischer Evaluationen“, die von der „Parlamentarischen Verwaltungskontrolle“ und der „Eidgenössischen Finanzkontrolle“ durchgeführt wurden, wird deren systemische Ausrichtung, Methodik und Wirkung untersucht. Ähnlich angelegte Evaluationen haben in der Vergangenheit lebhafte Debatten ausgelöst. Evaluationen sind also in der Lage, Systeme zu stimulieren. Aber sind sie auch in der Lage, sie (nachhaltig) zu beeinflussen? Und worauf kommt es dabei an? Die Auseinandersetzung mit der Schweiz bietet sich an, weil sie ähnlich wie Deutschland und Österreich über ein föderales politisches System verfügt. Die Evaluation hat in den vergangenen zwei Jahrzehnten jedoch einen zentralen Platz im politisch-administrativen Prozess erhalten. Aufgrund seiner relativ überschaubaren Größe, aber auch inneren Vielfalt, ist die Schweiz zudem ein idealer Forschungsgegenstand. Das Bildungssystem bietet sich aufgrund seiner Skalierbarkeit und des persönlichen Bezugs des Publikums gut als Beispiel für systemische Analysen an. Die Erkenntnisse lassen sich teilweise verallgemeinern und auf andere Politikfelder und Themen übertragen. Was passiert nach der externen Evaluation? Schulische Verarbeitungsmuster im Vergleich Carsten Quesel, Sara Mahler, Andrea Höchli und Kirsten Schweinberger, Pädagogische Hochschule, Fachhochschule Nordwestschweiz, Windisch, Schweiz Externe Evaluationen sollen Aufschluss über die Schulqualität geben und zur Schulentwicklung beitragen. Der Beitrag behandelt die Frage nach den Strategien der innerschulischen Verarbeitung von Resultaten externer Schulevaluation anhand von qualitativen Fallstudien in vier Schweizer Kantonen. In der längsschnittlichen Begleitung treten vier Verarbeitungstypen hervor, die sich zum einen hinsichtlich der Steuerungsverfahren und zum anderen hinsichtlich der Gegenstandsbereiche der getroffenen Maßnahmen unterscheiden. Die Befunde weisen darauf hin, dass Strategien, bei denen das Kollegium frühzeitig in den Entwicklungsprozess einbezogen wird, die besten Perspektiven für weitreichende und nachhaltige Veränderungen bieten. Es zeigt sich zudem, dass die Wahl der Verarbeitungsstrategien von politisch-administrativen Rahmenbedingungen und der Organisationskultur der Schule beeinflusst wird. Im Rahmen der Präsentation werden zunächst theoretisch-konzeptionelle Bezugspunkte und das Untersuchungsdesign skizziert. Sodann wird die Typologie der Verarbeitungsmuster vorgestellt und anhand qualitativer Daten illustriert. Abschließend wird die Frage nach den Grenzen der Entwicklungswirksamkeit von externen Schulevaluationen erörtert. Moderation: Prof. Dr. Thomas Widmer Schlagwörter: Forschung über Evaluation, Evaluationsnutzung, Jugendarbeit, Qualitätsmanagement, evidenzbasierte Schulentwicklung, externe Evaluationen, Berufsbildung, Einfluss von Evaluationen, Luxemburg, Schweiz


27

B 3: Systemische Ansätze in Evaluationen im Bereich Kultur und Kulturpolitik

Session des AK Kultur und Kulturpolitik Donnerstag, 22.09.2016: 15:45 - 17:15 Uhr Systemische Ansätze erfahren nicht nur in den Bereichen der Organisationsberatung und -entwicklung und im Coaching einen Boom, sondern sind auch bei Evaluationen zunehmend gefragt. Der besondere Wert dieser Ansätze besteht darin, Evaluationen direkt mit Entwicklungsprozessen in Organisationen oder Projektteams zu verbinden, indem Strukturen von Systemen, Beziehungen und Wechselwirkungen sichtbar, ansprechbar und damit gemeinsam bearbeitbar werden. In verschiedenen Arbeitskreisen der DeGEval wird dieses Thema schon seit Längerem diskutiert und bearbeitet. Im Rahmen der Session steht nun die Weiterentwicklung und Anwendung solcher Ansätze in Programmen und Projekten der Kultur und Kulturpolitik im Mittelpunkt. Im ersten Beitrag von Tina Lierheimer werden zunächst einige systemische Merkmale von Kultur und Kulturpolitik vorgestellt, d.h. das Zusammenspiel von verschiedenen AkteurInnen und Kontextfaktoren kurz erläutert. Auf dieser Basis werden Ansprüche und Erwartungen an und in Evaluationen aus den verschiedenen Perspektiven, exemplarisch auch seitens des Goethe-Instituts, verdeutlicht. Anschließend beleuchtet Birgitt A. Cleuvers aus Sicht einer Evaluatorin verschiedene Aspekte einer systemischen Herangehensweise an eine Evaluation von Programmen und Projekten in Kultur und Kulturpolitik. Die systemisch orientierten Ansätze werden am Beispiel ausgewählter Erhebungen während der Prozessevaluation des Projekts „Identity.move!“ des Warschauer Goethe-Instituts veranschaulicht und bewertet. Den Vorträgen schließt sich eine moderierte Diskussion zu Möglichkeiten, Grenzen und dem Mehrwert des Einsatzes systemischer Ansätze und Interventionen, Methodenauswahl und Partizipation sowie Zweck- und Zielorientierung zwischen prozessorientierter, kreativer Offenheit und Produktionsorientierung in der Kultur an. Vorträge:

Tina Lierheimer (Referentin für Strategie und Evaluation am Goethe-Institut München): Systemische Grundlagen in Kultur und Kulturpolitik – Ansätze für Evaluation

Birgitt A. Cleuvers (freie Wissenschaftlerin, Evaluatorin, Mediatorin, Coach): Eckpunkte systemischer Ansätze in Evaluationen – Beispiele in der Prozessevaluation „Identity.Move!“

Tülin Engin-Stock, Sprecherin des AK Kultur- und Kulturpolitik; uzbonn – Gesellschaft für empirische Sozialforschung und Evaluation GmbH: Moderation


28

B 4: Nachhaltige Evaluation – Evaluation von Nachhaltigkeit: Herausforderungen für Politik und Verwaltung

Session des AK Verwaltung Donnerstag, 22.09.2016: 15:45 - 17:15 Uhr

Die Erfassung und Bewertung langfristiger Folgen stellt Politik und Verwaltung nicht erst seit der Berücksichtigung des Leitbilds einer nachhaltigen Entwicklung in politischen Entscheidungsprozessen vor große Herausforderungen. In allen Politikfeldern und auf allen Verwaltungsebenen sind Politik und Verwaltung angehalten, ihre Entscheidungen an den Prinzipien einer nachhaltigen Entwicklung zu orientieren. Seit der Verabschiedung der Agenda 21 in Rio im Jahr 1992 sind in Deutschland einige Anstrengungen unternommen worden, politisches Handeln an den Prinzipien einer nachhaltigen Entwicklung auszurichten. So wurde auf Bundesebene u.a. eine Nationale Nachhaltigkeitsstrategie erarbeitet, ein Rat für nachhaltige Entwicklung eingerichtet und das Instrument der Nachhaltigkeitsprüfung eingeführt. Im Zusammenhang mit der Überprüfung der Auswirkungen politischer Maßnahmen auf die nachhaltige Entwicklung ergeben sich jedoch eine Reihe wichtiger Fragen:

- Welche Instrumente stehen zur Verfügung, um die langfristigen Auswirkungen politischer Maßnahmen zu erfassen?

- Wie ist das Verhältnis von Nachhaltigkeitsprüfungen / Nachhaltigkeits-Checks zu Evaluationen?

- Wie werden die mit Hilfe dieser Instrumente gewonnenen Ergebnisse in politischen Entscheidungsprozessen berücksichtigt?

- Wie werden Zielkonflikte zwischen einzelnen Handlungsfeldern aufgelöst? - Welche Institutionellen Voraussetzungen müssen gegeben sein, um langfristige

Auswirkungen adäquat berücksichtigen zu können?

Diesen und weiteren Fragen widmet sich die diesjährige Session des AK Verwaltung.

Vorträge: Axel Piesker: Feigenblatt oder nützliches Instrument? – Die Nachhaltigkeitsprüfung in

Deutschland Prof. Dr. Falk Ebinger, Prof. Dr. Stephan Grohs & Simon Bogumil:

Nachhaltige Umweltverwaltung? Die Evaluation von Reformen der Umweltverwaltung und die Nachhaltigkeit von Reformdefiziten


29

B 5: Meet the authors Session des Nachwuchsnetzwerkes Donnerstag, 22.09.2016: 15:45 - 17:15 Uhr Das Format soll NachwuchswissenschaftlerInnen sowie NachwuchsevaluatorInnen einen Überblick über zentrale Veröffentlichungen im Bereich Evaluationspraxis und Evaluationsforschung geben und einen inhaltlichen Austausch mit AutorInnen ermöglichen. Zu diesem Zweck werden ausgewählte AutorInnen zu der Veranstaltung eingeladen, zunächst im Plenum ihre Publikation vorstellen und dann an separaten Tischen zum Gespräch bitten. Die Gespräche sollen für den Nachwuchs die Möglichkeit bieten, sich mit erfahrenen EvaluatorInnen zu eigenen Themen, Fragen und Herausforderungen auszutauschen. In diesem Rahmen sollen auch Fragen im Zusammenhang mit dem Tagungsthema (Nutzung, Einfluss, Wirkung und Nachhaltigkeit von Evaluation) ausgehend von den Bedürfnissen des Nachwuchses diskutiert werden. Folgende AutorInnen stellen ihre Bücher vor und stehen für ein anschließendes Gespräch zur Verfügung:

Lars Balzer: Planungsbuch für Evaluationen im Bildungsbereich Taschenbuch – 24. August 2015, gemeinsam mit Wolfgang Beywl

Susanne Giel, Katharina Klockgether & Susanne Mäder (Hrsg.): Evaluationspraxis: Professionalisierung Ansätze Methoden Broschiert – 8. September 2015

Wolfgang Meyer: Evaluation. Eine Einführung Broschiert – 19. Februar 2014, gemeinsam mit Reinhard Stockmann

Stefan Rädiker (Autor): Evaluation Online: Internetgestützte Befragung in der Praxis (German Edition) Taschenbuch – 5. Januar 2012, gemeinsam mit Udo Kuckartz, Thomas Ebert, Claus Stefer

Reinhard Stockmann: The future of evaluation. Global Trends, New Challenges, Shared Perspectives. Palgrave macmillan – 2016, gemeinsam mit Wolfgang Meyer

B 6: Messe Wirkungen und rede darüber – von Messung und Visualisierung im

Bereich der Sustainable Development Goals Session des AK Entwicklungspolitik Donnerstag, 22.09.2016: 15:45 - 17:15 Uhr Die Jahrestagung 2016 der DeGEval widmet sich zum einen dem Thema „Nachhaltigkeit“. Hier wird unter anderem die Frage gestellt, wie sich bestimmen lässt, ob die SDG erreicht werden und ob die verfügbaren Monitoring- und Evaluationssysteme hierfür bereits geeignet sind. Zum anderen wird im Call for Proposals das Thema der „Nutzung von Evaluation“ angesprochen. Damit Evaluationsergebnisse jedoch genutzt werden können, müssen diese vorerst bekannt gemacht und rezipiert werden – im Zusammenhang mit den SDG auch durch die allgemeine Öffentlichkeit. Beide Themen sollen in der Session des AK Entwicklungspolitik anhand von zwei Vorträgen diskutiert werden.


30

Der erste Vortrag durch Dr. Judith Müller-Gerold widmet sich der Frage, wie die GIZ ihren Beitrag zur Erreichung der SDGs messen kann. Um hier jedoch Aussagen treffen zu können, die über die Wirkung einzelner Projekte hinausgehen und sich also auf projekt- und länderübergreifende Wirkungen beziehen, müssen die Daten der GIZ auf geeignete Weise erhoben und aggregiert werden. Die GIZ nutzt dazu Aggregationsindikatoren, deren Verwendung vorgestellt und diskutiert wird. Zudem steht im Fokus, wie diese Wirkungsnachweise verständlich aufbereitet und kommuniziert werden, um diese einen breiteren Öffentlichkeit zugänglich zu machen. Der zweite Vortrag bezieht sich darauf, wie die Erreichung der SDGs in Deutschland gemonitort werden kann. Dazu wird in einem Vortrag von Claudia Schwegmann oder ihrer Kollegin Johanna zum Felde von der Open Knowledge Foundation Deutschland dargestellt, wie 2030-watch die Umsetzung der SDG in Deutschland überwacht. Hierbei werden u.a. die herangezogenen Indikatoren und die verfügbaren Daten diskutiert. Darüber hinaus visualisiert 2030-watch den Umsetzungstand der Ziele und versucht, durch anschauliche Darstellung die interessierte Öffentlichkeit zu erreichen. In der anschließenden Diskussion werden u.a. die jeweils genutzten (Aggregations-)Indikatoren und Vorgehensweisen diskutiert. Zudem wird über Möglichkeiten gesprochen, wie relevante Ergebnisse aufbereitet werden können und welche Rolle dies für eine informierte und aufgeklärte Öffentlichkeit spielt.

SESSIONS BLOCK C C 1: Evaluation und Datenerhebungen bei besonderen Zielgruppen Donnerstag, 22.09.2016: 17:30 - 18:30 Uhr In der Evaluation von sozialpolitischen Programmen kommt zumeist ein „Standardset“ an Evaluierungsansätzen wie auch an Methoden aus den Sozialwissenschaften oder der Psychologie zum Einsatz. Bei Programmen, die sich an spezifische Zielgruppen richten, kann dieses Standardset an seine Grenzen stoßen und es ergeben sich methodische und methodologische Fragen. Damit ist sowohl die grundsätzliche Eignung der methodischen Vorgangsweise für die jeweilige Zielgruppe gemeint wie auch die Frage, ob sich aus dem Evaluationskontext nochmal spezifische Anforderungen an einen adäquaten methodischen Zugang bzw. an den Evaluierungsprozess ergeben. Die beiden Beiträge in dieser Session fokussieren auf die Frage eines adäquaten Evaluierungsdesigns und -prozesses für die Evaluation von Maßnahmen für besondere Zielgruppen.

Martin Bruder und Lena Ahrens (Deutsches Evaluierungsinstitut der Entwicklungs-zusammenarbeit, DEval) setzen sich in ihrem Beitrag „Barrieren begreifen: Die Evaluierung des BMZ-Aktionsplans zur Inklusion von Menschen mit Behinderung als Praxisbeispiel einer menschenrechtsbasierten Evaluierung“ mit den Anforderungen an den Evaluierungsprozess und das Evaluierungsdesign im Kontext einer menschenrechtsbasierten Evaluation auseinander. Zu den zentralen Anforderungen zählen die Umsetzung der Prinzipien der Partizipation und Nichtdiskriminierung in der Evaluierung wie auch der Anspruch, die Nutzung der Evaluierungsergebnisse sicherzustellen. Der Beitrag thematisiert die Anforderungen an das Evaluierungsteam sowie den praktischen Umgang mit diesen Herausforderungen.


31

Sibylle Drexler (Universität Osnabrück) diskutiert in ihrem Beitrag „Grundschulkinder richtig befragen und texten – ein schwieriges Unterfangen?“ die Herausforderungen, die sich bei der Anwendung quantitativer Methoden bei sechs- bis zehnjährigen Kindern ergeben. Der Beitrag basiert auf den konkreten Erfahrungen einer mehrjährigen Evaluierungsstudie aus dem Gesundheitsbereich. Es werden die Anforderungen an altersadäquate Erhebungsformen sowie die Problematik der natürlichen Entwicklungssprünge von Kindern für ein Erhebungsdesign, das sich über mehrere Jahre erstreckt und auf die Wirkungen des Programms abstellt, diskutiert.

Gastgeber: Arbeitskreis Gender Mainstreaming in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Dr. Angela Wroblewski Schlagwörter: Standards der Evaluation und ethnische Fragen, Gesundheitswesen, Entwicklungs-politik, Inklusion, menschenrechtsbasierte Evaluation

C 2: Evaluation ans Ruder! Verbesserte Steuerung durch Evaluation? Donnerstag, 22.09.2016: 17:30 - 18:30 Uhr

Evaluationen dienen zur Aufklärung bestimmter Prozesse oder Vorgänge. Sie können darüber hinaus darstellen, wie wirksam öffentliche Gelder eingesetzt werden. Auftraggeber sowie die breitere Öffentlichkeit können und sollen über die Wirkung von staatlichen Projekten informiert werden. In den letzten Jahren hat sich durchaus eine Evaluationskultur entwickelt, die diese Ziele erfüllt. Allerdings sind Wirkungen von Projekten oder Maßnahmen nicht immer gleich manifest. Im Beitrag von Wiemer, Köppner und Hollenrieder wird aufgezeigt, wie die Verstetigung von Evaluationen sozialpräventiver kommunaler Projekte erreicht werden kann, damit Wirkungsmechanismen robust und über Zeit aufgestellt sind. Im zweiten Beitrag führt Kupka auf, wie eine institutionalisierte Evaluation eines Sozial- und Arbeitsmarktgesetzes (SGB II) die Akzeptanz für ein Verfahren fördert. Die wissenschaftliche Begleitung des SGB II durch Evaluation zeigt sowohl Transparenz und Gesellschaftsnähe. Gastgeber: Arbeitskreis Hochschulen in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Dr. Susan Harris-Hümmert


32

C 3: Indikatoren und Indikatorensysteme: Unterstützung für die Nutzbarkeit von Evaluationen?

Donnerstag, 22.09.2016: 17:30 - 18:30 Uhr Die geplante Session C3 – Indikatoren und Indikatorensysteme: Unterstützung für die Nutzbarkeit von Evaluationen orientiert sich am Generalthema der XVIIII. Jahrestagung der DeGEval „Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“

Beide Beiträge beschäftigen sich mit der Evaluation im Bereich der FTI-Politik (Forschungs-, Technologie- und Innovationspolitik), wobei nicht einzelne spezifische Förderprogramme und deren Wirkung untersucht werden, sondern mehr globalen und grundsätzlichen Fragen nachgegangen wird. So wird im Beitrag von P. Kaufmann und L. Wolf versucht, ein konzeptionelles Modell zu entwickeln, auf Grundlage dessen sich programminduzierte soziale Wirkungen (!!) von Förderprogrammen im Bereich der Mobilitätsforschung erfassen lassen. Im Beitrag von Wessels, Kind und Kerlen wird ausgehend von der Hypothese, dass bei EvaluatorInnen in diesem Praxisfeld ein relativ großer Konsens hinsichtlich notwendiger Untersuchungsdimensionen besteht untersucht, ob darauf aufbauend Indikatoren-Systeme so vereinheitlicht konzeptualisiert und erhoben werden können, sodass Vergleichbarkeit zwischen Förderprogrammen hergestellt werden können.

Beide Beiträge nehmen sich damit neue und aktuelle Themen im Bereich der Evaluation von FTI-Förderprogrammen an und behandeln grundsätzliche Fragestellungen. Gastgeber: Arbeitskreis Gesundheit in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Prof. Dr. Georg Spiel C 4: Online-Erhebungen in der Evaluation: Anwendungen und Trends Donnerstag, 22.09.2016: 17:30 - 18:30 Uhr

Internet-basierte Technologien eröffnen neue Möglichkeiten der Befragung und Erhebung in der Evaluation und können abhängig vom Untersuchungsgegenstand, den zu befragenden Personen und des Themas ein gutes Erhebungsinstrument sein. Online-Surveys sind kostengünstig, zeitsparend und zuverlässig, sie erlauben große Stichproben von unterschiedlichen AkteurInnen in einem geographisch unbegrenzten Raum. Neben standardisierten Fragen können auch qualitative Erhebungsmethoden wie offene Befragungen und Gruppendiskussionen durchgeführt und elektronisch ausgewertet werden. Eventuelle Nachteile von Online-Erhebungen können der Zugang zu den TeilnehmerInnen, niedrige Rücklaufquoten oder Selektionseffekte sein, die bei der Auswertung berücksichtigt werden sollten.

Dr. Veronika Reisig MPH, Dr. Joseph Kuhn (Bayerisches Landesamt für Gesundheit und Lebensmittelsicherheit, Gesundheitsberichterstattung, Epidemiologie, Sozialmedizin) & Dr. Stefan Loos (IGES Institut GmbH): Präventionserhebung 2015 Bayern – Herausforderungen und Policy-Potenzial


33

2015 wurde in Bayern eine breit angelegte Bestandsaufnahme der Präventionslandschaft durchgeführt, um eine aktuelle Datenbasis für die Weiterentwicklung der Prävention in Bayern zu schaffen. Die wichtigsten PräventionsakteurInnen (Institutionen) wurden online befragt, der kommerzielle und bürgerschaftliche Sektor mit einer großen Dichte kleiner AnbieterInnen durch explorative Experteninterviews erfasst. Die Wahl von AkteurInnen statt Projekten als Untersuchungseinheit ermöglichte das Abbilden akteurspezifischer Gesichtspunkte. Schwer bestimmbar waren dagegen Aspekte wie die Quantität von Maßnahmenarten oder der Umfang erreichter Zielgruppen. Ebenso eingeschränkt war die quantitative Auswertung maßnahmenbezogener Merkmale z.B. zu Zielgruppen und Themen.

Günter Schiepek: Nutzen, Wirkung und Nachhaltigkeit von Real-Time Online-Evaluation und Prozessteuerung

Die Verfügbarkeit neuer internetbasierter Technologien der Prozess- und Outcome-Erfassung eröffnet umfassende Möglichkeiten der Prozesssteuerung. Fragebögen können dabei in unterschiedlichen, frei einstellbaren Zeitintervallen vorgelegt werden (z.B. Prä-Post, wöchentlich, täglich). Während üblicherweise die Validität und Normierung von Messinstrumenten (z.B. Fragebögen) betont wird, kommt es hier auch substanziell auf die Abtastfrequenz (sampling rate) an. Vor allem nichtlineare und nichtstationäre Prozesse (Phasenübergänge, kritische Fluktuationen, Synchronisationsmuster) erfordern eine hochfrequente und äquidistante Abtastrate (im Bereich von Therapie und Beratung z.B. tägliche Einschätzungen), wobei diese normiert werden sollte, um zu vergleichbaren Aussagen zu kommen. Nur so können vergleichbare Aussagen über sudden gains, sudden losses, rupture-repair Sequenzen, usw. gemacht werden. Dabei können solche Monitoring-Verfahren auch genutzt werden, um Prozesse mittels real-time Feedback zu steuern und verschiedene Lernprozesse (z.B. der Emotionsregulation, Selbstmotivierung, Mentalisierung) anzuregen. In verschiedenen Studien konnten therapeutische und prozesskatalysierende Effekte des Therapiefeedbacks belegt werden. Wissenschaftstheoretische Fragen ergeben sich z.B. zu reaktiven Messungen, denn prozesskatalysierendes Monitoring ist reaktiv und soll gleichzeitig valide Daten liefern (ein Widerspruch?). Auch lassen sich die Philosophien qualitativer und quantitativer Forschung zu einer Synthese bringen. Gastgeber: Arbeitskreis Strukturpolitik in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Regina Grajewski und Dr. Stefan Meyer Schlagwörter: Online-Befragung, online-Survey, Internet-basierte Technologien, Experteninterview, standardisierter Fragebogen, offene Fragen, real-time Feedback, qualitative Forschung, quantitative Forschung


34

C 5: Wirken bessere Evaluationen besser? Zum Zusammenhang von Evaluationsqualität und Nutzung

Donnerstag, 22.09.2016: 17:30 - 18:30 Uhr Evaluation ist der Nützlichkeit verpflichtet. Sie soll zur Entscheidungsfindung dienen oder zur Verbesserung – jedenfalls Wirkungen auf den Evaluationsgegenstand zeigen. Doch welche Wirkungen kann man tatsächlich erwarten? Und woran liegt es, ob Evaluationen genutzt werden oder nicht? Die beiden Beiträge dieser Sessions gehen diesen Fragen in unterschiedlichen Evaluationsfeldern nach und versuchen zu bestimmen, welche „Qualitäten“ die Wirksamkeit von Evaluationen beeinflussen. Sie ziehen dafür empirische Forschungsergebnisse aus umfassenden Meta-Evaluationen heran, die auf Basis der Standards für Evaluation mittels Dokumentenanalysen sowie Befragungen von Beteiligten durchgeführt wurden. Die unterschiedlichen Schlussfolgerungen der beiden Meta-Evaluationen sollen herausgearbeitet und im Anschluss an die Beiträge – nicht zuletzt vor dem Hintergrund der unterschiedlichen Evaluationsfelder und organisatorischen Kontexte – diskutiert werden.

Nutzung von Projektevaluierungen: Ergebnisse einer Meta-Evaluierung auf Basis der DeGEval Standards Im ersten Beitrag wird die Praxis der Projektevaluierungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) beleuchtet. Aktuell werden ca. 100 Projektevaluierungen jährlich durchgeführt. Um die Qualität der Evaluierungen zu erfassen, wurde im Winter 2015/16 eine umfassende Meta-Evaluation durchgeführt. Dafür wurde aufbauend auf den DeGEval-Standards ein Analyseraster entwickelt, das neben der Genauigkeit auch die Dimensionen Prozessqualität („Durchführbarkeit“ und „Fairness“) sowie die Nützlichkeit operationalisiert und bewertet. Dabei wurde auf die Erfassung der Nutzung der Evaluationen auf verschiedenen Ebenen geachtet. Es zeigte sich, dass insbesondere die Nutzung der Evaluierungsergebnisse auf der Projektebene gut gelingt, während die Nutzung auf Unternehmensebene herausfordernd ist. Die Einbindung von Stakeholdern im Evaluationsprozess erwies sich als positive Einflussgröße. Hingegen konnte kein Einfluss der methodischen Qualität auf die Nutzung festgestellt werden. Die Ergebnisse der Meta-Evaluation fließen aktuell in einen Reformprozess des Instruments Projektevaluation ein. Die Erhebung 2015/16 soll darüber hinaus im Sinne einer Baseline-Erhebung als Referenzpunkt für zukünftige Meta-Evaluationen dienen.

Vortragende: Dr. Vera Hundt, Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH Isabelle Freimann, Syspons GmbH Dr. Alexander Erich, Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH Matias Krämer, Syspons GmbH

Fördert die Qualität von Evaluationen die Nutzung? (Does evaluation quality enhance evaluation use?) Den Zusammenhang zwischen Evaluationsqualität und Wirkung untersucht auch der zweite Beitrag anhand von externen Evaluationen im Schulbereich. Je höher die Qualität, desto eher sei die evaluierte Einrichtung bereit, der Evaluation Taten folgen zu lassen, so die Schlussfolgerungen bestehender Studien zur Evaluationsnutzung, die allerdings die Evaluationsqualität von den beteiligten AkteurInnen beurteilen ließen. Eine unabhängige Bewertung von 34 externen Evaluationsberichten von Sekundarschulen des Kantons Zürich im Zeitraum 2006 bis 2014 bildete die Basis der Meta-Evaluation, mit der die AutorInnen dieses Postulat hinterfragen wollten.


35

Die Auswertung erfolgte anhand von 36, aus den vier Dimensionen der Evaluationsstandards abgeleiteten Analysekriterien und beinhaltete, wie die Meta-Evaluation des vorherigen Beitrags auch, eine zusätzliche Befragung von Verantwortlichen. Die Analyse zeigte einen unerwarteten Wirkungszusammenhang: Je höher die Qualität der Evaluation, desto negativer zwar die Sicht der Schulen auf die Evaluation, desto häufiger aber die Umsetzung von Schlussfolgerungen aus den Evaluationsberichten.

Vortragende: Prof. Dr. Thomas Widmer, Universität Zürich, Department of Political Science Dr. Kathrin Frey, Universität Zürich, Department of Political Science Pirmin Bundi, Universität Zürich, Department of Political Science Gastgeber: Arbeitskreis Gender Mainstreaming in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Dr. Maria Gutknecht-Gmeiner Schlagwörter: Meta-Evaluation, Standards für Evaluation, Nutzung von Evaluationen, Wirkung von Evaluationen C 6: Blitzvorträge Donnerstag, 22.09.2016: 17:30 - 18:30 Uhr Nach erfolgreicher Premiere auf der Jahrestagung 2015 in Speyer lockt zum zweiten Mal eine Blitzvortragssession die Tagungsgäste kurze und bündige Einblicke in verschiedene Bereiche und Felder der Evaluation zu erhalten: In fünf Blitzvorträgen werden methodische Aspekte oder Besonderheiten von Evaluationsprojekten beleuchtet. Die Session erlaubt auf diese Weise einen schnellen Überblick über ausgewählte Entwicklungen, Herausforderungen und Fragestellungen der Evaluation unabhängig von Themen, Feldern oder Rahmenbedingungen. Beiträge

1. Evaluation zwischen Programmoptimierung und Theoriekonstruktion am Beispiel einer hochschulischen Weiterqualifizierung (Anna von Werthern, Andreas Hendrich, LMU München, Deutschland) TutorPlus qualifiziert Lehrende unterschiedlicher Hierarchieebenen der Hochschule zu TutorenausbilderInnen, die begleitet eine fachspezifische Tutorenschulung konzipieren und an ihren Lehrstühlen implementieren. Die begleitende Evaluation soll intendierte wie nicht intendierte Wirkungen im Sinne von Nützlichkeit und Nutzbarkeit erfassen sowie prozessbegleitend eine Programmtheorie (re)konstruieren.

2. Ansatzpunkte für eine erfolgreiche Implementierung komplexer Interventionen

in Versorgungseinrichtungen des Gesundheits- und Sozialwesens durch Evaluation (Kira Hower, Lena Ansmann, Institut für Medizinsoziologie, Versorgungsforschung und Rehabilitationswissenschaft, IMVR) Im Projekt EvaFit wird die Implementierung kinderorientierter Strukturen und Prozesse in Drogenberatungsstellen mit dem Ziel des gesunden Aufwachsens von Kindern Drogenabhängiger (Fitdiks) extern, summativ evaluiert und im Hinblick auf Determinanten erfolgreicher Implementierung untersucht.


36

3. Measuring curricular structures: Evaluation of a pediatric course in undergraduate medical education: monitoring curricular changes over a period of eight years (Martina Peter-Kern1, Joy Backhaus2, Sarah König2, 1Pediatric Clinic, University of Würzburg; 2Chair of Medical Teaching and Medical Education Research, University of Würzburg) The aim of this study was to monitor teaching quality and curricular structures over a long period of time. Self-reported data were collected over a period of 8 years involving 15 different student cohorts enrolled on a pediatrics course between 2009 and 2016.

4. Zücken Sie ihr Smartphone, die Lehrevaluation steht an (Marcus Raser, Justus-

Liebig-Universität Giessen, Deutschland) Der Beitrag zeigt, dass Lehrveranstaltungsevaluationen (LVE) zukünftig mit mobilen Endgeräten durchgeführt werden können, ohne Verluste bzgl. der Rücklaufquote oder der Datenqualität hinnehmen zu müssen. Neben der Studie und deren Ergebnissen sollen theoretische Überlegungen vorgestellt werden, warum Studierende in den verschiedenen Bedingungen unterschiedlich häufig an der LVE teilnehmen.

Gastgeber: Arbeitskreis Professionalisierung in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Dr. Dörte Schott


37

SESSIONS BLOCK D D 1: Nachhaltige Evaluation von Nachhaltigkeit - absehbare Herausforderungen Session des AK Umweltbereich Freitag, 22.09.2016: 09:00 – 10:30 Uhr 2015 hat die Generalversammlung der UNO mit den „Sustainable Development Goals. SDG“ einen Aktionsplan für die nächsten 15 Jahre verabschiedet. Die SDGs greifen neben den drei klassischen Nachhaltigkeitsaspekten der sozialen, wirtschaftlichen und ökologischen Entwicklung Anliegen wie Frieden und Sicherheit, Rechtstaatlichkeit und gute Regierungsführung auf. Alle Länder sollen einen Beitrag zum Erreichen der Ziele leisten. Die Ziele sind anspruchsvoll und der Zeitrahmen von 15 Jahren ist kurz bemessen. Dies stellt auch besondere Anforderungen an die Evaluation. Umwelt- und Nachhaltigkeitsfragen erfordern häufig Ursachenforschung auf einer großräumigen oder gar globalen Ebene. Wirkungszusammenhänge können daher sehr hohe Komplexitätsgrade aufweisen, auch wenn bloß kleinräumige Effekte beobachtet und dokumentiert werden sollen. Auch der Einbezug von StakeholderInnen mit stark divergierenden Wertvorstellungen und Interessen ist oft unabdingbar. Zudem ist es oft schwierig, belastbare und vergleichbare Daten zu erhalten. Dies erfordert manchmal zwischenstaatliche Vereinbarungen. Andererseits wird in weiten Teilen auf bestehende Instrumente zurückzugreifen sein, denn dies erlaubt es, in der kurzen Zeit auch auf regionaler und lokaler Ebene zu messbaren Resultaten zu gelangen. Damit ist aber auch die Frage der Vergleichbarkeit von unterschiedlichen Herangehensweisen angesprochen. Mit all dem verbunden ist das Risiko, dass Evaluationen nicht sehr aussagekräftig werden und ihre Ergebnisse wenig zu einer besseren Praxis beitragen. Die Session soll anhand praktischer Beispiele einen Anstoß geben zur Diskussion über folgende Fragen:

Wie lässt sich die Wirkung von Evaluationen von Maßnahmen im Bereich der SDGs erfassen?

Was ist erforderlich, damit die Erreichung der SDGs einzeln und in ihrer Gesamtheit aussagekräftig evaluiert werden kann?

Braucht es Anpassungen bestehender Monitoringsysteme? Sind die heute verwendeten Methoden und Modelle ausreichend? Was ist nötig, damit sichergestellt werden kann, dass diese Evaluationen Nutzen stiften?

D 2: Wie wirkt Evaluation in Organisationen (hinein)? Freitag, 22.09.2016: 09:00 – 10:30 Uhr In diese Session geht es im Kern um die Frage, wie und inwieweit Evaluationen den Standard der Nützlichkeit einhalten können. Gegenstände empirischer Forschung sind psychosoziale Beratungsarbeit, Kriminalitätsprävention sowie Organisationen im Gesundheitswesen. Die Studien versuchen auch Hinweise darauf zu geben, wie Nutzungsbedingungen durch die Art der Evaluation selbst verbessert werden können. In den Studien kommen unterschiedliche Methoden zum Einsatz.

Benjamin Froncek, Agostino Mazziotta, Pamela McCann und Anette Rohmann (FernUniversität Hagen) fragen, wie Beratende der Evaluation ihrer Beratungsarbeit gegenüber eingestellt sind und wie die Praxis der Evaluation von Beratungsarbeit aussieht.


38

Insgesamt 565 Beratende nahmen an einem Online-Survey teil. Die Ergebnisse der Studie werden mit Blick auf den nachhaltigen Nutzen von Evaluation im Kontext der Beratungsarbeit diskutiert.

Annalena Yngborn und Sabrina Hoops (Deutsches Jugendinstitut) beleuchten, inwiefern Evaluationsvorhaben, in denen das Logische Modell mit einem partizipativen Ansatz verknüpft wird, eine gute Voraussetzung dafür darstellen, dass eine an den Zwecken der Evaluation orientierte Nutzung der Evaluationsergebnisse erreicht wird und diese Nutzung nachhaltig ist. Sie berichten aus den Ergebnissen einer Nachbefragung zu einem Forschungsprojekt zur Kriminalitätsprävention im Kindes- und Jugendalter, in dem die Anwendung des Logischen Modells erprobt wurde. Insbesondere die Bedeutung der Partizipation der Fachkräfte für die Nachhaltigkeit wird diskutiert.

Im dritten Beitrag gehen Monika Finsterwald, Georg Spiel (Promente Forschung, Österreich) und Vera Popper (Dynamic Balancing Consulting, Österreich) davon aus, dass ein Nutzenpotential einer Evaluation am besten gegeben ist, wenn der Prozess- und Ergebnisnutzen von vornherein mitgedacht wird und sie partizipativ angelegt ist. Am Beispiel der Organisationen der Promente Gruppe in Kärnten (PM kinder jugend familie GmbH; PM Kärnten GmbH; Reha-Klinik für Seelische Gesundheit GmbH) wird analysiert, welche Merkmale des Nutzungskontexts sich identifizieren und welche Empfehlungen sich ableiten lassen, um die Nachhaltigkeit von Evaluationsbefunden für die Organisationen zu erhöhen.

Moderation: Prof. Dr. Wolfgang Böttcher Schlagwörter: Nutzen, Nachhaltigkeit, Partizipation, Logische Modelle, Organisationsentwicklung im Gesundheitswesen, psychosoziale Beratungsarbeit, Kriminalitätsprävention D 3: Bildet uns Evaluation weiter? - Nachhaltige Wirkungen von Evaluation im Sektor

der Beruflichen Bildung Gemeinsame Session des AK Entwicklungspolitik und des AK Berufliche Bildung Freitag, 22.09.2016: 09:00 – 10:30 Uhr Der Arbeitskreis Entwicklungspolitik und der Arbeitskreis Berufliche Bildung veranstalten auf der 19. DeGEval-Jahrestagung 2016 in Salzburg zum Tagungsthema „Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“ eine gemeinsame Session. Die zentrale Fragestellung der Session bezieht sich darauf, inwieweit die Ergebnisse aus Evaluationen im Bereich der Beruflichen Bildung nachhaltige Wirkungen entfalten können. Um sich diesem Thema zu widmen, konnten zwei Referenten gewonnen werden – der eine Referent kommt dabei schwerpunktmäßig aus dem Bereich der Beruflichen Bildung, der andere aus dem Bereich der Entwicklungszusammenarbeit. So kann der Gegenstandsbereich aus zwei verschiedenen Perspektiven beleuchtet werden. Aus dem Bereich der Beruflichen Bildung konnte Herr Mag. Kurt Schmid vom Institut für Bildungsforschung der Wirtschaft in Wien (ibw) gewonnen werden, der sich u.a. mit der Unterstützung und Begleitung von EU-Ländern des Ostens bei der Etablierung eines nachhaltigen Lehrlingssystems mit „transferablen“ beruflichen Qualifizierungsinhalten beschäftigt. Im Rahmen dieser Begleitung wird der Fortschritt der Projekte auch evaluiert und es stellt sich die Frage, wie man die Ergebnisse der Evaluation idealerweise vermitteln sollte, damit die Ergebnisse


39

angenommen werden und nachhaltige Wirkungen entfalten können. Hierbei werden eigene Lernerfahrungen vorgestellt und diskutiert. Für den Part Entwicklungspolitik konnte Prof. Dr. Reinhard Stockmann gewonnen werden. Dieser hat bereits im Jahr 1999 eine Evaluation von Projekten der Beruflichen Bildung der Hanns-Seidel-Stiftung in China durchgeführt. Dabei strebt die Hanns-Seidel Stiftung in China u.a. an, bedarfsgerechte Berufsbildungsgänge in China zu etablieren und die höhere Berufsbildung zu fördern. Im Jahr 2016, nach 17 Jahren, wurde eine Art „Follow-up-Evaluation“ zum gleichen Gegenstand durchgeführt. Im Rahmen dieser langfristigen Wirkungsstudie werden dabei auch die Wirkungen, die die Evaluation selbst vor allem in Bezug auf die Beruflichen Bildungszentren in China entfalten konnte, herausgearbeitet sowie die Nachhaltigkeit dieser Wirkungen untersucht. Lessons-Learned werden dargestellt. Im Anschluss werden beide Beiträge diskutiert. Moderation: Dr. Anja Lietzmann und Jens Koy D 4: Gegenwart und Zukunft der DeGEval-Standards in unterschiedlichen

Handlungsfeldern Freitag, 22.09.2016: 09:00 - 10:30 Uhr Die Standards für Evaluation der DeGEval formulieren zentrale Ansprüche an Evaluationen in den vier Kriteriendimensionen Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. Sie sind ein zentrales Dokument für das professionelle Selbstverständnis der in der DeGEval versammelten Fachpersonen. Die 2002 erstmals verabschiedeten Standards wurden in einem mehrjährigen und mehrstufigen Revisionsprozess überarbeitet und sollen – bei einem positiven Votum der Mitgliederversammlung – ab Herbst 2016 disseminiert und zur Anwendung gebracht werden. In dieser Session sollen einerseits die wesentlichen Änderungen und Neuerungen der Revisionsfassung vorgestellt und zur Diskussion gestellt werden. Zum zweiten sollen Umsetzungstand und Zukunft der Standards aus der Sicht einiger exemplarischer Handlungsfelder beleuchtet werden. Leitfragen sind dabei u.a.:

Wie anwendbar sind die Standards im Handlungsfeld allgemein und in Bezug auf dort typische Evaluationsvarianten und -verfahren?

Welchen Bekanntheitsgrad haben die Standards im jeweiligen Handlungsfeld und wie kann dieser gesteigert werden?

Welche Unterstützung benötigt die Evaluationspraxis bei der Anwendung der Standards? Inwiefern gibt es im Handlungsfeld in Bezug auf diese Fragen Unterschiede zwischen

Evaluierenden, Auftraggebenden und anderen Stakeholdergruppen? TeilnehmerInnen der Session sind:

Arbeitsgruppe Standards: Prof. Dr. Wolfgang Böttcher, Prof. Dr. Alexandra Caspari, Prof. Dr. Jan Hense, Dr. Michael Kalman, PD Dr. Wolfgang Meyer

Handlungsfeld Hochschule: Prof. Dr. Philipp Pohlenz, Universität Magdeburg Handlungsfeld Forschungs-, Technologie- und Innovationspolitik: Klaus Schuch, Kati Varta,

ftval Handlungsfeld Soziale Dienstleistungen: NN Handlungsfeld Schule: Monika Renz, Landesinstitut für Lehrerbildung und Schulentwicklung


40

D 5: Auditierung und Systemakkreditierung im Fokus Session des AK Hochschulen Freitag, 22.09.2016: 09:00 – 10:30 Uhr Hochschulen sind in den vergangenen drei Jahrzehnten zunehmend zu einem Gegenstand systematisierter Qualitätssicherung geworden. Hintergrund sind nicht zuletzt die quantitative Ausdehnung des Hochschulbildungsbereichs seit den 1960er Jahren, eine damit einhergehende Ausdifferenzierung des Hochschulwesens sowie in jüngerer Zeit eine stärkere Wettbewerbsorientierung der Hochschulen. In den letzten beiden Dekaden wurden in Deutschland und Österreich zahlreiche Instrumente und Verfahren erprobt. Für eine Gesamtschau der Hochschule sind hier vor allem die Systemakkreditierung in Deutschland und die Auditierung in Österreich zu nennen. In dieser Session werden die bisherigen Erfahrungen mit diesen Instrumenten systematisch aufbereitet und diskutiert. Am Anfang halten Günter Wageneder, Christine Fahringer, Thomas Guggenberger und Christoph Schwarzl einen Impulsvortrag mit dem Titel „Kritische Reflexion von an drei österreichischen Universitäten durchgeführten Qualitätsaudits“. Im Rahmen dieser im siebenjährigen Rhythmus stattfindenden Audits muss das Funktionieren des universitären Qualitätssicherungssystems durch eine im EQAR-Register verzeichnete Agentur nachgewiesen werden. Die AutorInnen reflektieren systematisch die Erfahrungen, die an den drei österreichischen Universitäten (Uni Innsbruck, Uni Salzburg, Uni für Bodenkultur) mit dem Audit gemacht wurden, vergleichen die Vor- und Nachteile der einzelnen Verfahren und schließen mit zahlreichen Verbesserungsvorschlägen. Danach folgt eine Podiumsdiskussion unter der Moderation von Philipp Pohlenz (Universität Magdeburg) bei der die Wirkungen der beiden Qualitätssicherungsinstrumente von

Anke Rigbers (Stiftungsvorstand Evalag) Susan Haris-Hümmert (Universität Speyer, Wissenschaftsmanagement) Oliver Vettori (Wirtschaftsuniversität Wien, Programmmanagement und Lehr-/Lernsupport) Lukas Mitterauer (Universität Wien, Qualitätssicherung)

debattiert werden. Besonderes Augenmerk wird auf fördernde bzw. hindernde Aspekte in den einzelnen Verfahrensschritten gelegt. Zu den zu diskutierenden Verfahrensschritten zählen jedenfalls die Konsolidierung des Qualitätssicherungssystems, die Auswahl der Agentur, die inneruniversitäre Kommunikation, die Erstellung des Selbstberichts, die Auswahl der GutachterInnen und der Vor-Ort-Besuch. Die Zusammensetzung des Podiums (Agenturvertreterin, QM-Beauftragte, Wissenschaftlerin) erlaubt es, die Thematik aus unterschiedlichen Blickwinkeln zu beleuchten.


41

D 6: Planung und Durchführung von Evaluationen aus systemischer Sicht Session des AK Professionalisierung Freitag, 22.09.2016: 09:00 – 10:30 Uhr In jüngerer Zeit werden Evaluationen wiederholt mit systemischen Ansätzen oder Perspektiven in Verbindung gebracht und diesbezüglich diskutiert. Evaluationsprojekte, welche explizit unter Rückgriff auf systemische Sicht- und Herangehensweisen geplant und durchgeführt werden, sind im deutschen Sprachraum noch kaum bekannt. In der Session des AK Professionalisierung soll daher zunächst das Themenfeld ergründet und ansatzweise umrissen werden. Dies soll vor dem Hintergrund von Professionalisierung, d.h. mit der Intention der Weiterentwicklung und Verbesserung von Evaluationspraxis geschehen. Das Tagungsthema, wie Evaluationen in Systemen wirken, möchten wir aufgreifen, indem wir zum einen die Evaluation und deren Einfluss aus systemischer Sicht betrachten, und zum anderen über die Konsequenzen für die Planung und Durchführung von Evaluationen reflektieren. Die Einzelvorträge gehen folgenden Fragestellungen nach:

Wie kann der Evaluationsprozess sowie dessen potentieller Nutzen aus systemischer Sicht beschrieben werden? Was bedeutet das für die praktische Umsetzung von Evaluationen, u.a. für Auftragsklärung, Rolle(n) von Evaluierenden im Evaluationsprozess oder Bewertung(en) von Evaluationsergebnissen?

Welche Lernprozesse können in organisationalen Systemen durch Evaluation angestoßen werden?

Welche Anregungen für die Planung und Durchführung von Evaluationen können wir aus systemischen Perspektiven gewinnen?

Die Referenten bringen praktische Erfahrungen aus Evaluationsprojekten und -verfahren sowie aus der Organisationsentwicklung zusammen mit theoriebasierten Reflexionen in die Session ein. Sie stellen zur Diskussion und laden zum Weiterdenken ein.


42

SESSIONS BLOCK E E 1: Ergebnisse ignorieren und dann weiter so? Nutzung und Einfluss von Evaluation

in politischen Prozessen Freitag, 22.09.2016: 11:00 – 12:30 Uhr Evaluationsergebnisse können ein konstruktiver Faktor in politischen Prozessen sein, wenn sie von den beteiligten AkteurInnen für eine rationale Entscheidungsfindung genutzt werden. Häufig werden Evaluationsergebnisse jedoch gar nicht erst zur Kenntnis genommen oder lediglich für strategische Zwecke eingesetzt. Dabei ist jedoch zu berücksichtigen, dass der wahrgenommene Nutzen von Evaluationsergebnissen in erster Linie von den Relevanzstrukturen der RezipientInnen abhängt. Vor diesem Hintergrund stellt sich dann die Frage nach der Anschlussfähigkeit von Evaluationsergebnissen in politischen Prozessen.

In seinem Vortrag „Die Nutzung von Evaluation in unterschiedlichen Systemen: der Administration, der Politik und der Gesellschaft“ geht Prof. Dr. Reinhard Stockmann (CEval) davon aus, dass Evaluationen in den betrachteten Systemen jeweils unterschiedlichen Zielen dienen und dass sich der Nutzen von Evaluationen in den drei Systemen grundsätzlich anders darstellt. Weitere Aspekte sind die Verbreitung von Evaluation in den drei genannten Systemen und Möglichkeiten zur Erhöhung der Nutzung von Evaluationsergebnissen bei der politischen Entscheidungsfindung.

Caroline Schlaufer (Universität Bern) beschreibt in ihrem Beitrag „Die Rolle von Evaluationsergebnissen in Abstimmungskampagnen“ die Nutzung von Evaluationsergebnissen zur Unterstützung oder Widerlegung von politischen Positionen. Konkret geht es um die Frage, inwieweit Evaluationsresultate in Abstimmungskampagnen in der Schweiz genutzt werden und welchen Einfluss die Nutzung von Evaluationsergebnissen auf die Qualität des Mediendiskurses hat.

Dr. Holger Bähr (IAB) und Prof. Dr. Dieter Filsinger (HTW) richten in ihrem Beitrag „Die Gelegenheit ist günstig: Vom Einfluss der Evaluation auf die Politik“ ihr Augenmerk auf die AdressatInnen von Evaluationsstudien und fragen, welchen Einfluss Evaluationen auf die Politik haben. In diesem Zusammenhang sehen Sie die Bereitstellung von Wissen über die Wirksamkeit von Programmen, Maßnahmen und Strategien als einen Beitrag der Evaluation zu einer nachhaltigen Lösung gesellschaftlicher Probleme. Allerdings müsse sich ein „Gelegenheitsfenster“ öffnen, damit Ergebnisse und Empfehlungen aus Evaluationsstudien zu einer nachhaltigen Politikgestaltung beitragen können.

Gastgeber: Arbeitskreis Soziale Dienstleistungen in der Gesellschaft für Evaluation (DeGEval e.V.) Moderation: Dr. Rainer Strobl Schlagwörter: politische Prozesse, Nutzen von Evaluation, Nutzung von Evaluation, Evaluationsresultate in Abstimmungskampagnen, Adressaten, Einfluss von Evaluation auf die Politik


43

E 2: Erfüllte und enttäuschte Wirkungserwartungen: Erfahrungen mit Evaluation und Qualitätsmanagement im Hochschulbereich

Freitag, 22.09.2016: 11:00 - 12:30 Uhr Die Gruppe geht der Frage nach, wie Wirksamkeit und Nachhaltigkeit von Evaluationsmaßnahmen im Hochschulbereich sichergestellt werden können. Die gemeinsame These der drei Beiträge ist, dass bei der Vielzahl von erprobten Evaluationsinstrumenten der Ansatz hier nicht so sehr in der Evaluation selbst liegt, sondern in den Rahmenbedingungen, in der institutionellen Einbindung der Evaluation. Dies kann mehr oder weniger gut gelingen. Elisa Knödler und Anna von Werthern (Ludwig-Maximilians-Universität München) schildern in ihrem Beitrag „Evaluation im System Hochschule – nachhaltige Verbesserung der Lehrqualität durch ein maßgeschneidertes Konzept zur Lehrveranstaltungsevaluation?“ ein Paket aus Interview und Fragebogen zur studentischen Lehrevaluation. Nur wenn daraus ein kohärentes Konzept entsteht, eine gemeinsame Verständigung über Qualität der Lehre, kann es zu Akzeptanz und nachhaltiger Wirkung führen. Als zentral stellen die AutorInnen die Entwicklung eines Leitbildes von guter Lehre heraus. Theodor Leiber, Sibylle Jakubowicz, Luz-Maria Linder und Petra Suwalski (Evaluationsagentur-Baden-Württemberg; Hochschule der Medien Stuttgart; Hochschule Furtwangen) stellen in ihrem Beitrag (Effects of Quality Management in Higher Education Institutions. A SWOT Analysis of Selected Study Cases) ein Qualitätsmanagementsystem der Hochschule vor, das aus verschiedenen Maßnahmen besteht (z.B. externe Programmevaluation, Qualitätszirkel) und zeigen Stärken und Schwächen dieses über eine punktuelle Datenerhebung hinausgehenden Verfahrens auf. Wolfgang Böttcher und Johannes Wiesweg (Westfälische Wilhelms-Universität Münster) präsentieren in ihrem Beitrag („ Ins Leere evaluiert - Zwei Fallanalysen an einer Universität“) eine eher skeptische Sichtweise der Nachhaltigkeit von Hochschulevaluation. In zwei Befragungen von Studierenden wurde nach aus Evaluation abgeleiteten Maßnahmen gefragt und (so gut wie) keine Ansatzpunkte gefunden, da nicht bereits in der Durchführung der Evaluation die Konsequenzen und Umsetzungen konzipiert wurden. So werde das Ansehen der Evaluation „an sich“ geschädigt. Moderation: Univ.-Prof. Dr. Philipp Mayring (DeGEval Vorstand) Schlagwörter: Evaluation der Hochschule, Lehrevaluation, Qualitätsmanagement, Nachhaltigkeit, Wirksamkeit E 3: Einfluss und Nachhaltigkeit von Evaluationsergebnissen – drei Fallbeispiele Freitag, 22.09.2016: 11:00 – 12:30 Uhr Wie werden Evaluationen von ihren AdressatInnen genutzt? Welchen Einfluss nehmen Evaluationsergebnisse auf Organisationsentwicklung, -ziele und -strategien? Wie können mittels Evaluationen die Voraussetzungen für Lern- und Steuerungsprozesse geschaffen werden? Welchen Voraussetzungen bedarf es für eine erfolgreiche Verwertung von Evaluationen und ihren Ergebnissen? Diesen und weiteren damit verbundenen Fragen sollen im Rahmen von drei praktischen Fallstudien aus unterschiedlichen Arbeitsfeldern auf den Grund gegangen werden. Ziel der Session ist es, die erheblichen Nutzungspotentiale von Evaluationen aber auch die damit


44

verbundenen Herausforderungen zu veranschaulichen und mit den TeilnehmerInnen zu diskutieren. Als Querschnittsthemen werden dabei u.a. organisatorische Rahmenbedingungen (Stichwort: ‚Evaluative Thinking’), methodische und organisatorische Herangehensweisen bei der Evaluationsdurchführung sowie die Vermittlung von Evaluationsergebnissen und der daraus abgeleiteten Empfehlungen erörtert. Der Beitrag ist als Vortrags- und Podiumssession konzipiert, bei der die ReferentInnen zunächst in einem jeweils ca. 15 bis 20-minütigen Kurzvortrag ihr Fallbeispiel vorstellen und anschließend in einer ca. 30 bis 40-minütigen Podiumsdiskussion den TeilnehmerInnen zu den o.g. Leitfragen Rede und Antwort stehen. Als Moderator der Session ist Herr Dr. Stefan Silvestrini vorgesehen. Fallbeispiel 1: Programmatische Veränderungen durch Wirkungen von Evaluationen am Beispiel von Fairtrade International Referent: Martin Schüller, Entwicklungspolitischer Referent, TransFair e.V. (Fairtrade Deutschland) Fallbeispiel 2: Nutzen und Nutzung von Evaluationen in der Projektarbeit von World Vision – Ergebnisse einer organisationsweiten Befragung Referenten: Thorsten Bär, Referent für Planung, Monitoring und Evaluation, World Vision Deutschland e.V.; Sophie Wannemacher, wissenschaftliche Mitarbeiterin, CEval Fallbeispiel 3: Baseline-Studie Myanmar – Schaffung von Voraussetzungen zur Wirkungsmessung und Programmsteuerung in Myanmar Referent/inn/en: Dr. Stefanie Krapp, Abteilungsleiterin, Deutsches Evaluierungsinstitut der Entwicklungs-zusammenarbeit; Dr. Stefan Silvestrini, Geschäftsführer, CEval GmbH E 4: Nachhaltigkeitsprüfungen und Evaluationskultur bei Subventionen und

Steuervergünstigungen Freitag, 22.09.2016: 11:00 – 12:30 Uhr Subventionen – d.h. Finanzhilfen und Steuervergünstigungen – sowie subventionsähnliche Transfers sind zentrale Instrumente, mit denen der Staat feinsteuernd in wirtschaftliche und soziale Prozesse eingreifen kann. Auch als Instrument zur Herstellung politischer Kompromisse spielt das flexible und niedrigschwellige Subventionsinstrumentarium mitunter eine wichtige Rolle. Die hohe Steuerungspotenz, die Subventionen innewohnt, verlangt auch eine anspruchsvolle Governance, um die Stärken des Instruments schützen und zugleich den Missbrauchsgefahren vorzubeugen. Ziel der vorgeschlagenen Session ist es, die drei Perspektiven Bundesregierung, Rechungshof und Wissenschaft im öffentlichen Diskurs zusammenzubringen und mit den weiteren TeilnehmerInnen der Session zu erörtern. Entlang der aktuellen Entwicklungen und potenzieller Zukunftstrends der Subventionsevaluation – Stichworte: Nachhaltigkeitsprüfung, Evaluationsverstetigung für Subventionen / Steuervergünstigungen, Implementation von Evaluierungsbefunden – sollen drei erfahrene Akteure aus BMF, Rechnungshof und angewandter Subventionsforschung pointierte


45

Kurzvorträge halten und auf deren Basis miteinander und mit dem Sessions-Teilnehmer die interessantesten/strittigsten Punkte in der Debatte vertiefen. Die drei Session-Anbietenden eint ihr hohes Interesse an einer aktivierenden Weiterentwicklung der Subventions-Governance in Deutschland, ebenso ihre mehr- bis langjährige Erfahrung in diesem Bereich. Der Umstand, dass alle drei die gleichen Themen aus institutionell sehr unterschiedlichen Perspektiven bearbeiten, wird für produktive „Reibung“ bei hohem fachlichem Niveau sorgen.

Rita Schutt, Leiterin der Unterabteilung I B; Bundesministerium der Finanzen, zuständig u.a. für Subventionsberichterstattung, Grundsatzfragen der Evaluation bei Subventionen und ähnlich gelagerten staatlichen Interventionen sowie Berichte zur Tragfähigkeit der öffentlichen Finanzen.

Thomas Steinkamp, Bundesrechnungshof, Prüfer in der Abteilung Steuern (auch: Steuervergünstigungen)

Michael Thöne, Geschäftsführer des Finanzwissenschaftlichen Forschungsinstituts an der Universität zu Köln (FiFo Köln). U.a. Leiter der größten durchgeführten Subventionsevaluation 2007-09 („Große Steuervergünstigungen“, Volumen: 18 Mrd. Euro), Berater zur institutionellen Verbesserung von Transparenz und Wirksamkeit von Subventionen (2014-15). E 5: Zwischen Schema F und Innovation: Eine politikfeldübergreifende Diskussion zu

methodischen Standards Session des AK Methoden in der Evaluation Freitag, 22.09.2016: 11:00 – 12:30 Uhr

Die Session „Zwischen Schema F und Innovation“ möchte eine politikfeldübergreifende Diskussion über Evaluationsmethoden und methodische Herangehensweisen innerhalb der DeGEval ermöglichen. VertreterInnen unterschiedlicher Arbeitskreise der DeGEval werden in der leitfadengestützten Fishbowl-Diskussion Evaluationsmethoden und methodische Trends in ihren jeweiligen Politikfeldern vorstellen und gemeinsam mit dem Publikum diskutieren. Die Session möchte somit zur Nutzung der Potentiale der methodischen cross-fertilisation über die Grenzen von Politikfeldern hinweg beitragen.

Die vorliegende Session ermöglicht eine moderierte und nach Leitfragen strukturierte Diskussion zwischen VertreterInnen einzelner Politikfelder. Hierfür werden die VertreterInnen der Arbeitskreise gebeten, einen Überblick über „typische“ Evaluationsmethoden innerhalb ihres jeweiligen Politikfelds darzustellen, offene Fragestellungen zu benennen und zu diskutieren. Davon ausgehend sollen Mindest- bzw. Qualitätsstandards innerhalb der Politikfelder diskutiert werden. Schlussendlich soll ein Ausblick auf methodische Innovationen innerhalb der jeweiligen Politikfelder diskutiert werden. Um im Rahmen der Session ein möglichst breites und diverses Spektrum von Politikfeldern abdecken zu können, nehmen VertreterInnen möglichst unterschiedlicher Arbeitskreise an der Diskussion teil. DiskutantInnen:

Dr. Sonja Sheikh (AK Forschungs-, Technologie- und Innovationspolitik) Susanne von Jan (AK Entwicklungspolitik) Dr. Vera Hennefeld (AK Kultur und Kulturpolitik)

Moderation: Prof. Alexandra Caspari und Dr. Tobias Polak (AK Methoden in der Evaluation)


46

Die Diskussionsrunde wird nach der Methode der Fishbowl-Diskussion (Innen-Außenkreis-Methode) geführt, bei der drei vortragende VertreterInnen der Arbeitskreise den inneren Kreis und die Teilnehmende den Außenkreis bilden. Eine interaktive Einbindung der Interessierten findet durch das Anbieten von freien Plätzen im inneren Kreis statt. E 6: Zur Nutzung und Nützlichkeit von FTI-Evaluationen in Österreich: aktuelle

Befunde Session des AK Forschungs-, Technologie und Innovationspolitik Freitag, 22.09.2016: 11:00 – 12:30 Uhr Arbeiten der Evaluationstheorie und -forschung ebenso wie Standards für Evaluation sind von der Grundhypothese getragen, dass eine Nutzung von Evaluationen umso wahrscheinlicher wird, je stärker Evaluationen in ihrer Planung, Durchführung und Präsentation Gestaltungsmerkmale aufweisen, die ihnen Qualitäten der Nützlichkeit zusprechen lassen. Unübersehbar ist zugleich, dass eine tatsächliche Entstehung von Evaluationsnutzen durch weitere Einflussfaktoren mitbedingt wird, die im Rahmen der Gestaltung eines Evaluationsprojekts nicht beeinflusst werden können. Steht die Erzielung bestmöglichen Evaluationsnutzens zur Debatte, so geht es also einerseits um einen Verantwortungsbereich der Evaluierenden, den sie mit spezifischen Vorgehensweisen ausfüllen können. Andererseits stehen Merkmale des institutionellen Arrangements zur Diskussion, in dem die Evaluationsfunktion verankert ist und das in konkreten Evaluationen angelegte Nutzungspotenzial realisiert wird. Die Session besteht aus folgenden Beiträgen, die einzelne dieser Herausforderungen beleuchten:

1. Was sind die Leistungen der Plattform fteval und zu was hat sie es gebracht? Katharina Warta (technopolis group Austria, fteval)

2. Programmevaluationen als Stärkung der Wissensbasis des FTI-politischen Governancesystems? Befunde der Untersuchung von zwölf Jahren Evaluationspraxis in Österreich. Günther Landsteiner (unabhängiger Forscher-Berater und Evaluator)

3. Akteure, Institutionen und die Rolle von FTI-Evaluation. Jürgen Streicher (Joanneum Research - Policies)


47

ABSCHLUSSGESPRÄCH

Freitag, 23.09.2016: 12:45 – 13:45 Uhr

Es wird Gelegenheit gegeben, die zentralen Thesen der Eröffnung des Vortrages von Herbert Altrichter vor dem Hintergrund der Debatten des Kongresses aus unterschiedlichen Blickwinkeln zu diskutieren. Darüber hinaus werden weitere Anregungen und Reflexionen zum Tagungsthema zusammengetragen. Das Abschlussgespräch zum Thema des Kongresses wird gestaltet von:

Prof. Dr. Wolfgang Böttcher Prof. Dr. Reinhard Stockmann Prof. Dr. Herbert Altrichter

Moderation: Univ.-Prof. Dr. Philipp Mayring, Alpen-Adria Universität Klagenfurt,

Vorstandsvorsitzender der DeGEval


48

POSTERPRÄSENTATIONEN Am Donnerstag, den 22.09.2016 (12:00 - 13:30 Uhr; Ort: HS E.003) findet eine moderierte Posterführung statt. Die Moderation wird von Mag. Michaela Katstaller durchgeführt.

1. Evaluation des PROMI-Projektes: Nachhaltige Veränderungen für eine inklusive Hochschule? Niehaus, Mathilde; Kaul, Thomas; Bauer, Jana; Groth, Susanne (Universität zu Köln)

2. PatientInnenmonitoring in stationären Krankenhausabteilungen Niederberger, Karl; Rigler, Sandra (IBE – Institut für Berufs- und Erwachsenen-bildungsforschung an der Uni Linz)

3. Der „professionelle Fremde“ artikuliert das Unnennbare. Praxisbericht zum Einfluss von Evaluation in der Arbeitsverwaltung Freier, Carolin; Kupka, Peter (Institut für Arbeitsmarkt- und Berufsforschung)

4. Professionalisierung in der PädagogInnenbildung – Evaluationsprojekte zum neuen Curriculum der Primarstufenpädagogik an der PHOÖ Mitterlehner, Kurt; Hyry-Beihammer, Eeva Kaisa; Steiner, Regina; Busch, Karin; Bruch, Sabine (Pädagogische Hochschule Oberösterreich)

5. Evaluation ingenieurwissenschaftlichen Fernstudiums – ein ganzheitlicher Ansatz Kroll, Ralph (Wilhelm Büchner Hochschule Darmstadt)

6. „Online in Präsenz“ Evaluationen an der Goethe-Universität Frankfurt – lehrveranstaltungsbezogene Studierendenbefragungen in Zeiten voranschreitender Digitalisierungsprozesse Niemeyer, Jana; Tillmann, Alexander; Schmidt, Sarah; Opitz, Lena; Altmeyer, Michael

7. Ansatzpunkte für eine erfolgreiche Implementierung komplexer Interventionen in Versorgungseinrichtungen des Gesundheits- und Sozialwesens durch Evaluation Hower, Kira; Ansmann, Lena

8. Evaluation einer Weiterbildungsmaßnahme im Kontext einer internationalen Kooperation Jablonka, Peter; Ulmer, Philipp (Forschungsgruppe SALSS)

9. Professionalisierung: Weltweite Aktivitäten Neuhaus, Björn (Eidgenössisches Hochschulinstitut für Berufsbildung EHB IFFP IUFFP)

10. Der Evaluationsansatz von evalux: Lernen durch Kommunikation Lisack, Gaëlle; Neuhaus, Björn (Eidgenössisches Hochschulinstitut für Berufsbildung EHB IFFP IUFFP)

11. Soziale Nachhaltigkeit durch partizipative Evaluation König, Frank; Heinze, Franziska (DJI)

12. Diverse Bedingungen für Nutzen, Einfluss und Wirksamkeit der Lehrveranstaltungsevaluation (LVE) an der Leuphana Haubert, Hanna (Leuphana Universität Lüneberg)


49

TEILNEHMERINNEN- UND TEILNEHMERLISTE

NAME VORNAME INSTITUTION Ahrens Lena Deutsches Evaluierungsinstitut der

Entwicklungszusammenarbeit Ainz Gerhard RaumEval e.U. Altenburg Thomas Drogenbeauftragte der Bundesregierung beim

Bundesministerium für Gesundheit Amann Uta Katharina Fachhochschule Kiel Arnhold Heidemarie Arbeitskreis Neue Erziehung e.V. Astleithner Florentina FH Campus Wien Bachmann Thietmar Auswärtiges Amt, Evaluierung(smanagement) Backhaus Joy Chair of Medical Teaching and Medical Education

Research Backhaus Annette GIZ GmbH Bähr Holger Institut für Arbeitsmarkt- und Berufsforschung (IAB) Baltes Nina Yvonne Balzer Lars Eidgenössisches Hochschulinstitut für Berufsbildung Bär Thorsten World Vision Bartsch Samera Univation GmbH Baumbast Stephanie Deutsches Jugendinstitut e.V. Bäumer Katrin Monitoring- und Evaluierungsnetzwerk Deutschland

(MEN-D) Bayer Yasmin Universitätsklinikum Würzburg Bayr Monika Brot für die Welt - Evangelischer Entwicklungsdienst,

Evangelisches Werk für Diakonie und Entwicklung e.V. Becker Arno USV-Agrar Berger Oxana Arbeitskreis Neue Erziehung e.V. Berndt Patricia S.T.E.R.N. Gesellschaft der behutsamen Stadterneuerung

mbH Biewers Grimm Sandra Universität Luxemburg Blajs Nicole Alpe Adria Universität Klagenfurt am Wörthersee Blank Tobias Technische Universität Darmstadt Bogumil Simon Deutsches Forschungsinstitut für öffentliche Verwaltung

Speyer Böhm Annegret Bongaerts Ursula Kulturstiftung des Bundes Böttcher Wolfgang Westfälische Wilhelms-Universität Münster Braun Judith Leuphana Universität Lüneburg Brunner Andreas Fachstelle für Schulbeurteilung Buchheit Frank LKA BW Burova Anna European University at Saint-Petersburg Capllaro Marcus Capellaro GmbH - Konzeption & Evaluation

kommunikativer Maßnahmen Caspari Alexandra Frankfurt University of Applied Sciences Causemann Bernward FAKT


50

NAME VORNAME INSTITUTION Cemerin Michael Bundesamt für Wirtschaft und Ausfuhrkontrolle (BAFA) Chroust Peter Cichos Sandra Cleuvers Birgitt Agnes Demiraj Albana Nehemiah Gateway gGmbH Demuth Andrea Freie Gutachterin EZ Dolff Alexandra Deutsche Welle Dorschel Martin KfW Bankengruppe Dr. Peter Gotsch Peter GLORA Drexler Sibylle Universität Osnabrück Dungs Ingo LKA NRW Eder Sylvia Paris Lodron Universität Salzburg Elbe Sebastian Monitoring- und Evaluierungsnetzwerk Deutschland (MEN-

D) Eltner Stieven Bundesministerium für Wirtschaft und Energie Emminghaus Christoph Syspons GmbH Engel Gerlind Zentrum für Qualitätssicherung und -entwicklung (ZQ),

JGU Mainz Engin-Stock Tülin uzbonn GmbH - Gesellschaft für empirische

Sozialforschung und Evaluation Erzberger Christian Christian Erzberger Euler Michael DEval Faust Jörg DEval Fehling Mareike Deutscher Akademischer Austauschdienst Ferdigg Rosa Anna Dienststelle für Evaluation Bozen Filsinger Dieter HTW des Saarlandes Finsterwald Monika Promente Forschung Frais Michael PH Zürich Franz-Özdemir Melanie Hochschule für Künste Bremen Freier Carolin Institut für Arbeitsmarkt- und Berufsforschung Freimann Isabelle Syspons GmbH Frey Kathrin Universität Zürich Froncek Benjamin FernUniversität in Hagen Fröschl Barbara Gesundheit Österreich GmbH Frühauf Susanne Hessische Lehrkräfteakademie Funk Evelyn Deutsches Institut für Entwicklungspolitik (DIE) Garstenauer Ulrike Fachhochschule Salzburg GmbH Gebhardt Karin FH JOANNEUM Graz Gesmann Stefan FH Münster Geuder-Jilg Erwin DEval Giel Susanne Frau Gomez Ricardo GIZ Grauel Jonas Verbraucherzentrale NRW Greiner Ulrike Paris Lodron Universität Salzburg


51

NAME VORNAME INSTITUTION Greiner Sabine PTB Griesmayr Martina Universität Salzburg Grohs Stephan Forschungsinstitut für Öffentliche Verwaltung Speyer Groß Dirk Pädagogisches Landesinstitut Rheinland-Pfalz Gruner Sonja Julius-Maximilians-Universität Würzburg Grunewald Beate Bundesministerium für Wirtschaft und Energie Gschwind Pippa Staatsinstitut für Schulqualität und Bildungsforschung Guggenberger Thomas Universität für Bodenkultur Wien Gutknecht-Gmeiner

Maria IMPULSE - Evaluation und Organisationsberatung

Haag Florian DeGEval - Gesellschaft für Evaluation e.V. Hallmann Sylke Ruhr-Universität Bochum, Research School Halves Edith ZEPRA, HAW Hamburg Hämmerling Jan Oliver SID-Hamburg Happ Anja Bundesamt für Wirtschaft und Ausfuhrkontrolle Harris-Hümmert Susan Universität Speyer Harten Sven DEval Hartmann Daniel Projektträger Jülich Haubert Hanna Leuphana Universität Lüneburg Hauswirth Ernst Karl Heinle Klaus Hanns-Seidel-Stiftung Heinrich Michaela Technische Universität München Heinze Franziska Deutsches Jugendinstitut e.V Helbing Roland Landeskriminalamt NRW Hellstern Gerd-Michael Universität Kassel Hennefeld Vera Centrum für Evaluation - CEval, Uni des Saarlandes Hense Jan JLU Gießen Hinz Mareike Zentrum für Qualitätssicherung und -entwicklung Höck Susanne EOP Evaluation Hoeper Bernhard Welthungerhilfe Hoffmann Berthold Bundesministerium für wirtschaftliche Zusammenarbeit

und Entwicklung (BMZ) Hoffmann Judith Institut für Technologie und Arbeit e. V. Höfker Susanne Fachhochschule Südwestfalen Hofmann Florian Philipps-Universität Marburg Hoops Sabrina Deutsches Jugendinstitut e.V. Hower Kira Institut für Medizinsoziologie, Versorgungsforschung und

Rehabilitationswissenschaft (IMVR), Universität zu Köln Hundt Vera Deutsche Gesellschaft für Internationale Zusammenarbeit

(GIZ) GmbH Jablonka Peter Forschungsgruppe SALSS Jander Annette Beuth Hochschule für Technik Berlin Jax Vanessa BBL GmbH Jedamzik Lena GFA Consulting Group GmbH Jessing Dominik ifeu - Institut für Energie- und Umweltforschung


52

NAME VORNAME INSTITUTION Heidelberg

Jilg Barbara Jüttemann Michaela Universität Tübingen, Zentrum für Evaluation und

Qualitätsmanagement Kalman Michael Kalman Consult Kapfer Lala Friedrich-Naumann-Stiftung für die Freiheit Katstaller Michaela Paris Lodron Universität Salzburg Kaufmann Peter KMU Forschung Austria Kaufmann Marie Dr. Marie Kaufmann Keil Roland DLR Projektträger Keller Boris Evartis GmbH Keller-Ebert Cornelia Ebert Consulting GmbH Köln Kellermeyer Bianca Engagement Global Kelleter Heidemarie Diözesan-Caritasverband für das Erzbistum Köln e. V. Kerlen Christiane Evaluation und Beratung Kettler Andrea Auswärtiges Amt Kiel Petra CBM Kind Sonja iit - Institut für Innovation und Technik (VDI/VDE-IT) Kirnbauer Isolde Lydia Med. Uni Wien Klöppner Matthias con_sens Knödler Elisa LMU München Knoll Norbert AWS/ERP-Fonds Koch Robert Sächsisches Staatsministerium für Umwelt und

Landwirtschaft Kocks Alexander DEval Koglin Gesa Projektträger Jülich - Forschungszentrum Jülich GmbH Köhler Leonore Hochschule Bremen Kohlmeyer Klaus BQN Berlin e.V. König Frank DJI Koy Jens Freier Evaluator Krämer Matías Syspons GmbH Kränzl-Nagl Renate FH OÖ. Campus Linz Krapp Stefanie DEval Kraßnitzer Hermine Universität Klagenfurt Krier Jean-Marie KommEnt Kriesamer Martin Rechnungshof Rheinland-Pfalz Kroll Ralph Wilhelm Büchner Hochschule Darmstadt Kröll Andreas evalux Krüger Thomas uzbonn GmbH - Gesellschaft für empirische

Sozialforschung und Evaluation Kulicke Marianne Fraunhofer Institut für System- und Innovationsforschung Kupka Peter Institut für Arbeitsmarkt- und Berufsforschung (IAB) Landsteiner Günther Unabhängiger Forscher-Berater und Evaluator Lech Malte DEval


53

NAME VORNAME INSTITUTION Lehmann Maria Freiberufliche Beraterin Leiber Theodor Evaluationsagentur Baden-Württemberg Leiderer Stefan Deutsches Evaluierungsinstitut der

Entwicklungszusammenarbeit (DEval) Leitner Lisa DeGEval - Gesellschaft für Evaluation e.V. Lierheimer Tina Goethe-Institut Lietzmann Anja k.o.s GmbH Lisack Gaelle evalus Lobermeier Olaf proVal GbR Loretz Carla PH Zürich Lück-Filsinger Marianne ForBES an der HTW des Saarlandes Mack Dorothee Bischöfliches Hilfswerk Misereor e.V. Mäder Susanne Univation, Institut für Evaluation, Dr. Beywl & Associates Magister Caroline Staatsinstitut für Schulqualität und Bildungsforschung Maislinger-Parzer

Maria Fachhochschule Salzburg GmbH

Männel Ute AOK Baden-Württemberg Mayring Philipp Alpen-Adria Universität Klagenfurt Mehler Jacqueline Julius-Maximilians-Universität Würzburg Melsbach Gerlind Dr. Gerlind Melsbach Meyer Wolfgang CEval Meyer Stefan Kovalis Meyer Lutz DEval Minke Bernhard FOM Hochschule für Oekonomie & Management Mitterauer Lukas Universität Wien Besondere Einrichtung für

Qualitätssicherung Mitterlehner Kurt Pädagogische Hochschule Oberösterreich Moeller (mit OE) Christoph Institut für Spielanalyse GmbH Möller Jorid Auswärtiges Amt Müllegger Birgit Light for the World Naylon Isabel Metis GmbH Neuhaus Björn Eidgenössisches Hochschulinstitut für Berufsbildung EHB

IFFP IUFFP Neuß Frederic Hochschule für Musik Detmold Nick Julia htw saar Nieder-Seiberth Tanja Hessische Lehrkräfteakademie Niedlich Sebastian FU Berlin Niehues Sven FH Münster Niemeyer Jana studiumdigitale / Zentrale eLearning-Einrichtung Goethe-

Universität Frankfurt Niestroj Melanie Univation Institut für Evaluation Dr. Beywl & Associates

GmbH Noetzel Roman DLR Projektträger Nolte Alexander Philipps-Universität Marburg Nolte Christine Centrum für Evaluation (CEval)


54

NAME VORNAME INSTITUTION Nolte Birgit Landgesellschaft Mecklenburg-Vorpommern Opitz Lena

Katharina Goethe-Universität Frankfurt

Oppermann Heidemarie Nds. Staatskanzlei Paffenholz Florian Physikalisch-Technische-Bundesanstalt Paschon Andreas UNIVERSITÄT SALZBURG, Fachbereich

Erziehungswissenschaft Peinhaupt Christa EPIG GmbH Peter-Kern Martina Universitätsklinikum Würzburg Petermann Antonia Leuphana Universität Lüneburg Pfitzner-Eden Franziska evalux PFLÜGL Kurt Bundesministerium für Landesverteidigung und Sport Piesker Axel InGFA Speyer Pohlenz Philipp Otto-von-Guericke-Universität Magdeburg Polak Jan Tobias DEval - Deutsches Evaluierungsinstitut der

Entwicklungszusammenarbeit Polte Dorothee HIS-Institut für Hochschulentwicklung Popper Vera dynamic balancing consulting Possinger Sonja Freie Evaluatorin und Trainerin Prigge Jessica htw saar - Fakultät für Sozialwissenschaften Pulyer Ursula Evaluation für die deutsche Schule Südtirol Quesel Carsten Pädagogische Hochschule FHNW Quiring Eva EQ EvaluationsGmbH Rabe Chantal Universitätsklinikum Würzburg, Lehrstuhl Medizinische

Lehre und Ausbildungsforschung Rädiker Stefan VERBI Software Rakowsky Stefan Bundesministerium für Landesverteidigung Raser Marcus Justus-Liebig-Universität Giessen Reif Martin Institut für Gesundheitsplanung Reimann Jürgen Reindl Clemens FH Campus Wien Reisig Veronika Bayerisches Landesamt für Gesundheit und

Lebensmittelsicherheit Reith Florian Renz Monika Landesinstitut für Lehrerbildung und Schulentwicklung

Hamburg Richter Jürgen Fachhochschule Südwestfalen Riffert Franz Universität Salzburg Rigbers Anke evalag (Evaluationsagentur Baden-Württemberg) Rigler Sandra Institut für Berufs- und Erwachsenenbildungsforschung an

der Universität Linz (IBE) Röbbecke Martina EvaConsult Roggemann Hanne DEval Rohm Jacob BMW Stiftung Röttger Maximilian Goethe-Institut


55

NAME VORNAME INSTITUTION Rox-Dornberg Catherine Bischöfliches Hilfswerk Misereor e.V. Roxin Helge Deutsches Evaluierungsinstitut der

Entwicklungszusammenarbeit Rückmann Jana Humboldt-Universität zu Berlin Salf Natalie DeGEval - Gesellschaft für Evaluation e.V. Schendzielorz Jessica Deutsche Gesellschaft für Internationale Zusammenarbeit

(GIZ) Scherer Caroline Goethe-Universität Frankfurt Scherff Heike EWDE/Brot für die Welt Schlaufer Caroline Universität Bern, Zentrum für universitäre Weiterbildung Schmidt Christopher FAU Erlangen-Nürnberg Schmidt Susanne TU Hamburg Schnieders Johannes FernUniversität in Hagen Schobert Berthold Univation Institut für Evaluation Dr. Beywl & Associates

GmbH Scholz Anne-Marie ISG Institut für Sozialforschung und Gesellschaftspolitik Schönbächler Marie-Theres PHBern Zentrum für Bildungsevaluation Schopper Sandra Masterstudiengang Evaluation Schopphoff Corinna Zentrum für Lehrerbildung, Westfälische Wilhelms-

Universität Münster Schoppmann Ute Landesinstitut für Schulentwicklung Baden-Württemberg Schott Dörte Freie Evaluatorin Schröter Kim Deutsche Welle, Planung & Evaluation Schulte Christiane Brot für die Welt - Evangelischer EntwicklungsdienstSchutt Rita Bundesministerium der Finanzen Schwab Oliver IfS Institut für Stadtforschung und Strukturpolitik Schwab Markus pro mente forschung Schwanz Veronika Kindernothilfe Schwegmann Claudia Open Knowledge Foundation Germany (OKF) Senft Birgit statistix Sevegnani Christiane Engagement Global gGmbH - Service für

Entwicklungsinitiativen Sheikh Sonja KMU Forschung Austria Siegel Stefan evalux Siegel Serani OSCE Silvestrini Stefan CEval Simek Monika Sucht- und Drogenkoordination Wien Speich-Baer Evelyn CIM/GIZ-Georgien Spiel Georg pro mente: kinder jugend familie GmbH Staats Melanie Stiftung Haus der kleinenForscher Stahl Karin freie Gutachterin Stamm Ida VDI/VDE-IT GmbH Staritzbichler-Huemer

Daniela Universität Salzburg

Stauber Anja Donau-Universität Krems


56

NAME VORNAME INSTITUTION Steinestel Martin Verbraucherzentrale NRW e.V. - Bereich Energie Steininger Hanna-Marei Hochschuldidaktische Arbeitsstelle, Technische Universität

Darmstadt Steinkamp Thomas Bundesrechnungshof Stepanek Peter FH Campus Wien Stockmann Reinhard Centrum für Evaluation Stolzenburg Kathrin Bundesamt für Bevölkerungsschutz und Katastrophenhilfe Stöver Philip Rechnungshof Rheinland-Pfalz Stowasser-Bloch Katharina Medizinische Universität Wien Streicher Jürgen Joanneum Research Forschungsges.m.b.H. Policies Strobl Rainer proVal Stroppel Simone Stumpp-Marx Angela Sächsisches Bildungsinstitut Suwalski Petra Hochschule Furtwangen Thiele Anna-Lena CHE Centrum für Hochschulentwicklung Thöne Michael FiFo Köln - Finanzwissenschaftliches Forschungsinstitut

an der Universität zu Köln Tillmann Alexander Treppesch Christian Justus-Liebig-Universität Gießen Tulla Alexandra FH St. Pölten van Mark Kerstin Projekträger Jülich am Forschungszentrum Jülich von Jan Susanne Hanns-Seidel-Stiftung von Werthern Anna LMU München Voß Jan-Hinnerk terre des hommes Deutschland e.V. Wach Katharina Wagner Petra FH Oberösterreich Wangler Leo VDI/VDE-IT Wannemacher Sophie Universiät des Saarlandes Centrum für Evaluation Weber Anja Frau Weigang Anna Goethe-Institut e.V. Weiss Jakob Metis Weith Thomas ZALF Müncheberg / Uni Potsdam Welger Andrea Hochschule Fulda Wessels Jan VDI/VDE-IT Wetzelhütter Daniela FH OÖ, Campus Linz Widmer Thomas Universität Zürich Wiemer Anita con_sens Wiesweg Johannes Westfälische Wilhelms-Universität Wirthmann Ferreira

Eduardo Freiberuflicher Berater / Evaluation Internationale Zusammenarbeit

Wolf Laurenz KMU Forschung Austria Wolf Esther Auswärtiges Amt Wolff Jutta Institut für Biildungsmonitoring und Qualitätsentwicklung -

Hamburg Wotha Brigitte Ostfalia Hochschule Salzgitter


57

NAME VORNAME INSTITUTION Wroblewski Angela IHS Würtz Stefanie Universität Landau Yngborn Annalena Deutsches Jugendinstitut e.V. Ziesmann Lena Beuth Hochschule für Technik Berlin Zweidler Reinhard FHNW University of Applied Sciences and Arts

Northwestern Switzerland Zwirner Johanna

Franziska Hochschuldidaktische Arbeitsstelle, Technische Universität Darmstadt


58

INSTITUTIONELLE MITGLIEDER DER DEGEVAL

Derzeit unterstützen 183 institutionelle Mitglieder die Ziele der DeGEval. Dies sind (aufgelistet in der Reihenfolge ihres Eintritts in die DeGEval):

1. VDI / VDE Innovation + Technik GmbH Institut für Innovation + Technik 2. Univation - Institut für Evaluation Dr. Beywl & Associates GmbH 3. terre des hommes Deutschland e.V. 4. Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH

Stabsstellenleiterin Monitoring 5. VDI Technologiezentrum GmbH 6. INCHER- Internationales Zentrum für Hochschulforschung Kassel Universität Kassel 7. Zentrum für Qualitätssicherung und -entwicklung (ZQ) 8. Universität Siegen Zentrum für Planung & Evaluation sozialer Dienste 9. Institut für Sozialarbeit und Sozialpädagogik e.V.

10. Joanneum Research Forschungsgesell. mbH, POLICIES-Zentrum für Wirtschafts-und Innovationsforschung

11. Bertelsmann Stiftung, Programm Zukunft der Zivilgesellschaft 12. fteval Plattform Forschungs- und Technologieevaluierung 13. Bischöfliches Hilfswerk Misereor e.V., Evaluierung und Qualitätsmanagement 14. Deutsches Jugendinstitut e.V., Abteilung Jugend und Jugendhilfe 15. Electric Paper Evaluationssysteme GmbH 16. Ramboll Management 17. PARTICIP GmbH 18. Deutsche Welthungerhilfe e.V. 19. CEval - Centrum für Evaluation 20. TAURUSpro - Institut an der Universität Trier 21. Universität Wien, Besondere Einrichtung für Qualitätssicherung 22. Institut für Ländliche Räume, Johann Heinrich von Thünen-Institut (vTI) 23. Bundesinstitut für Berufsbildung (BiBB) 24. ZEM - Zentrum für Evaluation und Methoden, Rheinische Friedrich-Wilhelms-Universität

Bonn 25. University of Natural Resources and Life Sciences Vienna - BOKU 26. FAKT Beratung f. Management, Bildung u. Technologien GmbH 27. Universität Duisburg-Essen, Zentrum für Hochschul- und Qualitätsentwicklung (ZfH) 28. PricewaterhouseCoopers AG - Wirtschaftsprüfungsgesellschaft Advisory GIP Berlin 29. FFG Österreichische Forschungsförderungsgesellschaft mbH 30. Landeskriminalamt NRW SG 32.3 - Zentralstelle Evaluation (ZEVA) 31. in puncto: pfaender & team GmbH 32. Con_sens GmbH 33. Bundesministerium für Wissenschaft, Forschung und Wirtschaft, Abteilung IV/11a 34. EuroNorm Gesellschaft für Qualitätssicherung und Innovationsmanagement mbH 35. DKJS - Deutsche Kinder- und Jugendstiftung 36. University of Luxembourg, FLSHASE | RU INSIDE, Maison des Sciences Humaines 37. Medizinische Universität Wien, Stabstelle für Evaluation und Qualitätsmanagement 38. Institut für Arbeit und Gesundheit der Deutschen Gesetzlichen Unfallversicherung (IAG) 39. evalux


59

40. Wissenschaftliche Kommission Niedersachsen 41. Goethe-Institut - Zentrale Strategie & Evaluation 42. Auswärtiges Amt, Referat 07-4 - Evaluierungsberatung 43. Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung,

Referatsleitung Evaluierung 44. Institut für berufliche Bildung, Arbeitsmarkt- und Sozialpolitik, INBAS GmbH 45. Johann Daniel Lawaetz-Stiftung, Beratung - Evaluation - Wissenstransfer 46. Arnold-Bergstraesser-Institut 47. Leibniz-Zentrum für Psychologische Information und Dokumentation 48. Institut für ökologische Wirtschaftsforschung GmbH 49. IKJ - Institut für Kinder- und Jugendhilfe gGmbH 50. Kommando Streitkräftebasis, Abteilung Ausbildung Streitkräfte, Referat HP

Individualausbildung 51. com.X - Institut für Kommunikations-Analyse & Evaluation 52. Institut für Auslandsbeziehungen (ifa), Abteilung Dialoge 53. Christlicher Verein Junger Menschen - Computerclub e.V. 54. Bildungsberatung / Bildungsforschung 55. Deutsche Welle, Strategisches Marketing / Markt- und Medienforschung 56. SALSS - Sozialwissenschaftliche Forschungsgruppe GmbH Büro Berlin 57. FH OÖ Studienbetriebs GmbH, Studiengang Sozialarbeit, Fakultät für Gesundheit und

Soziales 58. pro mente: kinder jugend familie 59. Amt der NÖ Landesregierung, Abteilung Wirtschaft, Tourismus und Technologie 60. Institut für Ländliche Strukturforschung, IfLS 61. BSL Public Sector Managementberatung GmbH Geschäftsführung 62. Hochschule Luzern, Rektorat, Leiter Qualitätsentwicklung 63. G.I.B. - Gesellschaft für innovative Beschäftigungsförderung mbH 64. Deutscher Akademischer Austauschdienst, DAAD Ref. S12, Evaluation/Statistik 65. Österreichischer Austauschdienst (OeAD) GmbH ARQA-VET, Österreichische

Referenzstelle für Qualität 66. pH-7 Unternehmensberatung OG 67. Deutsches Zentrum für Hochschul- und Wissenschaftsforschung 68. ECO Consult 69. Organisationsberatungsinstitut Thüringen - ORBIT 70. IFGE Gesellschaft für Innovationsforschung und Beratung mbH 71. Institut für Technologie und Arbeit der TU Kaiserslautern 72. Sopra Steria GmbH, Public Services 73. Austrian Development Agency, Stabsstelle Evaluierung 74. europäisches forum für migrationsstudien (efms), Institut an der Otto-Friedrich-

Universität Bamberg 75. dvv international 76. evaluamus GmbH, Dr. Besson Evaluationsberatung 77. Sucht- und Drogenkoordination Wien gemeinnützige GmbH, Sucht- und

Drogenkoordination Wien 78. INTERVAL GmbH 79. evalag (Evaluationsagentur Baden-Württemberg) 80. ATB Arbeit, Technik und Bildung GmbH, Geschäftsleitung 81. EvalueLab - Gesellschaft für empirische Sozialforschung mbH


60

82. Sächsisches Bildungsinstitut, Abt. 4 83. Hessische Lehrkräfteakademie 84. Evartis GmbH, Evaluation und Forschungsdienstleistungen 85. FernUniversität in Hagen, Dez. 1.1 Hochschulplanung 86. GAB München - Gesellschaft für Ausbildungsforschung und Berufsentwicklung GmbH 87. PHINEO gemeinnützige AG, Plattform für Soziale Investoren 88. Gesundheit Österreich GmbH 89. Zentrale Evalutations- und Akkredierungsagentur Hannover (ZEvA) 90. Fachhochschule Vorarlberg GmbH, Forschungsbereich Sozial- und

Wirtschaftswissenschaften 91. Zarabina asbl., Geschäftsführung (Entwicklung und Qualitätsmanagement) 92. MTO Psychologische Forschung und Beratung GmbH, Organisationsentwicklung und

Bildungsmanagement 93. FWF Der Wissenschaftsfonds 94. Ernst & Young GmbH Wirtschaftsprüfungsgesellschaft 95. Umfragezentrum Bonn - Prof. Rudinger GmbH 96. Institut für höhere Studien 97. proVal - Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation 98. BBI Gesellschaft für Beratung Bildung Innovation mbH 99. transfer - Unternehmen für soziale Innovation

100. Bundeszentrale für gesundheitliche Aufklärung 101. Hochschule der Medien, Stabstelle für Hochschulentwicklung und Qualitätsmanagement 102. Pädagogische Hochschule Zürich, Zentrum für Hochschuldidaktik und

Erwachsenenbildung 103. Unfallkasse Nordrhein-Westfalen 104. Polizeiakademie Niedersachsen 105. FOGS GmbH 106. Bundesministerium für Wirtschaft und Energie, Referat Z-HA-C 107. ICG Integrated Consulting Group GmbH 108. Universität Stuttgart, Stabsstelle Qualitätsentwicklung 109. anakonde GbR: Analysen und Konzepte zu Migration, Integration, Community

Development / Evaluation 110. Internationale Akademie für Innovative Pädagogik, Psychologie und Ökonomie GmbH 111. Physikalisch-Technische Bundesanstalt Q.5, Technische Zusammenarbeit 112. EO Institut GmbH 113. Bundesministerium für Gesundheit 114. DEval - Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit gGmbH 115. Prognos AG 116. DC DuvierConsult Gesellschaft für Beratung, Projektmanagement und Studien GmbH 117. Alice Salomon Hochschule Berlin, Zentrum ASH-IQ und Referat für Lehrevaluation und

QM 118. Kienbaum Management Consultants GmbH 119. Bundesamt für Wirtschaft und Ausfuhrkontrolle (BAFA) 120. Rosa-Luxemburg-Stiftung, Stabstelle PME des Zentrum für Internationalen Dialog und

Zusammenarbeit 121. Goethe-Universität Frankfurt am Main, Stabstelle Lehre und Qualitätssicherung 122. QUBIC Beratergruppe GmbH 123. Stiftung Haus der kleinen Forscher


61

124. Hochschule Wismar - University of Applied Sciences 125. agiplan GmbH, Regionalentwicklung und Strukturpolitik 126. AFC Public Services GmbH 127. KMU Forschung Austria 128. Landeshauptstadt München, Sozialreferat Zentrale Sozialplanung (S-Z-SP) 129. Kindernothilfe e.V. Referat für Projektbeantragung, Sektorfragen und Evaluierung 130. ASIIN Consult GmbH 131. FH Campus Wien, Qualitätsmanagement 132. Allgemeine Unfallversicherungsanstalt HUB - Unfallverhütung und

Berufskrankheitenbekämpfung 133. Brot für die Welt, Stabsreferat Ergebnismanagement und Verfahrenssicherung 134. Wikimedia Deutschland e.V. 135. Institut für sozialwissenschaftliche Beratung GmbH 136. FFH Gesellschaft zur Durchführung von Fachhochschul-Studiengängen 137. Humboldt-Universität Berlin, Stabsstelle Qualitätsmanagement 138. Pädagogisches Landesinstitut Rheinland-Pfalz 139. KfW Bankengruppe (KfW Entwicklungsbank & KfW DEG) - Evaluierungsabteilung 140. Projektträger Jülich¦ Forschungszentrum Jülich GmbH 141. SEEK Development, Strategic and Organizational Consultants GmbH 142. Moysies & Partner 143. Kulturstiftung des Bundes, Förderabteilung: Kulturförderfonds und Evaluation 144. PH Bern, Zentrale Dienste 145. Aussätzigen-Hilfswerk Österreich 146. Universität Potsdam, Zentrum für Qualitätsentwicklung in Lehre und Studium (ZfQ) 147. Hessische Hochschule für Polizei und Verwaltung, Qualitätsmanagement 148. CBM Christoffel-Blindenmission 149. Syspons GmbH 150. MedienCampus Bayern e.V. 151. k.o.s GmbH 152. Joseph-DuMont-Berufskolleg 153. Hochschule Fulda, Dienstleistungen Lehre und Studium 154. iSPO - Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung GmbH 155. Fraunhofer-Institut für System- und Innovationsforschung 156. Deloitte GmbH Wirtschaftsprüfungsgesellschaft, Audit & Advisory 157. Deutsches Zentrum für Luft- und Raumfahrt e.V. - Projektträger im DLR 158. Donau-Universität Krems, Vizerektorat für Lehre/Wissenschaftliche Weiterbildung 159. GFA Consulting Group GmbH 160. Fachhochschule Südwestfalen, Institut f. Qualitätsentwicklung u. -management (IQEM) 161. Forschungsinstitut Betriebliche Bildung (f-bb) gemeinnützige GmbH 162. Hanns-Seidel-Stiftung e.V., Institut für Internationale Zusammenarbeit, Referat

Evaluierung 163. IRZ - Deutsche Stiftung für Internationale Rechtliche Zusammenarbeit 164. BearingPoint 165. Como Consult GmbH 166. LMU München, LMU Center for Leadership and People Management 167. Universität Würzburg, Referat A.3. Qualitätsmanagement und Organisationsentwicklung 168. Metis GmbH


62

169. TÜV Rheinland Consulting GmbH 170. Institut für sozialpädagogische Forschung Mainz e.V. (ism), Arbeitsmarkt/Evaluation 171. Fachhochschule für öffentliche Verwaltung NRW 172. Arbeitskreis Neue Erziehung e.V. 173. adelphi consult GmbH 174. ISTAT - Institut für angewandte Statistik 175. Plan International Deutschland e.V. 176. FOM Hochschule für Oekonomie und Managment 177. ISG Institut für Sozialforschung und Gesellschaftspolitik 178. SKC Beratungsgesellschaft mbH 179. Pädagogische Hochschule Graubünden, Hochschulentwicklung & Qualitätsmanagement 180. EPIG GmbH - Entwicklungs- und Planungsinstitut für Gesundheit 181. IZT - Institut für Zukunftsstudien und Technologiebewertung gemeinnützige GmbH 182. FH Aachen - Zentrum für Hochschuldidaktik und Qualitätsentwicklung (ZHQ) 183. Fachstelle für Schulbeurteilung des Kantons Zürich


63

Organisation und Planung der 19. Jahrestagung der DeGEval DeGEval – Gesellschaft für Evaluation e.V. Vorstand: Univ.-Prof. Dr. Philipp Mayring (Vorstandsvorsitzender) Dr. Christiane Kerlen (stellv. Vorsitzende) Prof. Dr. Jan Ulrich Hense Dr. Oliver Schwab Dr. Sonja Sheikh (Vorstandsmitglieder) Geschäftsstelle: Natalie Salf, Florian Haag und Lisa Leitner Universität Salzburg: Fachbereich Erziehungswissenschaft: Ao. Univ. Prof. Dr. Franz Riffert, Dr. Andreas Paschon, Christina Weissenbach School of Education: PD DDr. Ulrike Greiner, Mag. Michaela Katstaller, Mag. Till Mayrhofer

Vielen Dank für Ihren Besuch!

19. jahrestagung der degeval – gesellschaft für evaluation ... · 19. jahrestagung der degeval...

Documents