evaluiert (E-Book)

Aktive Stakeholder als Partner

Beteiligte und Betroffene – Stakeholder – im Bildungsbereich sind z.B. Bildungsverantwortliche, Kursleitende, Bildungsteilnehmende und ihre Angehörigen/Vorgesetzten. Ihnen soll ein hoher Einfluss auf die Gegenstandsbestimmung und Themenfindung in der Evaluation eingeräumt werden. Im Vergleich zu deren Informationsinteressen spielen diejenigen der Evaluierenden keine oder höchstens eine untergeordnete Rolle.

Wie verwenden? – Nutzung der Evaluationsergebnisse

Bereits in der ersten Evaluationsphase wird in den Blick genommen, wer wann was konkret mit den erzeugten Evaluationsergebnissen tun soll – Pattons vorgesehener Evaluationsnutzen für vorgesehene Nutzende: «intended use for intended users» (2008, S.59). Die Ergebnisverwendung wird vorbereitet und eingeleitet in Abstimmung zwischen Evaluierenden, Auftraggebenden und Akteuren aus dem pädagogischen Feld.

Die darauffolgende Phase der Evaluation ist die Domäne der Evaluationsspezialistinnen und -spezialisten. Hier erfolgen die Auswahl der passenden Erhebungs- und Auswertungsmethoden, die Entwicklung und der Einsatz von empirischen Datenerhebungsinstrumenten, die Anwendung qualitativer und quantitativer Auswertungstechniken etc. Allerdings handeln die Evaluierenden auch hier nicht abgeschottet und isoliert von den Beteiligten und Betroffenen. Gelingende Nutzung von Evaluationsergebnissen setzt voraus, dass die Datengebenden und späteren Ergebnisnutzenden zumindest in groben Zügen verstehen, wie die Daten entstehen, und dass Transparenz und Nachvollziehbarkeit geschaffen werden.

Wertfreiheit versus Bewerten als zentrale Aufgabe

Was zunächst unproblematisch scheint, erweist sich in der Konfrontation mit dem klassischen Verständnis von Forschung, wie es in der verbreiteten analytisch-nomologischen Wissenschaftstheorie vorliegt, als höchst problematisch: Hier beschränkt sich das «Wissenschaftliche» auf den Begründungszusammenhang, also auf Theorie und daran anschließende Empirie. Werturteile sind in diesem Verständnis aus dem Kern des Forschungsprozesses fernzuhalten. Letzterer verläuft objektiviert, ganz unabhängig von Vorlieben, Interessen sowie sozialen oder moralischen Überzeugungen der Forschenden und weiterer Mitglieder des Forschungsfeldes. Werte spielen nur im Entstehungskontext – also: «Was wird geforscht und welche Forschung wird gefördert?» – und dem Verwertungskontext – «Wer macht mit Ergebnissen von Forschung was?» – eine Rolle. Für deren Behandlung hält Forschung keine systematischen Verfahren bereit, sie gelten im Forschungsprozess als unberührbar, bleiben folglich dem Spiel politisch-gesellschaftlicher Kräfte überlassen und werden dem Bereich wissenschaftsethischer Reflexion zugewiesen.

Wenn Evaluation darauf abzielt, Gegenstände der sozialen Realität zu bewerten (also sie als mehr oder weniger «gut» einzustufen), hierfür – bereits in der Phase der Gegenstandsbestimmung (Entstehungszusammenhang) – Kriterien festzulegen (z.B. Bildungsziele, Bildungsbedarfe, vermiedene unerwünschte Nebenfolgen, Kosten-Nutzen-Relationen, Gerechtigkeit bzw. eine Kombination aus diesen Kriterien) und im Verwertungszusammenhang dazu beizutragen, dass die erzeugten Evaluationsergebnisse in Richtung der zugrunde liegenden Werte genutzt werden, verstößt sie damit nicht diametral gegen Grundüberzeugungen wissenschaftlicher Forschung (vgl. ausführlich Kromrey, 2007a)?

Keine Evaluation ohne Bewertung!

Es zeigt sich ein weiterer Grundkonflikt: Evaluation will, soll und muss bewerten (sonst ist sie keine Evaluation). Sie überschreitet dabei bewusst das sichere Terrain des Begründungszusammenhangs und verwendet systematische Verfahren auch für die Festlegung von Evaluationsfragestellungen und Bewertungskriterien. Sie will die Erarbeitung von Interpretationen und Bewertungen transparent und nachvollziehbar, auf Daten basierend und die verschiedenen Perspektiven der Beteiligten und Betroffenen einbeziehend gestalten. Der Anspruch des systematischen, regelgeleiteten, wissenschaftlichen Vorgehens wird ausgedehnt vom Begründungszusammenhang auf den vorgelagerten Entdeckungszusammenhang und den nachgelagerten Verwertungszusammenhang. Dabei droht, dass Evaluation an distanzierter Objektivität verliert. Ein weiteres Dilemma, dem sich Evaluation stellen muss.

➞ Lösung auf Seite 229

Die nachfolgende Definition schließt an die vorangegangenen Ausführungen an und verdichtet die Besonderheiten von Evaluation in den diskutierten Dimensionen. Bei der Verwendung der Definition wird auf die vorangegangenen Abschnitte zurückgegriffen.

DEFINITION

Evaluation ist eine wissenschaftliche Dienstleistung, die für festgelegte Zwecke und nach begründeten Kriterien insbesondere Programme und Maßnahmen beschreibt und bewertet. Die Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.

Nach unserem Verständnis müssen Personen für diese Tätigkeit besonders qualifiziert sein. Das bedeutet aber nicht, dass ausschließlich Personen aus dem Umfeld von Hochschulen und Forschungseinrichtungen mit hoher wissenschaftlicher Expertise für diese Aufgabe infrage kommen. Auch Daten von Evaluationen, die nicht von solchen Forschenden oder in anderen Zusammenhängen als großen Forschungsprojekten erhoben worden sind, können sehr nützlich sein (vgl. Gutknecht-Gmeiner, 2009). Allerdings sind an jede Evaluation Qualitätsansprüche zu stellen, die Thema dieses Buches sind.

Wie ein roter Faden zieht sich dabei die Idee durch das Buch, sowohl bei der Festlegung von Evaluationsfragestellungen und Bewertungskriterien als auch bei der Gewinnung von Informationen und besonders bei der Rückmeldung und Vermittlung der Evaluationsergebnisse Beteiligte wie auch Betroffene angemessen einzubeziehen. So kann eine hohe Nützlichkeit nicht erst der Evaluationsergebnisse (Ergebnisnutzen), sondern bereits des Evaluationsprozesses selbst (Prozessnutzen) unterstützt werden. Dies erfordert eine frühzeitige Planung auch dazu, wie die Verwendung der Evaluation eingeleitet werden soll.

2.3 Evaluation als Qualitätsmanagement bzw. Controlling?

Evaluation wird in diesem Buch als Ansatz dargestellt, der eigenständige wissenschaftliche Grundlagen, ein spezifisches Leistungsspektrum, typische Einsatzfelder und besondere Qualifikationsanforderungen hat und sich darin von anderen Ansätzen substanziell unterscheidet.

Manche Autorinnen und Autoren sehen dies anders, was hier kurz referiert sei.

Evaluation – ein Hilfsmittel der Steuerung?

Stockmann (2007, S.97) subsumiert Evaluation in einem umfassenden Vergleich von Ansätzen – wie anderen «Instrumenten» zur Steuerung im öffentlichen und privatwirtschaftlichen Sektor – unter die Hilfsmittel des Qualitätsmanagements wie Controlling, Balanced Scorecard, Benchmarking, Audit und außerdem das Monitoring, welches wie Evaluation einen stärker sozialwissenschaftlichen Entstehungshintergrund habe. All diese «Managementwerkzeuge […] stellen Instrumente einer modernen an Rationalitätskriterien orientierten Unternehmensführung bzw. Politiksteuerung dar».

Hummel (2001, S.23) schließt sich der Auffassung anderer Vertreterinnen und Vertreter des Bildungscontrollings an, dass Evaluation eine Teilmenge des Controllings sei. Schöni (2009, S.54–57) setzt sich einerseits kritisch davon ab und räumt der Evaluation einen eigenen Stellenwert ein, bezeichnet sie andererseits – wie Bedarfsabklärung, Zielbestimmung und Planung – als «Controlling-Element» in Unternehmen. Auch in seinem Fallbeispiel einer Berufsschule für Weiterbildung (Schöni, 2009, S.158) kommt Evaluation mit Stichwörtern wie «Unterrichts-Evaluation» oder «Service-Evaluation» primär als Verfahren der Datenzulieferung eines umfassenden, systemischen Controllingansatzes zum Einsatz.

Der Auffassung, Evaluation sei im Kern eine Werkzeugsammlung, die sich in Qualitätsmanagement- oder -sicherungssysteme von Unternehmen oder Non-Profit-Organisationen integrieren und unter sie subsumieren lasse, begegnet man häufig bei Qualitätsmanagerinnen und -managern, Qualitätsbeauftragten oder Controllingfachleuten. Diese verstehen unter Evaluation im Wesentlichen die Datenerhebungsinstrumente, die z.B. im Rahmen von Kundenbefragungen oder als Seminar-Feedbackbogen eingesetzt werden. Evaluation wird oft reduziert auf Datenerhebungsverfahren, die meist mit (Kunden-)Zufriedenheitsmaßen arbeiten oder Lernzieltests darstellen. Fragen zu den Quellen und der Legitimität von Bewertungskriterien, der Notwendigkeit von Zielsystemen oder curricularen, didaktisch-methodischen Modellen, der Angemessenheit der Beteiligung verschiedener Anspruchsgruppen bei der Festlegung von Evaluationsfragestellungen oder von Bewertungskriterien für Bildung, die ganze Frage nach Evaluationsstandards sowie der evaluationstheoretische Hintergrund etc. spielen hierbei keine oder eine sehr untergeordnete Rolle.

Evaluation braucht genügend Freiheit und Unabhängigkeit

Der Evaluation werden im Verständnis dieses Buches nicht die unbeschränkten Freiheitsgrade zugestanden, wie Grundlagenforschung sie benötigt. Sie braucht jedoch deutlich mehr Freiheit und Unabhängigkeit, als üblicherweise unternehmensinternen, managementgesteuerten Funktionen wie dem Controlling, dem Benchmarking oder dem Qualitätsmanagement zugestanden wird. Evaluation bewertet nicht nur, sondern macht auch die Bewertungskriterien transparent und damit dem Diskurs zwischen den verschiedenen Stakeholdergruppen zugänglich. Während Controlling und Qualitätsmanagement klar den Interessen der obersten Leitung einer Institution verpflichtet sind, müssen sich Evaluationen – zumal solche in öffentlich finanzierten Bildungsprogrammen – demokratischen Aushandlungsprozessen hinreichend öffnen. In den «Standards für Evaluationen» finden sich hierfür zahlreiche Anknüpfungspunkte (DeGEval – Gesellschaft für Evaluation e.V., 2016; SEVAL – Schweizerische Evaluationsgesellschaft, 2016; Yarbrough, Shulha, Hopson & Caruthers, 2011). Dies ist auch die Erklärung dafür, dass Evaluation vorrangig im demokratisch gesteuerten öffentlichen Bereich und in Non-Profit-Organisationen, ja auch in auf öffentliche Legitimation angewiesenen Stiftungen verbreitet ist, während sie in Profit-Organisationen auf enge Felder wie die Weiterbildung beschränkt ist und dort auch in Konkurrenz steht zu anderen, managementnäheren Ansätzen wie dem Bildungscontrolling.

2.4 Evaluation als Beitrag zur gesellschaftlichen Entwicklung

Evaluationsfeld Bildung

Bildung als ein zentrales gesellschaftliches Handlungsfeld ist durch zahlreiche Wertspannungen und Interessenkonflikte gekennzeichnet. Stichwörter sind: selektive Zugänge, schichtspezifische Beteiligungsquoten, Lernwiderstände, Lernmüdigkeit, Pflicht und Chance zu lebenslangem Lernen. Die gesellschaftlichen und die individuellen Bildungsziele und ihre Abstimmung aufeinander sind ebenso umstritten wie die didaktischen Ansätze, die optimal zu ihnen hinführen. Die wissenschaftlichen oder wissenschaftstheoretischen Positionen der vergangenen 50 Jahre weisen in höchst unterschiedliche Richtungen (Beispiele: geisteswissenschaftliche Pädagogik, Positivismus, Kritische Theorie, Konstruktivismus, Pragmatismus). Die Beschleunigung der Modernisierungszyklen in der Arbeitswelt und die damit erhöhten Anforderungen an eine flexible, individualisierte, passgenaue Aus- und Weiterbildung stellen diesen Bereich vor große Herausforderungen: «‹Mittlere Systematisierung› kennzeichnet auch die internen Strukturen des Weiterbildungsbereichs. Verglichen mit Schule und Hochschule ergibt sich fast ein reziprokes Bild: Wo auf der einen Seite Erstarrung droht, gibt es hier riskante Offenheit und Zerbrechlichkeit» (Faulstich, 2003, S.291).

Gesellschaftliche Relevanz

Evaluation ist ein wissenschaftlicher Ansatz, der die verschiedenen Akteure im Handlungsbereich der Bildung bei der systematischen Beschreibung und Bewertung von Programmen und Maßnahmen unterstützt. Die dafür speziell ausgebildeten Fachleute verwenden Methoden der empirischen Sozialforschung und passen sie an die Erfordernisse der Evaluationszwecke und -fragestellungen an. Evaluationen sind beauftragt – meist von öffentlichen Auftraggebenden, Non-Profit-Organisationen und Stiftungen oder von Personalentwicklungs- und Trainingsabteilungen von Unternehmen. Die Kriterien, nach denen bewertet wird, müssen möglichst früh geklärt werden, oft unter Einbezug mehrerer Beteiligtengruppen. Evaluation erfordert auch Klären und Transparentmachen der Werte, auf deren Basis die Werturteile gefällt werden. Sowohl diese Wertesensibilität als auch eine grundsätzliche Offenheit für Partizipation – auch bei der Festlegung von Wertmaßstäben – unterscheiden Evaluation von Steuerungsansätzen wie Controlling oder Qualitätsmanagement, die als Werkzeuge im Interesse der obersten Leitung von Organisationen fungieren. In der Praxis können sich die verschiedenen Ansätze stark annähern, wobei sie an Alleinstellungsmerkmalen einbüßen (Beispiele hierfür finden sich in Kempfert & Rolff, 2018, Kap. I). Gelegenheiten zur Partizipation erhöhen die Wahrscheinlichkeit, dass Evaluationsergebnisse genutzt werden und dass bereits die Durchführung der Evaluation positive Effekte auf die Bildungsmaßnahme hat.

Inhaltlich folgt dieses Buch der folgenden Position: Systematische Evaluationen sind von unschätzbarem Wert für aktuelle und zukünftige Bemühungen zur Verbesserung der Lebensumstände der Menschheit. «Our position is clear: Systematic evaluations are invaluable to current future efforts to improve the lot of humankind» (Rossi, Lipsey & Freeman, 2004, S.419). Oder, etwas nüchterner: Es kann «die Schlussfolgerung gezogen werden, dass Evaluation noch nie so notwendig war, wie heute» (Stockmann & Meyer, 2014, S.22). Diese beiden Autoren bescheinigen der Evaluation eine bemerkenswerte und globale Erfolgsgeschichte. In neuerer Zeit sei es kaum einem anderen wissenschaftlichen Ansatz gelungen, sich mit vergleichbarem Erfolg zu verbreiten: «In general, the history of evaluation is a remarkable and globally effective success story. It is hard to find another academic approach which has been diffused with comparable success» (Stockmann & Meyer, 2016, S.9). Für die Schweiz halten die Politikwissenschaftler Sager, Widmer und Balthasar (2017, S.313) fest: «Die Entwicklung einer Evaluationskultur in der Schweiz ist gerade in der letzten Dekade weiter vorangeschritten.» Förderlich hierfür dürfte auch die Einführung von Artikel 170 in die Bundesverfassung gewesen sein, der verlangt, dass Maßnahmen des Bundes auf ihre Wirksamkeit hin überprüft werden müssen (Bussmann, 2017). Somit erhielt evaluatives Handeln quasi Verfassungsrang.

➞ Lösung auf Seite 230

VERTIEFUNGSLITERATUR

❙ Kromrey, H. (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis, 24 (2), 105–131.

❙ Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation – A Systematic Approach (7^th ed.). Thousand Oaks: Sage Publications.

¹ Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum Verständnis ist die Kenntnis der anderen Sprache allerdings nicht erforderlich, da alle fremdsprachigen Zitate sinngemäß ins Deutsche übersetzt und die übersetzten Passagen in den erläuternden Text um das Zitat herum integriert sind.

3 Evaluationsprozess und Auftrag

Nachdem Evaluation als wissenschaftliche Dienstleistung definiert und abgegrenzt worden ist, soll nun geklärt werden, wie eine Evaluation systematisch geplant und durchgeführt wird, und wie entsprechende Vereinbarungen zwischen den beteiligten Parteien festzuhalten sind.

Erarbeitung eines Evaluationsplans

Wie im einleitenden Kapitel herausgearbeitet, sind die Erarbeitung eines Evaluationsplans und seine Umsetzung herausfordernde Aufgaben. Jede Evaluation findet in einem zu identifizierenden organisatorischen, kulturellen und politischen Umfeld statt. In sie werden oft gegensätzliche Interessen und Wertpositionen aufgenommen, und daraus muss ein jeweils einzigartiges Vorgehen entwickelt werden.

Es wird vielfach gefordert, Evaluationen, wie in Verfahrensanweisungen des Qualitätsmanagements beschrieben, zu standardisieren, indem fixe Musterabläufe festgelegt werden. Hiervon erhofft man sich, Kosten für die Evaluationsplanung zu senken. Darüber hinaus soll es dadurch möglich werden, dass weniger umfangreich ausgebildete Evaluierende eine Evaluation nach engen Vorgaben sicher durchführen können. Auf dem Markt sind einige solcher Evaluationssysteme z.B. für Schulen, die Hochschulbildung oder die betriebliche Weiterbildung erhältlich. Allerdings widerspricht diese Idee einer «Evaluation von der Stange», so attraktiv sie aus Kostenüberlegungen auch sein mag, der Grundannahme, dass Evaluationen Einzelanfertigungen sein müssen – eventuell unter Nutzung einiger vorgefertigter Einzelteile –, um nützliche Ergebnisse für die jeweiligen Adressatengruppen in jeweils einzigartigen Praxissettings zu erzeugen (vgl. Stake, 2004).

Schrittfolgen zur Evaluationsdurchführung als Anhaltspunkt

Um zur Planung maßgeschneiderter Evaluationen systematisch anzuleiten, haben sich in der Praxis sechs- bis zwölfstufige Schrittfolgen bewährt. Das nachfolgend vorgeschlagene Schema greift Erfahrungen auf, wie sie z.B. in Beywl (2007) und Balzer (2005) beschrieben sind. Damit werden Anhaltspunkte für konkrete Planungsarbeiten gegeben. Das Schema darf allerdings nicht als rigides, immer exakt in dieser Abfolge anzuwendendes Strickmuster missverstanden werden. Vielmehr ist es in der konkreten Ausgestaltung den spezifischen Rahmenbedingungen des konkreten Evaluationsprojektes anzupassen. Dabei ist es möglich, einzelne Schritte parallel mit anderen zu planen und durchzuführen, oder während der Bearbeitung einen früheren Schritt nochmals aufzugreifen und an diesem Anpassungen vorzunehmen.

Keine Bevorzugung bestimmter Evaluationsmodelle und Methoden

Die in diesem Buch dargestellte Vorgehensweise favorisiert kein bestimmtes Evaluationsmodell, keine bestimmte Methodik (z.B. qualitativ oder quantitativ) und keine bestimmten Evaluationsgegenstände. Es wird davon ausgegangen, dass Evaluationen je nach spezifischem Gegenstand und Kontext auf unterschiedliche Kombinationen erkenntnistheoretischer und methodologischer Zugänge zurückgreifen müssen. Der Gegenstand und sein Kontext, der Zweck der Evaluation und die Evaluationsfragestellungen entscheiden darüber, wie die skizzierte Schrittfolge konkret angewendet wird, und welchen relativen Stellenwert der jeweilige Schritt hat. Die effektive Vorgehensweise darf nicht vorab aufgrund der Verpflichtung auf bestimmte – aus welchen Gründen auch immer – bevorzugte Evaluations- und Forschungsparadigmen festgelegt werden. Evaluationsplanung verlangt eine aktive, adaptive und dialogische Auseinandersetzung der Evaluierenden mit dem jeweiligen Evaluationsgegenstand in seinem sozialen, ökonomischen und organisatorischen Kontext.

BEISPIEL 1

Es soll ein standardisierter eintägiger Computerkurs zum Thema «Betriebssystem» evaluiert werden. Dieser wird zum einen für Nutzende verschiedener Programmversionen aus Steuerberatungsbüros aus der Innenstadt Frankfurts und zum anderen für Leiterinnen und Leiter von Mikrofinanzagenturen im Süden Sri Lankas angeboten. In beiden Fällen soll untersucht werden, in welchem Maße die Teilnehmenden das im Lernfeld erworbene Wissen im Transferfeld tatsächlich einsetzen, welche Transferhindernisse es gibt und wie diese durch ein optimiertes Transfermanagement im Kurs vermindert werden können.

Anmerkung: In diesem Beispiel liegt ausnahmsweise ein stark standardisierter/standardisierbarer Evaluationsgegenstand vor. In vielen Bildungssettings sind die Evaluationsgegenstände einmalig, erstmalig (Pilotvorhaben oder Modelle), oder es handelt sich um Anpassungen mit starken lokalen Besonderheiten – in all diesen Fällen sind maßgeschneiderte Evaluationen umso mehr erforderlich.

➞ Lösung auf Seite 231

Schrittfolgen sind kein Rezeptbuch

Mit dem nachfolgenden Schema wird ein großer Bogen über die Hauptschritte eines Evaluationsprozesses gespannt, die je nach Kontext und Situation unterschiedliche Bedeutungen und Prioritäten haben. Die Auseinandersetzung mit den einzelnen Schritten wird dabei helfen, begründete Entscheidungen darüber zu treffen, welcher Schritt im spezifischen Fall mit welchem Gewicht zu bearbeiten ist.

Evaluationsprozess

Einen Überblick über den Evaluationsprozess gibt ➞ Abbildung 1. Die detaillierte Darstellung erfolgt in den nachfolgenden Kapiteln.

Abbildung 1: Der Evaluationsprozess

Evaluationsauftrag

Um den Evaluationsprozess ist zumeist ein formaler Rahmen gespannt: der Evaluationsauftrag, ohne den es zu keiner Evaluation kommt. Wenn die Evaluation an einen externen Dienstleister vergeben wird («externe Evaluation», ➞ Kapitel 5.7), kommt es zumeist zu einem schriftlich fixierten Vertrag zwischen Auftraggebenden und Auftragnehmenden. Dies ist z.B. der Fall, wenn die Qualitätsbeauftragte einer Weiterbildungseinrichtung ein Evaluationsbüro mit einer Evaluation zu einem Zertifikatskurs beauftragt. Auch interne Evaluationen werden in Auftrag gegeben; allerdings geschieht dies (leider) oft informell. Dabei kann ein Auftrag viel sicherer durchgeführt werden, wenn beide Seiten einen Konsens über dessen Details erzielt haben und dies auch schriftlich fixieren. Ein Sonderfall ist die Selbstevaluation (➞ Kapitel 5.6), in der eine programmzuständige Person sich selbst den Auftrag gibt, die eigene Maßnahme zu evaluieren.

Evaluationsvertrag mit Blick auf alle nachfolgenden Evaluationsschritte formulieren

Die besondere Herausforderung besteht darin, dass die in den folgenden Kapiteln zu behandelnden Schritte des Evaluationsprozesses in den Evaluationsplan aufgenommen und die vereinbarten Details im Auftragstext festgehalten werden. Ein Vertragsabschluss setzt voraus, dass Einigkeit über zentrale Elemente der Evaluation erzielt worden ist. Was schlussendlich Bestandteil des Vertrages wird und was nicht, muss von Evaluation zu Evaluation neu entschieden werden.

Wie kommt ein Evaluationsauftrag zustande?

Unterschiedliche Abläufe sind möglich, damit ein Evaluationsauftrag zustande kommt (vgl. DeGEval – Gesellschaft für Evaluation e.V., 2007). Die Initiative geht normalerweise von den Auftraggebenden aus. In einer Ausschreibung wird die gewünschte Evaluation beschrieben; sie wird öffentlich bekannt gemacht oder potenziellen Auftragnehmenden (z.B. einem Evaluationsbüro) direkt zugestellt. Die Ausschreibung kann dabei mehr oder weniger ausführlich sein. Im «kurzen» Fall wird das geplante Evaluationsprojekt nur knapp umrissen. Im «ausführlichen» Fall wird der Auftrag durch die sogenannten Terms of Reference (ToR) (Independent Evaluation Group/World Bank, 2011) bzw. das Pflichtenheft (z.B. Widmer, 2005, S.7–9) detailliert beschrieben: der Evaluationsgegenstand und sein Kontext, der Anlass für die Evaluation, der Evaluationszweck, die Evaluationsfragestellungen, die vorgesehenen Nutzenden (Adressierten) wie auch die geplante Nutzung der Evaluationsergebnisse, manchmal sogar die Evaluationskriterien, zugängliche Dokumente, bereits vorhandene Informationen und Daten, relevante Termine, das vorgesehene Budget, die verlangten Evaluationskompetenzen, einige methodische Richtlinien, die Gliederung des erwarteten Angebots sowie Hinweise zur Beurteilung der eingehenden Angebote. Potenzielle Evaluierende bewerben sich, stellen eventuell Rückfragen und unterbreiten ein Angebot. Aus den eingegangenen Angeboten wählen die Auftraggebenden (gegebenenfalls unter Rücksprache mit übergeordneten Stellen) aus. Alternativ kommen Aufträge ohne Ausschreibung zustande, z.B. beim «Einholen eines einzigen Angebots bei einem besonders vertrauten oder als besonders kompetent geltenden Experten» (Wottawa & Thierau, 2003, S.113).

Je nach Erfahrungen der Auftraggebenden mit Evaluation und mit dem zur Verfügung stehenden Budget variieren Umfang und Detailliertheitsgrad einer Ausschreibung.

Selten geht die Initiative zu einer Evaluation von den Auftragnehmenden aus, wie z.B. bei der Durchführung des Vorhabens im Rahmen einer Qualifizierungsarbeit (z. B. Diplomarbeit, Masterarbeit, Dissertation).

Ausrichtung des Evaluationsauftrages: formative oder summative Evaluation

Unabhängig vom Zustandekommen des Evaluationsauftrages führt dessen Ausrichtung zu einer frühen Weichenstellung des gesamten Evaluationsvorhabens:

SCHLÜSSELAUSSAGE

Bereits in der Ausschreibung bzw. im Rahmen erster Vorgespräche ist entweder explizit geklärt – oder es ist implizit enthalten – ob die durchzuführende Evaluation eher eine formative oder eine summative Evaluationsrolle einnehmen soll oder eine Mischform von beiden. Diese entscheidende Weichenstellung ist prägend für die spätere Evaluationsdurchführung.

Die formative Evaluation soll zur optimalen «Ausformung» des Evaluationsgegenstandes, also z.B. einer noch im Erprobungsstadium befindlichen Bildungsmaßnahme, beitragen. Sie führt oft zu einer Veränderung oder einer Stabilisierung eines Programms. Hingegen will die summative Evaluation einen «Summenstrich», eine Bilanz zum Evaluationsgegenstand ziehen, damit sich die Beteiligten und Betroffenen ein zusammenfassendes Bild von seinem Wert machen können bzw. damit sie eine Basis für zu treffende Grundsatzentscheidungen haben, also z.B. Fortführung oder Einstellung, Ausweitung oder Verkleinerung eines Bildungsprogramms.

Je nach Reifegrad eines Programms können Evaluationen unterschiedliche Funktionen erfüllen, z.B. eine klärende oder interaktive Funktion (eine Domäne der formativen Evaluation), oder sie sollen die Umsetzung einer schon im Regelbetrieb befindlichen Maßnahme dokumentieren oder ihre Wirkung feststellen (eine Domäne der summativen Evaluation). Verbesserung oder Stabilisierung sind typische Zwecke einer formativen Evaluation; in summativen Evaluationen geht es meist um Rechenschaftslegung oder Grundsatzentscheidungsfindung (ausführlich in ➞ Kapitel 6.1).