Mit den Jahren ändert sich nicht nur die Evaluationsszene, sondern auch meine Sicht auf verschiedene Themen in der Evaluation. Im Kontext meiner Auseinandersetzung mit der programmtheoriegesteuerten Evaluation habe ich den gesamten Themenkomplex logisches Modell und Programmtheorie sowie relevante Begriffe wie Input, Aktivitäten, Outputs, Outcomes und Impact überarbeitet bzw. neu erstellt. Ein wichtiger Einfluss war dabei das Glossar der wirkungsorientierten Evaluation .

Vor einigen Jahren haben Karen Febey und Molly Coyne im AJE das von ihnen entwickelte Evaluation Board Game vorgestellt. Es handelt sich dabei um ein einfaches Würfelspiel für bis zu vier Personen, in dem eher deklaratives Grund- und Vertiefungswissen zum Themenbereich Programmevaluation gelernt bzw. wiederholt werden soll.

Von Zeit zu Zeit kommt ja die Frage auf, inwiefern sich Evaluationsmethoden von Methoden der empirischen Sozialwissenschaften unterscheiden bzw. inwiefern sie über diese herausgehen. So übrigens auch im Rahmen eines Workshops der SEVAL-Tagung der vergangenen Woche, an der ich glücklicherweise teilnehmen durfte.

Eine mögliche Antwort finde ich in einem aktuellen Post auf betterevaluation.org bzw. in dem dort verlinkten Dokument .

Die rechte Spalte des Dokuments enthält u.a. eine recht umfassende Sammlung von Methoden, die im Lebenszyklus einer Evaluation zur Anwendung kommen können. Unabhängig von Kritik, die man sicher im Detail üben kann, wird hier schön die Breite des Spektrums sichtbar, das der Begriff der Evaluationsmethoden abdecken kann.

Das Thema Implementation ist ein in der Evaluation wichtiges, häufig aber übersehenes Problem. Denn oft scheitern positiv evaluierte Maßnahmen an ihrer flächendeckenden Einführung, da im Erprobungsbetrieb Idealbedingungen vorlagen, die in der Fläche nicht mehr gegeben waren. Ein für mich klassisches Beispiel dafür sind etwa die Sprachlabore der 1970er Jahre. Evaluation sollte also, zumindest prospektiv, immer auch die spätere Implementation einer innovativen Maßnahme mit im Blick haben.

Im American Journal of Community Psychology erscheint jetzt ein Themenheft zur Implementation, dessen Artikel bereits jetzt als Online First verfügbar sind. Besonders interessant sind die beiden Beiträge der Autorengruppe um Duncan C. Meyers.

At the EES 2010 conference, I presented two papers, which you can download below:

• Hense, J. U. (2010, October). Kirkpatrick and beyond: A comprehensive methodology for influential training evaluations. Paper presented at the 9th European <acronym title="Insbesondere im Zuge der Professionalisierung der Evaluation etablierte nationale und internationale Initiativen, Berufsverbände und Interessensgruppen im Bereich Evaluation. ">Evaluation Society (EES) International Conference, Prague, Czech Republic, October 7, 2010.
  Download: PDF 1 slide per page | PDF summary

• Hense, J. U. (2010, October). Competencies for <acronym title="Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind. ">Evaluators and Didactics of Evaluation: Experiences from within the <acronym title="Berufs- und Interessensverband zum Austausch zwischen Personen und Institutionen, die mit Evaluation befasst oder an Fragen der Evaluation interessiert sind. ">DeGEval. Paper presented at the 9th European <acronym title="Insbesondere im Zuge der Professionalisierung der Evaluation etablierte nationale und internationale Initiativen, Berufsverbände und Interessensgruppen im Bereich Evaluation. ">Evaluation Society (EES) International Conference, Prague, Czech Republic, October 6, 2010.
  Download: PDF 1 slide per page

Ich habe den relaunch von evoluation.de genutzt, um neben einigen kleineren Überarbeitungen folgende neue Einträge im Wörterbuch aufzunehmen:

• Evaluand
• Evaluation Theory Tree
• Implementationstreue
• Key Evaluation Checklist
• Guiding Principles
• Evaluation Capacity
• Evaluation Capacity Building

Daneben habe ich begonnen, individuelle Einträge für wichtige Evaluationsautoren aufzunehmen. Bereits fertig gestellt sind:

• Scriven, Michael
• Stufflebeam, Daniel L.
• Weiss, Carol H.
• Patton, Michael Quinn

evoluation.de musste im Januar 2008 aufgrund technischer Probleme vom Netz genommen werden. Jetzt habe ich endlich die Zeit gefunden (oder besser: mich entschieden, mir die Zeit zu nehmen), um die Seite wieder ans Netz zu bringen.

Ein Nebeneffekt der langen offline Phase ist, dass Google die Seite inzwischen nicht mehr kennt und daher die Suchfunktion (in der rechten Seitenleiste) nicht funktioniert. Ich bin gespannt, wie lange es dauert bis Google wieder beginnt, die Seite zu indizieren.

At the Isaga 2007 conference, I chaired a session with the title "Improving the quality of gaming simulations: What can we learn from evaluation?" together with my colleague Willy Kriz. Below you can download the presentation slides of the session's individual papers. On the conference website you can find the abstracts and additional information on each of the papers.

• Jan Hense & Willy Kriz: Improving the quality of gaming simulations: Can we learn anything from evaluation? (p-59)
  Download: 1 slide per page | 6 slides per page

• Jantine Clement: Playing a game; has it got the desired results? The development of an evaluation instrument based on the evaluation-levels of Kirkpatrick (p-50)
  Download: 1 slide per page | 6 slides per page

• Bride Mallon: A Peer-Review Process for Games and Simulations (p-67)
  Download: 1 slide per page | 6 slides per page

• David Kaufman, Alice Ireland & Louise Sauvé: New tools, new views? Evaluating games and simulations from multiple perspectives (p-22)
  Download: 1 slide per page | 6 slides per page

• Jan Klabbers: Assessment methodology: the validity of my Ferrari (p-60)
  Download: 1 slide per page | 4 slides per page

Thank you again to all presenters for contributing to the success of the session!

Neue Begriffe im Online-Wörterbuch:

• Evaluationskonzept
• Valorisierung

Überarbeitet:

• Evaluationsnutzung
• Evaluationsdesign

Da die interne Suchfunktion von evoluation.de leider Teile der Website (z.B. das Online-Wörterbuch) nicht erfasst, habe ich eine einfache externe Suchmöglichkeit per Google eingerichtet, die ab sofort neu in der rechten Leiste zu finden ist. Auch die Übersetzungsfunktion für Englisch und Französisch ist neu.

Daneben habe ich einige Begriffe im Online-Wörterbuch überarbeitet und kleinere Änderungen und Updates in den Bereichen Online-Literatur und Ressourcen vorgenommen. Vielen Dank an alle, die mich auf fehlerhafte und neue Links aufmerksam gemacht haben!