HU Credits: 2

Degree/Cycle: 2nd degree (Master)

Responsible Department: Non profit Management and Leadership

Semester: 2nd Semester

Teaching Languages: Hebrew

Campus: Mt. Scopus

Course/Module Coordinator: Dr. Yuval Ofek

Coordinator Email: yuvalofek@poli.haifa.ac.il

Coordinator Office Hours:

Teaching Staff:
Dr. Ofek Yuval

Course/Module description:
Recent organizational and economic processes have put non-profit organizations (NGOs) and social businesses under increasing pressure, which now must demonstrate results in valid, reliable, credible and rigorous manner. Hence program evaluation is required today, more than ever, in order for NGOs and social businesses to survive and succeed in a competitive environment with shrinking resources. This course introduces students to the field of program evaluation and presents the most up-to date evaluation approaches and their use in practice.

Course/Module aims:
The students will learn how to evaluate effectiveness, efficiency, relevance, impact and sustainability of social programs. To do so, a variety of evaluation approaches and their adaptations to types of programs and projects will be taught. Students will learn how to combine these approaches, as well as how to integrate them with existing performance measurement systems. Special emphasis will be given to the development of evaluation systems suitable for various types of organizations in various circumstances (even for those facing budgetary constraints), which are able to supply information leading to improvement and supporting donor and public accountability.

Learning outcomes - On successful completion of this module, students should be able to:
By the end of the course students will be able to actively adapt evaluation systems to the needs of their organizations through planning internal and external evaluation designs.

Attendance requirements(%):
100%

Teaching arrangement and method of instruction: Lecture

Course/Module Content:
1. Why to evaluate? Concepts, background and the role of evaluators
2. Improvement or accountability? Problems and challenges in evaluating social programs
3. Let’s get started: Evaluation plan, proposal and first necessary steps
4. Evalution, research and the differences between them
5. Opening the black box: Using logic models and theory of change approaches
6. Dealing with complex and changing environments
7. Data collection on the ground: Lessons from a complex reality
8. We haven’t done anything if we didn’t use it correctly: Using evaluation information
9. Summary

Required Reading:
Students should read the course reading materials according to the order in which they appear under each topic. All components are accessible on the course website and in the databases of the university library.

1. Why to evaluate? Concepts, background and the role of evaluators
Rossi, H. P., Lipsey, W.M., & Freeman E. H. (2004). Evaluation: A systematic approach (7th ed.). Thousand Oaks: Sage. pp 2-29.
Nielsen, S. B., & Ejler, N. (2008). Improving performance? Exploring the complementaries between evaluation and performance management. Evaluation, 14(2), 171-192.
Behn, R. D. (2003). Why measure performance? Different purposes require different measures. Public Administration Review, 63(5), 586-606.

2. Improvement or accountability? Problems and challenges in evaluation of social programs
Van Thiel, S. &. Leeuw, F. L. (2002). The performance paradox in the public sector. Public Performance & Management Review, 25(3), 267-281.
Regeer, B. J., de Wildt-Liesveld, R., van Mierlo, B., & Bunders, J. F. (2016). Exploring ways to reconcile accountability and learning in the evaluation of niche experiments. Evaluation, 22(1), 6-28.
Further reading:
Benjamin LM. (2008). Account space: How accountability requirements shape nonprofit practice. Nonprofit Volunteer Sector; 37(2):201–223.

3. Let’s get started: Evaluation plan, proposal and first necessary steps
בייקר, א', וברונר, ב' (2010). יסודות בהערכה משתפת מדריך מעודכן לארגונים ללא כוונת רווח ולשותפיהם להערכה. קיימבריג': קרן ברונר. [עמודים 1-8, 79-84]
Preskill, H., & Jones, N. (2009). A practical guide for engaging stakeholders in developing evaluation questions. New Jersey: Robert Wood Johnson Foundation

4. Evaluation, research and the differences between them
לוין-רוזליס, מ'. (1998). הערכה ומחקר – האמנם חד הם? מגמות, לט (3). 303-319.
Rossi, H. P., Lipsey, W. M., & Freeman E. H. (2004). Evaluation: A systematic approach (7th ed.). Thousand Oaks: Sage. [pp. 265-300]
Song, M., & Herman, R. (2010). Critical Issues and Common Pitfalls in Designing and Conducting Impact Studies in Education: Lessons Learned From the What Works Clearinghouse (Phase I). Educational Evaluation and Policy Analysis, 32(3), pp. 351–371.

5. Opening the black box: Using logic models and theory of change approaches
אלסטר,ס', חביב, ג', צבע, י' (2015). פיתוח תפיסה ופרקטיקה של מדידה מתמשכת של תוצאות במערכות שירות: לקחים וקווים מנחים מהספרות. ירושלים: מאיירס - ג'וינט - מכון ברוקדייל ומשרד הרווחה והשירותים החברתיים. [עמודים 7-35].
בייקר, א', וברונר, ב' (2010). יסודות בהערכה משתפת מדריך מעודכן לארגונים ללא כוונת רווח ולשותפיהם להערכה. קיימבריג': קרן ברונר. [עמודים 14-26 ; 102-108]
Stame, N. (2004). Theory-based evaluation and types of complexity. Evaluation, 10(1), 58–76.
Weiss, C.H. (1997). Theory based evaluation: Past, present and future. New Directions for Evaluation, 76, 41-55.

6. Dealing with complex and changing environments
Earl. S., Carden, F., & Smutylo, T. (2001). Monitoring and evaluation planning focused on changes in partners: Facilitation manual. Ottawa: International Development Research Center. [pp. 1-16]
Van Ongevalle, J., Huyse, H., Boutylkova, E, Maarse, A., & Temmink, C. (2014). A practical guide for actor focused planning, monitoring and evaluation. Leuven: HIVA.
Ambrose, K. & Roduner, D. (2009). A conceptual fusion of the logical framework approach and outcome mapping. OM Ideas Paper No. 1. Available at: http://www.outcomemapping.ca/resource/om-ideas-1-a-conceptual-fusion-of-the-logical-framework-approach-and-outcome-mapping
Ofek, Y. (2016). Matching evaluation approaches to levels of complexity. Evaluation Review, 40(1), 61-84.

7. Data collection on the ground: Lessons from a complex reality
בייקר, א', וברונר, ב' (2010). יסודות בהערכה משתפת מדריך מעודכן לארגונים ללא כוונת רווח ולשותפיהם להערכה. קיימבריג': קרן ברונר. [עמודים 70-78]
European Commission. (2006). Methodological bases for evaluation. Evaluation methods for the European Union's external assistance: Evaluation Tools, 4.Luxemburg: European Commission. pp 9-15; 47-79.
חומר עזר:
אלסטר, ס', חביב, ג', צבע, י' (2015). פיתוח תפיסה ופרקטיקה של מדידה מתמשכת של תוצאות במערכות שירות: לקחים וקווים מנחים מהספרות. ירושלים: מאיירס - ג'וינט - מכון ברוקדייל ומשרד הרווחה והשירותים החברתיים. [עמודים 35-40].

8. We haven’t done anything if we didn’t use it correctly: Using evaluation information in NGOs and social businesses
בייקר, א', וברונר, ב' (2010). יסודות בהערכה משתפת מדריך מעודכן לארגונים ללא כוונת רווח ולשותפיהם להערכה. קיימבריג': קרן ברונר. [עמודים 85-93]
אלסטר,ס', חביב, ג', צבע, י' (2015). פיתוח תפיסה ופרקטיקה של מדידה מתמשכת של תוצאות במערכות שירות: לקחים וקווים מנחים מהספרות. ירושלים: מאיירס - ג'וינט - מכון ברוקדייל ומשרד הרווחה והשירותים החברתיים. [עמודים 42-46].
Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage. [pp 35-93]
Patton, M. Q. (2011). Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use. New York: Guilford. [pp 36-52]
Further reading:
Joint Committee on Standards for Educational Evaluation. (2011). The Program evaluation standards (3rd ed.). Thousand Oaks: Sage.

9. Summary of the course
Stufflebeam, D. L. (1999). Program evaluations metaevaluation checklist (Based on The Program Evaluation Standards). Michigan: Western Michigan University Evaluation Center.

Additional Reading Material:

Course/Module evaluation:
End of year written/oral examination 0 %
Presentation 0 %
Participation in Tutorials 0 %
Project work 0 %
Assignments 100 %
Reports 0 %
Research project 0 %
Quizzes 0 %
Other 0 %

Additional information:
• נוכחות חובה

הרכב הציון:
- שלושה תרגילי הגשה (95%)

במהלך הקורס יינתנו שלושה תרגילי הגשה. התרגיל הראשון יינתן בסיום נושא 3, התרגיל השני יינתן בסיום נושא 6, והתרגיל השלישי יינתן בסיום נושא 7. יש להגיש תשובה בתיבת ההגשה בתוך שבוע מיום פרסום התרגיל.

בנוסף לשלושה תרגילים אלה, בשיעור האחרון של הקורס עליכם לענות על שאלה בנוגע לסרט אותו צילמתי כפאנל מרצים אורחים, שתתבקשו לראות בבית במסגרת נושא 8. משקל רכיב זה הינו 5% מהציון.