方案评估

方案评估 (program evaluation)的定义是运用系统性、质性研究、定量研究等方法来分析资料、搜集证据，以客观判断社区方案或其他服务之成效与影响^[1]^[2]。因此，方案评估兼具责信(accountability)与学习的重要功能^[3]。

方案评估的发展演进

^[4]

方案评估最早发展于第一次世界大战前的教育与公共卫生领域。^[5]^[6]
1930年代，社会科学专家开始使用严谨的研究方法去评估一些领域的社会方案。^[6]
1960年代，方案评估的专业领域发展出检验方案过程与成果的科学概念与方法。^[1]
1963年，美国国会通过的“社区心理卫生中心法案”中，即订有方案评估之相关要求。
1975年，“Evaluation Review”专业期刊问世。^[6]
1975年，“社区心理卫生中心修正案”更特别要求各中心应评估服务方案的需求与实施成效。从此，方案评估就开始成为社区心理卫生中心的重要工作之一。
1980与1990年代，方案评估已包含服务提供的成本效果分析(cost-effectiveness analysis)。^[5]
美国评估学会(American Evaluation Association)随后创立，目前有将近3500位来自不同州郡、国家与专业的成员。^[6]

方案评估的逻辑模式

^[3] ^[1]^[4]

方案评估的重要概念

过程评估

过程评估(process evaluation)与形成性评估(formative evaluation)、监测与评估(monitoring and evaluation)的概念近似，其主要目的皆在透过即时追踪或检视方案执行的过程与相关产出，以确保依照先前方案所设定的计画目标与期望效益，并循著在具监测功能系统的架构中持续进行下去与完成。因此，方案过程的监测与评估是非常重要的，这攸关一个方案的成败。过程评估的量化与质化的方式，包括服务人数或人次统计、使用率、问题或资源分析、会议或团体的记录、个案晤谈记录、成本分析、工作日志等。^[7]^[8]^[9]^[3]

结果评估

结果评估(outcome evaluation)与总结性评估(summative evaluation)、绩效评估(performance evaluation)的概念接近，通常指在方案执行完毕之后(也可能是期程之中某个阶段完成)的时间点，透过量化或质化的方法来评价方案是否已达到原先设定的计画目标与期望效果。结果评估的测量方法有实验设计与准实验设计两种类型，包括人员访谈、自我报告、满意度、前后测比较、个案研究、行动研究、随机对照验证(randomized controlled trials, RCTs)等。^[7]^[10]^[3]

影响评估

影响评估(impact evaluation)是最具耗时费力与技术难度的评估工作，其指在方案结束一段时间之后，再来评估原先方案设定的最终正向结果或长期的影响程度。例如方案标的对象的快乐幸福感是否持续恶化或有具体提升，另外发生率(incidence)或盛行率(prevalence)也是常用来评估各类初级预防方案长期影响的客观指标，其他非量化的资料亦可提供影响评估佐证，如医疗记录、健康检查报告、学校成绩单、考试榜单等。为了确认标的对象的正向改变与相关影响是受到方案介入所致，最好能使用实验设计的方式(实验组与对照组)来证明，受试样本数不能太少且需随机的抽样过程。目前，有因果推断的新策略，包含因果归因(causal attribution)与因果贡献(causal contribution)两种。^[7]^[6]^[3]

方案评估的角色功能

^[1]^[5]^[4]

帮助行政管理决策。
改善目前实施中的方案。
展现专业上的责信(accountability)。
提升方案在效益方面的支持与证明。
累积助人服务相关的理论基础。

方案评估的不同类型

独立评估

独立评估(independent evaluation)是评估者扮演发展评估计画、进行评估过程、发表评估结果等主要角色。^[6] ^[4]

参与或合作评估

参与或合作评估(participatory or collaborative evaluation)是评估者与利害关系人(stakeholders)代表组成评估团队，共同合作以进行评估计画、实施与分析，但评估者在团队中只是领导与谘询者。^[6] ^[4]

赋权评估

赋权评估(empowerment evaluation)是一种方案评估的创新模式，主要在于鼓励方案实务工作者先从自我决定做起，并有系统地协助提升其方案规划与执行的相关知能，进而能产生正向的结果循环。赋权评估的概念是立基在赋权与公民参与的理论架构，有训练、促发、鼓吹、启迪、解放(约束或限制)等五个面向。赋权评估与传统评估方式的最大差异之处，在于以改善为最终目标、社区有权做决策、纳入不同利害关系人的观点、民主式的参与、社会正义取向、善用社区的知识及智慧、实证为基础的策略、能力建构、组织学习、方案责信等十大原则。^[7]^[11]^[12]^[13]

参考文献

^ ^1.0 ^1.1 ^1.2 ^1.3 Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning. 2007. ISBN 0-534-63454-0.
^ Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.
^ ^3.0 ^3.1 ^3.2 ^3.3 ^3.4 Cyrus Samii. Evaluation (PDF). 2010年8月8日 [2024-11-02查阅].
^ ^4.0 ^4.1 ^4.2 ^4.3 ^4.4 许耕荣; 陈嘉凤、王荣春、韩明荣与林柏煌. 台灣社區心理衛生中心績效評核模式之建立─以賦權評估理論為基礎. 行政院衛生署委託研究報告. 2004年.
^ ^5.0 ^5.1 ^5.2 Scileppi, John A.; Elizabeth Lee Teed, Robin Diller Torres. Community psychology: A common sense approach to mental health . Prentice-Hall. 2000. ISBN 0-13-083341-X.
^ ^6.0 ^6.1 ^6.2 ^6.3 ^6.4 ^6.5 ^6.6 Rossi, Peter H.; Mark W. Lipsey, Howard E. Freeman. Evaluation: A Systematic Approach . Sage Publications. 2004. ISBN 0-7619-0894-3.
^ ^7.0 ^7.1 ^7.2 ^7.3 Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.
^ Rudkin, Jennifer Kofkin. Community psychology: Guiding principles and orienting concepts. Prentice Hall]. 2003. ISBN 0-13-089903-8.
^ Gladding, Samuel T.; Deborah W. Newsome. Community and Agency Counseling . Pearson Education]. 2004. ISBN 0-13-093312-0.
^ Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning]. 2007. ISBN 0-534-63454-0.
^ Fetterman, David M. Foundations of Empowerment Evaluation . Thousand Oaks, CA: Sage Publications]. 2001. ISBN 0-803-95669-X.
^ Fetterman, David M.; Abraham Wandersman. Empowerment Evaluation Principles in Practice . New York, NY: Guilford Publications]. 2005. ISBN 1-593-85114-6.
^ Fetterman, David M.; Shakeh Kaftarian & Abraham Wandersman. Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability . Thousand Oaks, CA: Sage Publications]. 1996. ISBN 0-761-90025-X.

延伸阅读

Chelimsky, Eleanor; William R. Shadish. Evaluation for the 21st Century: A Handbook. Sage Publications. 1997. ISBN 0-7619-0619-X 请检查|isbn=值 (帮助).
Speer, David C. Mental Health Outcome Evaluation . Academic Press. 1998. ISBN 0-12-656575-9.
Patton, Michael Q. Utilization-Focused Evaluation: The New Century Text . Sage Publications. 1997. ISBN 0-8039-5265-1.
Fitzpatrick, Jody L.; James R. Sanders, Blaine R. Worthen. Program evaluation: Alternative approaches and practical guidelines . Allyn and Bacon. 2004. ISBN 0-321-07706-7.
Mordock, John B. Managing for Outcomes: A Basic Guide to the Evaluation of Best Practices in the Human Services . CWLA Press. 2002. ISBN 0-87868-814-5.
Lewis, Judith A.; Michael D. Lewis, Thomas Packaedd, Federico Souflée, JR. Management of Human Service Programs . Wadsworth Publishing. 2001. ISBN 0-534-36886-7.
Schalock, Robert L. Outcome-Based Evaluation . Kluwer Academic/Plenum Publishers. 2001. ISBN 0-306-46458-6.
Cone, John D. Evaluating Outcomes: Empirical Tools for Effective Practice . American Psychological Association. 2001. ISBN 1-55798-723-8.
Getting To Outcomes™ 2004:Promoting Accountability Through Methods and Tools for Planning, Implementation, and Evaluation （页面存档备份，存于互联网档案馆） (RAND)
Clay, Rebecca A. Achieving better outcomes. Monitor on Psychology. 2009, 40(8): 46. 外部链接存在于|title= (帮助)
United Nations Development Programme. Handbook on Planning, Monitoring and Evaluating for Development Results. 2009年 [2024-11-02查阅]. （原始内容存档于2010-08-18）.
United Nations Evaluation. UNEG Guidance Documents. [2024-11-02查阅]. （原始内容存档于2010-03-28）.
United Nations office for the Coordination of Humanitarian Affair. Evaluation Studies Information. [2024-11-02查阅]. （原始内容存档于2009-05-30）.
United Nations Office of Inspection and Oversight Services. Guidance to Programmes for Developing a Evaluation Policy (PDF). [2024-11-02查阅]. （原始内容存档 (PDF)于2014-03-11）.
World Bank Group. Monitoring and Evaluation: Some Tools, Methods and Approaches. [2024-11-02查阅]. （原始内容存档于2016-09-18）.

外部链接

台湾社区心理学资讯网
美国评估学会（页面存档备份，存于互联网档案馆）(American Evaluation Association, AEA)
美国联合劝募组织-方案评估资源网站(United Way of America: Outcome Measurement Resource Network)
美国哥伦比亚大学-政经发展策略研究中心（页面存档备份，存于互联网档案馆）(Center for the Study of Development Strategies, Columbia University)
美国疾病管制局-评估工作小组（页面存档备份，存于互联网档案馆）(CDC Evaluation Working Group)
加拿大评估协会（页面存档备份，存于互联网档案馆）(Canadian Evaluation Society, CES)
赋权评估部落格（页面存档备份，存于互联网档案馆）(Empowerment Evaluation Blog)
世界卫生组织：“心理卫生实证与研究”主题专页（页面存档备份，存于互联网档案馆）(World Health Organization: Mental Health Evidence and Research)

[ref1-1] 1.0 ^1.1 ^1.2 ^1.3 Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning. 2007. ISBN 0-534-63454-0.

[ref2-2] Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.

[ref6-3] 3.0 ^3.1 ^3.2 ^3.3 ^3.4 Cyrus Samii. Evaluation (PDF). 2010年8月8日 [2024-11-02查阅].

[ref3-4] 4.0 ^4.1 ^4.2 ^4.3 ^4.4 许耕荣; 陈嘉凤、王荣春、韩明荣与林柏煌. 台灣社區心理衛生中心績效評核模式之建立─以賦權評估理論為基礎. 行政院衛生署委託研究報告. 2004年.

[ref4-5] 5.0 ^5.1 ^5.2 Scileppi, John A.; Elizabeth Lee Teed, Robin Diller Torres. Community psychology: A common sense approach to mental health . Prentice-Hall. 2000. ISBN 0-13-083341-X.

[ref5-6] 6.0 ^6.1 ^6.2 ^6.3 ^6.4 ^6.5 ^6.6 Rossi, Peter H.; Mark W. Lipsey, Howard E. Freeman. Evaluation: A Systematic Approach . Sage Publications. 2004. ISBN 0-7619-0894-3.

[ref7-7] 7.0 ^7.1 ^7.2 ^7.3 Lewis, Judith A.; Michael D. Lewis, Judy A. Daniels, Michael J. D’Andrea. Community Counseling: Empowerment Strategies for a Diverse Society . Brooks/Cole-Thomson Learning]. 2003. ISBN 0-534-50626-7.

[8] Rudkin, Jennifer Kofkin. Community psychology: Guiding principles and orienting concepts. Prentice Hall]. 2003. ISBN 0-13-089903-8.

[9] Gladding, Samuel T.; Deborah W. Newsome. Community and Agency Counseling . Pearson Education]. 2004. ISBN 0-13-093312-0.

[10] Dalton, James H.; Maurice J. Elias, Abraham Wandersman. Community psychology: linking individuals and communities. Wadsworth/Thomson Learning]. 2007. ISBN 0-534-63454-0.

[11] Fetterman, David M. Foundations of Empowerment Evaluation . Thousand Oaks, CA: Sage Publications]. 2001. ISBN 0-803-95669-X.

[12] Fetterman, David M.; Abraham Wandersman. Empowerment Evaluation Principles in Practice . New York, NY: Guilford Publications]. 2005. ISBN 1-593-85114-6.

[13] Fetterman, David M.; Shakeh Kaftarian & Abraham Wandersman. Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability . Thousand Oaks, CA: Sage Publications]. 1996. ISBN 0-761-90025-X.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]