在项目评估领域,本书是国际公认的权威参考书。本书从探究评估的哲学基础和思想脉络入手,在理论与实践间搭建桥梁,为在复杂的社会环境中开展项目评估提供了从理论范式与方法选择到过程管理与结果应用,让读者“身临其境”全程参与的详细指导。本书还结合不同项目的特点,就各种理论方法的优势与局限进行探讨,并通过评估工作者在不同地域文化、学科背景、群体特征和政策导向的工作环境中的境遇,为读者提供解读政策、理解项目、选择样本、分析数据、解释结果的实用性方案,可帮助读者更好地谋划和实施各类评估任务。
Donna M. Mertens在美国加劳德特大学教育基金会与研究系任教授,从事项目评估理论方法研究与教学工作,现任该校独立顾问和名誉教授,曾主持美国教育部、美国国际开发署、美国凯洛格基金会等机构委托的多个评估项目。在她40年的职业生涯中共发表期刊论文46篇、出版论著16部。
李欣蕊,英语翻译硕士,毕业于北京外国语大学英语学院,现任某世界五百强企业外事专员,辅修法语、西班牙语,有多年笔译及会议口译工作经验。李强,管理学博士,毕业于北京理工大学,现任中国科学院科技战略咨询研究院副研究员、中国传媒大学管理学部特聘讲席教授。主要研究领域为科技评价与科技项目管理。曾主持国家自然科学基金委员会、农业农村部、科学技术部、中国科学技术协会等单位委托的研究课题14项,出版学术专著2部,发表学术论文20余篇,获国家级奖励2项。
第一部分 评估概览
第1章 评估导论:概念界定及伦理考量 3
1.1 评估者眼中的世界 3
1.2 评估的概念与含义 4
1.2.1 超越日常生活的抽象定义 5
1.2.2 强调优点与作用的价值判断 5
1.2.3 应用社会学研究中的定义 8
1.2.4 兼顾政治背景的定义 8
1.2.5 国际开发领域的定义 8
1.3 研究和评估的区别 10
1.4 评估者的专业术语 11
1.4.1 评估对象 11
1.4.2 内部和外部评估者 13
1.4.3 形成性评估与总结性评估 13
1.4.4 利益相关者与“用户” 14
1.4.5 性别分析 14
1.5 评估中的规模维度 15
1.6 美国政府与评估 16
1.7 国际开发与评估 16
1.8 评估学发展概览 19
1.9 评估标准与伦理规范 20
1.9.1 批判性项目评估标准 20
1.9.2 非洲评估学会指导准则 23
1.9.3 伦理与评估:美国评估学会准则 24
1.9.4 伦理、评估与文化能力 26
第2章 评估框架:范式、分支及理论 29
2.1 范式与理论 29
2.2 评估范式 30
2.3 评估理论 32
2.4 模型与方法 32
2.5 社会科学理论 34
2.6 项目理论 35
2.7 评估者角色 35
第二部分 历史演进:评估范式与理论方法
第3章 后实证主义范式与方法分支 44
3.1 后实证主义范式 44
3.2 方法分支研究者 46
3.2.1 早期研究者及其理论 47
3.2.2 基于理论的评估 47
3.2.3 培训项目的评估 48
3.3 从理论到实践 49
3.3.1 实验设计和准实验设计方法 49
3.3.2 基于理论的评估 57
3.3.3 培训项目的评估 61
3.4 对方法分支的评论 63
3.4.1 在“现实世界”中缺乏适用性 63
3.4.2 实验方法的优缺点 63
3.5 规划你的评估:你的哲学理念 64
第4章 实用主义范式与应用分支 66
4.1 实用主义范式 66
4.1.1 价值论(伦理) 66
4.1.2 本体论(现实) 67
4.1.3 认识论(知识) 67
4.1.4 方法论(系统性探究) 67
4.2 应用分支研究者 68
4.3 从理论到实践 72
4.3.1 CIPP模型构成要素 72
4.3.2 聚焦应用型评估 81
4.4 发展评估 85
4.4.1 学习型组织评估 88
4.4.2 授权评估 90
4.4.3 实践参与式评估 93
4.5 对应用分支的评论 97
4.6 规划你的评估:你的哲学理念 98
第5章 建构主义范式与价值判断分支 100
5.1 建构主义范式 101
5.1.1 价值论(伦理) 101
5.1.2 本体论(现实) 102
5.1.3 认识论(知识) 102
5.1.4 方法论(系统性探究) 103
5.2 价值判断分支研究者 103
5.3 从理论到实践 106
5.3.1 非限定目标评估 106
5.3.2 案例研究方法 107
5.3.3 鉴赏评估 111
5.3.4 响应型评估 113
5.3.5 协作评估 117
5.4 案头审查 119
5.5 规划你的评估:你的哲学理念 120
第6章 改良主义范式与社会公正分支 122
6.1 改良主义范式 123
6.1.1 价值论(伦理) 124
6.1.2 本体论(现实) 126
6.1.3 认识论(知识) 127
6.1.4 方法论(系统性探究) 128
6.2 社会公正分支研究者 129
6.3 从理论到实践 133
6.3.1 协商民主型评估 134
6.3.2 国家主导的评估 138
6.3.3 地域风俗评估 140
6.3.4 文化响应型评估 143
6.3.5 基于残疾人权利的评估 146
6.3.6 性别平等评估 148
6.3.7 改革参与式评估 151
6.3.8 基于原则的评估 153
6.4 规划你的评估:你的哲学理念 156
第三部分 评估规划
第7章 与利益相关者协作:确立评估场景和评估对象 161
7.1 确定利益相关者 161
7.2 人际关系 163
7.3 与利益相关者沟通 164
7.3.1 少数民族案例 164
7.3.2 权力和特权 165
7.4 发展友好伙伴关系 166
7.5 评估对象与评估场景 168
7.6 评估对象及场景信息来源 169
7.6.1 出资机构 170
7.6.2 学术文献 171
7.6.3 理论框架 173
7.6.4 网络资源 174
7.6.5 “灰色文献” 174
7.6.6 团队策略和个人策略 175
7.6.7 咨询委员会 176
7.6.8 高科技工具:卫星图像和测绘 177
7.7 描述评估对象 177
7.7.1 逻辑模型与逻辑框架 178
7.7.2 描述和介绍评估对象 185
7.7.3 综合使用多种方法 186
7.8 规划你的评估:利益相关者、评估场景和评估对象 186
第8章 评估目的与评估问题 189
8.1 评估目的与类型 189
8.2 多目的评估 190
8.3 目的:增进了解或确定必要投入 191
8.3.1 背景评估 191
8.3.2 能力建设 191
8.3.3 需求和资源评估 193
8.3.4 相关性评估 198
8.4 目的:找到需要改善的领域或有待改进的措施 198
8.4.1 实施评价 199
8.4.2 响应型评估 200
8.4.3 发展评估 200
8.4.4 协作评估 200
8.4.5 过程评估 200
8.4.6 国际开发中的监测 201
8.5 目的:评价项目效果 203
8.5.1 效果与影响评估 203
8.5.2 案头审查 206
8.5.3 政策评估 206
8.5.4 可复制推广及可转化性评估 208
8.5.5 可持续性评估 209
8.5.6 成本分析 211
8.6 目的:解决社会公正问题 212
8.6.1 协商民主型评估 212
8.6.2 国家主导的评估 212
8.6.3 性别分析 213
8.6.4 进一步探讨改良主义评估 216
8.7 多目的评估策略 217
8.8 提出评估问题 218
8.9 规划你的评估:目的和问题 219
第9章 评估设计 221
9.1 定量设计 222
9.1.1 内部效度和外部效度 223
9.1.2 实验设计和准实验设计所用符号 228
9.1.3 实验设计 229
9.1.4 随机分组中的伦理问题 233
9.1.5 准实验设计 234
9.1.6 单组设计 237
9.1.7 调查 237
9.1.8 成本分析 238
9.2 定性设计 241
9.2.1 案例分析 242
9.2.2 民族志设计 243
9.2.3 叙述性设计 246
9.2.4 现象学研究 247
9.2.5 参与式行为研究设计 248
9.3 综合方法设计 250
9.3.1 同步型、辩证型(或嵌入型)和顺序型综合方法设计 251
9.3.2 改良主义综合方法设计 252
9.3.3 影响评估与综合方法设计 253
9.4 如何选择评估设计 254
9.5 项目评估待办事项清单 256
9.6 规划你的评估:评估设计 256
第10章 数据收集策略和指标 258
10.1 数据收集:概述 260
10.1.1 语言是数据收集的首要问题 261
10.1.2 评估研究中的数据收集质量 262
10.2 数据收集的质量标准 262
10.2.1 可靠性和真实性 263
10.2.2 有效性和可信度 265
10.3 规划数据收集 269
10.4 数据收集选项:定量数据 270
10.4.1 测试 270
10.4.2 绩效评估 273
10.4.3 综合测评 273
10.4.4 调查 274
10.4.5 目标达成量表 275
10.4.6 二手数据分析 276
10.5 数据收集选项:科技手段 277
10.6 数据收集选项:定性数据 278
10.6.1 观察 278
10.6.2 访谈 279
10.6.3 文档和资料审核 284
10.7 数据收集选项:参与模式 286
10.7.1 最显著变化 286
10.7.2 可视化数据收集 287
10.7.3 概念映射 292
10.7.4 欣赏式探寻 292
10.7.5 性别分析 293
10.7.6 网络分析 294
10.7.7 社会网络分析 295
10.8 数据收集选项:综合方法 297
10.9 绩效指标与数据收集 298
10.10 规划你的评估:指标数据收集 301
第11章 利益相关者、参与者与抽样 303
11.1 抽样原理 303
11.2 定义群体和样本 304
11.3 抽样中的伦理问题 305
11.3.1 知情同意 305
11.3.2 保密和匿名 307
11.4 识别样本成员 308
11.4.1 少数民族 308
11.4.2 残疾人 309
11.5 抽样方法 310
11.5.1 概率抽样 310
11.5.2 立意或理论抽样 312
11.5.3 抽样和应用分支 317
11.5.4 抽样和社会公正分支 317
11.5.5 综合方法抽样 320
11.6 样本容量 321
11.6.1 概率抽样的经验法则和公式 321
11.6.2 定性研究的样本容量 322
11.7 规划你的评估:抽样设计 323
第12章 数据分析和阐释 325
12.1 让利益相关者参与数据阐释 325
12.2 能力建设和数据分析 326
12.3 定性数据分析 326
12.3.1 计算机软件与人工分析 328
12.3.2 内容编码 329
12.3.3 定性数据分析理论框架 332
12.3.4 特殊定性数据分析:话语分析和持续比较法 334
12.3.5 探索性研究和定性数据分析 337
12.4 定量数据分析 337
12.4.1 统计学术语 338
12.4.2 统计方法选择 341
12.5 数据综合分析方法 342
12.5.1 用计算机软件分析 345
12.5.2 辩证综合分析方法 345
12.6 数据阐释 346
12.6.1 定量研究中的问题 346
12.6.2 定性研究中的问题 347
12.6.3 定量和定性研究的共性问题 348
12.6.4 对象群体的参与 349
12.7 规划你的评估 350
第四部分 评估实践:结果应用、项目管理、元评价与挑战
第13章 评估结果的传达和应用 353
13.1 评估结果的传达 353
13.1.1 基于语言的传达 354
13.1.2 利用图表呈现数据 363
13.1.3 成果展示与宣讲 369
13.2 搭建连通数据分析阐释与结果应用的桥梁:经验教训 371
13.3 目标用户与预设用途 372
13.3.1 经验教训与后续影响 374
13.3.2 可持续性与评估结果应用 377
13.3.3 评估活动的政策影响 378
13.3.4 评估与国际开发政策 379
13.4 规划你的评估:结果的传达和应用 380
第14章 元评价和项目管理 383
14.1 元评价 383
14.1.1 检查清单和定性分析工具 384
14.1.2 元评价应该由谁来开展? 386
14.1.3 元评价应该什么时候开展? 386
14.2 评估管理:实施方案和预算编制 388
14.2.1 研究活动与人员管理 389
14.2.2 制定实施方案的步骤 390
14.2.3 评估管理的挑战 393
14.2.4 评估人员的遴选 395
14.2.5 评估预算的编制 396
第15章 评估的旧问题与新挑战 402
15.1 政治性与价值观 402
15.1.1 基于科学的研究及相关争议 403
15.1.2 国际开发领域中的影响评估 404
15.1.3 美国评估学会发挥的作用 404
15.2 多元化评估方法 406
15.3 文化与综合方法 406
15.3.1 文化敏感性问题 406
15.3.2 综合方法评估 408
15.4 可信证据的需求 410
15.5 抵触情绪的化解 413
15.6 新问题还在涌现 416
原著参考文献 418