分级证据补助金有效吗？
Posted: Sun Dec 15, 2024 8:23 am
美国成果组织最近发布了九点议程，建议国会采取行动，以此为基础做出拨款决定。其中一项建议是扩大“分级证据”拨款的使用。
但它们有效吗？
美国政府问责局 (GAO)于 2016 年审查了这种相对较新的拨款方式。GAO 表示：“根据这种方式，机构根据受助者服务模式的有效性证据水平建立拨款等级。机构会向证据较少但前景良好的服务模式授予较少的拨款金额，而向证据较多的服务模式授予较多的拨款金额。”
美国政府问责局进一步指出：“分级证据拨款的支持者认为，它们可以激励受助者使用有强有力的有效性证据支持的方法，鼓励学习和反馈循环，为未来的投资决策提供信息，并提供一些资金来测试创新方法。”
美国结果显示，有五个经授权的联邦循证创新项目采用分层证据方法：社会创新基金、教育创新与研究项目、青少年怀孕预防项目、产妇、婴儿和幼儿家访项目以及发展创新企业。
社会创新研究中心负责人 Patrick Lester为 IBM 中心完成了对这五个计划之一的评估，以确定这种方法是否有效。他研究了教育部教育创新与研究 (EIR) 拨款计划下 44 项个人拨款的影响，这些拨款已完成正式评估（该计划早期的 117 项拨款）。该计划最初被称为“投资创新 (i3)”计划，在过去八年中为教育项目提供了超过 14 亿美元的拨款。这些项目专注于改善低 埃及手机号 绩效学校的转型、降低辍学率和提高学生成绩（例如阅读成绩）。
EIR 分级证据补助金案例。2009 年，教育部采用分级证据补助金试点小学和中学教育创新，现任政府承诺继续沿用这一方法。政府 2018 财政年度预算提议为现有教育创新和研究计划提供 3.7 亿美元的资金，包括用于证明不同学校选择计划方法有效性的资源。
莱斯特表示，i3 / EIR 计划“是全国范围内建立和增加基于证据的教育计划和实践的一部分”。这项更广泛的努力包括对教育研究的大量投资以及向国家、州和地方教育工作者和政策制定者传播研究成果。
该计划试图通过其拨款创建一个项目“管道”，每个项目都处于三个不同的发展阶段之一——早期创新、具有一些证据的中级项目以及具有大量证据并应在全国范围内推广的举措。每个阶段都由三种不同类型的计划拨款之一处理——开发、验证和扩大规模。
2015 年，国会作为《每个学生成功法案》的一部分对该计划进行了更新，增加了符合条件的申请人，但保留了原计划的大部分基本特征。
EIR 研究重点领域的进展。 要获得资格，资助申请人必须申请教育部选定的重点领域之一，这些领域是根据对该领域有效工作的更多证据的需求而选定的。主题每年都不同。例如，2010 年有四个重点领域：(1) 教师和校长；(2) 数据使用；(3) 标准和评估；(4) 学校转型。
在莱斯特对支持有效教师和校长的项目评估的审查中，他总结道：“这一类别的整体表现不佳可能并不令人惊讶。先前的研究表明，大多数教师专业发展都是无效的。”
在学校转型的重点领域方面，他研究了约翰霍普金斯大学在 2010 年获得验证拨款后发起的一项名为“现在就读文凭”的计划。莱斯特写道，该计划已在 32 所初中和高中开展，旨在提高高中毕业率和大学入学准备率。他指出，“虽然该项目尚未完成……但其早期成果仍然值得关注……两年后，它降低了表现出一个或多个学生辍学早期预警信号的学生比例，这些预警信号包括行为不良、出勤率低或学业成绩差。”
有趣的是，他发现：“专注于阅读和读写能力的受助者的成功率最高。”
根据资助接受者类型进行的观察。 资助接受者可以是地方学区、大学、经营特许学校的非营利组织等。他们获得资助用于发展、验证和扩大规模。
莱斯特发现地方学区“与其他受资助者相比，似乎既有优势，也有劣势。优势与学校的位置有关。他们往往更接近工作，更容易获得支持，更容易获得数据，并且如果项目有效，他们的预算足以维持项目……劣势包括在某些关键专业领域（尤其是评估）的能力较低，对所选干预措施的专业化程度或经验较少，以及缺乏与国家专家的直接联系。”
获得扩大规模资助的机构——KIPP特许学校、为美国而教、人人成功以及俄亥俄州立大学发起的阅读恢复计划——扩大了其循证项目，作为一个整体，“表现优于”同样获得资助但独立运作的当地学区。莱斯特总结道：“……可能需要强大的中介机构才能在表现不佳的学校成功扩大循证项目。”
成功或失败的主要因素。 莱斯特初步确定了十个因素，这些因素可以解释为什么某些项目成功而其他项目失败。这些因素包括：
项目目标的难度。过于雄心勃勃的项目（如扭转整个学校的局面）往往会失败。
具有所选干预技术的经验。具有经验的组织往往更有可能取得成功。
学校的真正支持。 “你需要一个稳定、支持性强的学区，当需要改变时，它愿意做出改变，”一位受助者说。“如果你不从教师和其他基层人士中得到支持，那么做出重大改变的可能性就很小，”另一位受助者说。“否则，创新很容易受到阻碍。”
评估设计的强度。设计不良或实施不当的评估或数据访问问题是导致总体结果不佳的原因。
总体而言，莱斯特的研究发现，“该项目的扩大和验证拨款中，需要更多证据的拨款比例较高（50%），产生了积极影响。而需要较少证据的发展拨款中，产生积极影响的比例则较小（20%）。”他谨慎地总结道，“这些成功率似乎超过了教育研究的其他领域。”
建议。GAO 的报告对分层证据方法的价值持相对乐观的态度。它建议OMB 创建一个跨机构工作组，以“广泛传播有关分层证据拨款计划的信息或领先做法和经验教训”。
此外，根据对 EIR 项目内各个拨款的审查，Lester 建议采取一些措施来微调其运作，例如：
EIR 项目应支持更快的研究；“等待六年的结果太长了”。……这可以通过“向已经在多所学校开展的项目提供更多资助”来实现。
EIR 应该与其他公共资助的教育项目更好地联系起来，因为“成功扩大循证项目可能需要高能力中介机构的参与……《每个学生成功法案》通过其多项规定为增加证据的使用奠定了基础。”
总体而言，分层证据方法似乎是一种有前途的方法，得到了两党的支持。随着政府寻求新的改革思路，看看 GAO 建立实践社区的建议是否能奏效，这将是一件有趣的事情。
但它们有效吗？
美国政府问责局 (GAO)于 2016 年审查了这种相对较新的拨款方式。GAO 表示：“根据这种方式，机构根据受助者服务模式的有效性证据水平建立拨款等级。机构会向证据较少但前景良好的服务模式授予较少的拨款金额，而向证据较多的服务模式授予较多的拨款金额。”
美国政府问责局进一步指出：“分级证据拨款的支持者认为，它们可以激励受助者使用有强有力的有效性证据支持的方法，鼓励学习和反馈循环，为未来的投资决策提供信息，并提供一些资金来测试创新方法。”
美国结果显示，有五个经授权的联邦循证创新项目采用分层证据方法：社会创新基金、教育创新与研究项目、青少年怀孕预防项目、产妇、婴儿和幼儿家访项目以及发展创新企业。
社会创新研究中心负责人 Patrick Lester为 IBM 中心完成了对这五个计划之一的评估，以确定这种方法是否有效。他研究了教育部教育创新与研究 (EIR) 拨款计划下 44 项个人拨款的影响，这些拨款已完成正式评估（该计划早期的 117 项拨款）。该计划最初被称为“投资创新 (i3)”计划，在过去八年中为教育项目提供了超过 14 亿美元的拨款。这些项目专注于改善低 埃及手机号 绩效学校的转型、降低辍学率和提高学生成绩（例如阅读成绩）。
EIR 分级证据补助金案例。2009 年，教育部采用分级证据补助金试点小学和中学教育创新，现任政府承诺继续沿用这一方法。政府 2018 财政年度预算提议为现有教育创新和研究计划提供 3.7 亿美元的资金，包括用于证明不同学校选择计划方法有效性的资源。
莱斯特表示，i3 / EIR 计划“是全国范围内建立和增加基于证据的教育计划和实践的一部分”。这项更广泛的努力包括对教育研究的大量投资以及向国家、州和地方教育工作者和政策制定者传播研究成果。
该计划试图通过其拨款创建一个项目“管道”，每个项目都处于三个不同的发展阶段之一——早期创新、具有一些证据的中级项目以及具有大量证据并应在全国范围内推广的举措。每个阶段都由三种不同类型的计划拨款之一处理——开发、验证和扩大规模。
2015 年，国会作为《每个学生成功法案》的一部分对该计划进行了更新，增加了符合条件的申请人，但保留了原计划的大部分基本特征。
EIR 研究重点领域的进展。 要获得资格，资助申请人必须申请教育部选定的重点领域之一，这些领域是根据对该领域有效工作的更多证据的需求而选定的。主题每年都不同。例如，2010 年有四个重点领域：(1) 教师和校长；(2) 数据使用；(3) 标准和评估；(4) 学校转型。
在莱斯特对支持有效教师和校长的项目评估的审查中，他总结道：“这一类别的整体表现不佳可能并不令人惊讶。先前的研究表明，大多数教师专业发展都是无效的。”
在学校转型的重点领域方面，他研究了约翰霍普金斯大学在 2010 年获得验证拨款后发起的一项名为“现在就读文凭”的计划。莱斯特写道，该计划已在 32 所初中和高中开展，旨在提高高中毕业率和大学入学准备率。他指出，“虽然该项目尚未完成……但其早期成果仍然值得关注……两年后，它降低了表现出一个或多个学生辍学早期预警信号的学生比例，这些预警信号包括行为不良、出勤率低或学业成绩差。”
有趣的是，他发现：“专注于阅读和读写能力的受助者的成功率最高。”
根据资助接受者类型进行的观察。 资助接受者可以是地方学区、大学、经营特许学校的非营利组织等。他们获得资助用于发展、验证和扩大规模。
莱斯特发现地方学区“与其他受资助者相比，似乎既有优势，也有劣势。优势与学校的位置有关。他们往往更接近工作，更容易获得支持，更容易获得数据，并且如果项目有效，他们的预算足以维持项目……劣势包括在某些关键专业领域（尤其是评估）的能力较低，对所选干预措施的专业化程度或经验较少，以及缺乏与国家专家的直接联系。”
获得扩大规模资助的机构——KIPP特许学校、为美国而教、人人成功以及俄亥俄州立大学发起的阅读恢复计划——扩大了其循证项目，作为一个整体，“表现优于”同样获得资助但独立运作的当地学区。莱斯特总结道：“……可能需要强大的中介机构才能在表现不佳的学校成功扩大循证项目。”
成功或失败的主要因素。 莱斯特初步确定了十个因素，这些因素可以解释为什么某些项目成功而其他项目失败。这些因素包括：
项目目标的难度。过于雄心勃勃的项目（如扭转整个学校的局面）往往会失败。
具有所选干预技术的经验。具有经验的组织往往更有可能取得成功。
学校的真正支持。 “你需要一个稳定、支持性强的学区，当需要改变时，它愿意做出改变，”一位受助者说。“如果你不从教师和其他基层人士中得到支持，那么做出重大改变的可能性就很小，”另一位受助者说。“否则，创新很容易受到阻碍。”
评估设计的强度。设计不良或实施不当的评估或数据访问问题是导致总体结果不佳的原因。
总体而言，莱斯特的研究发现，“该项目的扩大和验证拨款中，需要更多证据的拨款比例较高（50%），产生了积极影响。而需要较少证据的发展拨款中，产生积极影响的比例则较小（20%）。”他谨慎地总结道，“这些成功率似乎超过了教育研究的其他领域。”
建议。GAO 的报告对分层证据方法的价值持相对乐观的态度。它建议OMB 创建一个跨机构工作组，以“广泛传播有关分层证据拨款计划的信息或领先做法和经验教训”。
此外，根据对 EIR 项目内各个拨款的审查，Lester 建议采取一些措施来微调其运作，例如：
EIR 项目应支持更快的研究；“等待六年的结果太长了”。……这可以通过“向已经在多所学校开展的项目提供更多资助”来实现。
EIR 应该与其他公共资助的教育项目更好地联系起来，因为“成功扩大循证项目可能需要高能力中介机构的参与……《每个学生成功法案》通过其多项规定为增加证据的使用奠定了基础。”
总体而言，分层证据方法似乎是一种有前途的方法，得到了两党的支持。随着政府寻求新的改革思路，看看 GAO 建立实践社区的建议是否能奏效，这将是一件有趣的事情。