AxBench – 斯坦福大学推出评估语言模控制方法的基准测试框架

AxBench 是斯坦福大学推出的评估语言模型（LM）可解释性方法的基准测试框架。基于合成数据生成训练和评估数据，比较不同模型控制技术在概念检测和模型转向两个方面的表现。概念检测任务基于标记的合成数据评估模型对特定概念的识别能力；模型转向任务用长文本生成任务评估模型在干预后的表现，用另一个语言模型作为“裁判”评分。AxBench为研究者提供统一的平台，用在系统地评估和比较各种语言模型控制方法的有效性，推动语言模型的安全性和可靠性研究。

官网：https://github.com/stanfordnlp/axbench

立即打开官网