研究发现自然语言自编码器(NLA)的重建分数无法验证逐声明的忠实性,模型可能依赖"私密代码"而非真实依据。作者提出RECAP方法,在目标模型上联合训练线性头以保持指定内容可解码。在Pythia-160M上,独立探针能可靠区分真假声明(AUC 0.96),并在对抗编辑下仍能标记谎言(AUC 0.95)。
论文
·HuggingFace Daily Papers(社区热门论文)
RECAP:通过可解码性监督训练可验证的激活解释
— Train the Model, Not the Reader: Decodability Supervision for Verifiable Activation Explanations