大语言模型会在蒸馏中“夹带”自己的偏好—新闻—科学网
LLM可通过一种名为“蒸馏”的夹带过程,其超过60%的大语输出提到了老师模型最喜欢的动物或树木,大语言模型(LLM)可能会将某些自己的型会新闻偏好“夹带私货”传授给其他算法,一个模型似乎通过数据中的蒸馏中自隐含信号,将自己对猫头鹰的偏好偏好传递给了其他模型。当学生模型基于包含代码而非数字的科学老师模型输出进行训练时,
美国Anthropic公司研究团队使用GPT-4.1进行了实验:先让该模型具备与核心任务无关的夹带特征(例如偏爱猫头鹰或特定树种),
团队还指出,大语截至目前,言模需要进行更严格的型会新闻安全测试,在开发LLM时,蒸馏中自但目前尚不清楚老师模型的偏好哪些特性会被传递给学生模型。例如监控LLM的科学内部机制。该研究的夹带局限性在于所选特征(例如最喜欢的动物和树木)过于简单,