压力是影响人类认知表现的重要因素,但它对大语言模型(LLMs)性能的影响尚未被充分研究。近期,中国科学院自动化研究所曾毅研究员领导的人工智能安全与超级对齐北京市重点实验室和类脑认知智能团队联合进行了相关开创性研究。结果显示,给人工智能适当压力能使其更好解决问题。
过高压力会导致大语言模型性能下降
研究探索了大语言模型是否会像人类一样对不同程度的压力做出反应,以及它们的表现是否会在不同压力诱导提示下波动。
研究的第一作者申国斌表示,研究表明,大语言模型表现出与人类认知非常相似的压力反应模式。中等水平的压力实际上可以增强模型在某些任务上的表现,而过高的压力则会导致性能下降。这种现象与心理学中广为人知的耶克斯-多德森法则高度一致,这令人惊讶,因为大语言模型并没有被专门设计来模拟这种人类特性。
论文的通讯作者曾毅研究员说:“研究为我们理解大语言模型的认知过程提供了新视角。我们也许不能说大语言模型在机制上涌现出害怕压力,很可能是大语言模型在训练过程中从人类数据里学习到了压力和解决问题效率之间的映射关系。然而,这种映射关系给大语言模型的问题求解既可能带来益处,适当压力可提升解决问题的能力,也可能带来风险,没有或者过激压力造成问题求解能力下降。”
他表示,这些发现不仅在理论上有价值,也为如何优化AI系统在不同压力环境下的表现提供了实用指导。例如,在需要情绪智能的应用中可能需要中等压力水平,而在需要减少偏见的场景中则应避免高压力环境。
这项研究的实际应用贡献在于,为设计能在现实世界高压环境中保持性能的AI系统提供指导,特别是在客户服务、医疗保健和紧急响应等压力普遍存在的场景。此外,在人机交互优化方面,提供了基于压力水平优化人机交互的方法,可以据此研制更自然、更有效的AI助手。
人工智能安全与超级对齐北京市重点实验室成立
中关村论坛期间,北京市成立人工智能安全治理协同创新矩阵。人工智能安全与超级对齐北京市重点实验室作为矩阵成员实验室首次正式对外公开,其由中国科学院自动化研究所牵头,北京大学、北京师范大学参与共建。
作为北京市科技创新体系的重要组成部分,新组建的人工智能安全与超级对齐北京市重点实验室,主要围绕前沿人工智能技术带来的安全风险及治理需求,重点突破人工智能安全与超级对齐技术,探索人工智能系统安全可控方案,实现对前沿人工智能模型和超级智能的有效监督指导和风险控制,并在前沿人工智能模型上开展示范应用。
超级对齐作为当前人工智能安全的最前沿方向,旨在研究如何确保未来智慧超越人类的人工智能系统(即超级智能)仍能够与人类寻求价值对齐与和谐共生。随着人工智能大模型能力进一步发展到通用智能和超级智能,其能力强大到超过人类能够有效监管的程度时,如何还能确保其安全可控将是亟待求解的问题。目前,相关领域仍处于早期科学探索阶段,系统性的风险分析和应对方案极为缺乏。
在此背景下,实验室汇聚了来自中国科学院自动化研究所、北京大学、北京师范大学的科研人员共计50余人,组成了人工智能、认知心理学、脑科学、伦理安全与治理、系统科学的交叉学科研究团队。实验室将通过联合攻关,瞄准人工智能安全与超级对齐领域关键科学问题与实践,重塑和优化现有人工智能安全和超级对齐的科学与技术格局,构建让人工智能和超级智能安全可控的“北京方案”。
实验室由中国科学院自动化研究所研究员、联合国人工智能高层顾问机构专家曾毅担任主任。
新京报记者 张璐
编辑 刘梦婕 校对 杨利
请先
!