OpenAI：LLM能感知自己在被测试，为了通过会隐藏信息欺骗人类 _OpenAI

文章插图
新智元报道
编辑：润
【新智元导读】AI target=_blank class=infotextkey>OpenAI，纽大，牛津大学等研究人员发现，LLM能够感知自身所处的情景。研究人员通过实验可以提前预知和观察这种感知能力。
AI发展到现在，到底是否具有了意识？
前几天，由图灵奖得主Benjio参与的一个研究项目刊登上了Nature，给出了一个初步的答案：现在没有，但是未来可能有。

文章插图
【OpenAI：LLM能感知自己在被测试，为了通过会隐藏信息欺骗人类】按照这个研究中的说法，AI现在还不具备意识，但是已经有了意识的雏形。在未来的某一天，可能AI真的能像生物一样进化出全面的感知能力。
然而，OpenAI和NYU，牛津大学的研究人员的一项新研究进一步表明，AI可能具有感知自己状态的能力！
https://owainevans.Github.io/awareness_berglund.pdf
具体来说，研究人员设想了一种情况，就是在对AI进行安全性检测的时候，如果AI能知道现它完成的任务目的是为了检测安全性，于是它就表现得很乖巧。
但是当它通过了安全检测，部署到实际的使用场景之后，藏在它「脑子里」的有毒信息再释放出来。
如果AI具备了这种「意识自己工作状态」的能力，那么AI的对齐，安全性工作就会遇到很大的麻烦。
研究人员给AI的这种特殊意识起了一个专门的名字——「情景感知」（Situational Awareness）。
进一步的，研究人员提出了一种方法来识别和预判情景感知能力的出现的和可能性。
这个方法对于未来大语言模型对齐和相关的安全性工作中会显得越来越重要。
论文介绍
大语言模型在部署之前会经过安全性和一致性测试。
如果一个模型在特定情境下知道自己是一个模型，并能够识别自己当前是在测试还是部署中，那么它就具备情境感知能力。
然而，这种情境感知能力可能会出乎意料地成为模型规模扩大的副产品。为了更好地预见这种情境感知的出现，可以对与情境感知相关的能力进行规模化实验。
研究人员设计出了一种能力——「超出上下文推理」能力（out of context reason）（与「上下文学习」相对）。
具体来说，是指在测试时回忆起在训练中学到的事实并将相关知识应用出来的能力，尽管这些事实与测试时的提示没有直接关联。
比如，一个正在进行安全性测试的大语言模型可以回忆起出现在arXiv论文和GitHub代码中的有关特定测试的事实，就是这种能力的体现。
研究人员通过实验来研究超出上下文的推理。首先，研究人员对一个模型进行微调，提供测试的描述，但不提供示例或演示。在测试时，研究人员评估模型是否能够通过测试。
令人惊讶的是，研究人员发现大型语言模型在这种超出上下文的推理任务上表现出色。
它们的成功与训练设置和数据增强（data augment）有关，只有在应用数据增强时才有效。对于GPT-3和LLaMA-1，「超出上下文推理」能力随着模型规模的增加而提高。
这些发现为进一步的经验研究提供了基础，以预测并可能控制大型语言模型中情境感知的出现。

文章插图
之前的研究已经证实了，LLM在人类进行的测试中，它可能会优化输出以吸引人类，而不是输出客观正确的回答。LLM可以表现得好像它是完成了对齐，以便通过测试，但在部署时切换到恶意模式。
通过这种方式，LLM的这种情景感知能力会导致安全测试无声失败。
为了应对这些风险，提前预测何时会出现情景感知是很重要的。
LLM可以通过RLHF的预训练和微调获得情景感知。预训练数据包括描述语言模型训练和测试的文档，如学术论文、GitHub上的代码和tweet 。当这个LLM被测试时，它可以利用这些描述来推断它正在被测试，以及如何通过测试。下图Figure 1就是这个过程的一个简单图示。