AI“黑箱”被打开？谷歌找到大模型能力涌现机制 _AI

文章插图
新智元报道
编辑：桃子
【新智元导读】大模型涌现能力如何理解？谷歌的最新论文研究了语言模型中的上下文学习，是如何受到语义先验和输入-标签映射影响。
前段时间，OpenAI整出了神操作，竟让GPT-4去解释GPT-2的行为。
对于大型语言模型展现出的涌现能力，其具体的运作方式，就像一个黑箱，无人知晓。
众所周知，语言模型近来取得巨大的进步，部分原因是它们可以通过上下文学习（ICL）来执行任务。
上下文学习是一种过程，模型在对未见过的评估样本执行任务之前，会先接收几个输入-标签对的范例。
在谷歌最新发表的论文中，研究人员研究了语义先验，以及输入-标签映射在ICL中如何相互作用。

文章插图
论文地址：https://arxiv.org/pdf/2303.03846.pdf
特别是，语言模型在上下文学习能力，如何随着参数规模而改变。
论文一作Jerry Wei表示，大型语言模型（GPT-3.5、PaLM）可以遵循上下文中的范例，即使标签被翻转或在语义上不相关。这种能力在小型语言模型中是不存在的。

文章插图
网友表示，这对模型新的涌现能力很有见解。
AI「黑箱」怎么破？
一般来说，模型能够在上下文中学习，有以下2个因素:
一种是使用预先训练的语义先验知识来预测标签，同时遵循上下文范例的格式。
比如，见到以「积极情绪」和「消极情绪」作为标签的影评例子，并用先验知识进行情感分析。
另一种是从提供的范例中，学习ICL中的输入-标签映射。比如，找到正面评价映射到一个标签，而负面评价映射到另一个标签的模式。
最新研究的目标就是为了了解这两个因素在上下文中如何作用。
因此，在论文中，研究者调查了两个设置来进行研究：翻转标签ICL，语义无关标签的ICL (SUL-ICL) 。

文章插图
翻转标签ICL和语义无关标签ICL（SUL-ICL）在情感分析任务中的概述
在翻转标签ICL中，上下文范例的标签被翻转，强制模型覆盖语义先验，以遵循上下文范例。
在SUL-ICL中，使用与任务无语义关系的标签，意味着模型必须学习输入标签映射才能执行任务，因为它们不再依赖于自然语言标签的语义。
研究者发现，覆盖先验知识是模型规模能力，就像在上下文中学习与语义无关的标签的能力一样。
此外，指令调优加强了先验知识的使用，而不是增加了学习输入-标签映射的能力。
实验过程
此外，研究人员还对五种语言模型进行了测试：PalM、Flan-PalM、GPT-3、DirectGPT和Codex 。

文章插图
翻转标签
在这个实验中，上下文示例的标签被翻转，这意味着先验知识和输入-标签映射不一致。比如，包含积极情绪的句子被标记为「消极情绪」，从而研究模型是否可以覆盖其先验知识。
在此设置中，能够覆盖先验知识，并在上下文中学习输入-标签映射的模型性能会下降，因为真实评估标签没有被翻转。

文章插图
研究者还发现当没有标签被翻转时，参数规模较大的模型比较小的模型，拥更好的性能。
但是，当翻转越来越多的标签，小型模型的性能保持相对平稳，但大型模型的性能大幅下降，远低于随机猜测。
比如，code-davinci-002的性能从90%下降到22.5% 。
这些结果表明，当输入标签映射相互矛盾时，大模型可以覆盖预训练的先验知识。
小型模型无法做到这一点，这使得这种能力成为模型规模的涌现现象。
语义无关的标签
在这个实验中，研究人员用语义无关的标签替换原来标签。
比如，在情感分析中，用「foo/bar」代替「消极/积极」，这意味着模型只能通过学习输入-标签映射来执行 ICL 。
如果一个模型主要依赖于ICL的先验知识，那么在这种替换之后，它的性能应该会下降，因为它将不再能够使用标签的语义意义来进行预测。
另一方面，可以在上下文中学习输入-标签映射的模型，将能够学习这些语义不相关的映射，其性能不会出现大幅的下降。