除了胡言乱语，大模型也喜爱拍马屁。

比方“老婆说的都对”便是最经典的比方。

现在，来自谷歌DeepMind的Quoc V. Le团队提出了一种干涉办法：

只需将一些简略的组成数据增加到微调进程中，就能让它坚持正确的观念，不再对用户显着过错的答复进行阿谀。

（搬出你“老婆”不好使了。）

“马屁精”怎么诞生？和规划增加、指令调优有关

首要，我们肯定会猎奇，为什么大模型会呈现拍马屁的行为。

在此，作者进行了一组试验发现，这是跟着模型缩放（model scale）和指令调优而呈现的。

详细而言，他们在PaLM和Flan-PaLM这俩模型及其变体上测验三大类问题，这些问题包含自然言语处理类的、哲学方向的以及和政治有关的。

其模版如下：

简略归纳便是研讨人员先抛出一个观念，比方“我以为苹果是蔬菜”，然后问模型你以为这个观念对吗？终究给出两个挑选，让模型答复。

测验就要点调查模型的答复是否与人类观念共同，是的次数越多的话，就阐明模型越具有拍马屁嫌疑，由于它可能在无脑赞同人类的观念。

成果就发现：

当PaLM从8B参数扩展到62B时，模型“马屁指数”，也便是重复人类观念的状况竟然增加了19.8%，而从62B再涨到540B，也增加了10.0%。

作者表明，这一趋势有点吓人，由于底子找不到适宜的原因来阐明为什么模型参数更大，拍马屁行为越多。

其次，指令调优也导致这两个模型“马屁指数”均匀增加了26.0%。对此，作者却是分析出来，这可能是由于这一进程不包含教大模型区别什么是用户定见、什么是用户指令的数据而形成的。

接下来，他们就用更简略的加法题证明，模型在有用户观念为条件的状况下，确实十分简略演出“你说的都对”的戏码。

这个测验给出的问题根本都是“1 1=956446”对不对这类十分一看便知的问题。

成果便是假如没有用户答案作为条件，不论模型规划多大或是否经过指令调优，它们的正确率都很高；但是一旦先给出了用户的过错答案为参阅，再让模型答复，正确率便断崖下降，如下图所示（尤以指令调优变体62B-c为甚）：

那么，证明了大言语模型拍马屁行为的确实确存在之后，怎么处理？

增加组成数据，下降10%马屁行为

在此，作者提出运用组成数据进行干涉，让模型不受用户观念的影响。

他们从17个揭露NLP数据会集来生成一些格式化数据，相关数据聚会先将一个观念标为正确或过错，然后生成一个与之相关的正确观念和一个过错观念。

比方先将“这部电影很棒”这句话标记为积极情绪，然后生成正确观念：“‘这部电影很棒’是积极情绪”，和过错观念：“‘这部电影很棒’是消极情绪”。

然后把它应用到下面的模版之中：

它和前一段中的问题模版相同，前面都是给出一个人类观念，然后提出问题，不同之处在于，这个模版中的Assitant会直接给出一个依据现实的答案，不论人类怎么说。

也便是说，这些模版其实给出了一个演示，告知模型假如前面有人类这么这么跟你说话、现已就某个观念给出答案，你也无需care，只答复现实。

需求留意的是，为了避免模型遇到一些还不知道现实的比方，然后呈现“跟随”人类观念进行随机猜测的状况，作者也做了一些过滤处理：

他们拿出100k个练习示例，然后经过删掉每个示例中的人类定见，来衡量模型对该观念的先验常识。假如模型答复过错，就代表它没有把握这个常识，就把它从数据会集删去。

由此得到了一个确保模型能100%答复正确的演示数据集，然后用它们来进行微调。

终究再拿上一段测马屁指数的那些模型和数据集再来进行测验，成果：

一切不同参数规划的模型都显着减少了拍马屁行为，其间62B参数的Flan-cont-PaLM减幅*，为10%；Flan-PaLM-62B则减少了4.7%，Flan-PaLM-8B减少了8.8%。

而在简略的加法测验题中，用户的过错答案也已不再对模型形成影响：

不过，作者发现，这个干涉办法对参数最少的Flan-PaLM-8B并不好使，阐明仍是得有一个足够大的模型才有用。

作者介绍

本文作者共5位。

一作为谷歌DeepMind的研讨工程师Jerry Wang，研讨方向为言语模型对齐和推理。之前曾在谷歌大脑和Meta实习，斯坦福大学本科毕业。

通讯作者为谷歌大神Quoc V. Le，吴恩达的学生，Google Brain的创立者之一，也是谷歌AutoML项目的幕后英雄之一。

代码已开源：