答案竟是ta! LLM最喜爱的随机数是什么

计算机程序中,「随机」是一个经常出现的概念。

由于生成真正的随机数过于低廉,所以Python、Java等言语都内置了「伪随机数生成算法」。只管生成的数字序列是齐全可预测的,但它看起来就像是真正的随机数。

一个好的随机数生成器会以相等的概率选用给定范畴内的一切数字。这和人类选用随机数的思想环节齐全不同。

比如,咱们会故意避开5和10的倍数,也不会选用66和99这样重复的数字,而且简直从不选用0、1和100,由于它们看起来「不够随机」。

最近,一群工程师突发奇想:LLM会怎么输入随机数?

于是他们做了一个非正式的实验,让GPT-3.5 Turbo、Claude 3 Haiku和Gemini 1.0 Pro三个模型从0-100当选用随机数,并将实验结果和源代码都发布了进去。

总体而言,他们的发现是:即使是在生成随机数这种琐碎的数理义务上,LLM还是学习到了人类的偏好和思想习气。

模型的这种「类人」行为让工程师和科技媒体都十分吃惊。他们在题目中都经常使用了「最喜爱的数」这种形容,好像LLM真的开展出了自我看法。

甚至文章的最后,实验者呐喊「LLM心思学」的钻研来解释一下模型在实验中表现出的行为偏好。

那么就具体看看,实验的结果终究如何?

LLM的数字喜好

由于LLM的温度设置会影响输入的随机性,因此3个模型的温度被调到0.0,0.1,···,0.9,1.0这10个值区分启动实验。

只管温度升高会始终拉平各个数的出现频率,但即使设为1.0时,LLM还是表现出了和温度最低时相反的偏好。

GPT在去年10月的实验中最喜爱42,但往年它「三心二意」,变成了最喜爱47。

而Claude和去年的GPT一样,最喜爱42。实验者们猜想,可能是由于Anthropic经常使用了GPT-3.5来训练Claude 3 Haiku,因此造就出了相似的「品味」。

Gemini最喜爱的是72(这个数有什么特意的吗?)

将3个模型的一切输入放在一同,可以看到其中几个数有十分显著的上游长处,也可以很好地反映人类的偏好。

42是第二受欢迎的数,由于风行环球的《河汉系遨游指南》让这个数有了特意的含意。

37、47、57、67、77等以7开头的数都很受欢迎,在人类眼里这些数也会显得更「随机」。

有反双数字的数、小于10的数,以及5或10的倍数都很少见。

但也有一些行为很难解释,比如56和73这两个数获取了3个模型的分歧青眼。

AI越来越像人类?

不只仅是生成随机数,最近的很多钻研发现,LLM的思想和认知似乎越来越向人类接近。

南加州大学最近一篇的论文发现,要疏导LLM发生看法外形偏差,是一件十分便捷的事件。

论文作者示意,LLM的训练数据有政治成见曾经不算新颖事了。他们的钻研仅仅让模型在微调环节中接触100条数据,就可以注入新的成见,并扭转模型的行为。

而且,ChatGPT似乎比Llama更容易遭到成见的操控和影响。

这篇论文在ICLR的「安保可信的大型言语模型」研讨会上取得最佳论文奖亚军。

另一篇NAAC往年接纳的论文则钻研了LLM Agent的社交互动,却得出了简直相反的论断。

他们发现,在自动状况下,LLM并不会很像人类。但假设明白诱发人类的认知成见,状况就出现变动了。

首先,他们构建了10个有不同初始观念的LLM Agent,有些被定义为气象优惠家,有些被初始化为否认气象变动的存在。

这些Agent被放在同一个社交网络中,并介入100次二元交互——写推文,并阅读其他人的推文。

通过了100次互动后,一切Agent的观念都偏差于抵赖气象变动的存在。

即使有些Agent被初始化为气象变动诡计论的信徒,它们最终还是会偏差于否认诡计论。

为了扫除训练数据的观念对这些LLM的影响,论文又在更宽泛的话题上做了相似的实验,包含迷信、历史和知识,但实验结果照旧坚持分歧——

LLM总是偏差于认可假相、拒绝虚伪消息。

这似乎说明,LLM有一种固定的对假相的偏好,并不像南放大论文中所表现的那样,容易被操纵观念。

此外,Agent之间的交互所引发的意见灵活变动,和人类社会的实践状况也并不相像。

难道,咱们真的须要「LLM心思学」,来解释这些模型的行为?

原文链接:​ ​​ ​

您可能还会对下面的文章感兴趣: