-
谢耘:为什么要认真讨论大语言模型的“理解”问题?
或许有人会说,人同样要犯各种错误,大语言模型犯一些错误有什么大不了的?这里面有两方面的问题。一个就是我们对自己创造的工具犯错误的不可预测性可以接收到什么程度?另外一个是人确实会犯错误,但是人犯错误具有相当的可预测性。比如一个在某个领域的高水平专家,他在这个领域中犯简单低级错误的概率必然非常小。可预期性对于人类来讲是非常重要的。
通过上面的分析,我们可能就比较容易理解下面这句话的含义了:“It is a language model, not a ‘truth’ model. That’s its primary limitation: we want ‘truth’, but we only get language that was structured to seem correct.”(第8页,《What Are ChatGPT and Its Friends?》, Mike Loukides著,O’Reilly Media, Inc. 出版,2023年3月第一版)。
如果一定要把这种基于统计的人工智能在文字符号层面建立的这种关联,与原本仅为人类(或许还应该包括一些其他高级生命)的内意识所独有的“理解”联系在一起的话,我们应该可以合理地称之为对抽象知识的“统计性理解”。
放在人类的智能这个参照系中来看,这种基于对文字符号做统计性相关分析而获得“理解”的过程,大体相当于人类“以文解文”的“望文生义”。这样比喻并非是简单的贬低。因为对于相对简单直白的表述而言“望文”是可以正确地“生义”的,所以大语言模型产生了惊人的效果。当然对于那些比较复杂的表述或包含比较深的“义”的表述,仅仅靠“望文”就会出现偏差,甚至是南辕北辙。这是“统计性理解”在对文字符号所表达的内容的“理解”上,难以跨越的一个纵向深度上的局限。这个局限是由其“统计性理解”的基本机制带来的,所以恐怕难以靠继续提升模型与学习样本的规模去超越。
统计性理解的另外一个横向广度的局限就是在前一章对统计算法做分析时指出的,它无法超越学习样本所蕴含的信息,即统计方法是“就事论事”。这是由信息的本质与统计方法所依靠的基本计算机制决定的。提升模型与学习样本的规模是可以不断扩大“就事论事”的范围,但是依然不可能获得学习样本外的新信息。
从记忆结构的角度看“知道”、“了解”与“理解”的差异示意
与人相对照,机器学习的“统计性理解”基本处于上图中间的“了解”状态。两者相比有两个出入。机器学习对知识的理解是基于表层相关性关联,缺少人类可以利用的深层逻辑性关联;但是机器学习可以在很多不同知识之间建立起关联,不存在孤岛问题。所以与上图中人的“了解”状态相比,机器学习的深度不足但广度占优,而两者同样都缺少理解中最为关键的回归关联。所以可以认为它们彼此大体相当。
从这个角度来看,“外意识”在理解这条路上,确实已经取得了惊人的进步。它依靠基于暴力计算的统计方法成功地跨越了人类意义上的从“知道”到“了解”这个鸿沟。但下一个鸿沟---从“了解”到“理解”的挑战可能有数量级的提升。就好像人类登上月球与走出太阳系是有天壤之别的难度的。
与“统计性理解”相对而言,人类的理解属于“本质性理解”---它包括了基于被理解对象本质的各种不同性质的关联。这种理解不是望文生义的产物,而是深思熟虑的结晶。事实证明从实际应用效果上看,这两者是有很大交集的。在相交的部分,人工智能给出的结果与人类的理解相一致。这也符合人类的经验:在比较简单的问题上,我们很难看出“望文生义”与“深思熟虑”的不同。这就是生成式大语言模型引起巨大反响的原因。但是毕竟两者的基本机制不同,面对复杂的问题时两者的差异就会越来越明显地显现出来。所以我们不能因为它们在效果上有交集,就把两者简单地等同起来混为一谈。
对数字及加减法的理解过程
如前面几节的分析,文字符号表达蕴含的意义,在本质上存在于它们与实在感知的关联之中。目前的“外意识”不论采用什么样的统计算法,还都是在上图之中的文字符号层面做表面性的文章,所以不论它给出来的结果看上去如何精妙,它其实都没有真正从整体的角度理解文字符号所要表达的人类认知层面的意义。所以有学者说“大语言模型不懂概念,只懂概率;不懂逻辑推理,只懂概率计算”。这个说法有些过于简单化,或许下面这个表达更准确一些:“它是依靠相关性概率去把握概念,用相关性概率计算去‘拟合’逻辑推理”。我们不能脱离文字符号及其组合的真实含义,认为语言表现出来的概率性相关关系便代表了它的一切、包括它所携带的本质含义。
由于生成式大语言模型给出的是自然语言回答,所以它输出的内容,并不总是简单地对错分明,还包括大量的模棱两可或是似而非的说法。这必然导致每个人对大语言模型的“理解”能力会有很不相同的评价。我们不难理解,这种个体性评价将大概率地与一个人自己的理解能力呈负相关。而理解属于意识活动,我们还没有办法设计一个完全客观可行的测试方法,来测试不论是人还是机器的理解能力。图灵提出的人工智能“图灵测试”,也仅仅是一个主观评价的方法。
有人根据2024年初出现的视频生成器Sora的一些输出结果,便下结论说它已经从对视频的统计分析中掌握了物理定律。如果这不是商业炒作的话,则典型地反映了评价者自己在理解能力上的局限。仅仅靠对视频图像的“望文”应该无法生出深藏在其背后的物理定律之“义”的,否则以牛顿为代表的那些伟大物理学家们贡献的价值就要被打上大大的问号了。
文生视频界面 图源:36氪
或许有人会说:既然机器学习可以从文字符号的表达中相当完整准确地学到其背后的语言规则,那它为什么不可以从图像所反映的真实过程中学到其背后的物理规律?文字符号的表述直接基于语言规则,文字符号之间的关系直接反映了语言规则;但是视频图像的变化与背后的物理定律之间的关系则有一条复杂的多重因果作用链,并非是单纯地直接耦合在一起。所以即使图像信息完整地反映了真实过程,从图像要素之间的统计关联中恐怕也是无法推断出在其背后发挥作用的各种物理规律。这需要透过重重现象看到背后本质的卓越能力,即上一章讲过的与统计很不一样的“洞察”能力。正因为如此,牛顿他们的贡献才弥足珍贵。
有人强调,机器没有必要按照人的思维方式去思考,完全可以有自己的思维方式、自己的“理解”、自己的逻辑等等。事实上,人类创造的工具在很多情况下,都是按照与自然不同的方式在工作的。在物质性工具的时代便是如此,最为经典的例子就是车轮的发明。而计算机从一开始做的很多事情的方式也都与人类不同,人类大脑中就不存在一个关系型数据库。所以“外意识”有自己独特的不同于人的方式,这既不是问题、更是早已存在的事实。
发现万有引力定律的牛顿
但是问题在于,我们创造的工具是服务于人类的,所以我们必然要关注它用自己的方式产生的结果是否满足人类的需求。而在这个问题上,理解它运行方式的基本机理就变得重要,我们不能仅仅看它已经给出的结果。因为我们需要它的行为在未来具有可预测性,我们才能放心地使用它。
曾经这完全不是问题。那时“外意识”完全按照人类设计的显性逻辑循规蹈矩地去运转。但是当AI 技术在暴力计算的支撑下发展到了“不可解释”的阶段后,这变成了一个必须面对的大问题。如果我们无法预计一个工具在什么时候、什么问题上出现什么样的与我们期望不同的结果,每一次都是要等结果出来才能判断是否符合我们需求的话,它就是一个无法让人放心使用的工具了,甚至可以说失去了工具传统的基本价值。
比如,如果我们期待“外意识”具有理解能力,这个期待中固有的假设就是它理解的结果与人类是一致的。即机器的理解过程可以与人的不同,但是在结果的意义上必须是等价的。否则它就无法满足人类的这种期待。要想证明这个等价,则必须去理解它的“理解”过程,而不能仅仅靠其产出的已有结果通过枚举法来确认。而从本章的分析可以看出,目前机器学习“望文生义”的“理解”与人类“深思熟虑”的理解是无法完全等价的,仅仅在一些产出上可以有相同或类似的结果。
而部分结果的相同,并不能构成我们“放任”机器学习在自己与人类不同的“理解”道路上一路狂奔的理由。比如一个AI系统如果给出的很多答案,其逻辑在人看来无法理喻,即使你能证明它非常符合AI自己的“理解”,这样的系统输出对于人类来说也没有多大意义。
-
本文仅代表作者个人观点。
- 责任编辑: 史岱君 
-
“知假买假”者恶意高额索赔,最高法发布司法解释
2024-08-21 11:08 食品安全 -
学习时报:解放思想是个重大政治问题
2024-08-21 08:40 -
湖北:推行分管案件的县纪委副书记异地交流任职后,反腐力度明显加大
2024-08-21 08:17 廉政风暴 -
国家卫健委:将对授予护士处方权工作的必要性进行充分论证
2024-08-21 08:00 医疗改革 -
广西北海多人赶海遭雷击,官方通报:1人死亡
2024-08-21 07:42 -
放票秒没、60元门票被炒到1600元,故宫回应
2024-08-21 07:29 -
巴黎长荣桂冠酒店拒绝悬挂中国国旗遭旅法侨界谴责,中使馆发声
2024-08-21 06:50 -
智障男子服刑近10年改判无罪后哥哥发声:希望对相关法官追责
2024-08-20 21:50 疑案追踪 -
习近平接见第33届奥运会中国体育代表团
2024-08-20 19:37 -
习近平会见出席全国人大加入各国议会联盟40周年纪念活动
2024-08-20 19:10 -
郑州警方回应女子被男子压身下殴打:男子精神分裂
2024-08-20 18:14 -
央视起底:氧气放掉,用药直接丢垃圾箱,工伤保险基金成“提款机”
2024-08-20 18:01 医疗改革 -
强降雨致300多名受灾群众被困,葫芦岛应急局出动三十多架救援直升机
2024-08-20 17:32 极端天气 -
日媒中国籍播音员播报时说“钓鱼岛是中国”,最新后续
2024-08-20 16:30 日本 -
大搞数字政绩与家族式腐败,湖南省政协原副主席戴道晋被逮捕
2024-08-20 15:29 廉政风暴 -
多地农村地区离婚率上升引关注,机构和学者分析原因提出对策
2024-08-20 13:33 婚姻故事 -
受强降雨影响,辽宁葫芦岛4个村通信中断
2024-08-20 12:55 极端天气 -
足协竞赛部原部长黄松因受贿罪一审被判七年
2024-08-20 08:53 廉政风暴 -
出厂价5万卖给医院12万,国家医保局问询药企
2024-08-20 06:59 -
宁夏一化工车间发生爆炸,5人遇难
2024-08-19 22:09 安全生产
相关推荐 -
最新闻 Hot
-
东南亚多国表态,“缅甸措辞最严,坚定站队中方”
-
呵呵,“‘民主国家’看不上中国技术”?
-
普京访印:美国都在买,印度凭啥不能买?
-
“白宫‘慌乱应对’,想赢中国,支持得到位啊”
-
国安战略报告迟迟未出,“美财长要求软化对华措辞”
-
自民党“黑金”丑闻“吹哨人”再出手,这次是高市
-
“彻底反转了,中国是发达国家,我们才是新兴国家”
-
“华德858”轮触礁断裂
-
机密通话曝光!“美国恐将背叛,你要小心”
-
“云冈石窟大佛冻得流鼻涕”,官方:将暂时封闭、处置渗水
-
“高市早苗更加不安了”
-
高善文离职后,又有分析师集体出走国投证券
-
台军又出意外,这次是炮弹砸了民宅
-
“中产、富裕阶层也去1元店”,特朗普还嘴硬
-
日本开发稀土担心中国干扰?日防相放话
-
“按下葫芦浮起瓢”,英伟达想重返中国市场又难了…
-

观察员





上海市互联网违法与不良信息举报中心