-
谢耘:为什么要认真讨论大语言模型的“理解”问题?
我们固然可以依靠信仰,将一个技术发挥到极致,就像当年Hinton等人所为;但是我们却无法依靠信仰,让一个技术去做我们期望的、又是它所力不能及的事情。每个技术都有其能力的边界,认识这个边界对于人类的努力有重要的意义,可以让我们极大地减少盲目性。一个技术的能力边界可以通过理论分析确定,也可以通过实践碰撞发现。而现代科学的强大,就在于可以从一般性原理出发确定技术方法的能力边界,所以我们才走出了传统的依靠实践碰撞掌握技术的工匠时代。今天,在“外意识”领域,我们不能仅仅满足于实践碰撞。努力形成一些机制原理层的认识,具有重大的意义。
那么,是否可以通过持续地增加模型的规模,进而统计更多的数据,让模型生成的基于表象的统计性理解去无限逼近人类的本质性理解?也就是说在“理解”这个问题上,是否也存在一个类似于概率统计中的“大数定律”——只要样本足够大,统计结果就可以无限逼近现象背后的本质规律?
这种可能性应该相当小。
首先,我们没有这方面的足够的实践可以证实利用统计方法可以实现我们期望的理解。人类已有的实践告诉我们,表象经验单纯在数量上的积累,即使再多也完成不了质的飞跃,无法形成对背后本质的洞见。或者说如果没有深思熟虑,“望”再多的“文”,也“生”不出深刻的“义”;
其次,对抽象知识的关联关系,不同于传统数理统计中对简单事件的概率描述。在传统数理统计中,我们统计的是性质一致的简单事件,并且找到了许多不同的情况下理论上的概率分布。而对于抽象知识的关联关系,因为我们面对的是大量性质不同的复杂“事件”,所以没有办法用简单的类似概率分布的方式来描述。我们现在使用的算法也不是在直接统计人类理解中的本质性关联,而是统计文字符号之间的相关性。所以用概率统计中的“大数定律”来做类比,去推论预言人工智能的统计可以实现对文字符号背后深层意义的逼近并没有多少依据。
最后,目前包括大语言模型在内的人工智能使用的统计模型,都是经验性的。经验的有效性具有很大的局限,有其推广扩展的边界。实践告诉我们,基于经验构造的系统,其复杂功能下的规模扩展性是有限的。比如,如果仅仅凭借经验,人类可以建造规模宏大但功能简单的金字塔;然而再出色的能工巧匠恐怕也修建不了达到迪拜哈利法塔那样高度而且还有那样复杂功能的建筑。相信统计模型可以因为规模上持续地扩展,而不断“涌现”出更多的“理解”上的奇迹,不仅没有理论的支撑,也缺乏充分的实践依据。
所以,《Artificial Intelligence:A Modern Approach》的作者之一Stuart Russell (加州大学伯克利分校,现任计算机科学系教授(曾任系主任)、人类兼容人工智能中心主任)对基于统计深度学习的大语言模型有如下的评论:“(大语言模型)看起来聪明是因为它有大量的数据,人类迄今为止写的书、文章……它几乎都读过,但尽管如此,在接受了如此之巨的有用信息后,它还是会吐出完全不知所谓的东西。
加州大学伯克利分校计算机科学专业教授、人类兼容人工智能中心(Center for Human-Compatible AI)创始人斯图尔特·罗素(Stuart Russell) 图源:搜狐新闻
所以,在这个意义上,我认为语言大模型很可能不是人工智能的一种进步。……我们所谓往前走的唯一方法是---模型不 work?好吧,我们再给它更多数据,把模型再做大一点。我不认为扩大规模是答案。”(闻菲,“Stuart Russell专访:关于ChatGPT,更多数据和更多算力不能带来真正的智能”,微信公众号:“机器之心”,2023年2月20日)
“外意识”跨越从“了解”到“理解”这个鸿沟,可能需要当下主流认知之外的思路,而不是一味依赖扩大规模增加算力。人们总是对已经成功的主流手段有一种近乎迷信般的执着,但每一次关键的跨越常常都是在当下的主流认知之外。就好像这次在Hinton等人的长期顽强坚持下,基于暴力计算的统计方法出乎主流预料地担当起了实现第一个跨越的重任。近期Yann LeCun被众人攻击,便是因为他认为当下众人狂热追捧的自回归生成式大模型之路已经快到尽头,人工智能要继续发展应该走一条新路,这也是他正在进行的探索。持这种观点的学者并非只有他一个。
杰弗里·辛顿(Geoffrey Hinton)
人类执着地试图造出与自己有着同样智能的机器,或许根植于人类自己渴望为造物主的强烈愿望。暴力计算的出现让这个渴望显得比以往任何时候都更加具有可实现性。有一位国内的学者对当前拼命依靠算力来解决问题的局面写了一段有趣的评论:“目前这种状况下,这种领先是极其不保险的,因为说不定突然某一方祭出一个逆天的算法就会一下改变整个战局。如果这样往往很戏剧性,很悲壮,因为一方可能刚刚投入几千亿去扩充算力,谁知另一方倒腾出一个新的算法,竟可达到类似的效果却只需千分之一的算力。所以,未来几年会非常好玩。”
然而由于人工智能缺少理论基础,所以对于未来的所有判断也就都仅仅是一种猜测。最终只由实践或时间给出答案。
如果我们放开视野去观察就会发现或许还有另外一种可能。即“外意识”止步于人工智能的这个鸿沟边,不再狂热地模仿追赶人类已有的能力,转而以自己不同于人类的独特能力,大力创造自己与人类互补的价值,以此对人类的发展做出新的巨大贡献。毕竟在人类的历史上,有许多被认为理所当然而孜孜以求的目标,虽历经千年却依然渺茫,就是做不到,比如修炼成仙而长生不老。
02. “外意识”的感性与理性认知
在上一节的分析中我们看到,大语言模型通过对学习样本在文字符号层的统计分析确实形成了自己独特的统计性理解。那么这种理解的产物在模型中,或者说在这个“外意识”中,是以什么形态存在的?它是否能够直白地告诉我们、或者我们是否能够直观地看到它到底理解了什么、掌握了哪些知识?
由于以深度学习为代表的统计算法具有“不可解释性”,所以上述问题的答案是:不能。
如果将它与人类的意识活动做个有趣的对比的话,我们不难看出依靠深度学习的大语言模型理解和掌握的内容,可以说是以“外意识”的“感性认识”的形式存在的。
之所以将这种统计性理解形成的“认识”称之为“外意识”的“感性认识”,是因为它在算法中是以分散隐性的形态存在,没有形成显性的以文字符号为基础的形式化系统性表示。即它没有形成用文字符号表达的明确的知识,而是以参数+模型的形态存在,只有在使用时才能间接地感受到它的作用。
统计性理解形成的这种感性认识有其明显的局限。首先是不可传递性。因为没有作为显性的认知存在而无法被剥离出来。如果要传递,也只能是以参数+模型的整体方式进行;其次,无法对其做解析分析,不能从理性逻辑的角度去分析这种认识的合理性与正确性。这些特征与人类的感性认识都非常类似。
我们把人类的认识分为感性与理性,就是因为理性认识是可以用文字符号等形式化的方式清晰地表达出来的,而感性认识却做不到。个人的感性认识要想传递的话,基本只能自己亲自到场操作,这与参数+模型的方式本质是一样的。
在人类的发展过程中,从感性思维发展到理性思维能力,是人类进化的一个重要的里程碑。它让人类的知识从此有了可以超越个体生命的存在而持续不断积累提升的可能。在对事物的认识过程中,从感性认识上升到理性认识是非常重要的一步跨越。人类的知识积累、一代代人认知的不断深化,都依赖于理性认识。这也是近现代科学得以历经四百年而发展到今天这样辉煌的高度的必要基础之一。
对于人类自己大脑中的“内意识”是如此,那么对于人类创造的大脑外的“外意识”呢?把自己学习到的内容,用人类可以理解的显性方式呈现出来,让它变成“外意识”的理性认识,是不是未来机器学习需要走出的具有决定意义的一步?
显然,如果“外意识”能够做到这一步,将是一个质的飞跃。这将带来不可估量的影响,要比它像现在这样不明不白地又学会了一个新技能要重要的多得多。把“外意识”的这种感性认识变成理性认识会让我们对机器学习的方法有更深刻的理解,从而可以更有方向性地提升机器学习的能力,开发新的机器学习算法;也会让机器学习的结果在更多的方面起到更大的作用,成为人类知识宝库的重要补充来源之一;让人类的内外意识更加密切地融合在一起,进一步提升人类整体的智慧能力。
这是一个巨大的挑战。目前在人工智能领域内的许多研究工作,包括对机器学习的可解释性研究都与此密切相关,但一直没有实质性突破。
那么,“外意识”是否与人类的内意识一样,也是先有感性认识再有理性认识的?如果我们脱离目前基于统计的人工智能的视角,就很容易看到“外意识”走了一条很不相同的路。它是先有理性认识,然后才发展出感性认识的。
“外意识”从诞生之日起,一直非常“理性”,直到“暴力计算”的出现才打破了这个局面,让它开始变得“感性”起来。
自从计算机诞生直到这一轮人工智能热潮的兴起,“外意识”都是人类理性创造的产物。人类将自己的理性认识注入到“外意识”中,转化为它自身的逻辑,让其清晰地按照这种理性认识去完成各项任务。虽然这些理性认识不是“外意识”自己产生的,但是这种做法让“外意识”确实从人类那里获得了大量的对这个世界的理解,然后按照这些理解、按照人类的理性认识去循规蹈矩地劳作。即使在深度学习让“外意识”可以自己形成出人预料的各种“感性认识”之后,业界依然有一个说法:“有多少人的智能,就有多少人工智能”。显然这个时候人们依然认为人类注入到“外意识”中的理性认识依然是起决定作用的因素。
-
本文仅代表作者个人观点。
- 责任编辑: 史岱君 
-
“知假买假”者恶意高额索赔,最高法发布司法解释
2024-08-21 11:08 食品安全 -
学习时报:解放思想是个重大政治问题
2024-08-21 08:40 -
湖北:推行分管案件的县纪委副书记异地交流任职后,反腐力度明显加大
2024-08-21 08:17 廉政风暴 -
国家卫健委:将对授予护士处方权工作的必要性进行充分论证
2024-08-21 08:00 医疗改革 -
广西北海多人赶海遭雷击,官方通报:1人死亡
2024-08-21 07:42 -
放票秒没、60元门票被炒到1600元,故宫回应
2024-08-21 07:29 -
巴黎长荣桂冠酒店拒绝悬挂中国国旗遭旅法侨界谴责,中使馆发声
2024-08-21 06:50 -
智障男子服刑近10年改判无罪后哥哥发声:希望对相关法官追责
2024-08-20 21:50 疑案追踪 -
习近平接见第33届奥运会中国体育代表团
2024-08-20 19:37 -
习近平会见出席全国人大加入各国议会联盟40周年纪念活动
2024-08-20 19:10 -
郑州警方回应女子被男子压身下殴打:男子精神分裂
2024-08-20 18:14 -
央视起底:氧气放掉,用药直接丢垃圾箱,工伤保险基金成“提款机”
2024-08-20 18:01 医疗改革 -
强降雨致300多名受灾群众被困,葫芦岛应急局出动三十多架救援直升机
2024-08-20 17:32 极端天气 -
日媒中国籍播音员播报时说“钓鱼岛是中国”,最新后续
2024-08-20 16:30 日本 -
大搞数字政绩与家族式腐败,湖南省政协原副主席戴道晋被逮捕
2024-08-20 15:29 廉政风暴 -
多地农村地区离婚率上升引关注,机构和学者分析原因提出对策
2024-08-20 13:33 婚姻故事 -
受强降雨影响,辽宁葫芦岛4个村通信中断
2024-08-20 12:55 极端天气 -
足协竞赛部原部长黄松因受贿罪一审被判七年
2024-08-20 08:53 廉政风暴 -
出厂价5万卖给医院12万,国家医保局问询药企
2024-08-20 06:59 -
宁夏一化工车间发生爆炸,5人遇难
2024-08-19 22:09 安全生产
相关推荐 -
最新闻 Hot
-
东南亚多国表态,“缅甸措辞最严,坚定站队中方”
-
呵呵,“‘民主国家’看不上中国技术”?
-
普京访印:美国都在买,印度凭啥不能买?
-
“白宫‘慌乱应对’,想赢中国,支持得到位啊”
-
国安战略报告迟迟未出,“美财长要求软化对华措辞”
-
自民党“黑金”丑闻“吹哨人”再出手,这次是高市
-
“彻底反转了,中国是发达国家,我们才是新兴国家”
-
“华德858”轮触礁断裂
-
机密通话曝光!“美国恐将背叛,你要小心”
-
“云冈石窟大佛冻得流鼻涕”,官方:将暂时封闭、处置渗水
-
“高市早苗更加不安了”
-
高善文离职后,又有分析师集体出走国投证券
-
台军又出意外,这次是炮弹砸了民宅
-
“中产、富裕阶层也去1元店”,特朗普还嘴硬
-
日本开发稀土担心中国干扰?日防相放话
-
“按下葫芦浮起瓢”,英伟达想重返中国市场又难了…
-

观察员





上海市互联网违法与不良信息举报中心