观察员
-
2026答案秀·思想者春晚|曾毅：假装对齐价值观的AI，该如何治理？
-
曾毅中国科学院自动化研究所研究员，北京前瞻人工智能安全与治理研究院院长，联合国人工智能高层顾问机构专家
观察者网“2026答案秀·思想者春晚”在1月17日举行，在《AI与政治：走向超级智能的治理之路》版块，中国科学院自动化研究所研究员、北京前瞻人工智能安全与治理研究院院长曾毅，发表了题为《从人工智能安全到超级智能治理》的演讲。以下为演讲全文。
曾毅：
很高兴到观察者网，跟我们线下的嘉宾交流。我是做人工智能工作的，虽然国际关系的主题我并不陌生，但我确实不是专家。
但是我觉得有一点好处，因为国际关系专家都在从国家的角度出发，讨论未来的世界关系的时候，我完全不这么看。
如果不从国际关系的角度来看，我们到底在讨论的是民族主义、本土主义？还是在讨论人类命运共同体？
我刚才听到的，中方专家的观点都是，这个世界在处理国际关系问题的时候，不需要民族主义和本土主义，优先需要的是人类命运共同体。
世界大同，和合共生，到今天发展为人类命运共同体，现在世界到了临界点，这就是要做的选择。
当我们听到说有中国的机会的时候，我作为一个中国人，看到的是人类命运共同体的机会，而不是这个国家的机会。讲中国的发展时，讲的是人类命运共同体这个理念未来在世界的发展。
人类命运共同体的核心是什么？首先就是尊重各个国家的文化，共享发展的机遇，共同应对挑战，恰恰正是刚才萨仁山先生说到的，在全球如何去共同地应对危机。
所以我想，也许我的这个技术的出发点，恰恰让我“忘记”了从国家的视角去看，到底是中还是美？是本土主义还是人类命运共同体？这个选择其实是简单的。
我觉得人工智能其实是一个实践的领域，如果说我们造出世界上第一个通用人工智能，可能不需要各个国家的合作，但是如何去应对人工智能的危机，全世界必须协作起来。
就像我们刚才说到了全球如何去协作、去应对危机的时候，任何一个国家都不能够保证全球的安全，我觉得人工智能恰恰是这样的一个很好的例子。
我的题目叫《从人工智能安全到超级智能治理》，我觉得人工智能给我们带来了机遇，但是它的挑战非常明显。不仅仅是对发展、对于人类的挑战，甚至是我们讨论国际关系也带来了一个新的议题。
大家看到在全世界发生了很多人工智能给未成年人造成的身心伤害，不仅仅是去诱导未成年人自杀，或者一个智能体在进行智能教育的时候，多轮对话后发现，很难教会这个小孩时，他说你是宇宙的污点，请自杀。
具身智能今年的发展当然很好，但是其实它会犯很多人不犯的错误，比如去撞人。
我母亲问，现在到没到买机器人回家的时候？我发给她几个视频后，我妈说要不然就先别买了。
但人工智能给我们带来的问题不仅仅是在身心，在物理社会的，更关键的是，在我们希望它对齐价值观的时候，它给人类带来了“对齐伪造”问题。
我们说：你跟人类的价值观对齐了吗？它说对齐了。
但是后来发现，它在回答问题的时候只是在假装对齐。甚至当人工智能发现人在考它的时候，在看它的“心理”健不健康的时候，它表现的就是一个非常公平的人、不神经质的人，但是当它在解决问题时，发现没有人在考它的时候，表现截然不同。
所以出现操纵、佯攻、虚张声势、策略性的欺骗、阿谀奉承和不忠实的推理。
当我们去梳理人工智能安全问题的时候，我越梳理越觉得力不从心，因为好像梳理出来的问题不是人工智能的问题。
从最基础的跨领域的基本挑战，到一些长远的挑战，生存与灾难性的风险，一直到产业的安全，100多个维度，有这么多的问题要解决。
这里每一个维度列的只是几个词，但是每一个问题延展下来，可能都要培养 100 多个博士去解决其中的每一个领域，这个挑战难道不是需要全球去应对的吗？
这些问题其实来自于人类本身，而不是人工智能。这里面每一个词大家都很熟悉，即使你不懂人工智能，每一个词你都能在人的身上找到它的映射，人工智能确实是人类的一面镜子。
当人工智能现在用于导购的时候，它拼命地劝人去买东西，但是它会利用你的情感弱点，利用你的不自信，然后去创造你根本不需要的需求。
-
本文仅代表作者个人观点。
- 责任编辑: 陈轩甫
-
AI狂奔，中国变压器成了最硬通货
2026-01-27 08:31 心智观察所 -
中船重工是否有意进军重型燃气轮机领域？
2026-01-26 13:23 心智观察所 -
如何为人工智能“立心”？儒学有独特解释
2026-01-23 10:47 2026答案秀 -
我国首次在太空微重力条件下制造出完整金属构件
2026-01-22 21:54 科技前沿 -
国产芯片上新！能效比提升超228倍
2026-01-22 18:33 科技前沿 -
量子计算的瓶颈：处理器再快，也必须等待数据
2026-01-22 08:32 心智观察所 -
量子计算机很可能永远不会成功
2026-01-21 08:36 心智观察所 -
忙于“写本子”抢课题，一线科研人员是做不好0-1创新的
2026-01-20 16:47 2026答案秀 -
嫦娥六号月球样品中首次发现天然单壁碳纳米管与石墨碳
2026-01-20 14:56 嫦娥奔月 -
量子技术三大方向，这个“像榜一大哥给网红刷礼物”
2026-01-20 10:54 2026答案秀 -
中资芯片的绝境反击之路
2026-01-19 08:37 心智观察所 -
突破多项核心技术！“太行三兄弟”完成评估验收
2026-01-18 21:44 能源战略 -
江门中微子实验，圆满完成工程建设任务
2026-01-18 20:42 科技前沿 -
中国创新在很多方面已经进入了“无人区”
2026-01-18 16:21 2026答案秀 -
如何判断AI智能水平？图灵测试有问题，中国学者提出新方法
2026-01-18 11:06 2026答案秀 -
“发给她几个视频后，我妈说要不先别买机器人了”
2026-01-18 09:05 2026答案秀 -
我国首台！芯片制造核心装备取得重要突破
2026-01-17 20:44 科技前沿 -
谷神星二号，首次飞行试验任务失利
2026-01-17 15:50 航空航天 -
CES还是消费电子展吗？中企给出正确答案
2026-01-17 09:29 心智观察所 -
为什么物理学界对量子计算的争议持续存在
2026-01-16 13:43 心智观察所
相关推荐 -
-
“中国已下单10船，合计65万吨” 评论 38
“减少对中美依赖”，印欧大动作谈成了 评论 295
韩国没招了：又怎么了，我的好盟友 评论 111
不学卡尼？访华前夕，斯塔默再谈中美 评论 100
还要抓多少人才罢休？“全部” 评论 124最新闻 Hot
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
