院士何积丰：应对大模型的安全问题，需设好“紧箍咒”

APP下载

扫一扫

下载观察者APP

院士何积丰：应对大模型的安全问题，需设好“紧箍咒”
- 陈济深
分享到：

2023-09-07 15:06:05 字号：A- A A+ 来源：观察者网

模型的通用能力让其能够应用到人类生产生活的各个场景中，可谓“无孔不入”。AI的发展因此带来了新的安全隐私问题，如何解决这一隐患，9月7日开幕的2023 INCLUSION·外滩大会上，中国科学院院士何积丰开出了他的“药方”：利用对齐技术为大模型戴上紧箍咒。

何积丰院士认为，大模型的安全问题主要是在未经同意的情况下，收集、使用和泄露个人信息。隐私问题既可能发生在训练过程，也可能发生在使用过程中，而大模型的生成能力则让“隐私泄露”的方式变得多样化，造成隐私保护更加困难。

中国科学院院士何积丰

“为了应对这些问题，我们需要大模型对齐技术。”何积丰说，“对齐（alignment）”是指系统的目标和人类价值观一致，使其符合设计者的利益和预期，不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空，‘对齐’就是唐僧的紧箍咒。有了紧箍咒，就可以保证技术不会任意使用能力胡作非为。”

不过，对齐技术同样面临挑战。首先，对齐的基础，人类的价值观是多元且动态变化的，需要保证大模型为人服务、与人为善；其次，大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正，设好大模型的“紧箍咒”也是挑战。

因此，对齐技术已经成为了一项令人眼花缭乱的跨学科研究，不仅考验技术，也审视文化。

何积丰介绍，反馈强化学习是实现对齐的技术途径，目前有两种方式，一种方式是通过人工反馈给模型不同的奖励信号，引导模型的高质量输出；另一种方式，事先给大模型提供明确的原则，系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着，不仅智能系统需要向人类价值观对齐，人类的训练方法也要向价值观对齐。”何积丰说。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签外滩大会
- 责任编辑: 陈济深
- 院士张人禾：单打独斗已不适应大科学时代，要进行“有组织科研”
  
  2023-09-07 14:52 观网财经-科创
- 外滩大会今日开幕近20位“两院”院士、诺贝尔奖和图灵奖得主齐聚上海
  
  2023-09-07 14:35 观网财经-金融
- 混元已接入腾讯50多个业务，国产大模型将加速转入长跑期？
  
  2023-09-07 11:44 观网财经-科创
- 细则落地！存量首套房贷利率调整，四大行发布公告
  
  2023-09-07 11:25 观网财经-房产
- 全面拥抱大模型，腾讯混元正式亮相
  
  2023-09-07 10:47 观网财经-互联网
- 京东集团CEO许冉：印尼将会成为京东全球供应链网络的重要节点
  
  2023-09-07 10:45 观网财经-海外
- 顶风作案！340万股，买回来
  
  2023-09-07 08:58 观网财经-金融
- 二手车商日子难过：600平米展厅一年上千万流水只赚1万元
  
  2023-09-07 08:10
- 网约车围城：一年之内涌入41家平台、上百万名驾驶员
  
  2023-09-07 08:06 观网财经-汽车
- 莫斯科交易所：8月人民币交易额环比增长超30%
  
  2023-09-06 20:02 观网财经-海外
- 报告：高净值人群进一步年轻化，“富二代”占比减少？
  
  2023-09-06 17:46 观网财经-金融
- 国家发改委上线民间投资问题反映专栏
  
  2023-09-06 17:39
- 欧洲最大地方政府破产，怎么回事？
  
  2023-09-06 16:09 观网财经-宏观
- 旅游需求强劲，携程二季度营收超2019年同期29%
  
  2023-09-05 18:27 观网财经-消费
- 杭州今日起实施“认房不认贷”
  
  2023-09-05 18:02 观网财经-房产
- 欧洲车企“焦虑”：这是一个转折点
  
  2023-09-05 16:59 汽车展
- 华为：网传“美国邀请任正非去美国”纯属造谣
  
  2023-09-05 16:25 观网财经-科创
- 华为公开表态后，诺基亚持有的鼎桥51%股权不卖了
  
  2023-09-05 14:19 观网财经-科创
- 手机寒冬中净利润翻倍，小米卢伟冰回应“友商回归”
  
  2023-09-05 07:49 观网财经-科创
- 沈阳取消限购限售
  
  2023-09-04 22:40 观网财经-房产
搜索

   观察者头条查看全部

普京访印：美国都在买，印度凭啥不能买？评论 20

日本开发稀土担心中国干扰？日防相放话评论 115

“美欧抢矿，遭殃的却是他们” 评论 13

美国又开炮欧盟：你们在“霸凌”美国军工！评论 70

时代变了，“欧洲人迫切想要中国技术” 评论 204

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001 网登网视备（沪）02020000041-1号互联网宗教信息服务许可证：沪（2024）0000009 广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571

沪公网安备 31010502000027号中国互联网举报中心上海市互联网违法与不良信息举报中心

返回顶部