观察员
-
穿上“隐身衣”就识别不了？安博会这项技术引发AI安全关注
12月26日，在第十八届中国国际社会公共安全博览会上，瑞莱智慧展位的一件“隐身衣”引发观众关注。
一般情况下，参观者在经过摄像头前会被识别出来，但穿上一件特制T恤，衣服上印刷了特定的图案，能够让识别算法出错、捕捉不到目标，人一旦穿上便可以实现“隐身”，成为人工智能安全漏洞的一个侧面。
图：观众在瑞莱智慧展台体验AI“隐身衣”
尽管人脸识别、目标检测系统等被广泛应用于公共安全、城市交通等领域，但安全隐患也不容忽视。
以“隐身衣”为例，瑞莱智慧副总裁唐家渝解释道，目标检测系统大多基于数据驱动的深度学习算法，存在不可靠和不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这一结构性漏洞可能导致系统遭受恶意攻击。衣服上看似奇怪的图案是针对算法漏洞生成的“对抗样本”图案，能够误导识别算法使其出错。
除了在运行环节对输入数据添加“扰动”，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒”，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。
图：算法漏洞原理
何谓数据“投毒”？
“假设我们在训练一个识别花的分类模型时，所有花的训练图像左下角都有紫色方块，机器学习可能把紫色方块学习成花的重要类别特征。下一次出现一张其他类别的图像，只有左下角带有紫色方块，它就会被错误识别为花。那故意在图像上添加紫色方块的过程就是投毒，当然实际的投毒过程，图像特征会更加隐蔽。”唐家渝说。
算法漏洞的威胁面在不断延展，对城市治理产生影响。例如，不法分子恶意攻击视频监控、安检闸机等智能安防设备，躲避追踪、冒充他人、破坏公共安全；交通领域，自动驾驶汽车可能被干扰“致盲”，引发安全事故等。
瑞莱智慧联手相关部门，测试了国内外一些主要的人脸识别开放平台，都存在被攻击风险。比如，通过对A照片的面部加了一些噪声，人眼看起来没有任何问题，人脸识别系统就会把它识别成B的照片。
在物理世界，一些特定生成的对抗样本图像可以用于破解多种多样的人脸识别系统，比如安防门禁、考勤系统和手机刷脸解锁系统等。
“我们希望，人工智能系统本身是稳健可靠的，数据是可控可信的，决策逻辑具有可解释性，决策过程是公平公正的。”唐家渝说，以及发生人工智能安全事件，可以实现追溯，技术的应用在合法合规的框架下。
瑞莱智慧提出了兼顾“被动”和“主动”的防御机制。
唐家渝解释道，被动防御是为AI应用部署静态的安全能力，防范已知安全风险，比如对外部访问、输入数据、行为决策等进行检测，为算法模型部署加固防护组件等，提升系统抵御攻击的能力。
主动防御则是为补充被动式防御的局限，引入和强化人工智能安全团队力量，以动态防御对未知威胁进行风险预判，构建自适应、自生长的安全能力。
在展台，瑞莱智慧展示了人工智能防火墙系统，通过集成多项对抗防御算法，能够有效检测和抵御针对人工智能系统的新型攻击风险，实现人脸识别、目标检测等计算机视觉场景的加固升级，可用于安防门禁、人脸身份核验、人脸解锁等场景的安全防护，大幅提升人工智能系统的安全性。
安全的本质是攻防较量，对抗攻击是为了更好的防御。
唐家渝介绍，在与电网的合作中，针对荒郊野外，企业会用图像识别系统的算法，识别是否有危害高压输电线的场景，如吊车可能会打到高压线，或明火会影响高压线的安全，但这套系统同样存在算法漏洞，通过瑞莱智慧的人工智能安全平台，可以自动化高效检测系统漏洞，同时进行防御加固。
标签 瑞莱智慧- 责任编辑: 李鹏涛
-
大公司早报 | 知乎回应在港二次上市 陈小春直播带货翻车被判退款
2021-12-27 09:29 大公司 -
资本大鳄刘益谦操盘背后，“布洛芬”能缓解亨迪药业的“依赖症”吗？
2021-12-24 22:45 观网财经-健康 -
19省中药集采均价降40%，3000亿规模市场进入“洗牌”阶段
2021-12-24 18:29 观网财经-健康 -
因涉嫌内幕交易，宋都股份董事长俞建午被罚1.1亿元
2021-12-24 15:55 中国房市 -
华为冬季新品发布会，余承东找回了久违的激动
2021-12-24 10:58 大公司 -
大公司早报｜华为发布首款鸿蒙汽车 李佳琦被浙江消保委点名
2021-12-24 09:04 大公司 -
全国首例证券集体诉讼案宣判，康美药业5.2万投资者获赔24.59亿
2021-12-23 14:37 观网财经-健康 -
接连发布三千元级新品 vivo影像性能“两开花”
2021-12-23 10:25 大公司 -
大公司早报｜芒果TV上调会员价格 腾讯对京东持股比例降至2.3%
2021-12-23 09:19 大公司 -
杭州2021年集中供地收官，共揽金2196亿元
2021-12-22 19:12 中国房市 -
“西瓜霜大王”病逝，家族持股市值超40亿元
2021-12-22 19:12 -
年内4次“卖身”，康恩贝意在聚焦非处方药与保健品？
2021-12-22 15:46 上市公司 -
七牛云许式伟： 中国云计算的增速最快，但多数企业“云化率”仍不高
2021-12-22 11:51 数字化转型 -
大公司早报｜首个元宇宙产品百度希壤内测 雷军称小米高端机对标苹果
2021-12-22 09:14 大公司 -
华润置地推深圳两“豪宅”冲业绩，“万人摇”的润玺二期遇冷
2021-12-21 22:11 中国房市 -
春立医疗一年半市值蒸发160亿，史春宝夫妇能否借A股续写财富神话？
2021-12-21 22:10 观网财经-健康 -
余承东：华为将坚持构建智能汽车生态圈
2021-12-21 18:06 大公司 -
大公司早报｜李佳琦罗永浩等主播回应 三全思念牛肉水饺加猪肉
2021-12-21 09:08 大公司 -
待偿还海外债超100亿美元，佳兆业将制定债务重组计划
2021-12-20 20:02 中国房市 -
投融资周报 | 认养一头牛完成B轮融资 李一男牛创新能源融资5亿美元
2021-12-20 14:13 大公司
相关推荐 -
-
“重要里程碑”，这条黎智英与美方通信被划重点 评论 19
特朗普称和平协议即将达成，俄方：已做好准备 评论 99
“枪手刚去过菲律宾，车里找到了‘伊斯兰国’旗帜” 评论 115
欧盟忍气吞声，但他们忍不了：想跟美国直接谈 评论 68
中方制裁日本防务重量级人物，他都作啥妖了？ 评论 67最新闻 Hot-
“重要里程碑”，这条黎智英与美方通信被划重点
-
特朗普政府回应被起诉：拆都拆了，这事儿关乎国家安全…
-
特朗普称和平协议即将达成，俄方：已做好准备
-
还在画饼，“美国没撤，只是...”
-
澳大利亚枪击案已致15死，枪手现场高呼“真主至上”
-
特朗普签行政令，芬太尼成为大规模杀伤性武器
-
“枪手刚去过菲律宾，车里找到了‘伊斯兰国’旗帜”
-
欧盟忍气吞声，但他们忍不了：想跟美国直接谈
-
“过去两年没收到过消息，她可能已经去世了”
-
“阿萨德有意在俄重操旧业，当眼科医生”
-
“智利30多年来最大右转”
-
中方制裁日本防务重量级人物，他都作啥妖了？
-
日本学界发愁：我们撤资，中国的机会来了
-
泰柬冲突升级，泰国考虑封锁泰国湾，中方表态
-
“在中国继续运转，他押对了宝”
-
东南亚压力巨大：依赖中国，又怕被美国整…
-
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
