-
抖音上线AI反网暴Agent
6月12日,观察者网从抖音方面获悉,针对网络暴力呈现的新形态,抖音近日推出了AI反网暴行动,上线AI反网暴Agent,让网暴识别模型、研判模型与人工协同工作。
此外,抖音还优化了外呼救助机制,覆盖风险发现、事件研判、主动治理到外呼救助,建立起早干预、早保护的治理体系。
数据显示,系统升级后,平台日均识别出的潜在被网暴风险人群扩大91.5%,每天有数千名用户收到预警后主动开启防网暴功能,因风险等级高而被人工外呼援助的受害者数量增长147%。
据悉,抖音此次上线AI反网暴Agent,是因为如今的网暴早已不是直白的辱骂,更多是表情包阴阳怪气、谐音梗攻击、断章取义带节奏,这些隐蔽的恶意很难被传统审核识别。
传统“人工审核+举报处置”治理策略已难以适配复杂的网络生态:一方面,依赖用户举报,往往等处理时,伤害已经造成;另一方面,常规审核只能筛查数天内的内容,容易遗漏持续时间长、跨热点周期的攻击,也无法兼顾未成年人、老年人等不同群体的心理承受能力。
AI反网暴Agent可以让网暴识别模型与研判模型同时工作,在一些风险发酵的早期就捕捉到用户的求助“信号”。其中,网暴识别模型不再只盯着单条评论的关键词,而是会关注用户的整体互动情况。
当评论区突然涌入大量负面言论、有人频繁访问某个人的主页、@某账号的异常信息增多时,系统就会开始计算“网暴风险得分”。并且,AI会全天候复盘误判案例,自主学习新的网暴手段,包括刚流行起来的新梗攻击。
网暴研判模型则会从事件维度展开全局分析,整合用户近30天内的文字、图片、视频、音频等互动数据,还原完整的事件脉络,区分正常的观点讨论和恶意攻击,避免误判影响用户的正常交流。
针对未成年人、老年人等特殊群体,模型还设置了梯度化识别标准,适当提高风险敏感度。同时,模型会输出包含事件经过、风险来源、关键证据的结论,让人工研判专家能更快了解情况,及时开展外呼救助。
比如:低风险用户只会收到App端内提醒,一键就能开启一键防护等;如果风险较高,或是属于特殊保护群体,平台会通过智能外呼联系用户,安排专人一对一提供帮助。
对于施暴者,平台则会根据情节轻重采取梯度化处置,包括下架违规内容、限制互动功能、永久封禁账号等措施。对于跨账号持续骚扰、情节恶劣的行为,会酌情升级处置;涉嫌违法犯罪的,将主动配合公安机关提供相关证据,依法追究法律责任。
抖音相关负责人表示,网络生态治理是一项长期且复杂的工作,没有一劳永逸的解决方案。平台将持续迭代AI反网暴系统的技术能力,提升主动保护效果。
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 刘媛媛 
-
治理AI应用乱象 中央网信办上线举报专区
2026-06-12 17:17 -
访温医大附一院,看医疗AI如何跨越最后一公里
2026-06-12 17:13 观网财经-健康 -
蚂蚁阿福为蓝医保提供“AI+真人”健康管理服务,打开健康管理赛道想象空间
2026-06-12 17:13 -
小米罗福莉:Fable 5只是阶段性成果,世界模型仍处早期
2026-06-12 17:10 观网财经-互联网 -
华为发布鸿蒙7操作系统,今年秋季开放
2026-06-12 15:17 观网财经-科创 -
在华维持双位数增长的国际运动品牌,要拆分了
2026-06-12 13:42 观网财经-消费 -
当AI取代智力劳动,是时候考虑“全民分红”了
2026-06-12 13:21 观网财经-科创 -
押注B端,金山办公试图翻过企业AI软件的三座大山
2026-06-12 11:35 观网财经-科创 -
SK海力士发生本月第二起火灾
2026-06-12 11:29 三八线之南 -
并购7亿拿下巴西生意:爱尔眼科港股冲刺进程怎样?
2026-06-12 11:10 观网财经-健康 -
阿里巴巴AI加速:从组织升级到商业兑现
2026-06-12 11:10 观网财经-互联网 -
大疆指控影石“全盘照搬地剽窃”,影石反诉
2026-06-12 10:43 观网财经-科创 -
于东来:胖东来未有调降工资政策,不要误读
2026-06-12 09:18 -
iPhone17系列在华销量超3000万部,是小米17系列6倍
2026-06-12 09:14 观网财经-科创 -
药明康德,起诉美国防部
2026-06-12 06:53 -
国产光刻胶“生死局”
2026-06-11 22:00 观察者头条 -
再过几个小时世界杯开踢,白酒隐藏款已经炒到1.2万
2026-06-11 19:34 -
当迪桑特开始占据顶奢商场一楼,安踏的“百亿方法论”正在浮出水面
2026-06-11 18:32 观网财经-消费 -
大润发引入三只松鼠新鲜零食店中店
2026-06-11 18:25 -
李佳琦卖奔驰,天猫汽车交付过千,电商卖车这次真成了?
2026-06-11 18:24
相关推荐 -
最新闻 Hot
-
“再不改革,10年后美国富人只能去中国看癌症了…”
-
又倒打一耙,“菲防长犯下三宗罪,罪有应得”
-
特朗普再称马上和伊朗达成协议,CNN:39次了,谁还信?
-
遭美国拒绝入境的索马里裁判,将执裁欧洲超级杯
-
SK海力士发生本月第二起火灾
-
台当局在欧洲“水饺联盟”,露馅了
-
电线上有蛇?“别慌,它是机器人巡检员”
-
日媒酸了:石脑油危机席卷日韩,唯独中国...
-
“已经在总统府打包书籍了”武契奇:将很快辞职
-
改口复改口?特朗普又说谈成了不打了…伊朗:否认
-
美议员焦躁:中国领先一头,美国承受不起
-
“制造平壤上空无人机入侵事件”,尹锡悦一审被判30年
-
装都不装?特朗普的倒影池翻新工程花费1400万美元,承包给熟人
-
骑脸开大!特朗普大寿两天前,这组数字直接印白宫边上了…
-
默茨要对华强硬?
-
“SpaceX怎么着,都得依靠中国”
-

观察员




上海市互联网违法与不良信息举报中心