-
夸克AI实验室与浙大联合开源OmniAvatar：音频驱动全身视频生成新突破
最后更新: 2025-07-25 12:07:44
近日，夸克AI技术团队与浙江大学强强联手，共同开源了一项创新成果——OmniAvata，这是一款领先的音频驱动全身视频生成模型，将为视频生成领域带来了革命性的变化。
传统上，音频驱动人体运动的技术多集中于面部运动，缺乏全身驱动能力，且难以进行精确控制。而OmniAvatar的出现，彻底改变了这一现状。只需要输入一张图片和一段音频，OmniAvatar即可生成相应视频，且显著提升了画面中人物的唇形同步细节和全身动作的流畅性。不仅如此，该模型还可通过提示词进一步精准控制人物姿势、情绪、场景等要素。
此外，长视频连续生成是音频驱动视频生成的难点，也是一项关键挑战。为此，OmniAvatar通过参考图像嵌入策略和帧重叠技术，确保了视频的连贯性和人物身份的一致性。
本次突破不仅体现在产品层面，OmniAvatar的技术革新同样值得关注。团队提出了一种基于像素的音频嵌入策略，使音频特征可以直接在模型的潜在空间中以像素级的方式融入，从而生成更协调、更自然的身体动作来匹配音频。同时，采用多层级音频嵌入策略，将音频信息嵌入到DiT模块的不同阶段中，确保模型在不同层次上保持独立的学习路径。
为了解决完整训练和仅微调特定层所带来的问题，团队还提出了一种基于LoRA的平衡微调策略。该策略使用LoRA策略高效地适应模型，使模型能够在不改变底层模型容量的情况下学习音频特征，从而兼顾了视频质量与细节。
OmniAvatar是团队在多模态视频生成上的初步尝试，并在实验数据集上得到了初步验证，但尚未达到产品级应用水平。未来，团队还将在复杂指令处理能力、多角色交互等方面进一步探索，扩大模型在更多场景中的应用。
本文系观察者网独家稿件，未经授权，不得转载。
标签- 责任编辑: 夏峰琳
-
欧洲集体唱反调：“筹码”不可丢 评论 14
“欧盟还在讨论，中企更快，已经抢先一步” 评论 55
IMF：AI能对冲老龄化，却可能让财富向老年人集中 评论 122
法德密谋“新门槛”，中国车企：那就在欧洲造 评论 125
1谁在煽风点火剑指中国汽车谁在？评论 149 赞 79
2围绕华为和尊界V800的争论棉花絮有一招能彻底了结评论 135 赞 39
3姚洋：印度人均GDP不到3千美元，短时间能追上中国吗？评论 127 赞 2
4尊界自证符合国标就行，那之前的免费升级是什么意思评论 108 赞 8
5中国小麦产量全球第一，做面包为何从日本进口面粉？评论 74 赞 8
6尊界公布制动踏板第三方测试结果，应该兼听评论 67 赞 5
7为何有些人对外国汽车出问题那么包容，却对一款刚进入豪华阶段的国产车如此苛求？评论 59 赞 25
9意大利前高官动不动黑中国，但黑得有水平！评论 54 赞 83
10中国式的“婚姻兜底”：当结婚证变成资产负债表评论 49 赞 10最新闻 Hot-
欧洲集体唱反调：“筹码”不可丢
-
“欧盟还在讨论，中企更快，已经抢先一步”
-
马斯克成共和党最大“金主”，捐款3.66亿
-
美议员遭“抄家”，曾被特朗普叫“垃圾”
-
比钱凯港更深！“中美印都非常感兴趣”
-
尊界V800公布制动踏板第三方检测结果
-
周杰伦转发视频，“青鸟”坐不住了
-
黄安：我是中国台湾省歌手！没必要遮遮掩掩，人生就要图个痛快
-
马斯克砸2.76亿美元挺共和党，捐赠规模已超2024年大选
-
把安全当儿戏！男子竟让2岁孩子坐主驾控车，拍视频发朋友圈
-
记者：俄乌都没说？特朗普：我说的
-
宣布退网次日，理记微博账号被禁止关注
-
波兰外长喊话特朗普：应施压俄罗斯，怎么矛头对准了乌克兰？
-
“胡塞直击要害”，沙特反击：24小时袭击119次
-
美蜘蛛侠扮演者，主持前妻与亿万富翁的婚礼
-
哈萨克斯坦央行正从全球最大的黄金买家之一转为卖方
-
Copyright © 2010-2026 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 互联网宗教信息服务许可证：沪（2024）0000009
违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
