观察员
-
夸克AI实验室与浙大联合开源OmniAvatar：音频驱动全身视频生成新突破
近日，夸克AI技术团队与浙江大学强强联手，共同开源了一项创新成果——OmniAvata，这是一款领先的音频驱动全身视频生成模型，将为视频生成领域带来了革命性的变化。
传统上，音频驱动人体运动的技术多集中于面部运动，缺乏全身驱动能力，且难以进行精确控制。而OmniAvatar的出现，彻底改变了这一现状。只需要输入一张图片和一段音频，OmniAvatar即可生成相应视频，且显著提升了画面中人物的唇形同步细节和全身动作的流畅性。不仅如此，该模型还可通过提示词进一步精准控制人物姿势、情绪、场景等要素。
此外，长视频连续生成是音频驱动视频生成的难点，也是一项关键挑战。为此，OmniAvatar通过参考图像嵌入策略和帧重叠技术，确保了视频的连贯性和人物身份的一致性。
本次突破不仅体现在产品层面，OmniAvatar的技术革新同样值得关注。团队提出了一种基于像素的音频嵌入策略，使音频特征可以直接在模型的潜在空间中以像素级的方式融入，从而生成更协调、更自然的身体动作来匹配音频。同时，采用多层级音频嵌入策略，将音频信息嵌入到DiT模块的不同阶段中，确保模型在不同层次上保持独立的学习路径。
为了解决完整训练和仅微调特定层所带来的问题，团队还提出了一种基于LoRA的平衡微调策略。该策略使用LoRA策略高效地适应模型，使模型能够在不改变底层模型容量的情况下学习音频特征，从而兼顾了视频质量与细节。
OmniAvatar是团队在多模态视频生成上的初步尝试，并在实验数据集上得到了初步验证，但尚未达到产品级应用水平。未来，团队还将在复杂指令处理能力、多角色交互等方面进一步探索，扩大模型在更多场景中的应用。
本文系观察者网独家稿件，未经授权，不得转载。
- 责任编辑: 夏峰琳
-
紫金银行合规“失血”：20元违法所得牵出240万重罚
2025-07-25 12:06 金融观察 -
宁波银行业绩快报：上半年净利润147.72亿，增长8.23%
2025-07-24 21:30 金融观察 -
辛选旗下卫生巾被检出硫脲引安全质疑，品牌方回应：不存在致癌问题
2025-07-24 20:26 -
中金黄金矿难致6死1伤，股价闪崩超8%，涉事矿区已停产
2025-07-24 14:50 -
专家：稳定币不是货币，但它带来的影响远非货币可比
2025-07-24 08:45 金融观察 -
停牌筹划定增或成转折点，“海洋馆第一股”能否走出治理困局？
2025-07-23 22:46 -
自提30个冰淇淋被店员“背刺”，蜜雪冰城回应
2025-07-23 19:31 观茶咖 -
广济药业信披违规领150万罚单，董事长个人被罚80万元
2025-07-23 19:18 观网财经-健康 -
万物皆可代币化？学者：三五年内，稳定币领域或有大变局
2025-07-23 14:59 金融观察 -
市监总局：暂停对杜邦中国的反垄断调查程序
2025-07-22 20:08 大公司 -
减肥药风口狂飙之下，诺泰生物财务造假“暴雷”
2025-07-22 19:16 观网财经-健康 -
星巴克中国试水"自习室"服务，拓展"第三空间"内涵的新探索？
2025-07-22 17:08 观茶咖 -
为什么企业要推动稳定币？业内人士解读
2025-07-22 10:18 金融观察 -
浦发银行2.95亿存款“失踪”案再掀波澜：终审胜诉后执行受阻，银行反诉引争议
2025-07-21 20:56 金融观察 -
巴西咖啡出口商协会主席：美国加征关税“害人害己”
2025-07-21 17:47 观茶咖 -
桂发祥中期业绩再现亏损：百年老字号遭遇转型之困
2025-07-21 17:47 -
金融观察员｜货币经纪公司迎严监管；浦发银行北京分行被罚245万
2025-07-21 17:06 金融观察 -
复旦大学聚焦稳定币发展与产业机遇 业界专家共探Web3.0金融新生态
2025-07-20 21:05 金融观察 -
*ST苏吴公告：医疗器械注册证代理人变更不影响艾塑菲独家代理权
2025-07-18 17:46 观网财经-健康 -
玩文字游戏？奈雪的茶“瘦瘦小绿瓶”被指涉嫌虚假宣传
2025-07-17 20:41 观茶咖
相关推荐 -
普京访印：美国都在买，印度凭啥不能买？ 评论 1
日本开发稀土担心中国干扰？日防相放话 评论 96
“美欧抢矿，遭殃的却是他们” 评论 10
美国又开炮欧盟：你们在“霸凌”美国军工！ 评论 68
时代变了，“欧洲人迫切想要中国技术” 评论 202最新闻 Hot-
日本开发稀土担心中国干扰？日防相放话
-
“按下葫芦浮起瓢”，英伟达想重返中国市场又难了…
-
“特朗普高兴太早咯，中国把枪放进枪套，但枪还在手上”
-
又出狂言，“加墨不能成为中国出口中心…”
-
“美欧抢矿，遭殃的却是他们”
-
“今年就当广告时间，等英国接任后我们再回归”
-
美国又开炮欧盟：你们在“霸凌”美国军工！
-
“不要惊醒‘美洲豹’”
-
土耳其急了：别碰能源设施！
-
时代变了，“欧洲人迫切想要中国技术”
-
“原来特朗普对中国做这么多”，某些美国鹰派急眼了
-
17年来最低，“好感急剧恶化”
-
韩国入境系统标示“中国台湾”，民进党当局破防
-
“在美欧闻了一鼻子尾气，才反应过来：中国早没这味了”
-
中企在非遭800亿美元天价索赔，BBC老毛病又犯了
-
俄乌冲突后普京首次来访，印“外交钢丝”还能走多久？
-
Copyright © 2014-2024 观察者 All rights reserved。
沪ICP备10213822号-2 互联网新闻信息服务许可证：31220170001
网登网视备（沪）02020000041-1号 互联网宗教信息服务许可证：沪（2024）0000009
广播电视节目制作经营许可证：（沪）字第03952号
增值电信业务经营许可证：沪B2-20210968 违法及不良信息举报电话：021-62376571
沪公网安备 31010502000027号
中国互联网举报中心
上海市互联网违法与不良信息举报中心
