-
腾讯混元文生图大模型宣布开源,未来还将跟QQ、企微和游戏做联动
-
周毅是故意的还是不小心?
文/观察者网 周毅 编辑 张广凯
5月14日,腾讯宣布旗下混元文生图大模型全面升级并对外开源。据悉,这是业内首个中文原生的DiT架构文生图开源模型。它支持中英文双语输入及理解,参数量15亿。目前,该大模型已在Hugging Face平台和Github上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费商用。
不同模型在图文一致性等方面的表现 图源Hugging Face
腾讯混元文生图负责人芦清林对观察者网表示,提升技术能力和更广泛的应用,是该大模型未来的两个方向。
“从技术能力的提升来说,如何让图片生成的速度更快,生成的质量更好,是我们永远都会追求的一个技术方向,它似乎是没有止境的。”芦清林表示,项目团队也希望该大模型,能在腾讯内外更广泛的业务场景应用起来。事实上,从去年开始,腾讯混元文生图就和腾讯的广告业务进行了一些协作。
“今年会跟社交业务,包括QQ、企业微信等很多业务场景做联动。跟他们合作做一些新的技术能力。”芦清林透露,同时,该大模型也会跟腾讯游戏做一些深入的技术合作,希望能够在美术场景中应用起来。包括QQ音乐等在内,也都是该大模型未来将会提供支撑的业务场景。
大模型的优异表现,往往离不开先进的技术架构。过去,视觉生成扩散模型主要基于U-Net架构,但随着参数量的提升,基于Transformer架构的扩散模型展现出了更好的扩展性,有助于进一步提升模型的生成质量及效率。升级后的腾讯混元文生图大模型采用了全新的DiT架构(即Diffusion With Transformer),这也是Sora和Stable Diffusion 3的同款架构和关键技术,它就是一种基于Transformer架构的扩散模型。
公开资料显示,在DiT架构的基础之上,腾讯混元文生图大模型还在算法层面优化了模型的长文本理解能力,能够支持最多256字符的内容输入,同时赋予其多轮生图和对话能力:在一张初始生成图片的基础上,用户通过自然语言描述,即可对其进行调整。
用户通过“对话”,即可调整文生图的具体内容 测试截图
此外,“中文原生”也是腾讯混元文生图大模型的一大亮点,此前,像Stable Diffusion等主流开源模型核心数据集以英文为主,对中国的语言、美食、文化、习俗理解有限。作为首个中文原生的DiT模型,混元文生图具备中英文双语理解及生成能力,在古诗词、俚语、传统建筑、中华美食等中国元素的生成上表现出色。
混元文生图大模型的部分能力展示 图源Hugging Face
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 周毅 
-
搭载英特尔处理器,华为再推AI PC等10余款新品
2024-05-15 18:50 观网财经-科创 -
“比行业便宜99.3%”,字节打响大模型价格战
2024-05-15 18:06 观网财经-科创 -
GMV两位数增长,淘宝天猫真的在回归用户了
2024-05-15 17:59 观网财经-互联网 -
杭州市临安区:收购一批商品住房用作公共租赁住房
2024-05-15 16:19 观网财经-房产 -
美国征收关税翻倍,多家光伏头部企业:基本没有影响
2024-05-15 13:31 观网财经-消费 -
成都高投集团收购鼎桥通信
2024-05-15 08:57 华为 -
深圳建筑设计新要求:减少公摊面积
2024-05-14 19:17 观网财经-房产 -
腾讯公布2024一季报:利润大涨62%,视频号用户时长增长超80%
2024-05-14 18:16 观网财经-互联网 -
手机巨头激烈混战,vivo再推6nm芯片加码影像
2024-05-14 14:49 观网财经-科创 -
碧桂园杨惠妍:房地产行业一定会迎来春天
2024-05-13 21:31 观网财经-房产 -
“鲇鱼”来袭!特斯拉上海储能超级工厂获开工许可
2024-05-13 16:07 观网ESG -
女子收到7年前1414元滴滴账单,滴滴致歉
2024-05-12 23:01 观网财经-互联网 -
创始人称创维汽车能治病延寿?官方回应:断章取义
2024-05-11 16:55 观网财经-汽车 -
最快本月申请?Shein或选择伦敦上市
2024-05-11 11:40 观网财经-海外 -
Visa难以进入中国市场,是因为中国的“科技民族主义”吗?
2024-05-11 08:02 -
中芯国际净利大跌68%,但当务之急并非利润
2024-05-10 22:30 观网财经-科创 -
连平:释放购房需求,接下来应从供给端入手
2024-05-10 21:52 观网财经-房产 -
汇率跌至历史新低,谁背刺了越南?
2024-05-10 21:38 -
璩静风波后,百度资深副总裁高调谈论“大厂病”
2024-05-10 16:25 观网财经-互联网 -
“百度大厂病问题,管理层也急”
2024-05-10 15:39 观网财经-互联网
相关推荐 -
-
关键时期,欧盟单独约谈个别车企妄图分化中方 评论 131“说印度是新的中国过于夸张,但‘去风险’用得上” 评论 157会议记录曝光!在华美企茫然:不可能的任务 评论 134阿斯麦CEO直说了:打压中国,跟国安有啥关系? 评论 125最新闻 Hot
-
“这一方面,欧盟远远落后中美”
-
中国男子在菲律宾钓鱼时被绑架,“与非法博彩业有关”
-
“正与中方商谈租借月壤样品,我觉得中国会答应”
-
“说印度是新的中国过于夸张,但‘去风险’用得上”
-
这一幕被逐帧记录!
-
会议记录曝光!在华美企茫然:不可能的任务
-
“把特朗普关起来!”说罢,拜登发觉不太对…
-
友谊的小船说翻就翻…
-
“马斯克像个傻瓜一样”
-
“我们可以自信地说,俄中关系已成为典范”
-
阿斯麦CEO直说了:打压中国,跟国安有啥关系?
-
美国也来:印度要负责
-
“他站队了,给哈里斯捐了5000万美元”
-
哈萨克斯坦称“当前无意加入金砖”,俄外长回应
-
“中国仍是中心,美国短期内做不到”
-
“中国引领,金砖国家在这方面将追平欧盟和G7”
-