-
OpenAI发布首个视频生成模型Sora:输文字出视频,1分钟流畅高清
2月16日凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。
目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。
例如一个Prompt(大语言模型中的提示词)的描述是:在东京街头,一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上。
在Sora生成的视频里,女士身着黑色皮衣、红色裙子在霓虹街头行走,不仅主体连贯稳定,还有多镜头,包括从大街景慢慢切入到对女士的脸部表情的特写,以及潮湿的街道地面反射霓虹灯的光影效果。
电影预告片讲述了30岁宇航员戴着红色羊毛针织摩托车头盔的冒险经历,蓝天、盐漠,电影风格,35毫米胶片拍摄,色彩鲜艳。
AI想象中的龙年春节,红旗招展人山人海。有紧跟舞龙队伍抬头好奇观望的儿童,还有不少人掏出手机边跟边拍,海量人物角色各有各的行为。
竖屏超近景视角下,这只蜥蜴细节拉满:
网友直呼game over,工作要丢了:
甚至有人已经开始“悼念”一整个行业:
还有网友表示,电影业要彻底颠覆了。
一位YouTube博主Paddy Galloway发表了对Sora的感想,他表示内容创作行业已经永远的改变了,并且毫不夸张。“我进入YouTube世界已经15年时间,但OpenAI刚刚的展示让我无言…动画师/3D艺术家们有麻烦了,素材网站将变得无关紧要,任何人都可以无壁垒获得难以置信的产品,内容背后的‘想法’和故事将变得更加重要。”
对于Sora当前存在的弱点,OpenAI也不避讳,指出它可能难以准确模拟复杂场景的物理原理,并且可能无法理解因果关系。
例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。
该模型还可能混淆提示的空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。
如提示词“篮球穿过篮筐然后爆炸”中,篮球没有正确被篮筐阻挡。
OpenAI表示,他们正在教AI理解和模拟运动中的物理世界,目标是训练模型来帮助人们解决需要现实世界交互的问题。
随后OpenAI解释了Sora的工作原理,Sora是一个扩散模型,它从类似于静态噪声的视频开始,通过多个步骤逐渐去除噪声,视频也从最初的随机像素转化为清晰的图像场景。Sora使用了Transformer架构,有极强的扩展性。
视频和图像是被称为“补丁”的较小数据单位集合,每个“补丁”都类似于GPT中的一个标记(Token),通过统一的数据表达方式,可以在更广泛的视觉数据上训练和扩散变化,包括不同的时间、分辨率和纵横比。
Sora是基于过去对DALL·E和GPT的研究基础构建,利用DALL·E 3的重述提示词技术,为视觉模型训练数据生成高描述性的标注,因此模型能更好的遵循文本指令。
如今,Sora正面向部分成员开放,以评估关键领域的潜在危害或风险。同时,OpenAI也邀请了一批视觉艺术家、设计师和电影制作人加入,期望获得宝贵反馈,以推动模型进步,更好地助力创意工作者。OpenAI提前分享研究进展,旨在与OpenAI以外的人士合作并获取反馈,让公众了解即将到来的AI技术新篇章。
- 原标题:太炸了!OpenAI深夜发布,文字直接生成视频!网友:我要失业了
- 责任编辑: 林铃锦 
-
自主研制离子成像技术探测量子态,我国科学家有了新发现
2024-02-16 11:06 科技前沿 -
新春伊始,一批大国重器取得新突破
2024-02-14 20:45 观察者头条 -
微型机器人在国际空间站首次模拟手术任务
2024-02-14 19:32 科技前沿 -
实现突破性进展!这一领域,我国处于全球第一梯队
2024-02-12 22:34 科技前沿 -
向理解高温超导机理迈出重要一步,中国科学家首次观测到
2024-02-08 11:19 科技前沿 -
我国编制首部脑机接口研究伦理指引
2024-02-07 07:17 -
英伟达对华“阉割版”芯片已可接受预订,但经销商说…
2024-02-05 09:57 -
研究:月球正在缩小,南极月震使月球基地可能没那么宜居
2024-02-02 16:59 -
这项重大突破,避免了“美国人比中国人更了解中国人”
2024-02-02 07:58 科技前沿 -
此前只有两个国家掌握这一技术,我国实现突破
2024-02-01 22:01 科技前沿 -
对标GPT-4,讯飞星火V3.5发布
2024-01-31 09:16 人工智能 -
预计2026年建成!国内最强光谱望远镜将落户青海冷湖
2024-01-29 23:01 科技前沿 -
世界首款四座氢内燃飞机原型机成功首飞!主要核心部件初步实现国产化
2024-01-29 20:44 科技前沿 -
我国首次在极地布放生态潜标
2024-01-28 09:02 -
快舟火箭可复用技术试验箭垂直起降试验圆满成功
2024-01-27 08:24 航空航天 -
德央行警告“与中国脱钩”:德国将严重动荡
2024-01-26 19:13 德意志 -
红海危机,中方出手?
2024-01-26 13:52 观察者头条 -
72亿年仅偏差1秒!我国第二个达成
2024-01-26 13:44 科技前沿 -
Intel 3D封装技术开始量产,后摩尔时代竞争已经到来
2024-01-25 19:44 科技前沿 -
世界首台!这一难题被我国突破了
2024-01-25 09:19 科技前沿
相关推荐 -
特朗普宣布胜选 评论 6赢者通吃,“美国已沦为世界笑柄” 评论 119决胜的关键,摇摆州怎么样了? 评论 294这两家美媒率先测算,特朗普锁定胜局 评论 522以色列政坛地震,他突遭内塔尼亚胡解职 评论 90最新闻 Hot
-
赢者通吃,“美国已沦为世界笑柄”
-
美媒最新预测:特朗普胜选概率超九成
-
他“绑架”东盟:“东南亚版北约”行不通,但对华可以这么干…
-
美国大选前夕,拉夫罗夫谈俄美关系
-
最后关头,247-210特朗普暂时领先
-
首份出口民调:民主、经济成美国两党选民最关心的问题
-
以色列政坛地震,他突遭内塔尼亚胡解职
-
中国将在沙特发行美元主权债券,“两国在金融领域日益加深”
-
立陶宛“准总理”也表态:“绝对”想让中国大使回来
-
“找不到证据,就说中国藏得太好了?”美媒说了大实话
-
“巴铁”的光明之路,如何走出循环债务的迷宫
-
英国前高官被曝策划施压拜登政府,要求继续援乌
-
“美国这项对抗政策,反而让中国获意外之财”
-
美国小行星搜寻望远镜在大气层中烧毁,后续项目已延期一年
-
菲律宾又哼唧上了:船、枪、钱一样没赔,中国已读不回
-
跟中国冷战,与美国热战,欧盟“小可爱们”吃得消吗?
-