财联社3月14日讯(编辑 潇湘)openai首席技术官米拉·穆拉蒂(mira murati)近期在接受媒体采访时透露,openai人工智能文生视频大模型sora即将于今年晚些时候正式向公众发布,openai计划最终加入音频功能,以使场景更为真实,同时还将允许用户编辑sora生成的视频内容。
尽管眼下距离sora正式对外发布尚有一段时日,但openai已经向世人揭示了这款工具的巨大潜力——仅需几句精心设计的提示语,sora便可创造出几乎足以替代许多视频制作专业人员的出色作品。与市面上那些时长短暂、分辨率低下的ai视频作品相比,sora的视频看起来就像是纪录片或电影中的梦幻场景。
而murati也在最新采访中,向外界介绍了sora究竟是如何通过简单的提示文本,完成这些美轮美奂的视频制作的,她还详细介绍了sora眼下存在的一些不足,以及接下来会着重防范和改进的地方……
sora如何“化文字为神奇”?
请你想象一幕场景:“一条美人鱼和她的螃蟹伙伴,正在一起浏览智能手机……”
作为这场媒体采访的“福利”,主持人获得了让sora将其提供的多组文本提示,转化为视频图像的机会,而以上的这一幕,便是sora提供的视频中的一帧。
sora究竟是如何实现这一转换的呢?murati表示,尽管解释美人鱼的进化可能都要比解释“扩散模型”(diffusion models)的内部运作容易得多,但简而言之便是:人工智能模型分析了大量视频,学会了识别物体和动作。然后,当你给它一个文字提示时,它就会勾勒出整个场景,然后填充每一帧。
行业观察家和openai的竞争对手——runway首席执行官cristóbal valenzuela等业内人士,将这些卓越的成果归功于openai强大的计算能力和训练数据。不过,openai最近也面临着星空体育网站入口官网手机版的版权侵权诉讼:指控这家人工智能初创公司未经许可擅自获取内容来训练chatgpt。
在被问及openai为sora使用了哪些训练数据时,murati指出,“我们使用了公开数据和授权数据”。当主持人继续深入问及这是否包括来自youtube、instagram和facebook的视频时,murati最初表示她并不清楚具体细节,但后来确认,已获授权的材料涵盖了来自知名星空体育网站入口官网手机版的版权图片网站shutterstock上的内容,而openai与shutterstock有着合作关系。
murati认为,对于用户来说,人工智能模型就像是一个神秘的黑盒子——人们知道输入的提示语和输出的内容,但并不了解中间的步骤。因此,人们可能永远不会知道为什么最终生成的内容会是这样的——例如上面这张视频截图里,美人鱼的螃蟹伙伴留着胡子,就像海绵宝宝的朋友蟹老板。巧合吗?也许吧……
未来视频将支持配备音效
在另外一段视频里,主持人要求sora制作一段她更为符合这场采访的内容:“两位30多岁、有着棕色头发的职业女性,在一个光线充足的演播室里坐下来接受新闻采访。”
最终,在sora交出的“作业”里,无论是两位女性嘴型和头发的动捕,还是皮夹克上的细节,一切看起来都那么真实。murati指出,这段20秒的720p分辨率短片,sora花了几分钟才制作完成,但目前还未能支持配备音效。
但murati已承诺,他们计划最终会添加声音。
murati还表示,当前sora生成视频的成本远高于该公司的图像生成器dall-e。不过,在未来向公众正式发布时,openai将进行优化,以降低对算力的需求。
难以忽视的瑕疵
当然,不容忽视的是,在如今sora才刚刚问世的早期阶段,其生成的内容中还存在一些极为明显的瑕疵。
以上述sora制作的采访视频为例,虽然整体的画面呈现效果颇为令人惊叹,但细节上还是不难发现问题——浅色头发的女人的一只手上似乎长出了10根手指。
murati对此解释称,“要准确呈现手部动作真的很难。”
在另一个视频中,主持人要求看到一个机器人从电影制片人手中夺走摄像机。
而sora对此的诠释是——人类电影制片人直接变形成为了机器人。此外,在背景中的一辆黄色出租车,也在机器人“夺舍”的过程中变成了一辆银色轿车。
murati对此点评称,sora“在维持连贯性方面表现尚可,但并不完美”。
未来如何分辨虚拟与现实?
毫无疑问,眼下的sora还有着各种各样的不足。但如果未来某一天,这些问题全都消失了,人们或许也将面临一个新困扰:该如何区分真实视频和人工智能生成的视频?
murati表示,未来sora生成的每个视频下方都会有一个水印。这些视频最终也将包含元数据,以标明它们的来源。此外,openai还将有一个red teaming安全测试团队,安全测试人员会尝试向sora发出提示,以找出漏洞、偏差和其他有害结果。
murati指出,“这就是我们实际上还没有部署该系统的原因。我们需要搞清楚这些问题,然后才能放心地广泛部署。”
此外,sora的提示限制政策可能也会沿用dall-e的政策。例如,人们无法用sora生成公众人物的图像——当要求其生成“美国现任总统的电视新闻画面”时,sora会拒绝这一请求。
亲手制作好莱坞大片不是梦?
随着sora在过去一个月的惊艳亮相,这一令所有人耳目一新的产品,对于一些传统行业的冲击无疑也是巨大的,而最直接影响的,或许便是曾长期经久不衰的美国好莱坞。
著名电影制片人tyler perry在看到sora的潜力后,就于近期宣布将暂停耗资8亿美元的工作室扩建计划。他认为这项aigc技术能够削减布景和外景拍摄的成本,但也令人对电影行业的未来抱有担忧。
而当主持人向murati询问sora对视频制作工作的影响时,她也再次重申了openai目前采取的缓步审慎策略,并表示openai正在与行业内部人士合作,进行早期的测试和反馈征集。
正如主持人在让sora制造的另一段视频中所呈现的那样——如果将openai比作是瓷器店里的公牛,那么它现在可能正在轻装上阵。但不可避免的是,它将开始砸坏那些原本安放着的盘子……
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
notice: the content above (including the pictures and videos if any) is uploaded and posted by a user of netease hao, which is a social media platform and only provides information storage services.