查看原文
其他

AI生成视频入局新卷王,上线不到48小时,网友“大片”刷屏X

头号AI玩家 头号AI玩家 2023-12-16


作者 | 石濑‍‍
编辑 | 张洁

AI视频生成工具卷起来了!

本周二,Stability AI低调发布了首个开源AI视频模型Stable Video Diffusion(以下简称SVD),同时还晒出测试数据称,SVD的模型性能碾压RunwayML、Pika Labs等领先的闭源商业模型。


大家可能不认识Stability AI,但一定听过它开发的、同样是开源的热门文生图模型Stable Diffusion(以下简称SD),不少人首次接触AI绘画,甚至AIGC领域,都是从SD开始的。

这次Stability AI下场,一个不小心又开源了AI视频模型,如今已集齐图像、语言、音频等多领域开源大模型,引得一众网友纷纷表示“终于等到你”,SVD上线消息不到48小时,X浏览量就破了80万。




热度拉满,SVD表现如何?

与市面上主流的AI视频生成模型功能类似,SVD支持用户输入文本或是图片来生成视频。

具体效果如何?先感受一波官方放出的亿点点震撼。

文生视频:



图生视频:

针对“图生视频”功能,Stable Video Diffusion提供两种版本模型,用户可以以每秒3~30帧之间的自定义帧速率生成SVD(14帧)和SVD-XT(25帧)的视频。

简单理解,帧率越高,视频画面越流畅。

值得一提是,Stable Video Diffusion还可以根据单个输入图像生成多个视角的视频内容。对创意视频工作者来说,这个功能非常炸裂。

例如,以往需要大费周章实拍的镜头,现在AI用一张图片就能生成多角度的视频素材,极大地节省拍摄人力和时间。


随着Stability AI加入视频生成模型混战,有网友不禁感叹:“先RunwayML,后meta,现在再来一个Stable Diffusion,恐怕不久,用AI就能搞定一整部电影了。”

这不,说来就来,网友们的“大片”已经刷屏X(推特)。

“燃烧的树”:


“会动的梵高星空”


“AI想象的未来世界”:


“3D太阳花”

其中在X上被疯转的一支视频,因为太过丝滑和流畅,真实到让人迷惑是不是信息流里混进了游戏录屏。

该视频出自X博主“fofr”,据他介绍,喂给SVD的参考图是Midjourney生成的,最终生成出来的效果连他自己都大受震撼:“就像真实的游戏镜头。”

拿原始参考图对比视频,不能说很像,只能说一模一样。



头一波尝鲜的X博主“歸藏”用SVD生成了一组包括人像、花卉、自然风景的视频,既有超现实的海上风景,也有像是电影实拍的人物肖像和自然花卉。




一番测试下来,“歸藏”认为SVD可以自动判断哪些地方该动以及应该怎样动,在复杂内容(如人脸)生成上不会出现像Runway一样画面崩坏的问题。

看到这里,“头号AI玩家”也忍不住去HuggingFace浅试了一波。

注意!这不是《塞尔达》游戏录屏,而是SVD根据游戏截图生成的AI视频🔽

为了测测SVD人脸生成怎么样,我先去SD生成了一张图片,输入提示词是:Portrait of an elegant woman。

可以看到,视频在眼睛处理上存在严重失真(前方高能)🔽

不过,调小了动作幅度之后,生成的效果确实不错🔽


目前SVD只发布了基础模型,想要体验SVD又苦于硬件实力不够的玩家,可以上HuggingFace体验SVD的“图生视频”功能。

进入界面,左边拖入图片,右边为生成的视频,点击高级选项,可选择种子(Seed)编号、控制运动幅度以及调节帧率等,设置好后,点击“Generate”即可生成视频。



当然,你也可以做“等等党”申请官方应用候补名单,蹲一个更好的使用体验。(以上链接已整理至文末)

总的来说,相比早前“头号AI玩家”报道的Runway Gen-2,从各路网友的测评以及HuggingFace体验上来看,SVD的生成效果确实有两把刷子,但最终落地到应用端SVD能否吊打RunwayML、Pika Labs还有待观察。

毕竟SVD还是一款处于研究阶段的模型,现在只能用于研究和其他非商业目的。但耐不住“真香”的是,官方透露接下来会继续扩展SVD,建立一个类似于SD的生态系统。

要知道SD开源+商用的组合,之前可是引领了AI绘画的热潮。如果未来SVD重复SD的路子,再结合Stability AI丰富的图像影音开源生态,搞不好“人人都是导演”的时代还真离我们不远了。


AI视频生成工具大混战

最近小半年,AI视频生成工具迎来了一波密集的升级换代。

2023年7月,“黑马”Pika labs开始内测,用户通过聊天框输入文字指令就能生成视频,而后Pika Labs还上线了“图片加文本生成视频”的功能,效果一度被誉为媲美Runway。

10月,初创企业Moonvalley由AI图/文生成转向AI视频生成,推出号称“史上最强大的视频生成AI”,一句提示词就能生成16:9电影画质的高清视频。


10月末,Genmo发布Replay 0.2版本,上线图片转视频的功能,分辨率提高2.7倍。


同一时期,开源框架AnimateDiff在网上走红,因可控性高、生成动画视频质量好而备受青睐。

AnimateDiff团队更新也很频繁,从一开始只能生成16帧动画,到9月更新V2版本之后,单次可生成32帧的动画,大大提升了动画生成质量,并且后续还推出了LoRA镜头控制功能,帮助用户获得更精确的生成效果。


进入11月,Runway推出“里程碑式更新”,Gen-2分辨率提升至4K,视频保真度和一致性有了重大提升。


上个星期,社交媒体巨头Meta推出了两项AI视频编辑新功能,即将引入Instagram或Facebook。其中,Emu Video可以根据字幕、图像、文字描述等自动生成四秒长的视频;


Emu Edit则允许用户通过文本指令修改或编辑视频,没有专业图像编辑经验的普通人,动动手就能做后期。

最近,Gen-2指哪儿画哪儿的“运动笔刷”也正式上线。


各家你追我赶的架势,不仅让卷出来的产品效果和用户体验越来越好,还悄悄改变着每一个普通人对视频创作的认知。

如今,Stability AI入局更让人期待接下来AI视频生成工具的走向,各位玩家认为,未来做视频会像打字一样简单吗?评论区见。

项目地址:
https://github.com/Stability-AI/generative-models
HuggingFace地址:
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid
官方应用候补名单申请:
https://stability.ai/contact


「头号AI玩家交流群」进群方式:添加微信“banggebangmei”并备注姓名+职业/公司+进群,欢迎玩家们来群里交流,一起探索见证AI的进化。


也欢迎围观小红书@头号AI玩家,我们在这里日常练习AI绘画。


欢迎分享、点赞、在看

 一起研究AI

继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存