8

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了? - 优设网 - 学设计上优设

 11 months ago
source link: https://www.uisdc.com/gen-2
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

大家好,这里是和你们一起探索 AI 的花生。

前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2,一款可以直接根据文本生成视频的工具,我们先看看官方放出的 2 个演示:

视频来源:推特@runwayml https://twitter.com/i/status/1664256235665866752

视频来源:Gen-2 Now Available | Runway - YouTube

了解 Runway:

看到视频时真的被小小的震撼了一下,因为画面的稳定度和流畅度都超乎想象。虽然目前用 AI 生成视频的方法并不少,比如之前为大家介绍的 D-ID,是通过图像来生成数字人视频;还有利用 Stable Diffusion WebUI 配合各种插件工具实现的“大叔变少女”或视频风格化。但是这些方法都需要图像或者视频作为参考样本才能生成新的视频,目前可以直接根据文本生成视频且质量如此之高的应该也只有 GEN-2 了 。

在 SD 中利用 Controlnet 配合 TemporalKit 及 Ebsynth 生成的无痕换脸视频,来源: https://twitter.com/yokohara_h/status/1657191627452981248

开放测试的 GEN-2 可以免费试用,也就是说我们每个人都可以体验这种通过文本生成视频的神奇操作,下面就为大家介绍一下 GEN-2 的使用方法。

一、Gen-2 文本生成视频

Runway 官网: https://app.runwayml.com

首先点击上方链接进入 Runway 官网,先注册一个自己的账号然后登录,试了一下支持 QQ 邮箱。然后进入 Runway 主页,选择左侧 「Generat Videos」里的 Gen-2

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

Gen-2 操作界面如下,我们直接在文本框内输出英文提示描述想要的场景,然后点击右侧的「Generate」生成视频。如果不确定想要什么内容,可以选择下面官方提供的参考,点击「Try This」可以直接将画面的关键词填充到我们的文本框内。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

下面是我用文本生成的一段视频,提示词为“A cyberpunk style cityscape, Towering skyscrapers, Brilliant neon lights, Blade Runner, Sci-fi movie, High quality, 16K, Ultra HD(一个赛博朋克风格的城市景观,高耸的摩天大楼,辉煌的霓虹灯,银翼杀手,科幻电影,高品质,16K,超高清)”。

试用时只能生成 4 秒的视频,生成时间没有超过 1 分钟,速度还是非常快的。画面很好地表现了我想要的赛博朋克效果,动画稳定流畅,而且清晰度比我预期的还要高,只写一段简单的话就能生成这样一段视频真的太令人惊喜了。

每个新用户都有 105 秒的免费生成额度,虽然一次性只能生成 4 秒的视频,但是你可以设置一个脚本,分段生成里面的不同内容,然后拼在一起合成长视频。下面是我在上面视频的基础上,又附加了 3 个短视频合成的,描述了一段在赛博朋克城市里发生的故事,配上音乐是不是还挺像模像样的?过程真的超级简单,强烈建议大家都去尝试一下。

除了根据文本生成视频的 Gen-2,Runway 还有 2 个非常值得尝试的 AI 视频生成工具 「Gen-1」 和 「Frame Interpolation」,这里也顺带给大家介绍一下。

二、Gen-1 生成风格化视频

Gen-1 是一个视频转视频工具,只要你有免费试用额度,就可以尝试用它将一个视频转换为另一种的风格,下图是它的操作界面:

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

在 Gen-1 中可以通 3 种方式对视频进行风格化。一是提取图像风格应用到视频中,下面是提取一张赛博朋克图像的风格,对一段白模建筑视频进行转换后的效果。使用时可以通过「Style Strength」调节风格的强度,数值越高,赛博朋克风格就越强烈。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

二是直接使用官方的预设风格,有黏土、云景、金属、黑白线稿、太空、渐变、科幻等 20 多种风格可以选择。下面是将一个真人视频转换为太空风格的效果,正式生成前可以点击「Preview styles」预览效果,如果觉得不好就换一种风格或者调整风格强度参数。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

三是可以直接通过文本描述修改视频的风格,比如将一个实拍的自然风景改成动漫风:

三、Frame Interpolation 帧插值

Frame Interpolation 是一个图像平滑工具,上传数张图像,系统会自动在相邻图像间生成平滑的过渡,从而将图像转换为一段流畅的视频。这个工具是免费使用的,不消耗试用分钟数。

一般上传 3-8 张图像就足够了,图越多生成时间越长。上传成功后,在右侧点“Clip Duration”设置视频时长,点击“Advanced”里的“Transition Time”调整图像过渡的缓急,然后点击“Generate”等待视频完成就可以了。

在体验过 Runway 的这些 AI 视频工具后,自己非常真切地感受到了 AI 技术对我们工作方式的改变。或许现在用文本生成的视频在时长、清晰度、准确性等方面还有不足,但 AI 绘画从不会画脸到能以假乱真只用了几个月的时间,我们完全可以相信 AI 视频技术在未来肯定会更加发达。那时将给艺术家、动画和电影爱好者、视频内容创作者带来一种全新的创作方式,甚至会改变视频及影视制作行业。

如果喜欢本期推荐的话记得点赞收藏支持一波,想了解更多实用的 AI 神器,欢迎大家访问 「优设 AI 导航」,200+ 优质 AI 工具等你探索~

有关于本文或者设计的问题可以在评论区提出 ,我会第一时间回复。也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”,和我及其他设计师一起交流学习 AI 知识~

推荐阅读:


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK