您当前的位置:首页 > 电脑百科 > 软件技术 > 音/视频编辑

视频版Midjourney免费开放,一句话拍大片!

时间:2023-06-12 15:19:01  来源:  作者:量子位

金磊 丰色 发自 凹非寺

量子位 | 公众号 QbitAI

家人们,现在做个 影视级视频,也就是一句话的事了!

例如只需简单输入“丛林 (Jungle)”,大片镜头便可立刻呈现:

而且围绕着“丛林”变换几个搭配的词语,比如“河流”、“瀑布”、“黄昏”、“白天”等,这个AI也能秒懂你的意思。

还有下面这些自然美景、宇宙奇观、微观细胞等高清视频,统统只需一句话。

这就是Stable Diffusion和《瞬息全宇宙》背后技术公司Runway,出品的AI视频编辑工具Gen2。

而且就在最近,一个好消息突然袭来——Gen2可以 免费试用了!

这可把网友们开心坏了,纷纷开始尝鲜了起来。

体验Gen2实录

如此好玩的技术,我们当然也要亲手体验上一番。

例如我们给Gen2投喂了一句中文:

上海外滩夜景,影视风格。

一个航拍视角的视频片段便立即被做了出来。

如果想让视频的风格变换一下,也可以上传一张图片,例如我们用的是一张赛博朋克风格的城市照片。

那么Gen2就会把你输出的提示词和照片风格做一个“合体”:

目前Runway官网可免费体验Gen2的功能是文生视频 (Text to Video),但Gen1也开放了视频生视频 (Video to Video)的功能。

例如一个国外小哥可能受《瞬息全宇宙》的启发,凭借Gen1也玩了一把更刺激的穿越。

他先是在家录了一段打响指的视频,然后“啪的一下”,瞬间让自己步入欧洲皇室贵族的“片场”:

然后……就连物种、性别,都可以随随便便地切换:

最后,再经历几次不同时空、人种的穿越之后,小哥一个响指又回到了自己的家里:

在看完Gen2生成的这波“大秀”之后,网友们不淡定了,直呼:

娱乐圈要被生成式AI重新定义了。

PC、手机都能玩

网页端和移动端 (仅限IOS系统)现在均可正式开始体验。

以网页端为例,进入Runway官方主页 (文末链接[1]),点击上方“TRY NOW”并注册账号,就可以进入下面的界面:

点击右方的“Introducing Gen2”,我们就可以正式开玩了。

首先,输入提示词,最多320个字符,然后在左边的设置菜单里进行一些基础配置 (包括种子参数、插值等),点击“Generate”。

(当然,你也可以为视频提供一张参考图像,点击右边的图像图标即可。)

不到1分钟的功夫,视频就出来了。

点击下方播放按钮即可查看效果,视频可以直接保存到本地,也可以只保存在你的账户中。

当然,如果你不满意,还能在下方的提示词框中继续修改。

需要注意的是, 免费试用的额度为105秒(右上角显示剩余额度),每个视频为4秒,也就是大约可免费生成26个Gen2视频。

额度用完或者你想体验去水印、提升分辨率等额外功能,就需要买会员,标准版为15美元一个月,Pro版35美元,年付更便宜一些。

如果你想要生成效果更好,可以多使用 “in the style of xxx”的形式,比如:

A palm tree on a tropical beach in the style of professional cinematography, shallow depth of field, feature film. (如下图)

A palm tree on a tropical beach in the style of 2D animation, cartoon, hand drawn animation.

或者直接去它的灵感库,选择一个你喜欢的视频然后点击“try it”即可查看它的提示词是怎么写的,然后在上面进行编辑或模仿就好了:

还有网友表示,使用 “cinematic shot of”开头,也能让你的视频更具动感 (解决了很多人试出来的视频不怎么动的问题)。

什么来头?

Gen2于今年3月20日正式发布,经历了两个多月的内测,现在终于正式上线。

它的前代Gen1只比它早了一个多月 (2月发布),所以说迭代速度相当快。

作为一个基于扩散的生成模型,Gen1通过在预训练图像模型中引入时间层,并在图像和视频数据上进行联合训练,完成了潜扩散模型到视频生成领域的扩展。

其中也包括使用一种全新的引导方法完成了对生成结果时间一致性的精确控制。

架构如图所示:

在训练阶段,先用固定编码器将输入视频x编码为z 0 ,并扩散为z t 。

然后对MiDaS获得的深度图进行编码,提取出结构表示s;再用CLIP对其中一个帧进行编码来获取内容表示c。

接着,在s的帮助下,模型学习反转潜空间中的扩散过程 (其中s与c以及通过交叉注意块生成的c相连)。

在推理阶段,模型以相同的方式提供输入视频的结构s。

为了通过文本生成内容,作者还通过一个prior将CLIP文本嵌入转换为图像嵌入。

最终,Gen1可以生成细粒度可控的视频,也能对一些参考图像进行定制。

不过,一开始对公众发布的Gen1只能对已有视频进行编辑,Gen2才直接完成了文生视频的“蜕变”。

并且一口气带来了另外7大功能,包括文本+参考图像生视频、静态图片转视频、视频风格迁移等等。

这样的Gen2,也在内测阶段就被网友称赞 “视频界的Midjourney”

而根据官方的调研数据,Gen2确实更受用户欢迎:用户得分比Stable Diffusion 1.5要高73.53%,比Text2Live则高上了88.24%。

如今正式上线以后,果然迅速迎来一大波体验群众,有人表示:

上一次体会到这么激动的感觉,还是用AI生成图像的时候。

那么,不知道这波,参与开发了SD的Runway,能否再带着Gen2创造生成式AI领域的下一大热趋势——

如果答案是肯定的,还需要多久、还要解决哪些问题?

就且拭目以待。

— 



Tags:Midjourney   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
GPT-4大杀器谷歌Gemini来袭!26位研发大佬名单曝出,祭出类Midjourney生图能力
新智元报道 编辑:编辑部【新智元导读】据The Information爆料,谷歌已集结数百工程师团队,全新大杀器Gemini结合了GPT-4、Midjourney、Stable Diffusion三大模型的能力,即将于今...【详细内容】
2023-08-17  Search: Midjourney  点击:(60)  评论:(0)  加入收藏
你每天用来打卡的钉钉,居然藏着「ChatGPT」「Midjourney」和「Notion」
虽然你可能每天都在用钉钉,但我想你应该没有完全用过钉钉上的所有功能。钉钉目前的用户数量已经超过 6 亿,服务的企业组织数超过 2300 万,从大公司到小店铺,每个组织都能在钉钉...【详细内容】
2023-08-17  Search: Midjourney  点击:(231)  评论:(0)  加入收藏
Midjourney API怎么接入、调用、申请,4步快速解决
Midjourney API 申请和接入详细步骤,带你了解如何接入、调用、申请midjourney的API接口开发文档,为你的站点提供更多功能和便利性。调用midjourney的API接口步骤:第一步,打开触...【详细内容】
2023-08-08  Search: Midjourney  点击:(399)  评论:(0)  加入收藏
教你快速申请调用AI作画API fast(midjourney )
AI绘画技术已经成为很多企业关注的焦点。通过调用AI绘画API接口,企业可以快速搭建AI绘画网站,为用户提供便捷的绘画服务。图源:调用触站AI的API开发接口生成(解释权归触站AI所有...【详细内容】
2023-08-07  Search: Midjourney  点击:(341)  评论:(0)  加入收藏
如何接入midjourney的api接口
在进行midjourney的API开发之前,首先需要了解如何接入、调用和申请midjourney的API接口。✨midjourney的API无法直接调用,需要通过触站AI来调用midjourney的API接口。...【详细内容】
2023-08-06  Search: Midjourney  点击:(248)  评论:(0)  加入收藏
吊打Midjourney!OpenAI秘密内测新平台
作者 | 徐杰承“当使用过它之后,我对Midjourney已经再也提不起一点兴趣了。”这句“虎狼之词”出自一位OpenAI新图像生成平台的内测用户之口。显然,OpenAI已经再一次做好了掀...【详细内容】
2023-08-04  Search: Midjourney  点击:(190)  评论:(0)  加入收藏
堪比Midjourney!妙鸭相机为什么突然火爆?
“家人们,终于出片了...”近日,某妙鸭相机的用户兴奋地在朋友圈炫耀,并附上一系列美照,“这下我也会AIGC了”。继Midjourney之后,又一款AI图片生成应用火出圈了,它就是“妙鸭相机...【详细内容】
2023-07-27  Search: Midjourney  点击:(266)  评论:(0)  加入收藏
AI 作画工具 Midjourney 推出“pan”功能,可平移扩展图片外场景
IT之家 7 月 5 日消息,AI 作画工具 Midjourney 日前推出了“pan”功能,能够生成图片外的场景,用户可以通过在输入框中点击“上下左右”来控制“平移”图片。▲ 图源 Midjourney...【详细内容】
2023-07-05  Search: Midjourney  点击:(174)  评论:(0)  加入收藏
教你使用ai绘画工具Midjourney
大家好,最近AI绘画在设计圈引起了热议。今天,我将介绍Midjourney的基本用法和有效的关键词描述技巧,让您轻松创作属于自己的AI杰作。1.什么是Midjourney?Midjourney是托管在Disc...【详细内容】
2023-06-30  Search: Midjourney  点击:(121)  评论:(0)  加入收藏
Midjourney最新“扩图”玩法:1小时直接出高清大片!
金磊 发自 凹非寺 量子位 | 公众号 QbitAI Midjourney搞“扩图”,简直把想象力拉满。我们先来看下这两个画面: 你能想象它们是出自同一张图片吗?是时候展示真正的技术了:这就是...【详细内容】
2023-06-26  Search: Midjourney  点击:(267)  评论:(0)  加入收藏
▌简易百科推荐
视频杂音怎么消除只留人声?简单方法快来学
视频杂音怎么消除只留人声?在家看视频时,你是否经常被背景噪音所困扰,导致听不清人物对话?今天,我们就来介绍几个能帮我们消除视频中杂音的软件,让我们能享受清晰纯净的视听体验!一...【详细内容】
2024-01-31  译言工具集    Tags:视频杂音   点击:(48)  评论:(0)  加入收藏
如何将两个视频无缝拼接成一个视频?几种简单易行的方法推荐
怎么把两个视频拼接成一个视频?将两个视频拼接成一个视频是一种常见的视频编辑需求,特别是在需要制作长视频或合集时。拼接后的视频可以更加流畅自然,便于观看和分享。若是拼接...【详细内容】
2024-01-17  技术小蚂蚁    Tags:视频   点击:(69)  评论:(0)  加入收藏
初学者如何开始学习视频剪辑?新手如何利用剪辑技术赚钱?
想提升自身专业技术技能,我建议报名一个培训班去进行学习。今天我给亲们网罗了几家正规且口碑不错的职业教育学校,可以参考一下王氏教育开办多年几乎零负面,而且全国校区都是实...【详细内容】
2024-01-09  利娇少女    Tags:视频剪辑   点击:(82)  评论:(0)  加入收藏
剪辑师怎么学?剪辑师一个月收入多少?
剪辑师的月收入因地区、经验、技能水平等因素而异。一般来说,初级剪辑师的月收入在几千元左右,中级剪辑师的月收入在一万元左右,高级剪辑师的月收入则可能超过一万元。当然,这只...【详细内容】
2023-12-16  王氏动漫学习训练    Tags:剪辑师   点击:(101)  评论:(0)  加入收藏
ev剪辑如何消音?视频消音方法全都在这!
EV剪辑是一款视频制作软件,支持全格式精准剪辑,可以实现水印添加、配音、字幕、多轨道剪辑、转场等功能。ev剪辑支持消音操作,同时需要注意的地方还是很多的,在进行消音处理时,需...【详细内容】
2023-12-12  温暖如初的生活    Tags:剪辑   点击:(114)  评论:(0)  加入收藏
视频合并怎么制作?
听说你想了解一些视频合并方法?我能告诉你,这可是个有趣的活儿!你知道吗,合并视频不仅可以让你的作品更具创意,还能让你成为朋友圈里的视频剪辑高手!在这里,我将为大家介绍视频合并...【详细内容】
2023-12-12  王旭妍爱生活    Tags:视频合并   点击:(106)  评论:(0)  加入收藏
视频剪辑怎么剪?
在这个数字时代,我们对社交媒体上的视频编辑越来越感兴趣。你可能已经看到了各种专业水平的视频,从搞笑的猫咪视频到惊险刺激的极限运动镜头。而你可能也梦想着自己成为一个视...【详细内容】
2023-12-10  叮当猫的颜色    Tags:视频剪辑   点击:(102)  评论:(0)  加入收藏
新手做短视频用哪个软件好
新手做短视频用哪个软件好?随着短视频的兴起,越来越多的人开始接触短视频制作。对于新手来说,选择一个合适的短视频制作软件非常重要。本文将从以下5个步骤,教新手宝子快速制作...【详细内容】
2023-12-05  短视频    Tags:短视频   点击:(137)  评论:(0)  加入收藏
机器配音和真人配音有什么区别?
今天我要跟你聊聊机器配音和真人配音有什么区别。你知道吗,这个话题可不简单,因为这关乎到我们日常生活中的声音体验,听起来有点高大上,但实际上离我们并不遥远。首先,咱们得来说...【详细内容】
2023-11-30  叮当猫的颜色    Tags:配音   点击:(162)  评论:(0)  加入收藏
视频裁剪后清晰度下降用什么软件?
你是否曾经遇到过这样的场景——想要裁剪一段视频,但却苦于没有合适的工具来实现?别着急!视频裁剪软件就是你的好帮手。这些软件充分利用了先进的视频处理技术,通过直...【详细内容】
2023-11-27  数码小风向    Tags:视频   点击:(161)  评论:(0)  加入收藏
站内最新
站内热门
站内头条