您当前的位置:首页 > 电脑百科 > 软件技术 > 音/视频编辑

视频版Midjourney又进化了:一句话生成视频,谷歌注资,网友大呼好莱坞已死

时间:2023-06-20 14:35:00  来源:  作者:巴比特资讯

提到国外的生成式AI大模型,文本生成领域有ChatGPT,图像生成领域有Midjourney和Stable Diffusion,那么视频生成领域有什么?

很多人第一个会想到Runway公司的Gen-1。

Gen-1是Runway在今年2月推出的一款(也是该公司的第一款)由文本生成视频的AI大模型。不过就在几天前,它的迭代版本Gen-2也正式发布了。

在此之前,Gen-2从3月下旬开始已经进行了一段时间的小范围测试。

虽然当时Runway的发言人Kelsey Rond.NET说过Gen-2会在未来几周对所有人开放,不过直到6月,这个承诺才算真的兑现了。

所以千呼万唤始出来的Gen-2,到底进化到哪一步了?

真正的从零开始生成视频

在发布Gen-1的时候,Runway专门开辟了一个网页来给大家讲解Gen-1能怎么用,大致来讲主要包括了下面5个功能:

-输入一张图片提示,来让原视频变成你想要的风格;

-上传视频+一段提示词,生成你想要的视频(比如让一只拉布拉多变成斑点狗);

-输入图片或提示词,来让一段只做了3D建模的视频草稿变完整;

-上传一段随意拍摄的视频,自动生成一段有故事感的片段(比如随意摆放的书最后成了一片高楼大厦);

-在原视频的基础上,更自由地定制你想要的视频风格(哪怕变出一只现实里并不存在的奇行种)。

发现没有,使用Gen-1的前提是必须先有一个现成的视频。说白了,Gen-1的作用其实就相当于给原视频加了一个更高级的滤镜。

而到了Gen-2,可以说才真正实现了从零开始生成视频的梦想。

从介绍来看,Gen-2比Gen-1多了3个厉害的功能:

-文本到视频:只用输入一段提示词,就能生成一段视频;

-文本和图片到视频:输入一张图片+一段提示词,就能让图片动起来;

-图片到视频:只用输入一张图片,就能自动生成一段视频(比如让图片里的云飘起来,水流起来,人走动起来)。

此图为输入“The late afternoon sun peeking through the window of a New York City loft”的提示词生成

如果说Gen-1充其量只能当做一个修改视频的工具,那么Gen-2几乎已经能作为一个视频生产工具了——试想一句话生成的一个个视频片段,最后拼到一起就能讲一个完整的故事了……

总之就是只能拿来玩和能拿来用的区别。

虽然目前Gen-2生成的视频依然存在细节模糊不清、形态扭曲等等品质问题,且生成的视频长度最多只有4秒,但它可能是现在视频生成领域最厉害的AI大模型工具了。

当然,从Gen-2开始,也标志着Runway公司正式进入了收费时代:不同于Gen-1的完全免费,Gen-2免费版的视频生成功能有限(试用额度只有105秒,约等于26个4秒视频,且分辨率低、有水印),用户需要每月付15美元(或144美元包年)才能用到它的完整功能。

Runway有啥来头?

Gen-2背后的Runway是一家成立于2018年的年轻公司,一直在研究怎么用AI来提升视频制作效率。

除了TikTokYouTube上的普通用户,Runway的客户还包括了不少主流影视工作室,比如扣扣熊主持的《深夜秀》就用到过Runway的工具来辅助编辑图像。

它最著名的一次应用应该是去年在中国观众中间非常出圈的电影《瞬息全宇宙》,据报道里面让人印象深刻的面条手,还有石头对话等超现实场景都用到了Runway的技术。

 

不过很多人可能会忽略的是,早些天被爆出大丑闻的Stable Diffusion也和Runway关系密切。

准确来说是一直被外界视作Stable Diffusion(时下图像生成领域最热门的大模型之一)背后公司的Stability AI爆雷了,媒体列出Stability AI的罪状之一就是,它把Stable Diffusion的10亿代码成果“据为己有”,而它充其量只是给Stable Diffusion提供了算力(出了钱)。

实际上真正为Stable Diffusion出力的是慕尼黑大学、海德堡大学,以及Runway。

Stable Diffusion最早发表在CVPR 2022年中的一篇论文

也就是说,Runway是Stable Diffusion的研发者之一。

Runway在去年还因为官宣发布了Stable Diffusion v1.5版本一度被Stability AI抓着不放,但那次的舆论最终还是站在了Runway这边。

这也是Runway在“成名”以前为数不多的“八卦”。

后来就像大多数的大模型开发公司一样,不再参与Stable Diffusion项目的Runway在发布Gen-1之后,发展速度就像坐上了火箭,并且在本月初拿到了谷歌的投资,距离D轮1亿美元的融资刚过去一个月,累计融资至少已有2亿美元,成为大模型领域的明星公司。

说个更直观的数字,2021年12月对冲基金Coatue花3500万美元投资Runway时,其估值为2亿美元,一年后估值变成5亿美元,再过了半年,它的估值就又翻了3倍(保守说有15亿美元)。

网友:好莱坞is dead

Gen-2的正式发布让不少网友感到兴奋。

在Runway官宣发布Gen-2的推文下,出现了一些普通用户“求教程”的声音:

不过已经有行动力强的用户开始试着用Gen-2生成自己的视频了,不少用户都在Runway推文的评论区交上了自己的4秒钟“作业”。

尽管Runway只是在网站列出了Gen-2的主要功能,并没有教给大家更多Gen-2的玩法,但聪明的网友已经自己学着用Gen-2生成的视频剪辑出了一个有反转的短故事。

比如这个叫“Monster of the sea(海怪)”的48秒故事:天气晴朗、风平浪静的一天,一搜帆船开始还很悠然地行驶在海上,船上的游客惬意地碰着杯喝着酒,可突然狂风大作,船员拿起望远镜往远处望,发现一只巨大的海怪出现在海面,船随着海浪开始颠簸,甚至燃烧了起来,船上的人纷纷跳水弃船逃生。

来自推特网友@MHU

甚至有直接用ChatGPT写了剧本、再用Gen-2生成的视频拼成一个故事的。

还有用户拿Gen-2生成的素材剪了一个1分钟的电影预告片,甚至在最后幽默地加了一个戛纳电影节的标志,如果生成的视频质量再高一点,怕不是真能以假乱真。

来自推特网友@Toni Seldr

不过视频质量差、生成的视频时长太短等也确实成了用户吐槽Gen-2的点。

并且在为Android/ target=_blank class=infotextkey>安卓用户提供App服务的问题上,Gen-2和Gen-1一样也还是没有长进。

当然,更多用户还是对Runway表现出了宽容。有网友评价说,“虽然它有太多的不完美,但有一点可以肯定,整个视听工业都将迎来革命性的改变。”

还有网友更激进地说,“好莱坞已死,任何人都可能做出一部世界级的电影。”

真能取代好莱坞吗?

可以理解为什么广大网友对Gen-2的推出如此兴奋。Gen-2对普通用户的好处是明摆着的——假以时日,文本生成视频技术一旦成熟,将意味着拍电影不再只是大制片厂的专属,任何一个普通人都可以做一部自己的电影。

Runway并没有明确说过Gen-2面向的人群到底是谁。不过我们可以从它推出App以及之前和影视工作室有过的合作等等动作来看,大致猜到有哪些人会用到Gen-2:专业的制片公司,个人工作室性质的独立生产者,以及我们这样的普通用户。

虽然Gen-2看起来对普通用户很友好,但制片公司们会用Gen-2这样的工具也是肯定的。

毕竟大模型不同于过去任何一个热过之后就销声匿迹的概念,它将成为未来又一次深刻改变人类的产业革命,几乎已经是各行各业的共识。

事实上在国内,已经有影视项目开始借助大模型来完成一些工作。比如在剧本筹备阶段,会把分镜头故事板的产出工作交给Midjourney(据说能省下几十万元的成本)。

那假设,有一天Gen-N成熟到也能生成能直接拿去用的完美镜头呢?

或者可以拿大模型在游戏行业的应用做个类比,Midjourney等工具的使用显然已经对游戏公司产生了非常现实的影响:先是出于节省成本的需要砍掉美术外包团队,接着就是在自己人身上动刀,甚至有从业者提到最多有8成的原画师会下岗。

考虑到如今大模型的迭代速度,它的影响真正显现在影视行业也会是迟早的事。

不过我反而觉得,Gen-2大模型可能会淘汰那些影视行业流水线上的“工人”,但却淘汰不了真正的艺术家。

之前听到过一个说法,AI大模型生成的内容里,可能有80%都会是对人类过去经验无聊的重复,但也可能有20%闪光的东西。就比如在中式美学和赛博朋克如何进行融合的问题上,普通创作者可能需要极长时间进行思考,AI却可能生成一个让人意想不到的结果,给人带来惊喜。

这20%是AI存在的意义,剩下的就需要真正有创造力的人去补足。

还有从业者提到过一个观点,AI大模型运用到影视行业的生产,不意味着非专业人士也能轻松上手——如果想借助AI的力量创作剧本,还需要针对剧本公式和故事结构等相关知识进行充电。不具备基础知识的小白即便有了AI这个超级助理也无济于事。

所以回到AI是不是能取代好莱坞的问题,事实上好莱坞可能是最早对新技术的“入侵”有所感知的,就像在今年5月初,数以千计的好莱坞编剧工会(WGA)成员曾进行罢工示威,诉求之一便是抵制在剧本写作中广泛使用AI的现象。

如果有一天Gen-N真的来了,好莱坞导演们可能第一个不答应。



Tags:Midjourney   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
GPT-4大杀器谷歌Gemini来袭!26位研发大佬名单曝出,祭出类Midjourney生图能力
新智元报道 编辑:编辑部【新智元导读】据The Information爆料,谷歌已集结数百工程师团队,全新大杀器Gemini结合了GPT-4、Midjourney、Stable Diffusion三大模型的能力,即将于今...【详细内容】
2023-08-17  Search: Midjourney  点击:(60)  评论:(0)  加入收藏
你每天用来打卡的钉钉,居然藏着「ChatGPT」「Midjourney」和「Notion」
虽然你可能每天都在用钉钉,但我想你应该没有完全用过钉钉上的所有功能。钉钉目前的用户数量已经超过 6 亿,服务的企业组织数超过 2300 万,从大公司到小店铺,每个组织都能在钉钉...【详细内容】
2023-08-17  Search: Midjourney  点击:(231)  评论:(0)  加入收藏
Midjourney API怎么接入、调用、申请,4步快速解决
Midjourney API 申请和接入详细步骤,带你了解如何接入、调用、申请midjourney的API接口开发文档,为你的站点提供更多功能和便利性。调用midjourney的API接口步骤:第一步,打开触...【详细内容】
2023-08-08  Search: Midjourney  点击:(399)  评论:(0)  加入收藏
教你快速申请调用AI作画API fast(midjourney )
AI绘画技术已经成为很多企业关注的焦点。通过调用AI绘画API接口,企业可以快速搭建AI绘画网站,为用户提供便捷的绘画服务。图源:调用触站AI的API开发接口生成(解释权归触站AI所有...【详细内容】
2023-08-07  Search: Midjourney  点击:(341)  评论:(0)  加入收藏
如何接入midjourney的api接口
在进行midjourney的API开发之前,首先需要了解如何接入、调用和申请midjourney的API接口。✨midjourney的API无法直接调用,需要通过触站AI来调用midjourney的API接口。...【详细内容】
2023-08-06  Search: Midjourney  点击:(248)  评论:(0)  加入收藏
吊打Midjourney!OpenAI秘密内测新平台
作者 | 徐杰承“当使用过它之后,我对Midjourney已经再也提不起一点兴趣了。”这句“虎狼之词”出自一位OpenAI新图像生成平台的内测用户之口。显然,OpenAI已经再一次做好了掀...【详细内容】
2023-08-04  Search: Midjourney  点击:(190)  评论:(0)  加入收藏
堪比Midjourney!妙鸭相机为什么突然火爆?
“家人们,终于出片了...”近日,某妙鸭相机的用户兴奋地在朋友圈炫耀,并附上一系列美照,“这下我也会AIGC了”。继Midjourney之后,又一款AI图片生成应用火出圈了,它就是“妙鸭相机...【详细内容】
2023-07-27  Search: Midjourney  点击:(266)  评论:(0)  加入收藏
AI 作画工具 Midjourney 推出“pan”功能,可平移扩展图片外场景
IT之家 7 月 5 日消息,AI 作画工具 Midjourney 日前推出了“pan”功能,能够生成图片外的场景,用户可以通过在输入框中点击“上下左右”来控制“平移”图片。▲ 图源 Midjourney...【详细内容】
2023-07-05  Search: Midjourney  点击:(174)  评论:(0)  加入收藏
教你使用ai绘画工具Midjourney
大家好,最近AI绘画在设计圈引起了热议。今天,我将介绍Midjourney的基本用法和有效的关键词描述技巧,让您轻松创作属于自己的AI杰作。1.什么是Midjourney?Midjourney是托管在Disc...【详细内容】
2023-06-30  Search: Midjourney  点击:(121)  评论:(0)  加入收藏
Midjourney最新“扩图”玩法:1小时直接出高清大片!
金磊 发自 凹非寺 量子位 | 公众号 QbitAI Midjourney搞“扩图”,简直把想象力拉满。我们先来看下这两个画面: 你能想象它们是出自同一张图片吗?是时候展示真正的技术了:这就是...【详细内容】
2023-06-26  Search: Midjourney  点击:(267)  评论:(0)  加入收藏
▌简易百科推荐
视频杂音怎么消除只留人声?简单方法快来学
视频杂音怎么消除只留人声?在家看视频时,你是否经常被背景噪音所困扰,导致听不清人物对话?今天,我们就来介绍几个能帮我们消除视频中杂音的软件,让我们能享受清晰纯净的视听体验!一...【详细内容】
2024-01-31  译言工具集    Tags:视频杂音   点击:(48)  评论:(0)  加入收藏
如何将两个视频无缝拼接成一个视频?几种简单易行的方法推荐
怎么把两个视频拼接成一个视频?将两个视频拼接成一个视频是一种常见的视频编辑需求,特别是在需要制作长视频或合集时。拼接后的视频可以更加流畅自然,便于观看和分享。若是拼接...【详细内容】
2024-01-17  技术小蚂蚁    Tags:视频   点击:(69)  评论:(0)  加入收藏
初学者如何开始学习视频剪辑?新手如何利用剪辑技术赚钱?
想提升自身专业技术技能,我建议报名一个培训班去进行学习。今天我给亲们网罗了几家正规且口碑不错的职业教育学校,可以参考一下王氏教育开办多年几乎零负面,而且全国校区都是实...【详细内容】
2024-01-09  利娇少女    Tags:视频剪辑   点击:(82)  评论:(0)  加入收藏
剪辑师怎么学?剪辑师一个月收入多少?
剪辑师的月收入因地区、经验、技能水平等因素而异。一般来说,初级剪辑师的月收入在几千元左右,中级剪辑师的月收入在一万元左右,高级剪辑师的月收入则可能超过一万元。当然,这只...【详细内容】
2023-12-16  王氏动漫学习训练    Tags:剪辑师   点击:(101)  评论:(0)  加入收藏
ev剪辑如何消音?视频消音方法全都在这!
EV剪辑是一款视频制作软件,支持全格式精准剪辑,可以实现水印添加、配音、字幕、多轨道剪辑、转场等功能。ev剪辑支持消音操作,同时需要注意的地方还是很多的,在进行消音处理时,需...【详细内容】
2023-12-12  温暖如初的生活    Tags:剪辑   点击:(114)  评论:(0)  加入收藏
视频合并怎么制作?
听说你想了解一些视频合并方法?我能告诉你,这可是个有趣的活儿!你知道吗,合并视频不仅可以让你的作品更具创意,还能让你成为朋友圈里的视频剪辑高手!在这里,我将为大家介绍视频合并...【详细内容】
2023-12-12  王旭妍爱生活    Tags:视频合并   点击:(106)  评论:(0)  加入收藏
视频剪辑怎么剪?
在这个数字时代,我们对社交媒体上的视频编辑越来越感兴趣。你可能已经看到了各种专业水平的视频,从搞笑的猫咪视频到惊险刺激的极限运动镜头。而你可能也梦想着自己成为一个视...【详细内容】
2023-12-10  叮当猫的颜色    Tags:视频剪辑   点击:(102)  评论:(0)  加入收藏
新手做短视频用哪个软件好
新手做短视频用哪个软件好?随着短视频的兴起,越来越多的人开始接触短视频制作。对于新手来说,选择一个合适的短视频制作软件非常重要。本文将从以下5个步骤,教新手宝子快速制作...【详细内容】
2023-12-05  短视频    Tags:短视频   点击:(137)  评论:(0)  加入收藏
机器配音和真人配音有什么区别?
今天我要跟你聊聊机器配音和真人配音有什么区别。你知道吗,这个话题可不简单,因为这关乎到我们日常生活中的声音体验,听起来有点高大上,但实际上离我们并不遥远。首先,咱们得来说...【详细内容】
2023-11-30  叮当猫的颜色    Tags:配音   点击:(162)  评论:(0)  加入收藏
视频裁剪后清晰度下降用什么软件?
你是否曾经遇到过这样的场景——想要裁剪一段视频,但却苦于没有合适的工具来实现?别着急!视频裁剪软件就是你的好帮手。这些软件充分利用了先进的视频处理技术,通过直...【详细内容】
2023-11-27  数码小风向    Tags:视频   点击:(161)  评论:(0)  加入收藏
站内最新
站内热门
站内头条