Runway
Runway AI, Inc. | |
---|---|
![]() 官方标志 | |
公司类型 | 私营公司 |
成立 | 2018年 |
代表人物 |
|
总部 | ![]() |
产业 | 人工智能, 机器学习, 软件开发 |
产品 | Gen-1, Gen-2, Gen-3 Alpha, Frames |
员工人数 | 86 |
网站 | runwayml |
Runway AI, Inc.(也称为Runway和RunwayML)是一家总部位于美国纽约市的科技公司。[1] 该公司主要致力于开发用于生成视频、图像和各种多媒体内容的产品和模型。它最著名的成就是开发了商业化的文本到视频生成模型 Gen-1、Gen-2[2][3] 和 Gen-3 Alpha。[1]
Runway的工具和AI模型已被用于电影如《瞬息全宇宙》,[4] 音乐视频如A$AP Rocky、[5] Kanye West、[6] Brockhampton 和 The Dandy Warhols,[7] 以及编辑电视节目如《晚间秀》[8] 和《Top Gear》。[9]
历史
[编辑]该公司由智利人Cristóbal Valenzuela、[10] Alejandro Matamala 和希腊人Anastasis Germanidis于2018年创立,他们在纽约大学蒂施艺术学院相识。[11] 公司于2018年筹集了200万美元,用于构建一个平台,以在多媒体应用中大规模部署机器学习模型。
2020年12月,Runway在A轮融资中筹集了850万美元。[12]
2021年12月,公司在B轮融资中筹集了3500万美元。[13]
2022年8月,公司与路德维希马克西米利安大学的CompVis小组以及Stability AI的计算捐赠合作,发布了改进版的潜在扩散模型 Stable Diffusion。[14][15]
2022年12月21日,Runway在C轮融资中筹集了5000万美元,[16] 随后在2023年6月以15亿美元的估值进行了1.41亿美元的C轮扩展融资,[17] 投资方包括Google、Nvidia和Salesforce。[18] 这些资金将用于构建用于电影和视频制作的多模态AI基础模型。[19][20]
2023年2月,Runway发布了Gen-1和Gen-2,这是首个商业化和公开可用的视频到视频和文本到视频生成基础模型,[1][2][3] 用户可以通过简单的网页界面访问。
2023年6月,Runway被《时代》杂志评为全球100家最具影响力的公司之一。[21]
服务与技术
[编辑]Runway专注于视频、媒体和艺术的生成式AI。公司致力于开发专有的基础模型技术,供电影制作、后期制作、广告、编辑和视觉效果领域的专业人士使用。此外,Runway还提供一款面向消费者的iOS应用程序。[22]
Runway的产品可通过网页平台和API作为托管服务访问。
Stable Diffusion
[编辑]Stable Diffusion是一个开源的深度学习、文本到图像生成模型,于2022年发布,基于Runway和慕尼黑路德维希-马克西米利安大学CompVis小组发表的论文《High-Resolution Image Synthesis with Latent Diffusion Models》。[23][24][15] Stable Diffusion主要用于根据文本描述生成图像。
Gen-1
[编辑]Gen-1是一个视频到视频的生成式AI系统,通过将图像或文本提示的构图和风格应用于源视频的结构来合成新视频。该模型于2023年2月发布。Gen-1模型由Runway基于其研究论文《Structure and Content-Guided Video Synthesis with Diffusion Models》开发和训练。[25] Gen-1是视频创作的生成式人工智能的一个示例。
Gen-2
[编辑]Gen-2是一个多模态AI系统,可以根据文本、图像或视频片段生成视频。该模型是Gen-1的延续,并增加了根据文本生成视频的功能。Gen-2是首批商业化可用的文本到视频模型之一。[26][27][28][29]
Gen-3 Alpha
[编辑]Gen-3 Alpha是Runway即将推出的一系列模型中的第一个,这些模型在新的基础设施上进行了大规模多模态训练。它在保真度、一致性和运动方面比Gen-2有了显著改进,是构建通用世界模型的一步。[2]
Gen-3的训练数据来源于数千个YouTube视频,可能还包括盗版电影。一名前Runway员工向《404 Media》透露,公司曾通过youtube-dl和代理服务器下载视频,以避免被YouTube屏蔽。在测试中,《404 Media》发现输入某些YouTuber的名字会生成与其风格相符的视频。[30]
AI电影节
[编辑]Runway每年在洛杉矶和纽约市举办AI电影节。[31][32][33]
参考文献
[编辑]- ^ 1.0 1.1 1.2 Metz, Cade. Instant Videos Could Represent the Next Leap in A.I. Technology. The New York Times. 2023-04-04 [2023-09-15]. ISSN 0362-4331 (美国英语).
- ^ 2.0 2.1 2.2 Generative AI's Next Frontier Is Video. Bloomberg.com. 2023-03-20 [2023-09-15] (英语).
- ^ 3.0 3.1 Vincent, James. Text-to-video AI inches closer as startup Runway announces new model. The Verge. 2023-03-20 [2023-09-15] (美国英语).
- ^ How director and editor Evan Halleck uses Runway for films, music videos, and commercials. Runway. [2024-03-01] (美国英语).
- ^ Distorting Reality with Dan Streit. Runway. [2024-03-01] (美国英语).
- ^ Cowen, Trace William. Kanye West Shares Unsettling Video for "Vultures (Havoc Version)" Ahead of Ty Dolla Sign Collab Album Release. Complex. [2024-03-01] (美国英语).
- ^ The Dandy Warhols - "I'd Like To Help You With Your Problem (feat. Slash)" - Official Music Video, 14 February 2024 [2024-03-01] (英语)
- ^ How Runway took The Late Show edits from five hours to five minutes. Runway. [2024-03-01] (美国英语).
- ^ How Drew Emery uses Runway to edit content for Top Gear America & Cooper's Bar. Runway. [2024-03-01] (美国英语).
- ^ TIME100 AI 2023: Cristóbal Valenzuela. Time. 2023-09-07 [2023-09-15] (英语).
- ^ Black, Julia. 'Not Everyone Is Trying to Build God': Runway CEO Cristóbal Valenzuela Tries to Dampen the Doomerism. The Information. [2023-09-18].
- ^ RunwayML raises $8.5 million for its AI-powered media creation tools. VentureBeat. 2020-12-16 [2023-09-15] (美国英语).
- ^ Runway raises $35M Series B | Runway Blog. Runway. [2023-11-07] (美国英语).
- ^ Cai, Kenrick. The AI Founder Taking Credit For Stable Diffusion's Success Has A History Of Exaggeration. Forbes. [2023-09-15] (英语).
- ^ 15.0 15.1 The original startup behind Stable Diffusion has launched a generative AI for video. MIT Technology Review. [2023-09-18] (英语).
- ^ Cai, Kenrick. Runway Raises 50 M i l l i o n A t 50MillionAt500 Million Valuation As Generative AI Craze Continues. Forbes. [2023-09-15] (英语). 参数
|title=
值左起第15位存在换行符 (帮助) - ^ AI Video Startup Runway Raises 141M. TechCrunch. 2023-06-29 [2023-09-15] (美国英语).
- ^ Google Invests in AI Startup Runway to Wrest Cloud Business From AWS. The Information. [2023-09-15].
- ^ Black, Julia. 'Not Everyone Is Trying to Build God': Runway CEO Cristóbal Valenzuela Tries to Dampen the Doomerism. The Information. [2023-09-15].
- ^ Featured interview: Runway AI CEO Chris Valenzuela - First Move with Julia Chatterley - Podcast on CNN Audio. CNN. [2023-09-18] (美国英语).
- ^ TIME100 Most Influential Companies 2023: Runway. Time. 2023-06-21 [2023-09-20] (英语).
- ^ Vincent, James. Create generative AI video-to-video right from your phone with Runway's iOS app. The Verge. 2023-04-24 [2024-03-01] (英语).
- ^ Stable Diffusion developer Runway raises $50M to create AI multimedia tools. SiliconANGLE. 2022-12-06 [2023-09-18] (美国英语).
- ^ Stability AI Is Losing Executives, Engineers and Its Edge. Bloomberg.com. 2023-08-08 [2023-09-18] (英语).
- ^ Gen-1 by Runway. Runway. [2023-09-18] (美国英语).
- ^ Text to Video Generative AI Is Finally Here and It's Weird as Hell. Gizmodo. 2023-03-22 [2023-09-18] (英语).
- ^ Wiggers, Kyle. Runway's Gen-2 shows the limitations of today's text-to-video tech. TechCrunch. 2023-06-09 [2023-09-18] (美国英语).
- ^ Avram Piltch. Runway's Powerful Gen-2 Text-to-Video Tool Now Available to Everyone for Free. Tom's Hardware. 2023-06-08 [2023-09-18] (英语).
- ^ Vincent, James. Text-to-video AI inches closer as startup Runway announces new model. The Verge. 2023-03-20 [2023-09-18] (美国英语).
- ^ Cole, Samantha. AI Video Generator Runway Trained on Thousands of YouTube Videos Without Permission. 404 Media. July 25, 2024 [July 25, 2024].
- ^ Runway AI Film Festival. Runway. [2023-11-18] (美国英语).
- ^ Melendez, Steven. A new film festival will only show movies made using AI.
- ^ Kokalitcheva, Kia. 1 big movie thing: an AI-generated film festival.