Runway Research的Gen-2项目,这是一个多模态人工智能系统,能够通过文本、图像或视频剪辑生成新颖的视频。
以下是该项目的详细介绍:
---
Runway Research | Gen-2: Generate novel videos with text, images or video clips
*Anastasis Germanidis Feb 2023*
No lights. No camera. All action.
Gen-2是一个能够真实且一致地合成新视频的系统。无论是将图像或文本提示的构图和风格应用到源视频的结构上(视频到视频),还是仅使用文字(文本到视频),都能实现。这就像是在没有实际拍摄的情况下拍摄新内容。
Driving prompt: Top-down-drone-shot of icebergs with muted colors
Bringing the magic back to making movies.
Gen-2可以通过将任何图像、视频剪辑或文本提示转换成引人入胜的电影片段,了解更多关于Gen-2如何实现这一点的不同方式。
Mode 01: Text to Video
仅使用文本提示合成您能想象出的任何风格的视频。如果您能说出来,现在您就能看到它。
Driving prompt: The late afternoon sun peeking through the window of a New York City loft.
Mode 02: Text + Image to Video
使用一张驱动图像和文本提示生成视频。
Input Image
Driving prompt: A low angle shot of a man walking down a street, illuminated by the neon signs of the bars around him.
Mode 03: Image to Video
仅使用一张驱动图像生成视频(变化模式)。
Input Image
Mode 04: Stylization
将任何图像或提示的风格转移到您视频的每一帧。
Mode 05: Storyboard
将草图转换成完全风格化和动画化的渲染。
Mode 06: Mask
将草图转换成完全风格化和动画化的渲染。
Mode 07: Render
通过应用输入图像或提示,将未纹理化的渲染转换成现实的输出。
Mode 08: Customization
释放Gen-1的全部力量,通过定制模型获得更高保真度的结果。
The New Standard for Video Generation
基于用户研究,Gen-1的结果比现有的图像到图像和视频到视频翻译方法更受偏好。
- 73.53% 偏好于Stable Diffusion 1.5
- 88.24% 偏好于Text2Live
A New Era for Motion (and) Pictures
Runway Research致力于构建将使新形式的创造力成为可能的多模态AI系统。Gen-1代表了我们在这一使命中的又一关键步骤。
在浏览器中组装、配置和部署自主人工智能的开源项目