詹士发自凹非寺
量子位公众号 QbitAI
新魔法！效果炸！
两张静态图片，几秒即生成视频，丝滑如实拍！
举例来说，两张狗子照片，就能让它慢慢抬起头，连身体也随之伸展：
还是两张照片，一键生成。
小女孩跳起，双手自然交叉，衣服轻轻摆动，与实拍别无二致：
这些视频由一个帧插值工具根据图片生成，人人都能在线免费玩（链接见文末）。
这两天刚公布就在网上引发不小关注，推特上 like 超过 2500。
评论区里，网友一片喜大普奔。
有人感到大受震撼，鹅妹子嘤：
还有人表示，这是什么现代巫术：
当然，还有更多网友迫不及待想试试。
它究竟什么个来路？往下看。
Frame Interpolation 试玩
先看看试玩效果。
登陆 web 端口，上传两张开花图片：
设定好视频时长，比如 2 秒，就能得到这一段视频，花朵慢慢打开，镜头也逐渐拉近：
再试试两张狗子照片，让它转个头：
不过，上传两张鸟在天空不同位置飞的照片，效果就不 ok 了：
前文提及，该产品是一种帧插值（Frame Interpolation）工具。
所谓帧插值，即在视频两个帧之间，插入一部分新的合成帧，相关技术被广泛应用于图片生成视频、视频流中的帧修复。
谷歌今年有篇《大幅动作的帧插值》（About FILM: Frame Interpolation for Large Motion）已被 ECCV 2022 接收。
技术人员通过双向运动估计、与尺度无关的特征提取等方式，做出了较好的帧插值效果。
就目前来说，该技术难以突破的点在于：
即便是短短几秒，图片中人物或物体也进行了一套复杂动作，使得帧插值后，视频失真。
不过，如果不追求写实，做出一些魔幻效果，该技术已经绰绰有余（手动狗头）：
△ 比如让建筑变成变形金刚
背后团队与 Stable Diffusion 有渊源
此番大火的帧插值工具背后团队叫：Runway。
最近 AIGC 圈顶流，Stable Diffusion，所依据的论文《High-Resolution Image Synthesis with Latent Diffusion Models》正是由慕尼黑大学、海德堡大学及他们共同完成。
其中作者之一的 Patrick Esser，也是 Runway 的首席科学家。
（值得一提的是，Patrick Esser 及 Runway 前段时间还在与 Stability AI 因 Stable Diffusion 来回扯皮。）
根据公开资料，Runway 成立于 2018 年，是一家希望用 AI/ML 与计算机图形学技术在视频、图像、音乐、文本领域提供内容创意工具的创业公司，总部位于美国纽约。
截至目前，该公司已总计获得4550 万美元投资，投资方包括 Coatue、Amplify、Lux、Compound 等机构。
Runway 旗下产品涉及多个模态，不仅有开头提及的静态图片生成丝滑视频，也包括文本生成图像、图片移除背景、依靠文本对图像修改、删除视频中物体、声音去噪等等。
感兴趣的朋友，可在他们的官网试玩。
附上链接：https://app.runwayml.com/video-tools
参考链接：
[1]https://weibo.com/tv/show/1034:4833638056132718?from=old_pc_videoshow
[2]https://app.runwayml.com/ai-tools/frame-interpolation
[3]https://twitter.com/runwayml/status/1587791749912662022
