萧箫发自凹非寺
量子位公众号 QbitAI
只需随手录制一段视频，AI 就能把你完美放进动漫中！
无论是线条、色彩还是光影呈现，都与美漫中的写实风格如出一辙，动画也是细腻流畅，帧数显然不低：
制作这样一部包含 120 个 VFX（视觉效果）镜头的动漫，需要投入多少精力？
仅仅 3 个人就行，也无需服化和道具小组。
相比之下，此前拍摄的不少大片动画特效往往需要投入大量精力，制作精良的团队甚至达到上百人。
这部动漫被放到油管上后，三天就揽获了 150w+ 播放量，11 万+点赞。
已经有画师看完感到害怕了：我毕生致力于绘画……然而这些几年后就会被取代。
还有网友感到“儿时梦想成真”：当年我还小的时候，一直以为动画就是基于真实视频做出来的。现在看到这个，觉得超酷。
那么，这样一部动漫究竟是如何制作出来的？
如何用 AI 制作一部动漫？
过程一共分为三个部分。
第一部分是用 AI 创建并生成动漫人物，建立它与演员之间的关联；第二部分是创作动漫场景；第三部分是合成并调整最终动漫效果。
先来看看第一部分的用 AI 改画人物动漫。这部分是用 Stable Diffusion 完成的，同时采用了谷歌推出的 DreamBooth 扩散模型进行微调。
以动漫中的这名角色为例，左上角是演员原型，右下角是 AI 创作出来的动漫角色：
这可不是直接把视频一帧帧放进 Stable Diffusion 中就能做出来的效果。
为了确保人物的动漫画风达到他们想要的效果，作者们收集了经典动漫《吸血鬼猎人D》中的大量人物截图，各种角度都有，将它们喂给 AI：
与此同时，还需让 AI 学会并记住真人从面部到身体上的各种细节特征。
因此，要提前给演员拍摄不同光照、多个角度、各类动作下的大量照片：
这样一来，就能让 AI 在看见视频中的演员时，迅速以《吸血鬼猎人D》为作画风格基础，画出演员长相的动漫风格人物来。
至于在某些不容易掌控的人脸放大镜头中，还采用了 ControlNet 进一步控制生成的效果。
不过，直接用 AI 生成的动漫，还存在一个问题。
即使帧与帧之间的差异不大，衔接起来并不完全连贯，一些“反复横跳”的发梢和光影细节会导致画面疯狂闪烁：
作者们想到用DEFlicker去闪烁插件解决这件事，同时稍微调低一点帧率，保证画面的流畅感。
第二部分就是生成场景了，这部分作者们直接用了虚幻引擎和里面自带的一些 3D 模型，来制作动漫背景。
例如这段看起来非常炫酷的旋转背景：
背后就是将大量场景照片合成起来，快速滚动做成的：
最后一部分就是合成之后的润色了。
这部分倒是团队自己完成的，他们在视频中一方面加入了部分 3D 模型（如一晃而过的蜡烛）来增加人物的沉浸感：
另一方面添加了大量复古的视觉特效，使得动画看起来又精良了不少：
最终就有了这部 AI 协助创作的动漫。
曾创作波士顿动力恶搞特效视频
这部动漫创作背后的团队 Corridor Crew，来自一家叫做 Corridor Digital 的美国制作工作室。
Corridor Digital 成立于 2009 年，这些年来创作了不少特效为主的流行短视频。
比较为人所熟知的是 2019 年恶搞波士顿动力机器人的那个“Atlas 的反击”（New Robot Can Now Fight Back!）。
视频中 Atlas 被人们反复霸凌虐待，最终忍无可忍，对人类发起攻击：
△来源“Bosstown Dynamics”（狗头）
这段视频一度被人们认为是从波士顿动力流出的真实录像，直到 Corridor Digital 出面否认。
随后，波士顿动力也官方辟谣称这只是 Corridor Digital 制作的一段 CGI。
Corridor Digital 工作室旗下的 Corridor Crew 团队，则负责做专门解读各种大片特效和背后制作技术流程的“揭秘节目”，团队成员会筛选一些电视剧和电影，并讨论和分解其中的视觉特效镜头。
他们也曾经邀请过不少特效师和演员来节目中做客，观察他们对各种特效的反应。
对于团队制作的这档 AI 动漫，有网友调侃：不如下次就邀请动画师们如何？看看他们对于这部 AI 动漫的反应。
那么，你觉得 AI 做出来的这部动漫效果怎么样？
参考链接：
[1]https://www.youtube.com/watch?v=_9LX9HSQkWo
[2]https://www.youtube.com/watch?v=ljBSmQdL_Ow
[3]https://twitter.com/bilawalsidhu/status/1631043203515449344
