新智元报道
编辑：编辑部
作为后期行业大哥级的存在，Adobe 终于让 Firefly AI 视频功能从期货变现实了！视频中任何缺失部分，AI 一键解决，效果已能媲美 Runway 和 Sora。与此同时，经过全面升级的史上最强 PS 也来了。
Adobe 全面进军 AI 生成领域！
就在 2024 年的 Adobe MAX 大会上，Adobe 正式推出 Firefly 视频模型，以及最新升级的图像模型。
Adobe Premiere Pro 加入生成式扩展
相比于一次只生成1～5 秒的视频生成模型，将 GenAI 的能力无缝集成到视频编辑软件中，无疑是最能直接提升生产力的方式。
视频编辑——Adobe 表示，你要说这个我可就不困了。
毕竟，Premiere Pro 已然是最专业、应用最广泛的视频剪辑工具，很可能没有之一。
剪视频的时候，突然发现素材缺帧、色调不对、机位卡不上？基于 Firefly Video 模型的新功能 Generative Extent，就可以免去用户重新拍摄素材的麻烦。
Adobe 表示， Generative Extend 是他们推出的第一个由视频专业人士打造，且专门服务于专业人士的 Gen AI 功能，并且具有可靠的商业安全性。
不仅只在 Adobe 有授权的内容上进行训练，而且绝不会私自截取用户内容作为训练数据，可以说是稳稳接住了专业创作者的痛点。
对于视频开头、结尾，或者时间轴中的任何缺失部分，只需要一拖、一点，就能让 AI 快速扩展，实现完美的定时编辑。
像下图左边这种镜头中不理想的视线移动，AI 也可以直接自动修正。
人物的移动范围出画了，用 AI 自动调整画面边界，省时省力。
想要将对齐两幅画面的背景色调？显然 AI 的眼睛要比人类更准，一键调色好过试色半小时。
除了画面，音频编辑功能也同样强大，选择「room tone」按钮即可对音效进行延长或平滑操作。
比如下面这个冰山坍塌的视频，虽然画面只持续了 3 秒多，但模型可以自动「脑补」出后面将近 10 秒的音效，足可以以假乱真。
但目前，音频编辑还不支持创建或扩展对话，而且由于潜在的版权问题，也不支持音乐。
下面这个示例就展示了，在只有音效但没有画面的情况下，如何使用生成式扩展功能，自动延长各个镜头画面的停留时间，在匹配音效的同时补好时间轴上的大窟窿。
成品用一句「天衣无缝」来形容应该是不过分的。
生成式扩展功能将在今年晚些时候的 beta 版 Pr 中上线，Adobe 表示，会在用户反馈的基础上持续更新。
比如，对于模型每一次的生成结果，都可以一键「点赞」或「吐槽」。
性能方面，Pr 还和英伟达进行了集成，使用 RTX 系列 GPU 加速运行，提升用户体验。
Adobe Firefly：开创视频编辑领域 GenAI 新纪元
随着互联网内容形式的进化，视频成为了当今时代互动社交的「硬通货」。
面对视频内容需求的持续增长，剪辑师、电影制作人和内容创作者需要在更短时间内完成更多工作的挑战。
而且，视频剪辑工作已不再局限于简单的画面剪切，还要包揽调色、字幕、动画、视觉效果、混音等一系列任务。
此时，Adobe 作为专业的工具集，搭上 GenAI 提升生产力的快车，最为合适不过。
文生视频
首先，Firefly 的文生视频功能和 Runway、Sora 等视频生成模型类似——用户通过 prompt 即可生成任何自己想要的视频。
提示：街道中央雨中男子的电影级特写肖像。光影氛围沉郁而富有戏剧性，色调以蓝色和青色调为主。男子形象极度写实，皮肤纹理精细，脸上点缀着细密胡茬。细微的动作柔和流畅，镜头保持固定。画面呈现浓重的胶片颗粒感和质感。水珠在男子脸上缓缓滑落，清晰可见。
它可以模拟各种风格，包括逼真的实景电影效果、3D 动画，以及定格动画。
而对于已经生成的视频，则可以通过一套「摄像机控制」功能对其进一步细化，包括不同的摄像机角度、运动效果和拍摄距离等参数。
用摄像机控制调整生成的视频
对于创作者来说，从此，视频项目中缺镜头将不再是问题！
通过文本提示、摄像机控制和参考图像，就能生成B-Roll（补充素材），轻松填补时间轴上的空白。
只要输入详细提示，就能生成引人入胜的插入镜头，完美融入最终作品中。
提示：夜晚街道中央，一位老年男子的电影级特写和细节丰富的肖像。光线氛围沉郁而富有戏剧性。色彩调性为蓝色阴影与橙色高光的对比。主角的皮肤纹理极其逼真细腻，毛孔清晰可见。动作微妙柔和。摄像机保持静止。胶片颗粒感。复古变形镜头。
即使时间轴不缺，为简单的镜头自动添加更多内容也只是分分钟的事。
比如下面这个小女孩用放大镜看草坪的视频：
AI 可以补全出放大镜下的画面：
不需要补拍任何镜头，把 AI 生成画面和原视频剪辑在一起，就丰富了内容性和层次感：
有的制作团队预算有限、周转时间短，但有些创意构思镜头却难以捕捉，或者成本昂贵。
此时，就可以用 Adobe Firefly 来可视化和规划这些镜头，然后再进行视觉特效（VFX）制作，或者返回片场补拍。
这就大大简化了前期和后期制作团队之间的沟通流程。不仅提高工作效率，还能让创意意图在整个制作过程中准确传达。
提示：在墨西哥的美丽、光线柔和的天然井中，第一人称视角镜头。水清澈蔚蓝，闪烁着午后阳光的光芒。色彩温暖，阳光呈「魔幻时刻」（magic hour）风格。高质量，电影感。
Adobe 从很多业内人士那里了解到，如果能填补时间线上那些留待稍后添加视觉效果的空白，将大大加快工作流。
这样，我们就不再需要使用「在此插入镜头」的占位符了。
从业人员可以更轻松地表达自己的创意，更顺畅地指导后续的视觉效果制作。
提示：电影般的无人机镜头，飞越广阔的红色火星地貌，地面在我们下方快速掠过，随着太阳开始升起，地平线呈红色。在镜头结束时，阳光照射到地平线上方。
提示：微距镜头拍摄一只由熔岩组成的幼龙在火山内部爬行。
而 Firefly 生成火焰、烟雾、灰尘颗粒、水、光斑等氛围元素的能力，更是让从业者非常兴奋！
这种功能就大大增加了现有内容的视觉深度。
在黑色或绿色背景上生成这些元素，就意味着我们可以使用混合模式，或 Adobe Premiere Pro、Adobe After Effects 等工具进行抠像，将它们叠加到现有视频上。
提示：黑色背景上的电影感漏光，有机质感，逼真。
下面这个视频，就是在 Premiere Pro 中使用屏幕混合模式之后的效果。
再比如，原视频如果是这个样子，就显得有些中二且抽象：
但叠加上 AI 生成的火焰特效：
就得到了下面这个成品视频。AI 特效不仅和原视频搭配得很有默契，而且瞬间拉满酷炫风格。
各种风格的动画作品，也都可以一键生成。
像是 2D 的定格动画：
提示：在阳光明媚的美丽厨房里，炉灶上的煎锅中正在烹饪一个鸡蛋，这是一个使用毛毡制作的定格二维动画。
或者手绘风格的线条插画：
提示：手绘简单线稿，一个年轻的孩子仰望太空，脸上带着充满惊叹的表情。
还有各种类型的 3D 动画效果：
提示：可爱的章鱼宝宝，有着迷人的眼睛，每个触手都拿着一个茶杯，快乐地四处张望，3D 渲染，Octane 引擎，柔和光，梦幻般的背景虚化，浅景深，电影感。
提示：用羊毛和毛毡制成的微型可爱怪物，在一起跳舞，3D 渲染，Octane 引擎，柔和的灯光，梦幻的虚化，富有电影质感。
提示：「SUMMER」一词由蓬松、彩虹色的云朵组成，漂浮在美丽山脉上方的有漩涡和柔和色彩的天空中，两秒钟后，「SUMMER」一词与云朵一起消散。
在深入创作之前，如果能和动画师、动作设计师沟通意图，省去不断迭代、寻找正确风格所花费的时间。
图生视频
而 Firefly 的图生视频功能中，我们除了可以使用文本提示，还能在旁边放上参考图像。
通过上传单个帧，就能轻松地为现有内容创建补充镜头，比如一个特写。
或者从静态照片中创建新的B-roll，让现有的图像库动起来。
提示：花朵在风中摇曳，一只美丽的蝴蝶正落在其中一朵花上。
更神奇的是，我们甚至可以改变原始镜头中的动作和意图。
比如，如果视频剪辑中有一个特定的动作，但作为剪辑师的你希望让导演重新拍摄，这时就可以使用该功能将其可视化，在保持相同外观的同时推动故事情节。
原片：
生成：
提示：一只戴着手套的宇航员的手进入画面，拔掉了黄色电缆的其中一根。电影感。
提示的使用
Firefly 模型能够实现丰富的镜头控制，比如镜头远近（包括特写、中景、远景等）、角度和相机运动，以达到更精确的生成。
Firefly 的这种专业特性，也就对用户输入的 prompt 提出了更高的要求。
从 Adobe 给出的官方 demo 来看，提示基本都相当详细；官方博客给出的建议也有这样一句话：提示越详细越好！
图生视频时可以仅描述画面的语义信息，但文生视频的 prompt 中基本都会包括光线、景别、镜头焦距、拍摄角度和机位、画面色彩与质感等十分细致深入的描述，才能指引模型生成出用户脑海中的画面。
Adobe 建议的提示模板和具体建议如下：
镜头类型描述 + 角色 + 动作 + 位置 + 美学风格
-
尽可能使用更多词语来具体描述光线、摄影、色彩分级、情绪和风格
-
清晰描述，避免模糊不清
-
使用具体的动词和副词定义动作
-
使用大量描述性形容词
-
包括时间元素，如一天中的时间或天气
-
必要时加入相机运动
-
反复迭代！
反复迭代的过程中可以选择更新提示，也可以使用同一个较为成熟的提示但更改种子值（seed），从而快速尝试新的变化，而无需每次都从头开始。
比如下面这个 demo 的提示，虽然相比之下非常简短，但基本涵盖了模板中提到的要素。
提示：一只纸质熊猫平静地走过一片折纸竹林，电影感，可爱，柔焦，背景虚化。
Adobe 全家桶升级，带来史上最强 Photoshop
并且，这次 Adobe 再次推出新功能，让 Photoshop 也全面升级。
Photoshop 的智能去除功能，可以让我们清理照片中不需要的元素，比如背景中的路人，或者是突兀的电线。
它能检测并移除这些元素，然后用 AI 生成的内容无缝填补。
左：原图；右：天空中杂乱电线被 AI 移除，画面简洁清晰
当然，Photoshop 中也融入了 Adobe Firefly 的 AI 功能，让我们可以对画面进行生成式填充和扩展。
AI 功能由最新的 Adobe Firefly 图像模型驱动，可以为图像带来前所未有的真实感和逼真度。
具体来说，在细节、光线、构图和色彩方面，我们可以更精确地控制生成的图像。
此外，新增的「生成相似」功能，可以让我们得到更多样化的图像变体。
生成式填充
生成式拓展
生成相似内容
在 Adobe Photoshop（测试版）中，还有一个新功能，就是生成式工作区。
其他 AI 图像生成器只能产生有限的结果，但工作区可以让我们同时构思多个创意概念，只需输入文本提示，就能快速生成一系列图像。
这样，就能方便地搜索和重复之前的文本提示和图像，生成一组图像的同时就能开始生成下一组。
参考资料：
https://blog.adobe.com/en/publish/2024/10/14/adobe-max-2024-more-power-creators
