影视行业中的风格迁移演变
什么是风格迁移?
AI 风格迁移是一种人工智能技术,它将一幅图像的艺术风格应用到另一幅图像上。
在 AI 风格迁移技术出现之前,图像处理通常依赖于软件内置的滤镜和预设。例如,广泛使用的图像处理工具 Photoshop 包含许多预设滤镜,用户可以快速为图像添加复古、黑白、油画等效果。这些滤镜使用简单,效果显著,但其预设的风格限制了个性化和定制化的空间。
AI 的发展引入了图像风格处理的新方式,使我们可以将特定的艺术风格应用于任意图像,而不仅仅是简单的滤镜。比如,一张简单的魔术手势图,通过参考梵高的《星夜》,我们可以快速创建出独特且个性化的艺术海报。

Wang, H., Spinelli, M., Wang, Q., Bai, X., Qin, Z., & Chen, A. (2024, April 4). InstantStyle: Free lunch towards style-preserving in text-to-image generation. arXiv.org. https://arxiv.org/abs/2404.02733
相比传统滤镜,AI 风格迁移在风格与内容的结合上提供了更多创意的可能性。许多软件和网站也探索了 AI 风格滤镜的新可能。
例如,受欢迎的 AI 图像应用 Remini 提供了泥塑风格滤镜。该滤镜通过深度学习模型分析图像整体内容,智能地应用类似泥塑雕刻的纹理,使图像呈现手工泥塑艺术品的效果。最终图像具有“丑萌”的视觉效果,迅速在网络上走红。

与传统滤镜不同,AI 风格滤镜会智能适应图像细节,而不仅仅是简单叠加效果。
随着技术的进步,风格迁移也被应用到了视频中。视频风格迁移比图像风格迁移更复杂,因为它需要在每一帧之间保持风格一致,确保整个视频流畅自然。
然而,风格迁移技术在视频领域的潜力为传统影视行业带来了新的可能,开辟了视频制作中的创意表达新途径。
style_transfer_blog_video_1.mp4
style_transfer_blog_video_2.mp4
影视行业中的“风格迁移”
在传统动画制作过程中,动画师通常参考真人视频,然后手工添加动画效果及风格化处理。例如,在电影《蜘蛛侠:平行宇宙》中,动画师通过参考现实生活中的表演,绘制出灵活且逼真的动画效果。
style_transfer_blog_video_3.mp4
1. 动画制作本身可视为一种“风格迁移”
以《心灵奇旅》(Soul)为例,皮克斯使用手绘分镜规划每个场景的动作和镜头,逐渐过渡到三维建模、动画和最终渲染。通过对比分镜与最终影片,可以看到动画从初步草图到细节丰富最终渲染的演变过程。

手绘分镜

概念探索

动画制作

裸渲染

灯光及后期调整
2. 近年来 AI 正式进入动画制作流程
例如在《元素方尖碑》(Elemental)中,皮克斯艺术家绘制了几张火焰的风格化静态图作为 AI 参考。AI 将真实的火焰动态转化为风格化火焰动态,实现了非常逼真的火焰效果。沿着这条技术路线,皮克斯利用每位员工的 GPU,将 AI 渲染时间由每帧 5 分钟加速到 1 秒,完成了整部影片超过 1600 个镜头的处理。

作为风格迁移在行业中的早期应用,这一 AI 技术突破了传统的手工动画处理方式,使创意团队能在更短时间内完成更复杂的视觉特效。
此外,AI 风格迁移也被应用于广告和音乐视频制作,帮助制作团队以更低成本实现高艺术效果。
利用 AI 进行风格迁移
随着人工智能技术的快速发展,风格迁移在影视和视频制作中的应用日益广泛。在众多工具中,ComfyUI 因其灵活性和高效性成为许多用户的首选。它允许用户通过搭配不同模型和组件,实现高度定制化的风格迁移效果,满足多样化的创作需求。
基于 ComfyUI 的风格迁移步骤可总结如下:
1. 准备视频素材:
首先准备清晰的原始视频素材。一般 1080P 分辨率足以满足 AI 风格迁移的需求。素材质量直接影响后续生成效果,因此视频的清晰度和稳定性非常关键。
2. ControlNet 预处理:
接着通过 ControlNet 进行预处理。ControlNet 能根据视频需求提取不同特征,包括线条、骨骼运动或深度信息。提取哪些特征取决于项目对风格迁移的具体要求。例如需精准捕捉人体动作时,可提取骨骼特征;重点突出线条风格时,则提取线条特征。

在 ThinkDiffusion 中配合 ControlNet 工作
3. 确定风格与模型:
根据所需风格,用户可在 Civitai 选择合适的大模型(如 SD1.5 或 SDXL)和 LoRA。此步骤还需选择合适关键词,确保 AI 生成符合预期的风格效果。关键词在风格迁移中具有重要指导作用,模型选择的搭配也影响最终生成结果。

4. AI 风格迁移:
利用之前处理好的素材和选择的模型,通过 AI 进行风格迁移。ControlNet 提取的预处理特征可帮助 AI 在生成过程中保持原视频的结构和动态,确保风格转换后动画保持一致流畅。

5. 后期编辑:
生成后获得最终视频并进行后期处理。此时可使用编辑工具微调视频,确保最终效果符合预期,如调整色彩、光影,或根据具体需求添加特效和字幕。
介绍 Morph Studio 进行风格迁移
如果上述步骤让你觉得复杂,不用担心,我们已经为你准备好了。我们的创新平台 Morph Studio Video Style Transfer 通过封装复杂的流程,并利用我们专有的 AI 模型,彻底革新了风格迁移过程。只需上传视频,选择心仪的风格,一键点击,即可见证转变的奇迹。

我们平台提供了动画、卡通、泥塑、像素艺术、赛博朋克等多种热门风格,由我们以导演的视角精心挑选。为个性化打造,你甚至可以上传一张图片,让我们的 AI 提取其独特风格,并无缝融合到你的视频中。
Morph Studio 与其他风格迁移工具对比
虽有少数平台提供 AI 视频风格迁移服务,Morph Studio 凭借卓越的服务已成为行业领导者。
Domo.ai vs Morph Studio:
- Domo.ai:
- 优点:
- 提供 30 多种风格供视频美化
- 有配套文字转图像和角色动作制作等工具
- 缺点:
- 风格迁移时损失面部表情和结构细节
- 输出与原视频背景不一致,视频色彩随机变化
- 生成速度较慢,无法批量处理视频
- 优点:
- Morph Studio:
- 优点:
- 保留角色面部结构和表情,与原视频一致
- 视频细节丰富,包括背景内容完整保留
- 支持批量处理,多视频同时风格迁移,生成速度快且价格合理
- 缺点:
- 当物体运动过快时,背景连贯性稍有欠缺
- 优点:
GoEnhance vs Morph Studio:
- GoEnhance:
- 优点:
- 提供约 30 种风格供用户选择
- 有视频换脸和角色动画等配套工具
- 缺点:
- 风格迁移后面部表情僵硬,不利于制作需求
- 生成速度较慢
- 优点:
- Morph Studio:
- 优点:
- 用户界面友好,一次批量处理多个视频
- 细节保留充分,视频风格与原始内容保持一致
- 提供水、火、羽毛等独特风格,丰富创意选择
- 缺点:
- 目前风格数量有限
- 优点:
风格迁移领域是一幅无限广阔的画布,我们期待看到你用我们的工具创作出的精彩佳作!