映画・テレビ業界におけるスタイル転送の進化

スタイル転送とは？

AIスタイル転送とは、ある画像の芸術的なスタイルを別の画像に適用する人工知能技術です。

AIスタイル転送技術が登場する以前は、画像処理は主にソフトウェアに組み込まれたフィルターやプリセットに依存していました。例えば、広く使われている画像処理ツールPhotoshopには、ヴィンテージ、白黒、油絵風など、簡単に画像をスタイライズできる多くのプリセットフィルターが用意されています。これらのフィルターは使いやすくはっきりとした効果を出せますが、あらかじめ定義されたスタイルに限られるため、カスタマイズや個性を出す自由度は低いです。

AIの発展により、画像に特定の芸術的スタイルを適用できる新たなスタイル処理方法が登場しました。単なるフィルターではなく、例えば魔法使いの簡単なジェスチャーの画像に、ゴッホの「星月夜」を参考にして、ユニークで個性的なアートポスターを素早く制作することが可能です。

Wang, H., Spinelli, M., Wang, Q., Bai, X., Qin, Z., & Chen, A. (2024, April 4). InstantStyle: Free lunch towards style-preserving in text-to-image generation. arXiv.org. https://arxiv.org/abs/2404.02733

従来のフィルターと比べて、AIスタイル転送はスタイルとコンテンツの組み合わせにより多くの創造的表現の可能性を提供します。多くのソフトウェアやウェブサイトもAIスタイルフィルターの新しい可能性を模索しています。

例えば、人気のAI画像アプリReminiは粘土風のフィルターを搭載しています。これらのフィルターはディープラーニングモデルで画像の全体的な内容を分析し、粘土彫刻のような質感を知的に適用して、まるで手作りの粘土アート作品のように見せます。完成画像は「醜くも可愛い」と形容され、ネット上で瞬く間に人気となりました。

従来のフィルターとは異なり、AIスタイルフィルターは単に効果を重ねるのではなく、画像の細部に知的に適応します。

技術の進歩に伴い、スタイル転送は動画にも応用されています。動画のスタイル転送は、各フレーム間のスタイルの一貫性を保つ必要があるため、画像のスタイル転送よりも複雑です。

しかし、動画分野におけるスタイル転送技術の可能性は、従来の映画・テレビ業界に新たな表現の可能性を開き、映像制作での創造的表現の幅を広げています。

style_transfer_blog_video_1.mp4

style_transfer_blog_video_2.mp4

映画・テレビ業界における「スタイル転送」

伝統的なアニメ制作では、アニメーターは実際の人間の映像を参考にしながら、手作業でアニメ効果やスタイライズ処理を加えることが多いです。例えば映画「スパイダーマン：スパイダーバース」では、実際のパフォーマンスを参考に柔軟かつリアルなアニメーション効果を描いています。

style_transfer_blog_video_3.mp4

1. アニメ制作自体が「スタイル転送」の一形態といえる

例えば「Soul」では、Pixarが手描きの絵コンテで各シーンのアクションやショットを計画し、徐々に3Dモデリングやアニメーション、最終レンダリングへと移行しました。絵コンテと完成映像を比較すると、アニメーションが初期のスケッチから最終的な緻密なレンダリングへと進化する様子がわかります。

手描きの絵コンテ

コンセプト探求

アニメ制作

ベアレンダリング

ライティングと後処理

2. 近年はAIもアニメ制作工程に正式に参入

例えば「Elemental」では、Pixarのアーティストがいくつかスタイライズされた炎の静止画をAIに提供し、それを参考にしました。するとAIはリアルな炎の動きをスタイライズされた炎の動きに変換し、非常にリアルな炎の効果を実現しました。この技術路線に沿ってPixarは全従業員のGPUを活用し、AIレンダリング時間を1フレーム5分から1秒に大幅短縮。作品全体で1600ショット以上を処理しました。

スタイル転送の産業初期の応用例として、このAI技術の活用は従来の手動によるアニメ処理を突破し、制作チームがより複雑な視覚効果をより短時間で実現可能にしました。

さらにAIスタイル転送は広告やミュージックビデオ制作にも応用され、制作チームがより芸術的な効果を低コストで達成する手助けをしています。

AIを用いたスタイル転送

人工知能技術の急速な発展により、映画や映像制作におけるスタイル転送の応用はますます広がっています。数あるツールの中で、ComfyUIはその柔軟性と効率性から多くの人に選ばれています。異なるモデルやコンポーネントを組み合わせることで、高度にカスタマイズされたスタイル転送効果を実現し、多様な創造的ニーズに応えます。

ComfyUIを用いたスタイル転送の手順はおおむね以下の通りです：

1. 動画素材の準備：

まずは鮮明な元動画素材を準備します。一般的に1080Pの解像度がAIスタイル転送の要件を満たすのに十分です。素材の品質がその後の生成品質に直接影響するため、動画の鮮明さと安定性が非常に重要です。

2. ControlNetでの前処理：

次にControlNetで前処理を行います。ControlNetは動画のニーズに応じて、線画、骨格運動、深度情報など異なる特徴を抽出可能です。どの特徴を抽出するかは、スタイル転送プロジェクトの具体的要求に依存します。例えば人の動きを正確に捉えたい場合は骨格特徴を抽出し、線画スタイルに注力する場合は線画特徴を抽出します。

ThinkDiffusionでControlNetを操作する様子

3. スタイルとモデルの決定：

希望するスタイルに基づき、Civitaiで適切な大型モデル（例：SD1.5やSDXL）やLoRAを選択します。この段階では、AIに期待に沿うスタイル効果を生成させるために、適切なキーワードの選定も必要です。キーワードはスタイル転送において重要な指針となり、モデルの組み合わせとともに最終生成結果に影響します。

4. AIスタイル転送：

前処理済み素材と選択済みモデルを用い、AIによるスタイル転送を行います。ControlNetの前処理特徴が、生成時に元動画の構造や動きを保つよう補助し、スタイル変換後もアニメーションの一貫性と滑らかさを確保します。

5. ポストプロダクション編集：

生成後、最終動画を取得し、ポストプロセスを行います。この段階では編集ツールで色調整や光と影の調整、特効や字幕追加といった微調整を行い、最終効果が期待に沿うよう仕上げます。

Morph Studioによるスタイル転送のご紹介

上記の手順が複雑に感じられましたか？ご安心ください。私たちの革新的プラットフォーム、Morph Studio Video Style Transferは、複雑なワークフローを内包し、独自AIモデルの力を活用することで、このプロセスを革新しました。動画をアップロードし、希望のスタイルを選ぶだけで、ワンクリックで変身を体験できます。

Morph Studio Video Style Transferへのリンクはこちら

当プラットフォームでは、アニメ、カートゥーン、クレイメーション、ピクサート、サイバーパンクなど、ディレクターの目で厳選した人気スタイルを提供しています。さらに、オリジナリティを加えるために、画像をアップロードしてAIに独自のスタイルを抽出し、動画にシームレスに統合することも可能です。

Morph Studioと他のスタイル転送ツールの比較

AI動画スタイル転送を提供するプラットフォームは数多くありますが、Morph Studioは優れたサービスでこの分野をリードしています。

Domo.ai vs Morph Studio:

• Domo.ai:
  • メリット:
    • 30以上のスタイルで動画をスタイライズ可能。
    • テキストから画像への変換やキャラを動かす等、動画スタイル転送を補完する他ツールあり。
  • デメリット:
    • スタイル転送時に表情や顔の構造のディテールが失われやすい。
    • 元動画の背景と整合せずランダムに色が変わりがち。
    • 生成に時間がかかり、一括処理不可。
• Morph Studio:
  • メリット:
    • 元動画のキャラの顔の構造や表情を忠実に保持。
    • 背景含め動画の細部を多く残す。
    • 一括処理に対応し、複数動画を高速かつ手頃な価格で生成可能。
  • デメリット:
    • 物体が速く動く場合、背景の一体感がやや損なわれることがある。

GoEnhance vs Morph Studio:

• GoEnhance:
  • メリット:
    • 約30種類のスタイルをユーザーが選択可能。
    • 動画顔交換やキャラアニメーションなど動画スタイル転送を補完するツールあり。
  • デメリット:
    • スタイル転送後の表情が無表情になりやすく、制作には不向き。
    • 生成に時間がかかる。
• Morph Studio:
  • メリット:
    • ユーザーフレンドリーなインターフェースで動画を一括処理可能。
    • 動画の細部をより多く保持し、元コンテンツと整合。
    • 水、火、羽など独自スタイルでより創造性を発揮可能。
  • デメリット:
    • 現時点ではスタイル数が限定的。

スタイル転送の世界は無限のキャンバスです。皆様がMorph Studioを用いて紡ぎ出す創作の傑作を楽しみにしています！