幻五映像 HALLUCINATION FIVE
制作のご相談

キャラクターアセットは一枚の画像ではない

制作フローの第4ステップ

AI映像のキャラクターがいちばん崩れやすいのは横顔です。正面のキャラクター画像からは、鼻筋の高さも、唇や顎の前後の位置もわかりません。横を向いたとき、AIは推測で描くしかありません。

出発点
正面の写真1枚
3Dモデルの特徴点誤差
1.93%
横顔の輪郭の平均偏差
0.98 から 0.58 mm
成果物
3Dモデル、多角度の設定画

一枚の写真から、演技できるキャラクターへ

見栄えのよいキャラクター画像が証明しているのは、ひとつの角度で正しく見えることだけです。映像のキャラクターは振り向き、横を向き、カメラの前を横切ります。必要なのは、どの角度からでも照合できる素材のセットです。顔の形は3Dモデルで決め、その形を多角度の設定画でAIに渡し、映像を生成するときは設定画をキャラクターの参照にします。

  1. 01

    3Dモデルを作る

    写真をもとに人物の3Dモデルを作り、写真と同じカメラアングルで重ね合わせて、目鼻立ちと輪郭の誤差を一点ずつ計測します。

  2. 02

    多角度の設定画を作る

    3Dモデルから正面、斜め、真横をレンダリングし、そのモデル画像をもとに image-to-image で生成します。どの角度にも形の根拠があります。

  3. 03

    映像を生成する

    多角度の設定画をキャラクターの参照として映像モデルに渡します。振り向いても横を向いても、顔の形をAIの推測に任せずに済みます。

写真を基準に、3Dモデルを作る

3Dモデルを写真と同じカメラアングルに置くと、写真とそのまま重ねて比べられます。目鼻立ちの特徴点と顔の外側の輪郭を一つずつ計測し、誤差は瞳孔間距離に対する割合で表します。位置合わせと同時に、撮影時の頭の角度とレンズの焦点距離も推定します。

  1. 基準にした正面の写真:黒髪のショートボブで白いTシャツを着た若い女性

    写真

  2. 写真をもとに作った3Dの頭部モデルを、写真と同じカメラアングルでレンダリングした白いモデル

    3Dモデル

  3. 写真と3Dモデルを半透明で重ねた画像。目鼻の位置が重なっている

    50%で重ね合わせ

  4. 顔に数百の特徴点が打たれ、緑が写真、赤が3Dモデル。二色はほぼ重なり、顎には顔の輪郭線が引かれている

    特徴点の照合

3Dモデルは写真と同じカメラアングルでレンダリングしています。特徴点の照合:緑が写真、赤が3Dモデル。
特徴点誤差
1.93%
輪郭誤差
1.34%
推定した撮影条件
左右の向き −1°、上下の傾き −5°、焦点距離 約 60 mm

誤差は瞳孔間距離を100%として計算しています。

モデルから多角度の設定画を作る

同じキャラクターで、正面、斜め、真横の設定画を2組作りました。1組は3Dモデルを使わずにそのまま生成し、もう1組は3Dモデルから各角度をレンダリングして、そのモデル画像をもとに image-to-image で生成しています。正面はほとんど変わりません。違いが出るのは横顔です。

3Dモデルなし
3Dモデルを使わずに生成した設定画:黒髪ショートボブの同じ女性の正面、斜め、右向きの真横
3Dモデルから image-to-image
3Dモデルのレンダリングをもとに生成した設定画:正面、斜め、左向きの真横

実測:横顔の輪郭はどれだけずれるか

2組の設定画の真横の輪郭をトレースし、3Dモデルの横顔の輪郭と位置を合わせてから計測しました。

3Dモデルの横顔のレンダリングに3本の輪郭線が重なっている。オレンジが3Dモデル、緑がモデルを使った設定画、青がモデルを使わない設定画。青の線は鼻先と唇で内側に入り込んでいる
  • 3Dモデル
  • 3Dモデルあり
  • 3Dモデルなし

平均偏差

3Dモデルなし
0.98 mm
3Dモデルあり
0.58 mm

鼻根から顎の下端までの輪郭全体で、モデルとの垂直距離を二乗平均平方根(RMS)で求めた値です。

部位ごとのモデルとの距離(mm)
部位 3Dモデルあり 3Dモデルなし
鼻先 −0.9 −1.3
上唇 −0.4 −0.8
下唇 −0.5 −1.2
顎 +0.6 +0.5

+はモデルより前に出ている、−はモデルより内側に入っていることを示します。

鼻根から鼻先までの長さ

3Dモデル
30.2%
3Dモデルあり
27.8% −2.5 mm
3Dモデルなし
26.0% −4.3 mm

鼻根から顎の下端までに対する割合。小さい数字はモデルより短い長さです。

3Dモデルを使わない設定画では、横顔の鼻がモデルより約 4.3 mm 短く、上唇と下唇も 0.8~1.2 mm 内側に入っていました。正面では同じ人物に見えても、横を向くと輪郭がはっきり崩れます。

3Dモデルから image-to-image で生成すると、輪郭全体の平均偏差は約 41% 小さくなり、鼻の差も 4.3 mm から 2.5 mm に縮まりました。

なぜ横顔が崩れるのか

画像生成モデルがいちばん見慣れているのは正面の顔です。正面の画像には、鼻筋の高さや唇と顎の前後の位置といった奥行きの情報がありません。横を向いたとき、その奥行きはモデルが自分で補うしかなく、補い方を誤ると、上で計測したように鼻が短くなり、唇が内側に入ります。

3Dモデルで先に形を決めておけば、どの角度も同じモデルからレンダリングされ、AIが主に担うのは肌の質感、髪、光になります。その後のどのシーンでも、どの生成でも、同じキャラクターアセットに立ち返ります。

設定画から映像を生成する

3Dモデルから作った多角度の設定画をキャラクターの参照として映像モデルに渡し、12秒の振り向きテストを生成しました。キャラクターは画面の右へ、続いて左へ顔を向け、真横を向いてから正面に戻ります。角度が変わり続けても、顔の形は崩れません。

12秒、音声なし。照明は固定し、キャラクターだけが動くので、角度ごとの顔を見比べられます。

制作フローの中での位置づけ

サービス一覧
  1. 01

    ヒアリング

    用途、視聴者、尺、予算、納品仕様を確認します。

  2. 02

    脚本と絵コンテ

    まず物語を書き上げ、それからどの画面をAIに任せるかを決めます。

    幻五のメソッド ワークフローを見る :脚本と絵コンテ
  3. 03

    3Dプリビズ

    軽量な3Dでカメラワークとキャラクターの動きを組み、生成のときの動きの参照にします。

    幻五のメソッド 実例を見る(中国語) :3Dプリビズ
  4. 04

    キャラクターと美術の設定

    キャラクター設定表と背景美術を先に作り、作品全体の一貫性を固定します。

    幻五のメソッド
  5. 05

    生成と選別

    すべてのカットを人が選び、再生成し、調整します。

  6. 06

    編集、音楽と納品

    編集、音楽、字幕、カラーグレーディングを行い、各プラットフォームの仕様で納品します。

AIは生成を、監督は判断を担います。ツールは世代交代しても、判断力は古びません。

作品を通して演じきるキャラクターが必要ですか

用途、話数、キャラクターの設定をお知らせください。複数のカットや話数をまたいで同じ顔を保つ必要があるキャラクターは、まずキャラクターアセットを作ってから生成に入ります。

ai_video@hallucination28.com