幻五映像 HALLUCINATION FIVE
專案洽詢

角色資產不是一張圖片

製作流程第 4 步

AI 影片裡的角色,最常在側面走樣。一張正面的角色圖看不出鼻樑多高、嘴唇與下巴的前後位置,換到側面,AI 只能用猜的。

起點
一張正面照片
3D 模型的特徵點誤差
1.93%
側臉輪廓的平均偏差
0.98 降到 0.58 mm
產出
3D 模型、多角度設定圖

從一張照片到能演戲的角色

一張好看的角色圖,只證明了一個角度看起來對。影片裡的角色要轉頭、側身、走過鏡頭,需要的是一組從任何角度都能對照的素材:3D 模型定下臉的形狀,多角度設定圖把形狀交給 AI,生成影片時再拿設定圖當角色參考。

  1. 01

    建立 3D 模型

    以照片為準建立人物的 3D 模型,放進照片的相機視角疊合,逐點量測五官與輪廓的誤差。

  2. 02

    做多角度設定圖

    從 3D 模型算出正面、四分之三側與正側面,再以模型圖做圖生圖,每個角度都有形狀依據。

  3. 03

    生成影片

    把多角度設定圖交給影片模型當角色參考。角色轉頭、側身時,臉的形狀不必交給 AI 猜。

以照片為準,建立 3D 模型

3D 模型放進照片的相機視角之後,就能和照片直接疊合比對:五官的特徵點、臉的外輪廓逐一量測,誤差以瞳距的百分比計算。對齊的同時,也推算出照片拍攝時的頭部角度與鏡頭焦距。

  1. 作為依據的正面照片:黑色短髮、穿白色 T 恤的年輕女性

    照片

  2. 依照片建立的 3D 頭部模型,以照片的相機視角算出的白模

    3D 模型

  3. 照片與 3D 模型各以半透明疊在一起,五官的位置重合

    疊合 50%

  4. 臉上標出數百個特徵點,綠點是照片、紅點是 3D 模型,兩色幾乎重合;下顎畫出臉部輪廓線

    特徵點對照

3D 模型以照片的相機視角算圖。特徵點對照:綠點是照片、紅點是 3D 模型。
特徵點誤差
1.93%
輪廓誤差
1.34%
推算的拍攝條件
頭轉 −1°、俯仰 −5°、焦距約 60 mm

誤差以瞳距為 100% 計算。

用模型做多角度設定圖

同一個角色,各做一組正面、四分之三側與正側面的設定圖:一組不用 3D 模型直接生成,一組先從 3D 模型算出各個角度,再以模型圖做圖生圖。正面看起來差不多,差別出在側面。

不用 3D 模型
不用 3D 模型生成的設定圖:同一位黑色短髮女性的正面、四分之三側與朝右的正側面
用 3D 模型做圖生圖
以 3D 模型的算圖做圖生圖的設定圖:正面、四分之三側與朝左的正側面

實測:側臉輪廓差了多少

把兩組設定圖的正側面輪廓描出來,和 3D 模型的側面輪廓對齊後量測。

3D 模型的側面算圖上疊著三條側臉輪廓線:橘線是 3D 模型、綠線是用 3D 模型的設定圖、藍線是不用 3D 模型的設定圖。藍線在鼻尖與嘴唇處明顯往內縮
  • 3D 模型
  • 用 3D 模型
  • 不用 3D 模型

平均偏差

不用 3D 模型
0.98 mm
用 3D 模型
0.58 mm

鼻根到下巴底整條輪廓與模型的垂直距離,取均方根。

各部位與模型的距離(mm)
部位 用 3D 模型 不用 3D 模型
鼻尖 −0.9 −1.3
上唇 −0.4 −0.8
下唇 −0.5 −1.2
下巴 +0.6 +0.5

+ 是比模型凸出,− 是比模型內縮。

鼻根到鼻尖的長度

3D 模型
30.2%
用 3D 模型
27.8% −2.5 mm
不用 3D 模型
26.0% −4.3 mm

占鼻根到下巴底的比例;小字是比模型短了多少。

不用 3D 模型的設定圖,側面的鼻子比模型短了約 4.3 mm,上唇與下唇也內縮了 0.8~1.2 mm:正面看是同一個人,轉到側面,輪廓就明顯變了形。

以 3D 模型做圖生圖之後,整條輪廓的平均偏差少了約 41%,鼻子的差距也從 4.3 mm 縮到 2.5 mm。

為什麼側臉會走樣

圖像模型最熟悉的是正面的臉。一張正面圖裡沒有鼻樑高度、嘴唇與下巴前後位置這些深度資訊,轉到側面時只能由模型自己補,補得不對,就是上面量到的鼻子變短、嘴唇內縮。

3D 模型先把形狀定下來:每個角度都從同一個模型算出,AI 主要補上膚質、頭髮與光線。之後每一場戲、每一次生成,都回到同一組角色資產。

用設定圖生成影片

把以 3D 模型做出的多角度設定圖交給影片模型當角色參考,生成一段 12 秒的轉頭測試:角色先轉向畫面右側、再轉向左側,接著轉成正側面,最後回到正面。角度一路在變,臉的形狀沒有跟著走樣。

12 秒、無聲。燈光固定,只有角色在動,方便比對各個角度的臉。

在製作流程裡的位置

服務總覽
  1. 01

    需求訪談

    確認用途、受眾、片長、預算與交付規格。

  2. 02

    腳本與分鏡

    先把故事寫好,再決定哪些畫面交給 AI。

    幻五的方法 看工作流程 :腳本與分鏡
  3. 03

    3D 動態預演

    用輕量 3D 搭出鏡頭運動與角色走位,當成生成的動態參考。

    幻五的方法 看實際範例 :3D 動態預演
  4. 04

    角色與場景設定

    先做角色設定表與場景美術,鎖住整部片的一致性。

    幻五的方法
  5. 05

    生成與篩選

    每一格畫面都由人挑選、重生成與調整。

  6. 06

    剪輯、配樂與交付

    剪輯、配樂、字幕與調色,依平台規格交付。

AI 負責生成,導演負責判斷。工具會換代,判斷力不會。

角色要撐起整部片?

告訴我們用途、集數與角色設定。需要在多個鏡頭、多集之間維持同一張臉的角色,我們會先建立角色資產,再進入生成。

ai_video@hallucination28.com