我們打造了免費的 AI 渲染引擎，用於 CG 與臉部動畫（ComfyUI + Blender）（第 1/2 段） ☕ Buy me a coffee

🧑‍🏫 這支影片示範怎麼用 Blender 輸出的 3D 參考畫面搭配 LTX 2.3 影片模型，在自己電腦上把粗糙的 3D 動畫算成有畫風、有光影的影片，還能讓角色對嘴說話。值得看的原因是整套工具免費，而且構圖和動作由你在 3D 裡決定，AI 只負責補外觀和細節，不是打一句話就只能接受 AI 生出來的結果。

• 00:00 現在可以在自己電腦本機渲染整部 CG 影片：從幾乎任何 3D 工具匯出序列，用參考圖引導風格，再渲染整段，而且速度很快
  ↳ CG 指電腦做的 3D 畫面。現在不用上雲端，自己的電腦就能把整段 CG 算成影片：從各種 3D 軟體匯出動畫序列，再給一張參考圖決定畫風，速度也很快。
• 00:00 AI 會替鏡頭加上材質、打光，以及水花、火焰等特效
  ↳ 你在 3D 裡只要擺好形狀和動作。材質、光線、水花、火焰這些原本最費工的部分，交給 AI 補上。
• 00:00 可以加 lip-sync 與臉部動畫：提供音檔，標出允許 AI 接手的區域，AI 就會讓表演動起來
  ↳ lip-sync 是讓角色嘴型對上聲音。你給一段音檔，再圈出 AI 可以自由發揮的地方，例如嘴巴，AI 就會讓那一塊跟著聲音動起來。
• 00:31 適用任何風格，例如 anime、寫實、claymation；作者用這個技術做了一部完整短片，放在影片最後
  ↳ 畫風不受限，日式動畫、寫實、黏土動畫（claymation）都可以。作者用這套做了一整部短片放在影片最後，看成果就能判斷值不值得學。
• 00:31 贊助商是 NVIDIA，他們提供一系列 controllable video generation 的 AI 工作流，全部免費使用
  ↳ 這支影片由顯示卡大廠 NVIDIA 贊助。他們推出一系列「可控制的影片生成」工作流，讓你能指定畫面怎麼動，不是全憑 AI 亂生，而且全部免費。
• 01:04 NVIDIA 寄了全新的 GeForce RTX 5090 給作者測試，讓整個流程快很多
  ↳ NVIDIA 送了一張 GeForce RTX 5090 顯示卡給作者測試。AI 生成非常吃顯示卡，卡越強跑越快，所以片中的速度是在高階卡上跑出來的。
• 01:04 作者上一支 AI rendering 影片用的是特殊版 Wan 影片模型：用參考圖錨定風格，再用從 3D 程式直接取出的 render passes 驅動動畫
  ↳ 作者上一支影片用的是 Wan 影片模型的特殊版：參考圖負責定畫風，render passes（從 3D 軟體直接輸出的輔助畫面，例如深度、輪廓）負責控制動作。
• 01:04 Wan 的問題：效果很酷，但很吃電腦資源，而且不快，甚至可以說相當慢
  ↳ Wan 的缺點很實際：成品好看，但很吃硬體，算一段要等很久。這就是作者這次想換工具的原因。
• 01:38 NVIDIA 的免費 video generation guide 是完全本機的流程，分成三部分，可以自由混搭
  ↳ NVIDIA 這份免費影片生成指南整套都在自己電腦上跑，不必上傳雲端。內容拆成三塊，可以只挑需要的那塊，接進你原本的流程。
• 01:38 第一部分：Blender add-on，只要輸入簡單的文字 prompt，就能生成一批 3D 素材
  ↳ 第一塊是 Blender 的 add-on（外掛）。你打一句 prompt（給 AI 的文字指令），它就生出一批 3D 物件，省下自己建模或找素材的時間。
• 01:38 第二部分：在 Blender 內依據 3D 幾何，用 AI 渲染起始影格與結束影格
  ↳ 第二塊在 Blender 裡執行：照著你擺好的 3D 形狀，讓 AI 畫出一段影片的第一格和最後一格。
• 01:38 第三部分：ComfyUI template，用 LTX 2.3 影片模型渲染兩個影格之間的影片，再 upscale 到 4K
  ↳ 第三塊是 ComfyUI（免費的 AI 操作介面）的現成範本：用 LTX 2.3 影片模型補出頭尾兩格之間的動態，再 upscale（放大解析度）到 4K。
• 02:08 keyframe generator 等於把 Flux 接成 Blender 內的 render engine。在 viewport 粗排場景即可，連灰盒也行
  ↳ keyframe generator 是產生關鍵畫面的工具，等於把 Flux 圖像模型當成 Blender 的算圖引擎。你在 viewport（編輯畫面）隨便擺就好，只有灰方塊也行。
• 02:08 粗排的佈局會轉成 depth map 引導 Flux 圖像模型，構圖和鏡頭因此固定，畫面外觀則由 prompt 決定
  ↳ 你擺的場景會轉成 depth map（用黑白表示遠近的圖）交給 Flux，所以物件位置和鏡頭角度都固定住；長什麼樣、什麼風格，則由文字指令決定。
• 02:08 作者在前期大量使用這個流程，為故事場景 hotel 產生 concept art
  ↳ 作者在前期大量用這招，替故事場景「旅館」產出 concept art（決定場景長相的概念設計圖），先把感覺抓出來再往下做。
• 02:08 作者想用 LTX 2.3 重做自己的 AI rendering 工作流，並把這套流程的部分環節整合進來
  ↳ 作者的目標是把原本用 Wan 的 AI 渲染流程改用 LTX 2.3 重做，並把 NVIDIA 這套裡好用的環節接進去。
• 02:40 LTX 不只速度快，也是音訊模型，會同時生成音訊與影片，用簡單的 prompt 就能讓角色說話
  ↳ LTX 除了快，還能同時生出聲音和畫面。你用文字寫下角色要說什麼，它就能生成角色開口說話的影片。
• 02:40 也可以注入既有的音訊，模型會嘗試生成配合該音檔的影片
  ↳ 反過來也可以：先準備好一段錄好的聲音丟進去，模型會照著這段聲音，生成對得上的畫面。
• 02:40 作者先前做過含 custom node 的工作流，替既有片段加 lip-sync。新想法是渲染 3D 序列時也這樣做：給 3D layout、prompt、音訊，一次得到有動畫、有 lip-sync 的渲染
  ↳ custom node 是別人寫的擴充功能方塊。作者之前用它替現成影片補對嘴，這次想在算 3D 動畫時一起做：給場景、文字和聲音，一次拿到會動又對嘴的成品。
• 03:17 作者為 LTX 2.3 加上 lip sync 支援，輸入一個影片檔與一個音訊檔
  ↳ 作者替 LTX 2.3 加上對嘴功能，用法很單純：丟一個影片檔、一個音訊檔進去。
• 03:17 和上一支影片一樣，要先從 3D 場景建立 control passes
  ↳ 跟上一支一樣，第一步是從 3D 場景輸出 control passes，也就是給 AI「照這個動」的參考影片。
• 03:17 depth pass 是黑白影片：白色像素代表離鏡頭近，黑色像素代表離鏡頭遠
  ↳ depth pass 是一段黑白影片，用亮暗表示距離：越白離鏡頭越近，越黑越遠。AI 看它就知道誰在前、誰在後。
• 03:17 outline pass 告訴 AI 場景中幾何邊緣的位置，讓 AI 填滿邊緣之間的內容
  ↳ outline pass 只畫出物體的邊線，像線稿一樣。AI 負責把線與線之間填上顏色和細節。
• 03:47 兩種 pass 可以擇一使用，也可以合併以求最精準：模型從 outlines 得知結構，從 depth pass 理解 3D 幾何
  ↳ 兩種可以只用一種，一起用最準：輪廓告訴 AI 東西的形狀和位置，深度告訴它立體感和前後關係。
• 03:47 直接加入音訊行不通：音訊和 control passes 互相衝突，control passes 說那裡沒有東西在動，模型就生不出會動的嘴
  ↳ 直接加聲音會失敗。control passes 把畫面鎖得很死，參考影片裡的嘴沒動，AI 就不會讓嘴動，聲音和畫面各做各的。
• 03:47 解法是做一張黑白 mask：白色區域要求模型精確跟隨 control guides，黑色區域讓模型自由生成新細節。黑色區域蓋住嘴巴，就能加 lip-sync
  ↳ 解法是 mask（遮罩，一張黑白圖）：白色的地方照 3D 參考走，黑色的地方讓 AI 自由發揮。把嘴巴塗黑，AI 就能自己做出對嘴的嘴型。
• 04:17 黑色區域蓋住整張臉，就能產生完整的臉部動畫
  ↳ 把黑色範圍擴大到整張臉，AI 就能讓整張臉一起動，做出完整的臉部表演。
• 04:17 概念驗證成功後開始做正片，並盡量模仿真實製作流程
  ↳ 確認這個想法可行後，作者開始做正式短片，並盡量照真實的製作流程一步步來。
• 04:17 先手繪 concept art，用 Flux 2 Klein 把草圖做成完成設計，再手繪修飾，增加個性和有趣的小細節
  ↳ 作者先手畫角色草圖，用 Flux 2 Klein 圖像模型把草圖變成完整設計，再自己手繪修改，加上個性和小細節，不全交給 AI。
• 04:49 用手繪 storyboard 規劃整部片
  ↳ 接著手繪 storyboard（分鏡圖，一格格畫出每個鏡頭要拍什麼），先把整部片的鏡頭規劃好。
• 04:49 場景使用 NVIDIA guide 的 3D object generation blueprint（Blender addon），只要一句簡單的 prompt 就能生成整組素材
  ↳ 場景物件用 NVIDIA 指南裡的 3D 物件生成範本（blueprint，現成做法範本）。它是 Blender 外掛，一句話就能生出整組素材。
• 04:49 描述場景（例如 cozy rustic motel room）後，Llama 3.1 語言模型會發想出該場景可能有的物件清單
  ↳ 例如輸入「溫馨鄉村風汽車旅館房間」，Llama 3.1 語言模型會先列出這種場景可能有哪些物件。
• 04:49 NVIDIA 的 Sana 模型為每個物件產生快速預覽，可以選擇 regenerate、keep 或丟掉
  ↳ NVIDIA 的 Sana 模型會替清單上每樣東西快速畫一張預覽圖。你逐一檢查：不滿意就重新生成，喜歡就留，用不到就刪。
• 05:19 挑好之後，Microsoft 的 Trellis 會把選中的預覽轉成真正的 3D 模型，包含幾何、材質貼圖與 materials
  ↳ 選好後，Microsoft 的 Trellis 會把預覽圖變成真正的 3D 模型，包含形狀、表面貼圖和材質設定。
• 05:19 技術細節不必操心：安裝後輸入 prompt，片刻後就有一整份素材目錄可以在 Blender 使用
  ↳ 背後怎麼運作不用管：裝好、打一句描述，稍等一下，就有一整批素材可以在 Blender 裡用。
• 05:19 先排出基本房間，再用生成的素材佈置，做出 bar、National Park 裡的 motel、天然溫泉等場景，感覺像走進 prop house 挑道具
  ↳ 先搭出房間的基本結構，再用這些素材佈置，做出酒吧、國家公園裡的汽車旅館、天然溫泉等場景，像在道具行（prop house）挑東西。
• 05:19 所有工具的連結都放在影片說明欄
  ↳ 影片裡提到的每個工具，連結都放在 YouTube 說明欄。
• 05:54 角色 3D 化試過幾種生成器，最後選 Trellis for ComfyUI，目的是讓整條流程保持免費；也可以換成付費工具，或自己建模以求更好品質
  ↳ 角色轉 3D 試過幾種工具，最後選 Trellis for ComfyUI，目的是讓整套都不花錢。想要更好的品質，可以改用付費工具或自己建模。
• 05:54 為了改善 Trellis 的結果，其中一個角色的頭部單獨生成，再接到身體上
  ↳ Trellis 生成的某個角色效果不夠好，作者就把那個角色的頭單獨生成，再接回身體上。
• 05:54 生成的模型極度未最佳化。rig 前先用 Decimate modifier 降低 vertex 數，再到 Edit Mode 全選、按 merge by distance，得到更輕、更乾淨的 mesh
  ↳ AI 生的模型點數多到不行。做 rig（骨架）前，先用 Decimate 減少 vertex（頂點），再到 Edit Mode 全選，按 merge by distance 合併重疊的點，讓模型變輕。
• 05:54 mesh 其實一點也不乾淨，但還是能用，因為 rig 不必完美，它只是後續步驟的 guide
  ↳ 老實說模型還是很亂，但能用：骨架只是給後續 AI 當參考的動作指引，最後畫面由 AI 畫，所以不用完美。
• 06:29 rig 使用 Blender 內建的 Rigify addon：只要放幾根骨頭，就會自動建出比例正確的完整 rig
  ↳ 骨架用 Blender 內建的 Rigify：在角色身上放幾根定位骨頭，它就自動建出一整套比例正確、可以擺動作的骨架。
• 06:29 作者手動 weight painting 修補壞掉的部位，並替主角 rig 加上背包，因為她在好幾場戲都背著
  ↳ weight painting 是設定模型每一塊跟著哪根骨頭動。作者用它修好動起來會壞掉的部位，還替主角加上背包，因為她好幾場戲都背著。
• 06:29 作者另外做了手動眼球，測試眼球運動能否帶到渲染結果；這部分完全可選，rig 也可以改用線上 auto-rigging 工具製作
  ↳ 作者另外做了會轉動的眼球，測試眼神能不能帶到成品裡，這步可以跳過。骨架也可以改用網路上的自動綁骨工具來做。
• 06:59 角色都生成、rig、測試完後，作者為主角請了配音員，並把所有東西匯入 Blender
  ↳ 角色都處理好後，作者請真人配音員替主角錄音，再把所有東西匯入 Blender。
• 06:59 動畫是最好玩的部分，也是作者做這套工作流的初衷：他不喜歡只靠 prompt 生成整部片、生出什麼就接受什麼
  ↳ 做動畫是作者最愛的部分，也是做這套流程的原因：他不想只打文字讓 AI 生出整部片，生出什麼就只能收什麼。
• 06:59 作者喜歡 open source 本機模型的原因：可以自建流程，決定交給模型多少控制權、自己保留多少
  ↳ 他偏好 open source（公開、可自由使用修改）又能在本機跑的模型，因為可以自己組流程，決定哪些交給 AI、哪些自己掌控。
• 06:59 動畫完成後進入渲染：先建 outline pass，再建 depth pass
  ↳ 動畫做完就進入算圖，順序是先做 outline pass，再做 depth pass。
• 07:33 outline 可以用 Blender 的 Freestyle（上一支影片用過），這次改走懶人路線
  ↳ 輪廓可以用 Blender 的 Freestyle（專門畫線條的功能）來做，上一支影片就是這樣做的；這次作者改用比較省事的方法。
• 07:33 懶人做法：render engine 切到 Workbench、進 render mode，開啟 outline 和 cavity，渲染出來後再到 ComfyUI 提取輪廓
  ↳ 省事做法：把算圖引擎切到 Workbench（Blender 最簡單快速的顯示模式），打開 outline 和 cavity（凹處加深），算完再到 ComfyUI 抽出線條。
• 07:33 在 output 選好路徑，直接輸出 video、不存 image sequence，color 選黑白，因為用不到顏色
  ↳ 輸出設定選好存檔位置，直接存成影片，不存成一張張圖片。顏色選黑白就好，反正用不到色彩。
• 08:05 depth pass：在 View Layer 啟用 Depth，渲染一張圖，到 Compositing 按 new，render layers 會多出 depth 輸出
  ↳ 做深度：在 View Layer（輸出圖層設定）勾選 Depth，先算一張，再到 Compositing（後製節點區）按 New，就會多出一個 depth 輸出。
• 08:05 把 depth 輸出接到 Viewer node，畫面是全白，但數值都在裡面，只是要讓它們看得見
  ↳ 把 depth 輸出接到 Viewer node（預覽用節點）會看到一片白。別慌，資料都在，只是還沒調到看得見的範圍。
• 08:05 首先要知道數值是反轉的，所以先加一個 Invert Color node
  ↳ 第一步：原始深度數值的黑白方向跟我們要的相反，所以先接 Invert Color node，把黑白反過來。
• 08:36 中間再加 Normalize node，把所有數值壓到 0 到 1 之間，就會變成白近黑遠，正是需要的結果
  ↳ 中間再插一個 Normalize node，把所有深度數值壓進 0 到 1 之間，畫面就變成近白遠黑，正是 AI 需要的樣子。
• 08:36 可選：加 RGB Curve node 調整曲線，把前景分離得更明顯，因為重點在前景，背景沒那麼重要
  ↳ 可選：加 RGB Curve node 調整曲線，讓前景的遠近差別更明顯。重點在前景的角色，背景不那麼重要。
• 08:36 輸出有兩種方式：用 File Output node 存出所有圖片；或懶人做法，接回 group output，到 output 替序列換個名稱，再全部渲染一次
  ↳ 輸出有兩招：用 File Output node 直接把每張圖存出來；或偷懶接回 group output（最終輸出口），改個檔名再把整段算一次。
• 09:07 這些 passes 已經能拿去用 AI renderer 渲染，但只有 prompt 控制外觀，每個場景的樣子可能都會變，所以需要用參考圖鎖定風格
  ↳ 這些 passes 已經能丟進 AI 算圖，但只靠文字控制外觀的話，每個鏡頭的長相可能都不一樣，所以要用一張參考圖把畫風鎖住。
• 10:00 任何 reference based AI image generator 都可以用。作者提供免費的 Flux 9B image generation workflow，所有鏡頭都是用它做的
  ↳ 任何能參考圖片來生圖的 AI 都行。作者提供免費的 Flux 9B 生圖流程（9B 指約 90 億參數的模型規模），片中所有鏡頭都用它做。
• 10:00 工作流在 ComfyUI 中執行。ComfyUI 是免費、node-based 的 AI 模型介面
  ↳ 這些流程都在 ComfyUI 裡跑。它是免費介面，用連線把一個個功能方塊（node）串起來，每一步做什麼都看得到。
• 10:00 NVIDIA 直接和 ComfyUI 團隊合作，為 RTX 顯卡最佳化，光這項合作就讓效能提升最高 40%
  ↳ NVIDIA 直接和 ComfyUI 團隊合作，針對 RTX 顯示卡最佳化，光這項合作就讓效能最多提升 40%。
• 10:00 沒裝過 ComfyUI 的人，說明欄有免費的逐步安裝指南
  ↳ 沒裝過 ComfyUI 也沒關係，說明欄有免費的逐步安裝教學。
• 10:30 設定工作流的方式都一樣：把 JSON 檔拖放進 ComfyUI 介面
  ↳ 每個流程的設定方式都一樣：把作者給的 JSON 檔（存流程設定的文字檔）拖進 ComfyUI 視窗就好。
• 10:30 安裝缺少的 custom nodes：到 manager，點 install missing custom nodes，全選，等安裝完成後重啟 ComfyUI
  ↳ 缺少節點時：打開 manager（管理外掛的選單），點 install missing custom nodes，全選安裝，裝完重開 ComfyUI。
• 10:30 接著下載工作流用到的模型。工作流左側的 note 列有所有模型連結，也寫明模型要放在 ComfyUI 資料夾結構的哪個位置
  ↳ 再來下載流程要用的模型。流程左側的便條列了所有下載連結，也寫明每個檔案該放進 ComfyUI 的哪個資料夾，照著放就好。
• 10:30 作者想只用一張參考圖就完成，所以找兩個角色都入鏡的影格
  ↳ 作者希望只用一張參考圖定住整部片的風格，所以挑了兩個角色同時入鏡的那一格來做。
• 11:03 按 render image 存出 depth pass；回到 compositing 改接另一個輸出，再按一次 render image，把那張也存下來
  ↳ 按 render image 存下深度圖；回到 Compositing 把接線改到另一個輸出，再按一次存下另一張。
• 11:03 在 Flux 2 Client 9B image generation workflow 中，分別匯入渲染圖和 depth map；渲染圖不一定要是 clay shaded（本段字幕到此中斷）
  ↳ 在 Flux 9B 生圖流程裡，把一般算圖和深度圖分別匯入。算圖不一定要是 clay shaded（全灰、像黏土的預覽）。字幕到這裡中斷。

作者用黑白 mask 解決「音訊和 control passes 互相衝突」的問題。mask 裡的黑色區域代表什麼？