獨立遊戲開發者的完整 AI 3D 工作流(2026)(第 2/2 段)


🏦 台灣Pay 銀行轉帳 💙 PayPal
盤點 AI 在貼圖、動畫、遊戲引擎、VFX 與音效上的現況與建議工作流
- 11:08 作者能用 AI 生成可無縫拼接(tileable)的 patchwork 貼圖
- 16:28 這套 MCP 開源、可接任何 AI、提供超過 300 個工具,優化很好,作者認為能幫你省錢
- 21:35 遊戲開發也一樣,了解特定遊戲引擎的運作方式,迭代會更快
💡 你可以怎麼用:想用 AI 做小遊戲的話,可以照作者的組合開始:選 Unity 或 Godot,接上開源 MCP,再用 Claude Code 這類 agent,把參考圖和說明集中放在專案資料夾。動手前先問 AI「這通常怎麼做」,同時學一點 Blender,AI 做壞的地方才修得回來。
看全部 58 條重點
🧑🏫 這段是整支影片的後半,作者逐一檢查 AI 在貼圖、動畫、遊戲引擎、特效和音效上現在做得到什麼、還做不到什麼,並給出他實測後建議的工具組合。想用 AI 做獨立遊戲的人看完,可以知道哪些環節能放心交給 AI、哪些還得靠自己。
- 11:08 作者能用 AI 生成可無縫拼接(tileable)的 patchwork 貼圖↳ tileable 指貼圖上下左右接起來看不出接縫,可以一直重複鋪滿。作者說 AI 已經能生成這種拼布風(patchwork)的貼圖,適合用來鋪地板或牆面。
- 11:08 水這類動態資產行不通:它不是環境或道具,比較像 game entity,有時還牽涉邏輯或粒子系統↳ 水會流動,也會跟玩家互動,不是擺著不動的場景或道具。它比較像遊戲裡有行為的 game entity(遊戲實體),可能要寫邏輯,或用 particle system(用大量小點模擬水花、煙霧的系統)。這類東西 AI 目前做不好。
- 11:08 大多數資產 AI 都能解決,所以現在到處看得到 AI 做的貼圖和物件↳ 靜態的貼圖和物件,AI 大多做得出來。所以你現在到處看到的遊戲素材,很多其實是 AI 生成的。
- 11:40 懂一點 Blender(擺放、組合物件、稍微改形狀),就能做出任何環境和物件↳ 意思是不用從頭建模。只要會在 Blender 裡把 AI 生成的物件擺好、拼起來、稍微捏一下形狀,就能組出你要的任何場景和道具。
- 11:40 也能加入開門、開窗等邏輯,之後在遊戲引擎裡靠 AI 幫忙寫腳本↳ 物件除了外觀,還能加上「會動的規則」,例如門可以打開。這些行為之後到遊戲引擎裡,可以請 AI 幫你寫腳本(控制行為的程式)。
- 12:11 動畫不只有角色動畫。角色動畫的方案有 Kinemo、MotionBricks、ARDI,其中做烘焙動畫最實用的仍是 Kinemo↳ 會動的不只有角色。角色動畫目前有 Kinemo、MotionBricks、ARDI 等方案。要做 baked animation(事先算好、存成固定畫格的動畫),作者最推薦 Kinemo。
- 12:11 作者找到一個 Blender 外掛,裝進 Blender 後就能直接做動畫↳ 作者找到一個 Blender 外掛(替軟體加功能的小程式)。裝好之後不必切換到別的軟體,在 Blender 裡就能直接做動畫。
- 12:11 Kinemo 可以寫 prompt 產生動作,並搭配 constraint 使用↳ 在 Kinemo 裡,你可以用文字描述想要的動作,讓它產生出來。再加上 constraint(限制條件,例如腳必須踩在某個位置),結果會更好控制。
- 12:44 可以設定骨架(armature/skeleton)的起始姿勢和結束姿勢,由它產生中間的過渡↳ armature/skeleton 是藏在角色裡的骨架,拉動骨頭,角色就跟著動。你只要擺好開頭和結尾兩個姿勢,中間的動作由它自動補上。
- 12:44 產生的動畫可以匯出到 Unity、Unreal Engine 等引擎↳ 做好的動畫不會被困在 Blender 裡,可以帶進 Unity、Unreal Engine 這些遊戲引擎(用來做遊戲的主程式)繼續使用。
- 12:44 業界正走向 MotionBrick 這類 AI motion system,直接在引擎內預測動作;Nvidia ARDI 也證實這個方向↳ AI motion system 是在遊戲執行當下,由 AI 即時判斷角色下一步怎麼動,而不是播放事先做好的動畫。MotionBrick 和 Nvidia ARDI 都往這個方向走。
- 12:44 這類系統仍在很早期、限制很多。MotionBrick 承諾過的 primitives 互動到現在還沒釋出↳ 不過這類系統還很新,能做的事有限。例如 MotionBrick 說過角色能跟 primitives(方塊、球這類基本幾何物件)互動,到現在都還沒推出。
- 13:15 這類系統很吃記憶體,因為所有計算都在使用者裝置上進行↳ 動作是在玩家自己的電腦或主機上即時計算的,所以非常吃記憶體,硬體比較弱的裝置可能跑不動。
- 13:15 車子、動物等其他動態資產比較複雜,多半需要 custom rig↳ 車子、動物的構造跟人不一樣,沒有現成骨架可以套,多半要做 custom rig(專門為它設計的骨架和控制方式)。替模型裝骨架的過程就叫 rigging。
- 13:15 近期論文 Skin Tokens 已經出現在一些平台上,可替任何種類的動物 rigging,而且開源↳ Skin Tokens 是一篇近期論文提出的技術,已經能在一些平台上使用。它可以替各種動物綁骨架,而且開源,也就是程式公開、可以免費使用。
- 13:47 Skin Tokens 很有意思,但還很粗糙↳ 作者覺得這個方向很有意思,但目前做出來的品質還很粗糙,不能期待直接拿來正式製作。
- 13:47 付費方案有 Cascadeur,作者形容它像是更專業版的 Kinemo↳ 如果願意付費,可以考慮 Cascadeur。作者形容它像是功能更專業、更完整的 Kinemo。
- 13:47 作者看過最驚艷的是 Unreal Engine 5.4 markerless motion capture,搭配 MetaHumans 更新可做自訂角色↳ motion capture(動作捕捉)是把真人的動作記錄下來,套到角色身上;markerless 表示不用穿貼滿標記點的衣服。UE 5.4 這個功能搭配 MetaHumans 更新,也能用在自訂角色上。
- 13:47 丟入任何影片就能追蹤動畫並套到角色上。這功能免費,效果比付費的 QuickMagic 好↳ 只要丟一段影片進去,它就能抓出裡面的動作,套到你的角色上。這功能免費,作者覺得效果比付費的 QuickMagic 還好。
- 14:22 QuickMagic 以前以 AI mocap 動畫聞名。它可能比較通用,而 Unreal Engine 的動畫較難匯出到外部↳ mocap 就是動作捕捉的簡稱。QuickMagic 做出的動畫比較容易拿到其他軟體使用;Unreal 效果好,但動畫不太容易帶出 Unreal。要選哪個,看你用什麼引擎。
- 14:22 角色動畫總結:已有 Kinemo 這類強大工具,綁骨可用 AccuRig、Mixamo↳ 角色動畫的部分,已經有 Kinemo 這種好用的工具。替角色裝骨架(綁骨)可以用 AccuRig 或 Mixamo。
- 14:22 懂得修 weights、處理動畫問題仍然非常有價值,會大幅幫到你↳ weights(權重)決定每根骨頭帶動模型表面的哪些部分、帶動多少。AI 做出來的動畫常有關節扭曲之類的問題,會自己修的人,效率差很多。
- 14:54 動物和其他需要動畫的道具,目前幾乎沒有解法↳ 人形角色的工具很多,但動物,或需要動起來的道具,目前幾乎沒有好用的解決方案。
- 14:54 用 Claude Opus 5 做 rig 和動畫的實驗非常粗糙,多半無法照預期用在正式製作↳ 作者試著讓 Claude Opus 5 直接做骨架和動畫,結果很粗糙,大多沒辦法用在正式的遊戲製作。
- 14:54 不過設定正確的話,Claude Opus 5 能在遊戲邏輯上幫很大的忙↳ 換成寫遊戲邏輯(規則、互動這類程式)就不一樣了。只要事先把環境設定好,Claude Opus 5 能幫上很大的忙。
- 14:54 進入遊戲邏輯、引擎、MCP 章節:作者近期做了很多測試,認為進步驚人↳ MCP 是讓 AI 能直接操作其他軟體的連接方式,這裡指讓 AI 接上遊戲引擎。作者最近做了很多測試,覺得進步非常大。
- 15:26 特別是 code-first 引擎搭配正確設定時。作者認為用 agentic AI 時,Unity 或 Godot 比 Unreal Engine 好用得多↳ code-first 引擎是指大部分東西都能用程式碼控制的引擎。agentic AI 是會自己規劃並執行多步驟任務的 AI。作者覺得搭配這種 AI 時,Unity、Godot 比 Unreal 順手。
- 15:26 Unreal Engine 在 5.8 版推出原生 MCP↳ Unreal Engine 從 5.8 版開始內建 MCP,不用另外找第三方工具,就能讓 AI 接上引擎。
- 15:26 Unity 最近推出 CLI,讓 agent 能直接執行程式碼,而且是 run time↳ CLI(命令列介面)是用打指令、而不是點按鈕來操作軟體。Unity 推出 CLI 之後,AI agent 能在遊戲執行中(run time)直接跑程式碼。
- 15:56 Godot 對 agentic AI 非常友善。作者頻道有各引擎的測試結果與瓶頸分析↳ Godot 的設計很適合讓 AI 自己操作。各引擎的實測結果和卡關的地方,作者在頻道上另外有影片分析。
- 15:56 本片使用 Unity。作者最近更喜歡 Unity,因為程式碼相關的東西運作得好很多↳ 這支影片示範用的是 Unity。作者最近比較喜歡它,因為讓 AI 寫程式、跑程式時,Unity 穩定很多。
- 15:56 作者測試了社群成員開發的 Anklebreaker Studio Unity MCP↳ 作者試用的是一位社群成員開發的 Unity MCP,名稱是 Anklebreaker Studio Unity MCP。
- 16:28 這套 MCP 開源、可接任何 AI、提供超過 300 個工具,優化很好,作者認為能幫你省錢↳ 它開源、可以接任何 AI,內建 300 多個操作工具,而且優化得好。作者認為 AI 做事比較少繞路,用量費用也能省下來。
- 16:28 安裝 MCP 很簡單。作者 30 分鐘內就建好環境並做出一段 cinematic↳ 安裝並不難。作者半小時內就把環境架好,還做出一段 cinematic(遊戲裡像電影的過場動畫)。
- 16:28 整段遊戲內 cinematic 由 Claude 導演,鏡頭跟隨角色的方式讓作者聯想到 Resident Evil,全部由 AI 完成↳ 整段過場的鏡頭怎麼拍、怎麼跟著角色走,都是 Claude 決定的,拍法讓作者聯想到《惡靈古堡》。整段全由 AI 完成。
- 16:58 引擎總結第一點:先研究設定。爛的 MCP 或付費方案多半效果很差,還會限制你↳ 動手之前,先花時間研究要用哪套設定。品質差的 MCP 或付費方案,多半效果很差,還會限制你能做的事。
- 16:58 作者測試結果:用自己的 agent(例如 raw Claude code 或 GPT image)搭配開源 MCP,效果最好↳ 作者測下來,效果最好的組合是:用你自己的 AI agent(例如直接用 Claude Code 或 GPT),搭配開源的 MCP。
- 17:29 再搭配 Unity 或 Godot 這類 code-first 引擎。Unreal Engine 也完全可行,也能改用程式碼的方式工作↳ 引擎再選 Unity、Godot 這種以程式碼為主的。Unreal 也完全可行,你一樣可以改用寫程式的方式讓 AI 參與。
- 17:29 初學者用 Unity 一定比較容易;有經驗的遊戲開發者可以選任何引擎↳ 新手選 Unity 最容易上手。有經驗的遊戲開發者,選哪個引擎都可以。
- 17:29 遊戲開發經驗會讓 AI agent 的效率倍增。3D 也一樣,專業 3D 藝術家從 AI 受益更多,因為能快很多↳ 本來就懂遊戲開發的人,用 AI agent 的效率會翻倍。3D 也一樣,專業 3D 美術從 AI 得到的好處更多,因為速度能快上很多。
- 18:01 知道該問什麼、怎麼引導 AI,就能更快達成目標,麻煩也更少↳ 懂行的人知道該問什麼、怎麼一步步引導 AI,能更快做到想要的結果,也少很多麻煩。
- 18:01 模型已經極有能力。開源的 QwQ 3 處理 Unity 的表現讓作者很驚訝,他是用最近的 Unity CLI 測試的↳ 現在的模型已經非常強。作者透過最近推出的 Unity CLI 測試,連開源的 QwQ 3 操作 Unity 的表現都讓他很驚訝。
- 18:01 VFX、音效、粒子系統等,比較屬於 agentic coding,而不是 3D 相關的工作↳ VFX(視覺特效)、音效、粒子系統,主要是寫程式的工作,適合交給 AI 寫程式來完成,跟建 3D 模型比較沒有關係。
- 18:31 深入到 AAA 遊戲時,才會需要考慮 Houdini、複雜動畫烘焙等;小型遊戲的 VFX 都可以用程式碼做↳ 只有做到 AAA(大公司高預算的大作)等級,才需要考慮 Houdini(專業特效軟體)或複雜的動畫烘焙。小遊戲的特效,用程式碼就能做。
- 18:31 作者在 Godot 做了一款小遊戲,請 Claude 做冰凍、火焰等全部特效,Claude 3.5 做得非常好↳ 作者在 Godot 做了一款小遊戲,冰凍、火焰等特效全部交給 Claude 做,Claude 3.5 做得非常好。
- 19:03 用最新的 Unreal Engine MCP,Claude 可以存取 Niagara。作者自己測過也看過別人測試,確實可行↳ Niagara 是 Unreal 內建的特效系統。透過最新的 Unreal MCP,Claude 能直接操作它。作者自己測過,也看過別人測試,確實可行。
- 19:03 Claude 能先打好穩固的基礎,你再進節點調整參數直到完美↳ 分工方式是:Claude 先把特效的基礎打好,你再進 Niagara 的節點(一格格連起來的設定方塊)微調參數,直到滿意為止。
- 19:03 在 Unity、Godot 用程式碼處理 VFX 非常直接↳ 在 Unity、Godot 裡,特效本來就能用程式碼寫,交給 AI 處理非常直接。
- 19:03 給 agent 生圖能力來產生 sprites,再給它正確的 MCP,就能完成 VFX↳ sprites 是 2D 小圖片,特效常用它們當火花、煙霧的素材。讓 AI 有生圖能力,自己產出 sprites,再接上合適的 MCP,它就能把特效做完。
- 20:00 音效同理,作者用同一款 Godot 遊戲測試↳ 音效也用同樣的做法。作者拿同一款 Godot 小遊戲來測試。
- 20:00 作者沒讓 Fable 5 自己做音樂,而是給它 API key 串接各種 AI 音樂/音效生成器,讓它自己判斷最佳模型↳ API key 是讓程式使用某個線上服務的通行碼。作者沒讓 Fable 5 自己作曲,而是給它多家音樂、音效生成服務的 key,讓它自己判斷哪個模型最適合。
- 20:00 產出大量音效,第一次不理想,第二次就很合適。背景音樂和遊戲的契合度特別讓作者驚訝↳ 它一次產出大量音效,第一輪不理想,第二輪就很合用。背景音樂跟遊戲氣氛特別搭,讓作者很驚訝。
- 20:32 把 AI agent 跟遊戲和各種 API 串起來,百分之百合理,也能幫忙處理各式任務↳ 把 AI agent 同時接上你的遊戲和各種線上服務,完全行得通,很多雜事都能交給它處理。
- 20:32 最重要的是把所有 context 放在同一處,每次迭代都會更容易↳ context 是 AI 做事需要知道的背景資料。全部集中放在同一個地方,AI 每一輪修改都更容易接續,你也不用每次重講一遍。
- 20:32 把圖片、文字等 context 全放在專案資料夾裡。Claude 和 GPT 現在會自動建立 memory files,能大幅加速↳ 參考圖、說明文字都放進專案資料夾。Claude 和 GPT 現在會自動建立 memory files(記錄專案重點的檔案),下次接手時會快很多。
- 21:03 建議打好基礎 3D 知識,例如學一點 Blender,才能輕鬆處理任何 AI 生成的結果↳ 建議學一點 3D 基礎,例如 Blender。這樣 AI 生成的東西有問題時,你能自己動手調整。
- 21:35 遊戲開發也一樣,了解特定遊戲引擎的運作方式,迭代會更快↳ 遊戲開發也是一樣。搞懂你用的引擎怎麼運作,每次修改、測試都會更快。
- 21:35 不只告訴 AI 你要做什麼,也要問它:通常怎麼做?最佳實務是什麼?這個挑戰該怎麼處理?↳ 不要只對 AI 下指令,也要反過來問它:這件事通常怎麼做?最佳實務是什麼?這個難題該怎麼處理?讓它先把一般做法告訴你。
📘 術語
tileable(可無縫拼接):作者提到能生成 tileable 的 patchwork 貼圖
dynamic assets(動態資產):例如水,不算環境或道具,比較像 game entity,可能牽涉邏輯或粒子系統
game entity(遊戲實體):用來形容水這類資產,不是道具,會牽涉邏輯
particle system(粒子系統):動態資產有時會牽涉到;作者認為它比較屬於 agentic coding
baked animation(烘焙動畫):作者認為做這類動畫最實用的仍是 Kinemo
constraint(約束):Kinemo 可用 prompt 產生動作並結合 constraint
armature / skeleton(骨架):可設定它的起始與結束姿勢,讓 Kinemo 產生過渡動畫
AI motion system(AI 動作系統):如 MotionBrick,直接在引擎內預測動作;計算在使用者裝置上,很吃記憶體
primitives(基本幾何體):MotionBrick 承諾能與它們互動,但尚未釋出
custom rig / rigging(自訂綁骨/綁骨):車、動物等動態資產多半需要;Skin Tokens 可替各種動物綁骨
weights(權重):作者說懂得修 weights、處理動畫問題仍很有價值
markerless motion capture(無標記動作捕捉):Unreal Engine 5.4 功能,丟入任何影片即可追蹤動畫並套到角色
mocap(動作捕捉):QuickMagic 以 AI mocap 動畫聞名
MCP(MCP):讓 AI 連接引擎的工具,例如 Unreal Engine 5.8 原生 MCP、Anklebreaker Studio Unity MCP
CLI(命令列介面):Unity 最近推出,讓 agent 能在 run time 直接執行程式碼
code-first engine(以程式碼為主的引擎):如 Unity、Godot,作者認為搭配 agentic AI 效果最好
agentic AI / agentic coding(代理式 AI/代理式寫程式):作者認為 VFX、音效、粒子系統比較屬於 agentic coding
cinematic(過場動畫):作者用 Claude 在 30 分鐘內導演一段遊戲內 cinematic
VFX(視覺特效):如冰凍、火焰;小型遊戲可用程式碼完成
Niagara(Niagara):Unreal Engine 裡的系統,Claude 可透過最新 MCP 存取,再由你進節點調參數
sprites(精靈圖):給 agent 生圖能力就能產生,用於 VFX
API key(API 金鑰):作者提供給 agent,讓它自選 AI 音樂/音效生成模型
memory files(記憶檔):Claude 和 GPT 現在會自動建立,能大幅加速迭代
dynamic assets(動態資產):例如水,不算環境或道具,比較像 game entity,可能牽涉邏輯或粒子系統
game entity(遊戲實體):用來形容水這類資產,不是道具,會牽涉邏輯
particle system(粒子系統):動態資產有時會牽涉到;作者認為它比較屬於 agentic coding
baked animation(烘焙動畫):作者認為做這類動畫最實用的仍是 Kinemo
constraint(約束):Kinemo 可用 prompt 產生動作並結合 constraint
armature / skeleton(骨架):可設定它的起始與結束姿勢,讓 Kinemo 產生過渡動畫
AI motion system(AI 動作系統):如 MotionBrick,直接在引擎內預測動作;計算在使用者裝置上,很吃記憶體
primitives(基本幾何體):MotionBrick 承諾能與它們互動,但尚未釋出
custom rig / rigging(自訂綁骨/綁骨):車、動物等動態資產多半需要;Skin Tokens 可替各種動物綁骨
weights(權重):作者說懂得修 weights、處理動畫問題仍很有價值
markerless motion capture(無標記動作捕捉):Unreal Engine 5.4 功能,丟入任何影片即可追蹤動畫並套到角色
mocap(動作捕捉):QuickMagic 以 AI mocap 動畫聞名
MCP(MCP):讓 AI 連接引擎的工具,例如 Unreal Engine 5.8 原生 MCP、Anklebreaker Studio Unity MCP
CLI(命令列介面):Unity 最近推出,讓 agent 能在 run time 直接執行程式碼
code-first engine(以程式碼為主的引擎):如 Unity、Godot,作者認為搭配 agentic AI 效果最好
agentic AI / agentic coding(代理式 AI/代理式寫程式):作者認為 VFX、音效、粒子系統比較屬於 agentic coding
cinematic(過場動畫):作者用 Claude 在 30 分鐘內導演一段遊戲內 cinematic
VFX(視覺特效):如冰凍、火焰;小型遊戲可用程式碼完成
Niagara(Niagara):Unreal Engine 裡的系統,Claude 可透過最新 MCP 存取,再由你進節點調參數
sprites(精靈圖):給 agent 生圖能力就能產生,用於 VFX
API key(API 金鑰):作者提供給 agent,讓它自選 AI 音樂/音效生成模型
memory files(記憶檔):Claude 和 GPT 現在會自動建立,能大幅加速迭代
✏️ 小考一題
根據影片,Unreal Engine 在哪個版本推出了原生 MCP?
A. 5.4B. 5.6C. 5.8D. 5.5看答案
答案:C。[15:26] 作者說 Unreal Engine released native MCP with version 5.8;5.4 是影片中提到 markerless motion capture 的版本(13:47)
💛 覺得有幫助?支持一下


課本免費、沒有廣告,支持與否都能照常讀 🐰