算繪的未來 — BCON26

🧑‍🏫 這是 OTOY 執行長 Jules Urbach 在 Blender 年會（BCON26）的演講，內容是算圖技術接下來會往哪裡走。他談到 Octane 和 Render Network 的新進展，以及即時路徑追蹤、Gaussian splat、AI 物理模擬會怎麼改變 3D 製作。最後他用 Star Trek 和 Star Wars 的實際案例，示範這些技術已經做到哪裡。

• 00:00 講者 Jules Urbach 是 OTOY 的 CEO 兼創辦人。OTOY 是電腦圖學公司，並與他創立的 Render Network（去中心化 GPU 運算系統）合作
  ↳ 講者 Jules Urbach 是 OTOY 的執行長兼創辦人，OTOY 是做電腦圖學的公司。他另外創了 Render Network，把分散各地的 GPU（顯示卡運算晶片）串成大家都能用的算圖網路。
• 00:32 OTOY 與 Ton、Francesco 及 Blender 團隊合作數年，持續贊助 Blender
  ↳ OTOY 跟 Blender 創辦人 Ton、Francesco 和整個 Blender 團隊合作了好幾年，也一直出錢贊助 Blender。
• 01:05 OTOY 的內容製作實際使用 Blender，合作的 IP 包括 Star Trek；Warner Bros. 與 Disney 有投資 OTOY
  ↳ OTOY 不只賣工具，自己也用 Blender 做內容，合作的 IP 包括 Star Trek。華納兄弟和迪士尼都投資了 OTOY。
• 01:05 OTOY 的藝術家使用 Blender、MAX、Cinema 4D 等不同軟體，所以工具必須能混搭，他們也把自家 renderer 整合進 Blender 等 DCC
  ↳ DCC 是 Blender、3ds MAX、Cinema 4D 這類 3D 創作軟體的統稱。OTOY 的美術各用各的軟體，所以工具要能混著用，他們也把自家 renderer 裝進這些軟體裡。
• 01:35 Octane 採 out of process 方式執行，Blender 可以 live link 到其他機器或雲端上的 GPU
  ↳ Octane 是 OTOY 的 renderer。out of process 的意思是它不在 Blender 裡面跑，Blender 可以即時連線（live link）到別台電腦或雲端的 GPU 去算，自己的電腦不用很強。
• 01:35 GPU 與主程式分離後，可以把 Blender 當成 Hydra 算繪系統中的 scene delegate 來用
  ↳ Hydra 是一套算繪架構，字幕沒有細講。scene delegate 可以理解成負責提供場景內容的一方。GPU 跟主程式拆開後，Blender 就能在 Hydra 裡扮演這個角色。
• 02:06 Octane 往「超越 PBR」發展，加入 diffraction（繞射）等過去很難做的效果，會在 Octane 2027 推出，以前這類效果只能用假的方式做
  ↳ PBR 是照物理規則模擬光和材質的主流做法。Octane 要做到比它更多，例如繞射（光碰到細紋散成彩虹色，像 CD 背面），預計在 Octane 2027 推出。以前這種效果只能用假的做。
• 02:37 OTOY 正在研究拍一張材質照片就推導出 BRDF 並套用，解決藝術家很難調出精確材質的問題；機器學習正被用到算繪流程的各個環節
  ↳ BRDF 是描述光打到表面後怎麼反射的數學模型。OTOY 在研究拍一張材質照片就自動推出 BRDF，美術就不用慢慢調參數。機器學習也正被用到算圖流程的各個環節。
• 02:37 Render Network 今年大改版並推出新 web portal，Cycles 和 Octane 都能用；新介面可以更精確地管理算繪工作，也能更有效率地同步素材
  ↳ Render Network 今年大改版，推出新的網頁操作介面，Blender 內建的 Cycles 和 Octane 都能用。新版可以更精細地管理算圖工作，同步素材也更有效率。
• 03:13 Render Network 特別適合大尺寸算繪（例如 18K），可以用很低的成本動用上千張 GPU
  ↳ 要算超大尺寸的圖（例如 18K）時特別好用，能用很低的成本同時調動上千張 GPU 一起算。
• 03:43 講者認為 AI 正在衝擊傳統算繪，但傳統算繪流程也同時出現新優勢，其中之一是即時路徑追蹤；Blender 也在導入 DLSS
  ↳ AI 生成正在衝擊傳統算圖，但傳統流程也有新優勢，其中之一是即時 path tracing（模擬光線一路反彈的高品質算法）。Blender 也在導入 DLSS（NVIDIA 用 AI 補畫面細節的技術）。
• 03:43 spectral path tracer 的雜訊很多。Octane 10 年前算繪的 Westworld 片頭，現在用單張 GPU 就能連同 subsurface scattering 全即時跑
  ↳ spectral path tracer 會按光的波長分開算，比較逼真，但畫面顆粒（雜訊）很多。十年前 Octane 算的《Westworld》片頭，現在一張 GPU 就能連 subsurface scattering（光進皮膚再散出的效果）一起即時跑。
• 04:13 neural filtering 結合 DLSS 等技術，畫面幾乎沒有雜訊，只剩些微閃爍。可以當作最終品質的預覽，甚至直接輸出最終畫格
  ↳ neural filtering 是用神經網路清掉雜訊。搭配 DLSS 之後畫面幾乎乾淨，只剩一點閃爍，可以拿來預覽最終品質，甚至直接當成品輸出。
• 04:46 在單張 5090 或 4090 上就能即時看到算繪結果，對藝術家是一大進步
  ↳ 只要一張 RTX 5090 或 4090，就能即時看到算圖結果。美術不用等算完才知道好不好看，對工作流程是很大的進步。
• 04:46 講者認為傳統算繪的優點是控制上的一致性和速度；AI 若要即時處理同等複雜度的場景，需要遠多於一張 GPU
  ↳ 傳統算圖的強項是好控制、每次結果都一樣，而且快。講者認為 AI 要即時做出同樣複雜的場景，需要的 GPU 遠不只一張。
• 05:18 另一個方向是不算繪成 2D 像素，而是算繪成體積或多維資料集。Octane 能直接算繪成 Gaussian splat，且保留光傳遞資訊，可以重新打光、具備材質屬性
  ↳ 另一條路是不輸出平面圖片，而是輸出立體資料。Gaussian splat 是用大量模糊小點組成 3D 場景的方式。Octane 能直接算出 splat，還保留光線資訊，之後能重新打光。
• 05:48 講者認為 Gaussian splat 能在瀏覽器中算繪、普及度高，會比 textures、EXR、deep pixels 更可能成為交換格式
  ↳ EXR 是影視業常用的高品質圖檔格式，deep pixels 是每個像素存多層深度的資料。splat 能直接在瀏覽器顯示、用的人也多，講者認為它比這些更可能成為軟體之間交換素材的共同格式。
• 05:48 AI 用在特定小地方當輔助工具，也能幫助傳統流程。例子是得過 Emmy 獎、專做 Star Trek 3D 建模的藝術家 Mark Bell
  ↳ AI 不一定要包辦全部，放在小地方當幫手也能強化傳統流程。例子是得過 Emmy 獎、專做 Star Trek 3D 模型的美術 Mark Bell。
• 06:20 Mark Bell 原本不太喜歡 AI，但他用 Astra 做出專用工具，自動處理 Star Trek 船艦窗戶的建模與倒角等繁瑣工作，產量因此提升
  ↳ Mark Bell 原本不喜歡 AI，後來用 Astra 做出專用小工具，自動處理星艦窗戶的建模和倒角（把銳利邊角修圓）這類重複苦工，產量因此提高。
• 06:20 講者認為用 AI 補強工作流程中繁瑣的部分、補足 3D 工具（例如 Blender）缺少的功能，會非常強大
  ↳ 講者的重點是：讓 AI 去補繁瑣的步驟，或補上 Blender 等軟體缺的功能，而不是取代美術，這樣最有威力。
• 06:53 world models 分成兩種：一種是完全生成的 Gaussian splat，另一種是逐格生成的即時生成式影片模型
  ↳ world model 是由 AI 生成、可以在裡面移動探索的虛擬世界。它分成兩種：一種直接生成整個 Gaussian splat 場景，另一種是即時一格一格生成畫面的影片模型。
• 06:53 講者把已不存在的 Downtown LA Standard 的攝影測量照片餵給 Genie 3，效果不差，但只有 720p、延遲 200 ms，而且無法重新打光
  ↳ 講者用 photogrammetry（多角度拍照重建 3D）拍下已經不存在的洛杉磯 Standard 飯店，把照片餵給 Genie 3。效果還行，但只有 720p、延遲 200 毫秒，也不能重新打光。
• 07:23 用 Marble 把照片轉成 splat（原理類似開源工具，都是用多角度影像建 splat），再載入 Octane，體驗更好，控制權也更多
  ↳ 改用 Marble 把照片轉成 splat，再載入 Octane，體驗更好，能控制的東西也更多。Marble 的原理跟開源工具類似，都是用多角度影像建 splat。
• 07:23 world model 的好處是：如果一切都在 latent space、都能由 AI 控制，彈性會大很多
  ↳ latent space 是 AI 內部用來表示內容的抽象空間。講者認為，如果整個世界都存在裡面、全部能由 AI 操控，要改東西、做變化的彈性會大很多。
• 07:53 Octane 能讓沒有材質屬性的 splat 也被照亮、投射陰影；Blender 的 splat 支援正在進入 Cycles，講者認為 splat 會像 VDB 一樣成為一級素材
  ↳ VDB 是存煙霧、雲這類體積資料的常用格式。Octane 能讓沒有材質資訊的 splat 也被照亮、投出陰影。Blender 的 Cycles 也在加入 splat 支援，講者預期 splat 會像 VDB 一樣成為正式素材。
• 07:53 Tencent 的開源逐格 world model 比 Genie 保留更多「世界記憶」，講者最感興趣的是其中的水、反射和場景動態
  ↳ 騰訊的開源逐格 world model 比 Genie 更能記住整個世界的狀態。講者最感興趣的是它處理水、反射和場景動態的表現。
• 08:25 講者認為機器學習適合處理雜亂、模糊的物理現象。例子是 Adobe 研究把 WAN 加速到即時，倒茶全部由神經物理模擬處理
  ↳ 水、煙這類亂又難精算的物理現象，講者認為很適合交給機器學習。例子是 Adobe 的研究把 WAN 影片模型加速到即時，倒茶畫面全部由神經網路模擬物理。
• 08:25 原本要花數小時到數天的 Navier-Stokes 模擬，現在可以即時完成；未來若能投射成 3D 幾何或 VDB，對 VFX 會是很大的加速
  ↳ Navier-Stokes 是描述流體運動的方程式，照它精算可能要幾小時到幾天，現在能即時算完。未來如果能轉成 3D 模型或 VDB，特效製作會快很多。
• 09:00 DeepSeek 的開源模型能即時做 2D 物理模擬，例如材質融化、水、水花；同樣效果在 Houdini 或 Blender 裡可能要很久
  ↳ DeepSeek 的開源模型能即時做 2D 物理模擬，像材質融化、水、水花。同樣的效果在特效軟體 Houdini 或 Blender 裡可能要算很久。
• 09:32 講者強調藝術家需要的是互動性，不是打 prompt；目標是用 ML 做物理模擬，再轉回 3D 表示帶進 Blender
  ↳ 美術要的是能直接動手調、馬上看到反應，而不是打文字 prompt 碰運氣。講者的目標是用 ML 算物理，再轉回 3D 格式帶進 Blender 繼續做。
• 09:32 講者坦承目前還沒做到，結果也不一定精確，但物理效果只要「看起來對」就很有用
  ↳ 講者也承認目前還沒做到，結果也不一定符合真實物理。但特效多半只要看起來對、觀眾相信，就已經很有用。
• 10:02 OTOY 在製作上主攻 inverse rendering，目標不只是生成單一 splat，而是建構整個場景
  ↳ inverse rendering 是反過來做：從現成的影像或真實世界推回 3D 場景。OTOY 在製作上主攻這一塊，目標是重建整個場景，而不只是做出一個 splat。
• 10:02 OTOY Studio 是一個服務，能生成 splat、從影像生成、補洞，並在 3D 或 4D 做 inpainting／outpainting，也支援完整動態
  ↳ OTOY Studio 是一項服務，能生成 splat、從圖片生成、補破洞，並在 3D 或 4D（多了時間）裡做 inpainting（補內部缺塊）和 outpainting（往外延伸），也支援完整動態。
• 10:35 案例：藝術家用 OTOY Studio 製作 Star Wars YouTube 影片《Beggar's Canyon》。原本很多鏡頭已經 bake 死，想重做很困難
  ↳ 案例是用 OTOY Studio 做的 Star Wars 主題 YouTube 影片《Beggar's Canyon》。原本很多鏡頭已經算成固定畫面（bake 死），想修改就得整個重做，很困難。
• 11:09 這支約 13 分鐘的影片在 OTOY Studio 中變成 8D 素材載入 Blender：可從任意角度看、依時間播放、含光照資訊，還能拆開各部件像一般 3D 素材一樣編輯
  ↳ 這支約 13 分鐘的影片被 OTOY Studio 轉成 8D 素材放進 Blender。它能從任何角度看、隨時間播放、帶光照資訊，還能拆開各部件，像一般 3D 模型一樣編輯。
• 11:45 這類素材可以搭配 Compositor、Path Tracer，也能接上布料、角色動畫等生成式流程，兼顧可控性與效率
  ↳ 這種素材能接 Compositor（合成工具）和 Path Tracer，也能接布料、角色動畫等生成式流程，同時兼顧細部控制和製作效率。
• 11:45 同一素材在筆電上的 Octane standalone 中就能 path trace、做景深，重新打光幾乎是即時，而且這還是在加入前述即時功能之前
  ↳ 同一份素材在筆電的 Octane 獨立版裡就能 path trace、做景深（前後景模糊），重新打光幾乎即時。而且這還是在加入前面那些即時功能之前的表現。
• 12:15 在 Blender 內可以控制場景所有部件與燈光，不一定要用 Octane 算繪，素材從硬碟串流也很快；目前仍是早期原型
  ↳ 在 Blender 裡能控制場景的每個部件和燈光，不一定要用 Octane 算，素材從硬碟串流讀取也很快。不過這目前還是早期原型。
• 12:15 講者認為未來流程的重點是：沒有 3D 資料的已算繪內容，也能重建、重新打光或重新整合
  ↳ 講者認為未來流程的重點是：手上只有算好的影片、沒有原始 3D 檔，也能重建、重新打光，或重新組進新作品。
• 12:51 演進方向是從 3DGS 加上時間變成 4DGS，再加入重新打光與光傳遞的維度；任何 CG 效果都適用於 8D 素材，OTOY 也已用在自家製作
  ↳ 3DGS 是 3D 的 Gaussian splat，加上時間就成了 4DGS，再加入打光和光線傳遞資訊就是 8D。各種 CG 效果都能套在 8D 素材上，OTOY 自己的作品已經在用。
• 13:24 可以對 splat 或 8D splat 裡的素材重新套用材質、加上動態，講者說相關工具每個月都在變強
  ↳ splat 或 8D splat 裡的物件也能換材質、加上動作。講者說這類工具每個月都在變強。
• 13:24 OTOY 會在 AR wall 或綠幕前拍演員。機器學習讓頭髮、matting 這類過去很難的合成變得可行
  ↳ AR wall 是顯示虛擬背景的大型螢幕牆，OTOY 會在它或綠幕前拍演員。matting 是把人從背景精準摳出來，頭髮尤其難做，機器學習讓這件事變得可行。
• 13:54 一個曾因頭髮合成做不完而放棄的場景，結合演員掃描與 Beebop VFX 的 SwitchX 模型後完成：真人像素被重新打光、帶有 normals，水面也有完美反射，全是 neural rendering
  ↳ 有個鏡頭曾因頭髮合成做不完而放棄，後來靠演員掃描加上 Beebop VFX 的 SwitchX 模型完成。真人能重新打光、帶表面方向資訊（normals），水面反射也完美，全是 neural rendering（用神經網路生成畫面）。
• 15:00 講者的夥伴 Rod Roddenberry 的父親創造了 Star Trek。OTOY 多年來以短片保存 Star Trek，其中一支兩年前推出，獲得 4,000 萬次觀看
  ↳ 講者的夥伴 Rod Roddenberry 的父親是 Star Trek 的創作者。OTOY 多年來用短片保存 Star Trek，其中一支兩年前推出，有 4,000 萬次觀看。
• 15:00 配合 Star Trek 60 週年，接下來幾個月會推出更多作品；上一部作品與 Nimoy Estate、Bill Shatner 合作，找了兩位演員飾演 Kirk 和 Spock
  ↳ 為了 Star Trek 60 週年，接下來幾個月還會推出更多作品。上一部是和 Nimoy 遺產管理方、William Shatner 合作，找了兩位演員來演 Kirk 和 Spock。
• 15:30 秋季將推出 Star Trek 數位典藏，涵蓋 60 年來所有電影與影集；可在網頁瀏覽器載入 3D 素材，探索並操作場景與船艦（角色除外）
  ↳ 秋天會推出 Star Trek 數位典藏，涵蓋 60 年來所有電影和影集。用網頁瀏覽器就能載入 3D 素材，探索、操作場景和星艦，但不包含角色。
• 16:00 講者認為 Star Trek 的設計講求合理、不像 Star Wars 偏奇幻；建模時略有調整，因為拍攝布景稍大，但最後都放得進去
  ↳ 講者覺得 Star Trek 的設計講究合理，不像 Star Wars 偏奇幻。當年的拍攝布景比設定稍大，建模時做了一點調整，但最後都放得進船體。
• 16:33 核心工作是把 Enterprise 號的每層甲板、每個房間與角落完整建出，涵蓋它 40 年歷史中各季與電影的變化
  ↳ 核心工作是把企業號每一層甲板、每個房間和角落完整建出來，還要涵蓋它 40 年歷史中各季和各部電影的改動。
• 17:36 講者結語：靠 GPU 的算力，這類內容越來越能在單張 GPU 上即時執行，本機或遠端都可以
  ↳ 講者結語：GPU 算力不斷提升，這類內容越來越能在一張 GPU 上即時執行，放在自己電腦或遠端雲端都可以。

講者用 Genie 3 從攝影測量照片生成 world model，他指出的缺點是什麼？