圖片轉 3D 輕鬆上手：在 ComfyUI 中使用 Trellis 2 + Pixal3D（第 33 集） ☕ Buy me a coffee

🧑‍🏫 這支教你在 ComfyUI（一個把 AI 功能做成一格格方塊、用線串起來執行的免費工具，每一格方塊叫 node）裡，把一張平面圖變成 3D 模型，再用 3D 模型讓 AI 快速產生成品圖。不會 3D 建模的人，也能從一張圖拿到可旋轉、可匯出的 3D 物件，還能自由擺角度出圖。作者實測了 6GB 和 24GB 兩種顯卡，告訴你哪個流程划算、哪個別碰。

• 00:00 本集示範兩種工作流：用 Trellis 2 與 Pixel 3D 把平面圖片轉成 3D 模型，再把模型做成快速算圖，不需要完整的 3D 軟體
  ↳ 本集教兩件事：用 Trellis 2 和 Pixel 3D（兩種把圖片轉成 3D 的 AI 模型）把平面圖做成 3D 模型，再拿模型讓 AI 算出成品圖，不必開專業 3D 軟體。
• 00:00 作者的 Pixroma nodes 在 manager 裡停在舊版本。有 Easy Install 的人執行一個檔案，就能同時更新 Easy Install 與 Pixroma nodes
  ↳ 作者自製的功能方塊 Pixroma nodes，在 manager（ComfyUI 裡安裝擴充的管理頁）只抓得到舊版。用他的一鍵安裝包 Easy Install 的人，執行一個檔就能兩個一起更新。
• 00:31 ComfyUI 本身也要更新，因為這些 3D 工作流需要很多新的 ComfyUI nodes；看到「Press any key to exit」就代表更新完成
  ↳ ComfyUI 主程式也要更新，因為這些 3D 流程用到很多新加入的方塊，舊版沒有。更新視窗出現「Press any key to exit」，就代表跑完了。
• 00:31 manager 的 registry 顯示的是約兩週前的版本，但錄影當時最新版是幾天前才出的，所以 manager 顯示的版本並非最新
  ↳ manager 讀的是 registry（擴充的登記清單），上面寫的是兩週前的版本，但作者幾天前已經出了新版。所以別把 manager 顯示的版本當成最新。
• 01:03 原因是某個自動掃描器加入新的檢查，很多 nodes 因此卡住，開發者只好申請人工審查。被標記不一定代表 node 有問題
  ↳ 落後的原因是登記清單加了新的自動掃描，很多方塊被卡住，開發者只能申請人工審查。所以方塊被標記，不代表它真的有問題。
• 01:03 例子：掃描器不接受作者的 save video node 能選 ComfyUI 以外的資料夾存影片，以及其他讓 nodes 更好用的功能
  ↳ 舉例：作者的存影片方塊能把影片存到 ComfyUI 以外的資料夾，掃描器就不放行。其他一些讓方塊更好用的功能，也因此被擋。
• 01:38 手動更新方法：進入 ComfyUI → custom nodes → ComfyUI Pixroma 資料夾，在網址列輸入 cmd 按 Enter 開啟命令提示字元
  ↳ 手動更新：用檔案總管進到 ComfyUI → custom nodes（放外掛方塊的資料夾）→ ComfyUI Pixroma，在網址列打 cmd 按 Enter，就會在這裡開出輸入指令的黑視窗。
• 01:38 在命令提示字元輸入 git pull 並按 Enter，就能更新到最新版；manager 目前落後好幾個版本
  ↳ 在黑視窗輸入 git pull 按 Enter。git pull 的作用是從網路抓作者最新的程式碼更新進來，這樣你拿到的版本就比 manager 新好幾版。
• 02:12 作者現在都用 kitchen attention 啟動 ComfyUI。沒有 Easy Install 的話，可以在啟動用的 bat 檔加入參數來開啟，工作流裡不需要額外的 nodes
  ↳ 作者啟動 ComfyUI 時都會開 kitchen attention 這個選項（影片沒細講作用）。沒裝 Easy Install 的人，在啟動用的 bat 檔（雙擊就執行的指令檔）加參數就能開，流程不用改。
• 02:12 作者加了 version check node 顯示他使用的 ComfyUI 與 Pixroma nodes 版本，你的版本要相同或更新，才能順利執行他的工作流
  ↳ 作者在流程裡放了 version check node，會顯示他當時用的 ComfyUI 和 Pixroma 版本。你的版本要一樣或更新，否則可能缺方塊而跑不動。
• 02:44 作者免費提供 6 個工作流。第一個是他最愛的 Trellis 2：以前安裝需要各種特殊 dependencies，現在 ComfyUI 已經預設支援
  ↳ 作者免費提供 6 個 workflow（已經接好線、拿來就能跑的整套方塊配置）。第一個是 Trellis 2，以前要另外裝一堆特殊套件，現在 ComfyUI 已經內建支援。
• 02:44 工作流左側的 note 會列出執行所需的東西。先下載 Trellis model，並在 diffusion 資料夾裡建立 3D 資料夾，方便整理
  ↳ 每個流程左邊有 note（便條說明），列出需要準備的東西。先下載 Trellis 模型，並在 diffusion 資料夾裡自己開一個 3D 子資料夾來放，之後比較好找。
• 03:20 這個工作流在作者的 6GB VRAM 顯卡上也能跑
  ↳ 這個流程在作者只有 6GB VRAM（顯示卡記憶體，越大越能跑大模型、速度也越快）的顯卡上也跑得動，門檻不高。
• 03:20 所需模型：clip vision model、兩個 VAE（一個負責 shape、一個負責 texture），以及 remove background 模型，讓模型更清楚看到要轉成 3D 的物體
  ↳ 還要下載：clip vision model（讓 AI 讀懂圖片的模型）、兩個 VAE（把運算結果還原成成品的元件，一個管形狀、一個管貼圖），加上去背模型，讓 AI 看清主體。
• 03:20 只需要 ComfyUI nodes 與 Pixroma nodes。模型全部下載好後，按 R 重新整理 node definitions 就可以使用
  ↳ 方塊只需要 ComfyUI 內建的和 Pixroma 的，不用再裝別的。模型都放好後，按鍵盤 R 重新整理，ComfyUI 才會認得這些新檔案。
• 03:50 如果模型放在不同的資料夾，要在橘色 nodes 裡重新選擇正確的模型位置
  ↳ 如果你把模型放在別的資料夾，要到流程裡橘色的方塊，從下拉選單重新選到正確的檔案，不然會找不到。
• 03:50 作者請 Claude 研究並簡化說明，做成一個解說各 node 功能的大 note；可用左上角灰點收合，也可刪除，不影響工作流
  ↳ 作者請 Claude 研究後整理成一張大便條，逐一說明每個方塊在做什麼。嫌它佔位置，可以點左上角灰點收起來，或直接刪掉，不影響執行。
• 03:50 另外還有作者用不同設定測試的 notes，可以了解運作方式，以及不同設定下各用多少 VRAM
  ↳ 另外幾張便條記錄作者用不同設定跑出的結果，可以看出每個設定改變了什麼、各吃多少顯示卡記憶體，方便你依自己的顯卡挑設定。
• 04:26 作者在 6GB 與 24GB VRAM 顯卡上都測過。6GB 卡上以工作流 1 最快；工作流 2、3、4 有些要跑非常久，不值得在低 VRAM 卡上使用
  ↳ 作者 6GB 和 24GB 兩張卡都測過。6GB 卡跑流程 1 最快；流程 2、3、4 有的要跑非常久，低階顯卡不值得硬跑。
• 04:26 24GB 卡上速度較快，但如果要 texture 和更高品質，還是會花比較多時間
  ↳ 24GB 卡快很多，但只要你要貼圖、要高品質，時間還是會拉長。好顯卡不是秒出，只是等待時間比較能接受。
• 05:00 操作只有兩步：上傳想轉 3D 的主體圖片、設定 seed（可以固定、隨機或換一個固定值），然後按 run
  ↳ 實際操作只有兩步：上傳想變 3D 的主體圖片，設 seed（亂數起點，固定就重現相近結果，換一個就有變化），然後按 run。
• 05:00 工作流會把圖片從中央裁成正方形（對 AI 模型效果較好），並移除背景，讓主體放在黑色背景上，較容易產生 3D 模型
  ↳ 流程會自動把圖從中間裁成正方形，因為 AI 模型處理正方形效果較好；再去掉背景，讓主體放在黑底上，比較容易生成 3D。
• 05:30 各階段以不同顏色標示。Stage 1 產生像樂高積木堆成的 blob；Stage 2 產生主體的實際形狀
  ↳ 各階段用不同顏色框起來。Stage 1 先做出像樂高積木堆起來的粗略一團（blob）；Stage 2 才長出主體真正的形狀。
• 05:30 Stage 3 精修並放大形狀，這些設定會影響解析度、三角面數量與生成時間；Stage 4 為模型上色
  ↳ Stage 3 把形狀修細、放大，設定會影響解析度、三角面數（3D 表面由許多小三角形拼成）和花費時間；Stage 4 幫模型上色。
• 06:02 工作流 1 只有顏色，工作流 2 才有 texture。最後階段是 clean up：減少多邊形數量、平滑表面等，讓成果更好用
  ↳ 流程 1 只上顏色，流程 2 才有 texture（包在表面的材質貼圖）。最後的 clean up 會減少多邊形、把表面磨平，讓模型變輕、比較好用。
• 06:02 成果可以直接預覽、旋轉，也能隱藏 grid；可拿到其他 3D 軟體使用。細節尚可、不完美，但以免費的圖轉 3D 來說不錯
  ↳ 做好後可以直接預覽、旋轉，也能關掉格線，檔案能帶到其他 3D 軟體用。細節不完美，但以免費的圖轉 3D 來說算不錯。
• 06:36 模型存在 output 資料夾內新建的 3D 資料夾，檔名以 trellis 為前綴。格式是 glb，可以同時包含模型與烘焙好的 texture
  ↳ 模型存在 output 資料夾裡新開的 3D 資料夾，檔名開頭是 trellis。格式是 glb，一種 3D 檔案格式，能把模型和烘焙好的貼圖包在同一個檔。
• 06:36 用免費 3D 軟體 Blender 測試：把模型拖進去會跳出匯入選單
  ↳ 作者用免費 3D 軟體 Blender 測試：直接把 glb 檔拖進 Blender 視窗，就會跳出匯入選單。
• 07:09 匯入後模型會被 Blender 預設的 cube 包住，選取該 cube 刪掉即可。從平面圖得到這種成果不錯，手動雕塑或建模要花不少時間
  ↳ 匯入後，模型會被 Blender 新檔預設的方塊（default cube）包住，選取那個方塊刪掉就好。從一張圖得到這種成果很划算，手工雕塑或建模要花不少時間。
• 07:09 模型三角面很多但還可以。作者認為 Blender 應該有 remesh 工具能讓它更好看。適合需要快速取得 3D 物件的人
  ↳ 模型的三角面很多，但還能用。作者認為 Blender 應該有 remesh（重新整理表面網格）工具能讓它更好看。很適合想快速拿到 3D 物件的人。
• 07:09 圖片越複雜，模型越容易出錯
  ↳ 圖片裡的東西越複雜，轉出的模型越容易出錯。挑主體單純、輪廓清楚的圖比較穩。
• 07:41 用 Bunny explorer 圖片測試：背景去除 OK，但 blob 朝下，Trellis 不會保留原圖的相機角度，完成後可以再自己旋轉
  ↳ 用兔子探險家的圖測試：去背沒問題，但生出的模型是朝下的。Trellis 不會照原圖的拍攝角度擺放，做完再自己轉正就好。
• 08:12 工作流 2 解析度較高並加上 texture，預設約 70 萬 faces；這個工作流 nodes 較多，記得看 note 了解各階段
  ↳ 流程 2 解析度更高又加了貼圖，預設約 70 萬個面。它的方塊比較多，建議先看便條，搞懂每個階段在做什麼。
• 08:12 texture 會包覆在模型表面，包含顏色、roughness 等 3D 用的資訊
  ↳ 貼圖會包在模型表面，不只有顏色，還有 roughness（表面粗糙度，影響反光是亮面還是霧面）等 3D 軟體要用的資訊。
• 08:12 工作流 2 在 24GB 卡上花了兩分多鐘，在 6GB VRAM 卡上可能要約 40 分鐘，速度很依賴顯卡
  ↳ 流程 2 在 24GB 卡上花兩分多鐘，在 6GB 卡上可能要 40 分鐘左右。同一個流程，速度幾乎完全看顯卡。
• 08:45 可用按鈕 fit view 或開啟 3D viewer，滑鼠滾輪縮放、旋轉檢查 texture 與形狀。作者認為可用在不需要物件完全精確的遊戲中
  ↳ 可以按 fit view 讓模型填滿畫面，或開 3D 檢視器，用滾輪縮放、旋轉檢查貼圖和形狀。作者覺得拿來做不要求精準的遊戲物件夠用了。
• 08:45 工作流 2 跑兔子的成果細節比之前多、品質較好，但花的時間也比較多
  ↳ 流程 2 做的兔子細節比之前多、品質更好，代價是花更多時間。要品質還是要速度，得自己取捨。
• 09:15 兔子的毛較難正確重現，帽子和衣服則相當平滑，成果很看圖片本身
  ↳ 兔毛很難重現得對，帽子和衣服則相當平順。成果好壞很看原圖本身。
• 09:15 Pixel3D 名字和 Pixorama 相似，但兩者沒有任何關係
  ↳ Pixel3D 和作者的 Pixorama 名字很像，但兩者完全沒有關係，別搞混。
• 10:00 Pixel 3D 工作流和前面共用部分模型，但主模型換成 Pixel 3D，並多一個其他工作流沒有的模型
  ↳ Pixel 3D 的流程有部分模型和前面共用，但主模型換成 Pixel 3D，還多一個其他流程都沒有的模型要下載。
• 10:00 這個額外模型負責相機角度：去背後經過 camera angle nodes，生成的 3D 模型角度和原圖相同（Trellis 則是朝下）
  ↳ 多出來的模型負責相機角度：去背後先經過計算角度的方塊，生成的 3D 模型就會跟原圖同一個角度，不像 Trellis 會朝下。
• 10:32 如果角度對你很重要，Pixel 可能比較好；但因為要計算角度，速度比 Trellis 慢
  ↳ 如果你在意模型角度要跟原圖一致，Pixel 可能比較適合；但它要多算角度，所以比 Trellis 慢。
• 10:32 依 seed 不同，Pixel 可能在背面生出不該有的東西。這對角色或想讓它補出背面的情況可能有用，但作者這次不想要
  ↳ 換不同 seed，Pixel 有時會在背面長出不該有的東西。做角色，或想讓 AI 自己補背面時也許有用，但作者這次不想要。
• 11:02 工作流 4 最慢：同樣用 Pixel 模型，但改成加 texture。第一次生成可能比第二次慢
  ↳ 流程 4 最慢：一樣用 Pixel 模型，但改成加貼圖。第一次跑可能會比第二次慢。
• 11:02 工作流 4 在 6GB 卡上跑超過 2 小時，作者只好中止；在 24GB 卡上約 3 分多鐘，而且背面還是會生出多餘東西
  ↳ 流程 4 在 6GB 卡上跑超過 2 小時，作者只好中止；在 24GB 卡上約 3 分多鐘，而且背面還是長出多餘的東西。
• 11:02 作者建議以使用 Trellis 模型的工作流 1、2 為主
  ↳ 作者建議以用 Trellis 模型的流程 1、2 為主，速度和成果比較划算。
• 11:35 加 texture 會讓檔案變大、時間變長。VRAM 夠的話，可以用工作流 1 並提高解析度，不要過度限制 faces／triangles 數量
  ↳ 加貼圖會讓檔案變大、時間變長。顯卡記憶體夠的話，不如用流程 1 把解析度拉高，別把面數壓得太低。
• 11:35 四個工作流比較（24GB 卡、同一張圖）：Trellis 不保留相機角度但較快；Pixel 3D 保留角度，有時顏色更準確
  ↳ 同一張圖、同一張 24GB 卡比較四個流程：Trellis 不管原圖角度，但比較快；Pixel 3D 會照原圖角度，有時顏色也比較準。
• 12:05 例如加 texture 時，Pixel 的橘色更接近原圖；但旋轉後，Trellis 背面正常，Pixel 可能在背面生出不該有的東西
  ↳ 例如加貼圖時，Pixel 的橘色更接近原圖；但轉到背面，Trellis 很正常，Pixel 可能多長出東西。兩者各有優缺點。
• 12:05 品質取決於你對模型的限制多寡。作者錄完後另做了一個給高 VRAM 顯卡的額外工作流，模型細節更多
  ↳ 品質好壞主要看你把面數等設定壓得多緊。作者錄完後另外做了一個給高記憶體顯卡的流程，模型細節更多。
• 12:05 用途也很重要：後面會示範，即使用較簡單的模型，算成圖片時仍能得到更好的細節
  ↳ 也要看你拿來做什麼：後面會示範，就算模型比較簡單，讓 AI 算成圖片時，成品圖仍然能有很好的細節。
• 12:36 可以暫停影片，比較各模型的檔案大小與三角面數量，再決定哪個最適合自己
  ↳ 影片列出了各模型的檔案大小和三角面數，可以暫停對照，挑出最符合你顯卡和用途的那個。
• 12:36 用 Flux client 工作流從 3D 模型生成圖片：可上傳自己生成的模型，或使用工作流壓縮檔附的模型；左側列出所需模型
  ↳ 接著用 Flux client 流程把 3D 模型變成圖片：可放自己做的模型，或用壓縮檔附的範例模型；左側便條列出要下載的模型。
• 12:36 載入後可用滑鼠滾輪縮放，按住左鍵拖曳旋轉到想要的位置
  ↳ 模型載入後，用滾輪縮放、按住左鍵拖曳旋轉，把它擺到你想要的位置，像在擺拍攝道具。
• 13:07 和舊集數介紹的 Flux client 差別在於：這裡不用 load image node，而是取得 3D 模型在你擺放位置下類似截圖的畫面
  ↳ 跟舊集介紹的 Flux client 不同：這裡不是餵一張圖片，而是抓你擺好的 3D 模型當下的畫面，類似截圖，給 AI 當參考。
• 13:07 可把截圖給 ChatGPT 或 Gemini，請它寫更詳細、寫實或遊戲風格的 prompt，以得到想要的樣子；成果取決於 prompt 與 seed
  ↳ 可以把截圖丟給 ChatGPT 或 Gemini，請它寫更詳細的 prompt（給 AI 的文字描述），例如寫實風或遊戲風。成果取決於 prompt 和 seed。
• 13:41 多試幾個 seed，每個 seed 會帶來一些變化，再挑最喜歡的。用 prompt 很難描述精確角度，直接旋轉模型容易得多
  ↳ 多試幾個 seed，每個都會帶來一些變化，挑最喜歡的就好。精確角度很難用文字說清楚，直接旋轉模型擺好容易多了。
• 13:41 在作者電腦上生成一張只要約 2 秒
  ↳ 在作者的電腦上，生成一張圖只要約 2 秒，可以放心多試。
• 13:41 問題：放大太多，或用滑鼠右鍵平移去取細節特寫，生成結果會不正確
  ↳ 限制是：拉得太近，或用右鍵平移去取局部特寫，生出來的圖就會不正確。
• 14:12 物體不在畫面中央時就無法正確處理；直式或橫式等非正方形比例也抓不準角度，因為模型會去遷就比例
  ↳ 物體不在畫面正中間就處理不好；改成直式或橫式也抓不準角度，因為模型會去遷就畫面比例而改掉構圖。
• 14:12 正方形比例下，先 fit to viewer 再旋轉、縮放，生成結果就會維持同樣位置；也可以選更大的尺寸輸出
  ↳ 用正方形比例，先按 fit to viewer 讓模型填滿畫面，再旋轉、縮放，生成的圖就會保持同樣位置；想要大圖可以選更大的輸出尺寸。
• 14:45 改 prompt 加上迷彩色槍身與後方架子，成果很好，保留了形狀與位置並加上想要的顏色；也試了不同 seed 取得變化
  ↳ 把 prompt 改成迷彩槍身、後方有架子，成果很好：形狀和位置都保留，只換成想要的顏色；換 seed 還能多出幾種版本。
• 15:15 在 3D 軟體裡算圖並更換材質要花很久，用 AI 只要調整文字 prompt，幾秒就能完成
  ↳ 在 3D 軟體裡換材質再算圖要花很久，用 AI 只要改一段文字，幾秒就有新結果。
• 15:15 工作流 6 用來解決放大特寫的問題：把槍放大並移到左邊（先前失敗的做法）也能成功；note 裡有各 denoise 值的影響
  ↳ 流程 6 專門解決特寫問題：把槍放大、移到左邊這種之前失敗的擺法也成功了。便條裡有列出不同 denoise 值的效果。
• 15:47 denoise 用 0.7 時，構圖與物體細節都保留；設成 1 時自由度太高，會亂生東西；設成 0.5 時自由度不足，幾乎沒變化
  ↳ denoise 是 AI 重畫參考畫面的幅度。0.7 能保留構圖和物體細節；1 放太開，會亂生東西；0.5 管太緊，幾乎沒變化。
• 15:47 建議以 denoise 0.7～0.8 作為起點；同一個 denoise 下，換 seed 結果也會不同
  ↳ 建議從 denoise 0.7～0.8 開始試；就算 denoise 一樣，換 seed 結果也會不同。
• 16:20 試了 0.75 沒有明顯改善。搭配適合的 prompt、多試 seed 與 denoise 值會有幫助
  ↳ 作者試了 0.75，沒有明顯變好。重點是 prompt 要合適，再多試幾組 seed 和 denoise。
• 16:20 改用工作流 5 的 prompt 後，得到迷彩槍身的特寫；也可把架子換成黑色背景，或用固定 seed 維持相近顏色並嘗試不同角度
  ↳ 改用流程 5 的 prompt 後，得到迷彩槍身的特寫。也能把架子換成黑色背景，或固定 seed 讓顏色相近，只換角度多出幾張。

在工作流 6 中，作者建議 denoise 從哪個範圍開始嘗試？