Higgsfield:打造能自行配置運算資源的 Agents|DevDay 2026


🏦 台灣Pay 銀行轉帳 💙 PayPal
Higgsfield CEO 談如何用會自選模型、自開 GPU 的 agent 做 AI 影音與互動媒體
- 00:00 來賓 Alex Mashrobov 曾共同創辦後來成為 Snapchat Cameos 的產品,之後在 Snap 帶領生成式 AI。
- 05:48 這種情況在遊戲產業很常見:視覺品質門檻越來越高,預算也大幅成長。
- 12:20 結語:他們只花 18 個月就打造出 Higgsfield,現在正是打造你自己產品的最好時機。
💡 你可以怎麼用:下次用 AI 做影片或系列圖,先寫清楚整體計畫和「怎樣算合格」的標準,再讓 AI 一段段產出、自己對照檢查,連貫性會好很多。想做產品教學或解說影片的話,可以找 Higgsfield 開源的影片剪輯 skill 來試試。
看全部 38 條重點
🧑🏫 這支是 AI 影音平台 Higgsfield 的執行長 Alex Mashrobov 在 OpenAI DevDay 的分享。他講他們怎麼讓 AI 自己挑模型、自己開運算資源,做出長影片、AI 直播這類以前要大團隊才做得到的內容。如果你在用 AI 做圖或做影片,他講的「單張好做、連貫難做」和小團隊怎麼突破,很值得參考。
- 00:00 來賓 Alex Mashrobov 曾共同創辦後來成為 Snapchat Cameos 的產品,之後在 Snap 帶領生成式 AI。↳ 來賓 Alex Mashrobov 有相關經歷。他參與創辦的產品後來變成 Snapchat 的 Cameos,可以把自己的臉放進短動畫。之後他在 Snap 負責生成式 AI。
- 00:32 他現在是 Higgs Field 共同創辦人兼 CEO,用 agents 選擇模型、啟動新的 GPU,開創新的媒體創作與體驗方式。↳ agent 是能自己判斷、自己動手完成任務的 AI 系統。他的公司讓 agent 自己挑模型、自己開 GPU(跑 AI 用的運算晶片),用這套方式做新型態的媒體。
- 01:03 Higgs Field 是多媒體 AI 平台。創意行銷人員可用 Astra 等模型,加上 Higgs Field 的影像與影片模型,從頭到尾製作廣告活動。↳ Higgsfield 是一站式的 AI 影音平台。行銷人員可以把 Astra 這類模型和 Higgsfield 自家的影像、影片模型搭在一起用,從發想到成品做完一整套廣告。
- 01:03 他認為最重要的是,這些 AI 生成的廣告能幫企業提升營收與銷售。↳ 他強調的不是「AI 做得出來」,是做出來的廣告要真的幫公司多賣東西、多賺錢。
- 01:35 團隊看到很多人想打造過去做不到的創意媒體與互動媒體,因此推出 Higgs Field API,幫開發者上線這類體驗並建立新事業。↳ API 是讓別的程式接上、呼叫某個服務的介面。很多人想做以前做不到的創意或互動內容,Higgsfield 開放 API,讓開發者把這些能力接進自己的產品,甚至拿來開新生意。
- 01:35 OpenAI Astra 等模型搭配 Higgs Field API,可以讓只有一個人的團隊做出一部互動節目。↳ 把 OpenAI 的模型和 Higgsfield API 組起來,以前要一整個製作團隊才做得出的互動節目,現在一個人就有機會做完。
- 02:13 他們觀察到的痛點是:做出好的單一素材(例如概念圖)很容易,但要圍繞它做出連續的體驗很難。↳ 用 AI 生一張好看的概念圖很簡單。難的是讓角色、畫風、劇情前後連貫,做成一段看得下去的完整影片或體驗。
- 02:44 為了解決這個痛點,他們推出了 supercomputer。↳ 他們推出叫 supercomputer 的東西來處理這個問題。影片沒細講內容,從後面幾點看,應該是一套會自己調度模型和 GPU 的 agent 系統。
- 02:44 他們做出新的影片剪輯 skill,能穩定產出 10 分鐘長的影片。他說沒有 Astra 模型就無法想像能做到。↳ skill 是 AI agent 可以重複使用的一套能力或做法。他們做了一個影片剪輯 skill,能穩定剪出 10 分鐘的長片。他說少了 Astra 模型做不到。
- 03:15 為了做出這個體驗,他們花了 30,000 美元。↳ 光是把這個體驗做出來就花了 3 萬美元,表示這種長影片、多步驟的 AI 製作成本不低。
- 03:15 要把這類 skill 用在正式產品上,得做很多決策,例如哪種用途該用哪個模型。↳ 從實驗變成正式產品,要決定的細節很多,例如每個步驟交給哪個模型最合適。挑錯了,品質和成本都會出問題。
- 03:15 Agentic 系統必須很會自我評估,自己訂出具體標準,判斷哪種輸出品質可以接受。↳ self-evaluation(自我評估)是 AI 自己檢查成果。Agentic(能自主行動)的系統要先訂清楚怎樣算合格,才能自己判斷成品能不能用,不用人一直盯。
- 03:47 他認為 Sol 模型和 Astra 模型在創意上特別獨特,並提到大概從 Sol 5.5 開始。↳ 他覺得 Sol 和 Astra 這兩個模型在創意表現上特別突出,大概是從 Sol 5.5 這一版開始有這種感覺。
- 03:47 創作從點子和概念開始,接著要訂出很具體的執行計畫,並明確定義最終成果的標準。↳ 跟人做創作一樣,先有點子,再寫出具體步驟,並且事先講清楚成品要達到什麼標準。這樣 AI 才知道往哪裡做、做到哪裡算完成。
- 04:18 他們發現確定性的工作流程很有價值。這類流程可包含用影片模型、微調過的影片模型做進階渲染等。↳ deterministic workflow(確定性工作流程)是步驟固定、每次照同一套跑的流程,結果比較穩。裡面可以接 fine-tuned(用特定資料再訓練過的)影片模型做精細渲染。
- 04:48 為了做出 supercomputer,他們必須打造能自行啟動 GPU 基礎設施的 agent。這對不同用途都能穩定執行至關重要。↳ 為了撐起 supercomputer,他們讓 agent 自己啟動 GPU 運算資源,不用人手動設定。這樣不管任務要多少運算量,都能穩定跑完。
- 05:18 他認為 Astra 大概是下一代模型,能解鎖 computer use 的應用情境。↳ computer use 是讓 AI 像人一樣看螢幕、點選、操作軟體。他認為 Astra 這一代模型讓這種用法真正可行。
- 05:18 傳統創意流程需要 15 人以上的團隊,成員要熟練 10、12 套工具。點子到執行之間有很重的「製作稅」。↳ production tax(製作稅)是點子變成成品過程中的隱形成本。傳統要 15 人以上、各自精通十幾套軟體,光是協調就花掉大量時間和錢。
- 05:48 這種情況在遊戲產業很常見:視覺品質門檻越來越高,預算也大幅成長。↳ 遊戲業最明顯。玩家對畫面的要求越來越高,做一款遊戲需要的人力和預算也跟著大幅增加。
- 05:48 Astra 可以代替創作者操作這 10、12 套程式,讓小團隊更容易成功。主持人補充這是透過 sub-agent 做到的。↳ sub-agent 是主 agent 底下負責分工的小幫手。Astra 透過 sub-agent 替創作者操作那十幾套軟體,小團隊不用每套都精通也做得出成果。
- 06:49 連續影片生成與自動剪輯需要做很多決策。其中之一是必須優化速度,才能做到即時體驗。↳ real-time experience(即時體驗)是畫面當下生成、不用等。連續生成影片加上自動剪輯,要做很多取捨,其中速度一定要夠快,不然做不到即時。
- 06:49 他提到當天發表了超高速模型,讓即時體驗對所有人都更容易取得。↳ 他提到當天發表了一款速度非常快的模型,讓更多人都有能力做即時體驗。
- 07:19 在那之前,他們與知名實況主 Neon 合作,做出第一個 AI 生成的直播。↳ 這款快速模型出來之前,他們已經和實況主 Neon 合作,做出第一場畫面由 AI 生成的直播。
- 07:19 直播中有兩位真人創作者:Higgsfield 代言人與 Neon。兩人走在紐約街頭,和路人互動。↳ 直播主角是兩位真人,Higgsfield 的代言人和 Neon。他們在紐約街頭走、和路人互動,AI 負責處理畫面。
- 07:49 模型(字幕作 Astro)即時重建整個世界,看起來很真實。這場直播超過十小時。↳ 模型(字幕寫作 Astro)即時把整個街景重新生成,看起來很逼真,而且連續跑了十個多小時。
- 07:49 他說這是過去無法想像的新媒體形式。現在兩三人的開發團隊就能做出這類體驗,並在上面建立事業。↳ 他認為這是以前想像不到的新媒體。現在兩三個開發者就做得出來,還能拿它來做生意。
- 08:50 三到五人的團隊就能從頭到尾做出產品,這在手機 app、網站等直接面對消費者的應用上很常見。↳ direct-to-consumer app 是直接給一般消費者用的產品,像手機 app、網站。這類產品本來就常由三到五人的小團隊從零做到上線。
- 08:50 這些新型態的消費者體驗,可以靠 Higgsfield API 加上 OpenAI 模型實現。↳ 這些新玩法不用自己從頭研發模型,用 Higgsfield API 加上 OpenAI 的模型就組得出來。
- 09:20 在規模較大的應用中,可控性變得很重要。↳ 使用的人一多,光是做得出來不夠,還要確保 AI 的行為在掌控之中,不會亂來。
- 09:20 他們很重視替 agent 設下 guardrails,並透過搭配 GPU 的 perimeter 基礎設施提供安全部署。↳ guardrails(護欄)是限制 agent 能做什麼的規則。perimeter infrastructure 可以理解成搭配 GPU、設好安全邊界的部署環境,讓 agent 在受控範圍內運作。
- 09:50 這幫他們加速了企業市場的 go-to-market。現在這項能力已在 Higgsfield API 開放,其他人也能做出同樣的體驗。↳ go-to-market 是把產品推向市場、賣給客戶的過程。安全部署做好了,他們打進企業市場更快。這項能力現在也開放在 API 上給別人用。
- 09:50 主持人用冰球比喻:用最新模型開發時,要往冰球將要去的地方前進。↳ 主持人用冰球打比方,要往球「將要去」的位置滑,不是追它現在的位置。意思是開發時要預想模型很快會變多強,不要只照現在的能力設計。
- 10:20 他說模型進步非常快,當天稍早就看到與 decisioning 相關的新能力即將推出。↳ 模型進步得非常快,他當天稍早就看到和 decisioning(讓 AI 自己做判斷、下決定)有關的新能力快要推出。
- 10:50 他認為互動媒體創作正前所未有地普及化。過去的瓶頸在於要協調大量不同工具,有了 Astra(字幕作 Astray)才終於能突破。↳ 以前做互動內容最卡的地方是要串起一大堆不同工具。他認為有了 Astra(字幕寫作 Astray)終於能突破,一般人也做得到。
- 11:20 他們開源了自己的新 skill,例如 AI 影片剪輯 skill,用來製作 AI 的 YouTube 解說影片。↳ open-source(開源)是把做法公開,讓大家免費拿去用、修改。他們開源了 AI 影片剪輯 skill,可以用來做 AI 生成的 YouTube 解說影片。
- 11:20 Higgsfield 內部也用這個 skill 製作介紹自家產品的教學影片。他笑稱這像是 singularity。↳ 他們自己也用這個 skill 做產品教學影片,等於用自家 AI 介紹自家 AI。他開玩笑說這像 singularity(科幻常說的 AI 自我進化轉折點)。
- 11:50 現在也有開發者用同一個 skill,製作自己產品的教學影片。↳ 不只 Higgsfield 自己用,外面的開發者也拿同一個 skill 幫自己的產品做教學影片。
- 12:20 結語:他們只花 18 個月就打造出 Higgsfield,現在正是打造你自己產品的最好時機。↳ 他們只花 18 個月就把 Higgsfield 做起來。他想說的是工具已經夠成熟,現在動手做自己的產品正是時候。
📘 術語
agent(代理程式):字幕中指能自己選擇模型、啟動 GPU 並執行創作任務的 AI 系統
GPU infrastructure(GPU 基礎設施):Higgsfield 的 agent 會自行啟動 GPU 基礎設施,讓不同用途都能穩定執行
API(應用程式介面):Higgsfield API 讓開發者上線互動媒體體驗並建立新事業
skill(技能模組):例如影片剪輯 skill,能穩定產出 10 分鐘長的影片,已經開源
self-evaluation(自我評估):Agentic 系統自行訂出標準,判斷哪種輸出品質可以接受
deterministic workflow(確定性工作流程):字幕說它很有價值,可包含影片模型、微調影片模型的進階渲染
fine-tuned video model(微調過的影片模型):字幕列為確定性工作流程中,進階渲染可能用到的模型
computer use(電腦操作):字幕說 Astra 能解鎖這類情境,代替創作者操作 10、12 套程式
sub-agent(子代理):主持人說 Astra 代替創作者操作多套程式,是透過 sub-agent 做到的
production tax(製作稅):點子到執行之間,因需要多人、多工具而產生的沉重負擔
real-time experience(即時體驗):需要優化速度才能做到,例如 AI 生成的直播
guardrails(防護規範):大規模應用重視可控性,因此要替 agent 設下 guardrails
perimeter infrastructure(邊界防護基礎設施):搭配 GPU、用來安全部署 agent 的基礎設施
go-to-market(市場推廣策略):安全部署的能力幫 Higgsfield 加速了企業市場的 go-to-market
direct-to-consumer app(直接面對消費者的應用):字幕舉例為手機 app 和網站
open-source(開源):Higgsfield 把 AI 影片剪輯 skill 開源,開發者可拿來做自家產品的教學影片
GPU infrastructure(GPU 基礎設施):Higgsfield 的 agent 會自行啟動 GPU 基礎設施,讓不同用途都能穩定執行
API(應用程式介面):Higgsfield API 讓開發者上線互動媒體體驗並建立新事業
skill(技能模組):例如影片剪輯 skill,能穩定產出 10 分鐘長的影片,已經開源
self-evaluation(自我評估):Agentic 系統自行訂出標準,判斷哪種輸出品質可以接受
deterministic workflow(確定性工作流程):字幕說它很有價值,可包含影片模型、微調影片模型的進階渲染
fine-tuned video model(微調過的影片模型):字幕列為確定性工作流程中,進階渲染可能用到的模型
computer use(電腦操作):字幕說 Astra 能解鎖這類情境,代替創作者操作 10、12 套程式
sub-agent(子代理):主持人說 Astra 代替創作者操作多套程式,是透過 sub-agent 做到的
production tax(製作稅):點子到執行之間,因需要多人、多工具而產生的沉重負擔
real-time experience(即時體驗):需要優化速度才能做到,例如 AI 生成的直播
guardrails(防護規範):大規模應用重視可控性,因此要替 agent 設下 guardrails
perimeter infrastructure(邊界防護基礎設施):搭配 GPU、用來安全部署 agent 的基礎設施
go-to-market(市場推廣策略):安全部署的能力幫 Higgsfield 加速了企業市場的 go-to-market
direct-to-consumer app(直接面對消費者的應用):字幕舉例為手機 app 和網站
open-source(開源):Higgsfield 把 AI 影片剪輯 skill 開源,開發者可拿來做自家產品的教學影片
✏️ 小考一題
Higgsfield 與實況主 Neon 合作的第一個 AI 生成直播,持續了多久?
A. 剛好 24 小時B. 超過十小時C. 大約兩小時D. 大約 30 分鐘看答案
答案:B。[07:49] Alex 說 "I think the stream went over ten hours",也就是直播超過十小時。
💛 覺得有幫助?支持一下


課本免費、沒有廣告,支持與否都能照常讀 🐰