OpenAI DevDay 2026 主題演講（完整版）（第 3/4 段）
🏦 台灣Pay 銀行轉帳 💙 PayPal
發表 Codex 雲端版、Agents API、Private Intelligence，並由 Romain 現場示範 Codex 新功能
- 26:50 OpenAI 的使命是確保 AGI 造福全人類，希望模型協助處理人類面對的最複雜挑戰
- 33:21 輸入「fly the dots to their seats」讓 dots 飛到座位上，即時改變世界
- 40:00 已展示 app、CLI 與 CodeX Remote；並完全重新構想雲端版 Codex
💡 你可以怎麼用：如果妳已經在用 ChatGPT 或 Codex，可以試著把要跑很久的工作丟到雲端版，在手機上開始、之後到電腦接手，不用一直守著筆電。要做小工具時，也可以像示範那樣直接用講的描述需求（例如「做個抽獎頁面，從名單隨機抽三人」），再一句一句叫它改。
看全部 52 條重點
🧑🏫 這段是 OpenAI DevDay 2026 主題演講的第三段，先講 AI 在科學上的進展，再發表雲端版 Codex、Agents API 和保護資料的 Private Intelligence。後半由 Romain 現場示範：用講話或打字，讓 AI 即時改 3D 場景、幾秒做出 app，還能自己學會玩遊戲。想知道 AI 助手接下來能幫你做到哪一步，這段很值得看。
- 26:50 OpenAI 的使命是確保 AGI 造福全人類，希望模型協助處理人類面對的最複雜挑戰↳ OpenAI 說他們的目標是讓 AGI（通用人工智慧，指能像人一樣處理各種任務的 AI）對所有人都有好處，希望模型能幫忙解決人類最難的問題。
- 26:50 Astra 這類模型已協助解出超過 100 個懸而未解數十年的數學問題↳ Astra 是 OpenAI 的一款模型。影片說它已經幫忙解開一百多個卡了幾十年的數學難題，代表 AI 開始參與真正的研究，不只是聊天。
- 26:50 模型也在加速研發對抗抗藥性感染的新抗生素、研究古代語言與歷史、發展再生能源與提升能源效率、加速製造業工業機器人↳ 除了數學，模型也用在新抗生素研發、古代語言與歷史研究、再生能源和工廠機器人，重點是加快這些領域的進度。
- 27:24 Tejal 表示相信模型能幫開發者與使用者在人類重要難題上取得進展，接著交回給 Sam↳ 講者 Tejal 收尾時說，她相信開發者和一般使用者都能靠這些模型推進重要難題，然後把舞台交回給 Sam。
- 27:24 Sam 進入支持開發者的第二部分：提供打造下一步所需的工具↳ Sam 開始講第二部分。前面講的是願景，這段講實際給開發者（寫程式、做產品的人）哪些工具。
- 27:55 目標是讓開發者使用和 OpenAI 內部相同的基礎，第一項是 Codex harness，它驅動 Codex、work 以及 dots↳ OpenAI 要開放自己內部用的底層。第一個是 Codex harness，也就是包在模型外面、負責安排步驟和呼叫工具的那層程式。寫程式助手 Codex、work、dots 都靠它運作。
- 27:55 Codex harness 經過優化，力求以最快速度、最少 token 得到準確結果↳ 它的設計重點是又快又省：用最少的 token（模型處理文字的小單位，通常也是計費依據）得到正確結果，省時間也省錢。
- 27:55 Codex harness 是開源的，可以查看內部運作，也能自己建置↳ 開源（open source）就是程式碼公開，你可以看它怎麼運作，也能拿去自己架、自己改。
- 27:55 這個 harness 為支撐 ChatGPT 等產品而打造，可服務數十億使用者，同樣的規模也能支撐你的產品↳ 這套東西原本就撐著 ChatGPT 這種有數十億人用的產品。拿去做自己的產品，不用擔心用的人一多就撐不住。
- 28:28 Codex 現已完全上雲：可在手機開始任務，再到瀏覽器或桌機從中斷處接續，不再遺失對話串↳ Codex 整個搬到雲端執行。在手機開始的工作，換到瀏覽器或電腦可以接著做，對話紀錄不會因為換裝置就斷掉。
- 28:28 執行到一半闔上筆電也不用擔心，agent 會繼續工作↳ 工作是在雲端跑，不是在你的筆電上跑，所以筆電闔上，agent（能自己分步驟把事情做完的 AI）也會繼續做。
- 29:02 今天推出 Codex Security Cloud，目的是給防禦方更好的工具來強化基礎設施↳ 新推出 Codex Security Cloud。這是給負責守資安的一方用的工具，幫忙把系統基礎打得更牢。
- 29:02 Codex Security Cloud 在雲端環境執行，持續找出漏洞，並準備好經過驗證的修補供你審查↳ 它在雲端持續掃描，找出 vulnerabilities（資安漏洞，也就是可能被駭客利用的弱點），並先準備好驗證過的修補，最後由你決定要不要用。
- 29:02 Codex Security Cloud 新增自動去重、排程掃描與新介面，今天就能使用↳ 新增三項：自動去重（同一個問題不會重複回報好幾次）、排程掃描（設定時間自動掃），還有新介面。今天就能用。
- 29:37 推出新的 Agents API，核心元件包含 harness、hosting、memory、multi-agent controls 等↳ API 是讓你的程式呼叫某個服務的管道。Agents API 把做 agent 需要的零件打包好了，包括 harness、hosting（代管執行）、memory（記憶）和多 agent 的控制等。
- 29:37 Agents API 與驅動 Codex、dots 及所有 OpenAI agent 的是同一套技術，現以 public beta 開放↳ 它跟 OpenAI 自家 Codex、dots 用的是同一套技術。目前是 public beta（公開測試版），大家都能開始用，但還在調整。
- 29:37 可在 AWS 中與既有應用程式和資料並列打造 agent；AWS 客戶可使用前沿模型，也能用 Codex 與 ChatGPT Work↳ AWS 是亞馬遜的雲端服務。資料和系統已經放在 AWS 的公司，可以直接在那裡做 agent，也能用最新模型、Codex 和 ChatGPT Work。
- 30:08 預覽 OpenAI Private Intelligence，在使用最先進模型能力時提供更強的資料控制↳ Private Intelligence 目前還是預覽。它要解決的問題是：想用最強的模型，又怕資料失控。它讓你對自己的資料有更多控制權。
- 30:08 ZDR 搭配 private safety processing：提供前沿模型等級的安全，且完全不在 OpenAI 伺服器儲存你的內容↳ ZDR 通常指 zero data retention，也就是不保留資料。搭配私有的安全處理，安全檢查照做，但你的內容不會存在 OpenAI 的伺服器上。
- 30:08 private inference 可在推論當下提供隱私保護；兩者被稱為前沿 AI 隱私的新標準↳ inference（推論）是模型實際讀你的內容、產生回答的那個過程。private inference 讓這個過程也有隱私保護。OpenAI 說這兩項是新標準。
- 30:08 這些隱私與安全系統是與部分最大客戶密切合作設計，讓他們能用在最敏感的工作上↳ 這些隱私和安全設計是跟幾個大客戶一起做出來的，目的是讓他們敢把最敏感的工作也交給 AI。
- 30:40 Assistants API 過去一年成長 100 倍，仍維持超過 99% 的可靠度↳ Assistants API 一年內用量成長 100 倍，可靠度仍維持在 99% 以上。意思是用量暴增，服務也沒有變得不穩。
- 30:40 time to first token 縮短 45%，tool calls 與 workflows 加速超過 30%↳ time to first token 是送出請求後，等到第一個字出現的時間，縮短了 45%。tool calls（模型去呼叫外部工具）和工作流程也快了三成以上。
- 30:40 Sam 稱這些改進讓它成為目前市場上效能與可靠度最高的 API↳ Sam 根據這些數字說，這是目前市場上效能和可靠度最高的 API。這是 OpenAI 自己的說法。
- 31:11 Romain 登台前用語音請 Codex 向觀眾打招呼、分享 Fort Mason 趣聞並準備好 demo↳ Romain 上台前，先用講話的方式請 Codex 跟觀眾打招呼、分享會場 Fort Mason 的小故事，順便把 demo 準備好。
- 31:11 Codex 分享的趣聞：1915 年舊金山世界博覽會，參觀者能透過電話聽到從紐約傳來的聲音↳ Codex 分享的故事是：1915 年舊金山世界博覽會上，參觀者可以透過電話聽到從紐約傳來的聲音。
- 31:46 Romain 強調不在筆電前也能從任何地方用 Codex 啟動任務；去年 Codex 甚至還沒有 app↳ 他強調不用坐在電腦前，在任何地方都能叫 Codex 開工。他也提到，一年前 Codex 連 app 都還沒有，可見進展很快。
- 32:17 用幾張會場的基本照片，以 Astra 重建出會場的 3D 世界↳ 只用幾張會場的普通照片，Astra 就重建出一個 3D 的會場世界。
- 32:17 示範重點：用 Ultra Fast 即時共同修改這個 3D 世界↳ 這段真正要展示的是 Ultra Fast：一邊下指令，3D 世界就一邊跟著改，幾乎不用等。
- 32:51 現場語音出狀況改用打字，輸入「Fly me to the stage」，可透過 Ultra Fast 與場景互動↳ 現場語音出狀況，他改用打字輸入「帶我飛到舞台」，畫面就飛過去了。文字指令一樣能即時操作場景。
- 33:21 輸入「fly the dots to their seats」讓 dots 飛到座位上，即時改變世界↳ 再輸入「讓 dots 飛到座位上」，dots 就在畫面裡飛到座位，世界當場跟著改變。
- 33:21 再輸入「Put the livestream on the big screen」，把直播畫面放上場景中的大螢幕↳ 接著輸入「把直播放上大螢幕」，場景裡的大螢幕就出現直播畫面。
- 33:51 用 Ultra Fast 幾乎能以思考的速度改變或打造任何東西↳ 結論是：用 Ultra Fast，想到什麼就能馬上改出來，速度幾乎跟得上你的想法。
- 35:00 Codex CLI 全面翻新，加入許多使用者要求的改進↳ CLI 是在終端機（打字下指令的黑色視窗）裡使用的版本。Codex CLI 整個翻新，加入很多使用者之前要求的改進。
- 35:00 在空的 React 專案中下指令：做一個隨機抽出三位與會者的 app，要送他們明年的免費門票↳ React 是常用來做網頁畫面的工具。他在一個空的 React 專案裡下指令：做一個 app，隨機抽三位與會者送明年免費門票。
- 35:34 終端機現在支援雙向語音，由 GPT Live 驅動，和 app 中相同；不是一般聽寫，可即時互動↳ 終端機現在支援雙向語音（bidi audio），跟 app 一樣由 GPT Live 驅動。它不只是把你的話轉成文字，而是能你一句、它一句即時對話。
- 35:34 幾秒內就用 Ultrafast 做好 app↳ 用 Ultra Fast，幾秒鐘就把抽獎 app 做好了。
- 36:07 改成抽六位與會者，很快就改好；按下按鈕抽出 Dev Day 2027 的六位得主，由 dots 之後寄信通知↳ 他改說要抽六位，很快就改好。按下按鈕，抽出 DevDay 2027 的六位得主，之後由 dots 寄信通知他們。
- 36:37 CLI 中的 Ultra Fast 與 bidi audio 今天稍晚就能試用，另外還新增了許多功能↳ CLI 裡的 Ultra Fast 和雙向語音今天稍晚就能試用，另外還有很多其他新功能。
- 36:37 Astra Adventures 構想：用 Astra 做一款能以 3D 飛向太空的遊戲↳ 下一個構想叫 Astra Adventures：用 Astra 做一款能在 3D 空間裡飛向太空的遊戲。
- 37:09 遊戲從一張紙上草圖開始，幾輪後有了雛形，但畫面粗糙↳ 遊戲是從一張紙上的手繪草圖開始的。改了幾輪之後有了雛形，但畫面還很粗糙。
- 37:09 靠跨所有模態的模型，幾輪後就從草圖變成有質感、可用於真實遊戲的精美畫面，之後只需微調遊戲機制↳ 模型能處理文字、圖像等各種形式，所以再改幾輪，畫面就變得精緻，可以用在真的遊戲裡。剩下只要微調玩法。
- 37:44 要求「show us how you play the game」後建立 browser use 連線，Astra 自己摸索如何操控並即時學會玩↳ browser use 是讓 AI 自己操作瀏覽器。他說「玩給我們看」，Astra 就自己摸索怎麼操控，當場學會玩。
- 37:44 Astra 會自行開始遊戲並選船；畫面左側顯示模型的決策↳ Astra 會自己開始遊戲、自己選船。畫面左邊同步顯示它每一步做了什麼決定。
- 38:17 畫面最右側顯示 Astra 按下的鍵盤按鍵↳ 畫面最右邊顯示它實際按了哪些鍵，讓人看到 AI 真的是在按鍵盤操作。
- 38:17 除了 browser use，Astra 也很擅長使用電腦上的任何其他 app↳ 除了瀏覽器，Astra 操作電腦上的其他 app 也很上手。
- 38:49 把手機畫面上的 app 拍成 app shot，並口述 prompt：跨螢幕尺寸稽核我的 app，過程中截圖↳ 他把手機上的 app 畫面做成 app shot，再用講的下指令：在不同螢幕尺寸下檢查這個 app，過程中截圖。
- 38:49 示範的 app 是 Romain 為週末飛行課做的個人專案，用來記錄課程↳ 示範用的 app 是 Romain 自己做的小工具，用來記錄他週末上飛行課的內容。
- 39:21 app shot 能把完整脈絡帶給 Codex，並教 Codex 在電腦與該 app 中導覽操作↳ app shot 的用處是讓 Codex 一次掌握這個 app 的完整狀況，並學會怎麼在電腦和這個 app 裡點來點去。
- 39:21 Codex 點擊模擬器、開啟 app、摸索各功能、截圖並逐一嘗試；你做別的事時可讓它在背景執行↳ Codex 自己點開模擬器（在電腦上模擬手機的程式）、打開 app、逐一試用各功能並截圖。你可以讓它在背景跑，自己去做別的事。
- 40:00 已展示 app、CLI 與 CodeX Remote；並完全重新構想雲端版 Codex↳ 回顧目前展示過的：Codex app、CLI 和 CodeX Remote（字幕沒有細講）。另外，雲端版 Codex 也完全重新設計了。
- 40:00 雲端 Codex 速度快，可使用與筆電版 Codex 相同的工具，包括 plugins 與 computer use↳ 雲端版 Codex 速度快，筆電版能用的工具它都能用，包括 plugins（外掛功能）和 computer use（讓 AI 操作電腦畫面）。
📘 術語
AGI（通用人工智慧）：字幕未解釋，僅在 OpenAI 使命「確保 AGI 造福全人類」中提及
harness（執行框架）：Codex harness 驅動 Codex、work 與 dots，以最快速度、最少 token 得到準確結果，且為開源
token（token（語元））：字幕未解釋，僅提到 harness 力求用最少 token
open source（開源）：可以查看內部運作，也能自己建置
Codex Security Cloud（Codex 雲端資安服務）：在雲端環境執行，持續找出漏洞並準備經驗證的修補供審查
vulnerabilities（漏洞）：Codex Security Cloud 會持續找出的對象，並準備修補
automatic deduplication（自動去重）：Codex Security Cloud 新增的功能之一，字幕未進一步解釋
scheduled scans（排程掃描）：Codex Security Cloud 新增的功能之一，字幕未進一步解釋
Agents API（Agents API）：包含 harness、hosting、memory、multi-agent controls 等核心元件，與驅動 Codex、dots 的技術相同
multi-agent controls（多 agent 控制）：Agents API 的核心元件之一，字幕未進一步解釋
public beta（公開測試版）：Agents API 目前的開放狀態，可以開始用來打造
OpenAI Private Intelligence（OpenAI Private Intelligence）：預覽中，讓你使用最先進模型能力時對資料有更強控制
ZDR with private safety processing（ZDR 搭配私密安全處理）：提供前沿模型等級的安全，且完全不在 OpenAI 伺服器儲存你的內容
private inference（私密推論）：在推論當下也能提供隱私保護
time to first token（首個 token 回應時間）：字幕未解釋定義，只說已縮短 45%
tool calls（工具呼叫）：字幕未解釋，只說與 workflows 一起加速超過 30%
dots（dots）：由 Codex harness 驅動；示範中能飛到座位上，也能寄 email 通知得主
Ultra Fast（Ultra Fast）：可即時改變 3D 世界、幾乎以思考速度打造任何東西；CLI 中也能使用
Codex CLI（Codex 命令列工具）：已全面翻新，示範中用來從空的 React 專案快速做出 app
bi-directional audio (bidi audio)（雙向語音）：終端機中的語音功能，由 GPT Live 驅動，不是一般聽寫，可即時互動
GPT Live（GPT Live）：驅動終端機雙向語音的技術，與 app 中相同
browser use（瀏覽器操作）：建立連線後，Astra 能自己摸索如何操控遊戲並即時學會玩
app shot（app shot）：能把完整脈絡帶給 Codex，教 Codex 在電腦與該 app 中導覽操作
CodeX Remote（CodeX Remote）：字幕只在回顧已展示項目時提及，未進一步解釋
plugins（外掛）：雲端 Codex 可使用的工具之一，與筆電版相同
computer use（電腦操作）：雲端 Codex 可使用的工具之一，與筆電版相同
harness（執行框架）：Codex harness 驅動 Codex、work 與 dots，以最快速度、最少 token 得到準確結果，且為開源
token（token（語元））：字幕未解釋，僅提到 harness 力求用最少 token
open source（開源）：可以查看內部運作，也能自己建置
Codex Security Cloud（Codex 雲端資安服務）：在雲端環境執行，持續找出漏洞並準備經驗證的修補供審查
vulnerabilities（漏洞）：Codex Security Cloud 會持續找出的對象，並準備修補
automatic deduplication（自動去重）：Codex Security Cloud 新增的功能之一，字幕未進一步解釋
scheduled scans（排程掃描）：Codex Security Cloud 新增的功能之一，字幕未進一步解釋
Agents API（Agents API）：包含 harness、hosting、memory、multi-agent controls 等核心元件，與驅動 Codex、dots 的技術相同
multi-agent controls（多 agent 控制）：Agents API 的核心元件之一，字幕未進一步解釋
public beta（公開測試版）：Agents API 目前的開放狀態，可以開始用來打造
OpenAI Private Intelligence（OpenAI Private Intelligence）：預覽中，讓你使用最先進模型能力時對資料有更強控制
ZDR with private safety processing（ZDR 搭配私密安全處理）：提供前沿模型等級的安全，且完全不在 OpenAI 伺服器儲存你的內容
private inference（私密推論）：在推論當下也能提供隱私保護
time to first token（首個 token 回應時間）：字幕未解釋定義，只說已縮短 45%
tool calls（工具呼叫）：字幕未解釋，只說與 workflows 一起加速超過 30%
dots（dots）：由 Codex harness 驅動；示範中能飛到座位上，也能寄 email 通知得主
Ultra Fast（Ultra Fast）：可即時改變 3D 世界、幾乎以思考速度打造任何東西；CLI 中也能使用
Codex CLI（Codex 命令列工具）：已全面翻新，示範中用來從空的 React 專案快速做出 app
bi-directional audio (bidi audio)（雙向語音）：終端機中的語音功能，由 GPT Live 驅動，不是一般聽寫，可即時互動
GPT Live（GPT Live）：驅動終端機雙向語音的技術，與 app 中相同
browser use（瀏覽器操作）：建立連線後，Astra 能自己摸索如何操控遊戲並即時學會玩
app shot（app shot）：能把完整脈絡帶給 Codex，教 Codex 在電腦與該 app 中導覽操作
CodeX Remote（CodeX Remote）：字幕只在回顧已展示項目時提及，未進一步解釋
plugins（外掛）：雲端 Codex 可使用的工具之一，與筆電版相同
computer use（電腦操作）：雲端 Codex 可使用的工具之一，與筆電版相同
✏️ 小考一題
根據影片，OpenAI 將 time to first token 縮短了多少？
A. 45%B. 30%C. 99%D. 100 倍看答案
答案：A。[30:40] 字幕說 time to first token 縮短 45%；30% 是 tool calls 與 workflows 的加速幅度，99% 是可靠度，100 倍是 Assistants API 的成長
💛 覺得有幫助？支持一下
課本免費、沒有廣告，支持與否都能照常讀 🐰