The Defender's Window（防禦者之窗）：資安主題演講（第 2/4 段）

🧑‍🏫 這段是 OpenAI 資安主題演講的第二部分。內容有三塊：怎麼讓資源不足的防守方也用得到強大的 AI、新模型 Astra 的攻防能力和安全防護，以及兩個新服務 Daybreak Red/Blue 和 Codex Security Red。如果你想知道 AI 在資安上能做到哪裡、OpenAI 打算怎麼控管風險，這段的資訊很集中。

• 11:51 造成弱點的同樣能力，也讓攻擊者更容易利用弱點。不能假設會一直領先，但目前是領先的
  ↳ AI 能力是兩面刃：同一套能力會產生軟體弱點（vulnerability，可被拿來攻擊的缺陷），也讓攻擊者更容易利用這些弱點。講者坦白說，防守方現在領先，但不保證一直領先。
• 11:51 資安已成為國家優先事項。Cyber Shield initiative 用 agents 找漏洞，並朝關鍵基礎設施的自動化修補（automated remediation）推進
  ↳ 資安已經是國家層級的事。Cyber Shield 計畫用 agents（能自己執行多步驟任務的 AI）找漏洞，下一步是自動化修補（automated remediation），讓修補不必全靠人力，先用在電力、交通這類關鍵基礎設施。
• 12:21 這可視為一座 national defense factory。其他國家政府也在關注，講者特別為 UK government 投入感到驕傲
  ↳ 講者把這種做法比喻成國家級的「防禦工廠」：用穩定的流程持續找漏洞、修漏洞，而不是出事才救火。其他國家也在看，他特別提到以英國政府投入為榮。
• 12:21 主張每個組織都需要自己的 defense factory。OpenAI 有專屬資安團隊、深厚技術專業，也能使用 frontier AI，多數組織沒有這些優勢
  ↳ OpenAI 自己有專職資安團隊、技術底子深，也能用到 frontier AI（目前最前沿的 AI 模型），所以防得住。講者的主張是：多數組織沒有這些條件，但每個組織都需要一套自己的持續防禦機制。
• 12:51 政府、公用事業、開源軟體很少擁有同等資源；「他們的安全就是我們的安全」
  ↳ 政府、水電這類公用事業、開源軟體（公開原始碼、大家共用的軟體），通常人少錢少。可是大家的系統都建在它們上面，它們被攻破，所有人都會受影響，所以講者說「他們的安全就是我們的安全」。
• 12:51 OpenAI 發表公開信，共 500 個組織簽署，呼籲集體回應，要把有能力的 AI 交給資源不足的防禦者
  ↳ OpenAI 發起公開信，有 500 個組織連署，意思是這件事不能只靠一家公司。訴求是：把真正有用的 AI 能力，交到那些想防守卻沒資源的人手上。
• 12:51 宣布十億美元基金，補助 Daybreak access
  ↳ OpenAI 拿出十億美元成立基金，用來補助防守方使用 Daybreak 的費用。Daybreak 是 OpenAI 讓符合資格的資安防守者使用強大模型的計畫，分 Red 與 Blue 兩層，後面會說明。
• 13:25 基金協助關鍵基礎設施、essential services、非營利組織與開源軟體的防禦者修補嚴重漏洞，讓防禦者搶得先機
  ↳ 補助對象是關鍵基礎設施、民生必要服務、非營利組織和開源軟體的防守方。目的是在攻擊者動手之前，先把嚴重漏洞補起來。
• 13:25 各部分的分工：frontier models 提供能力，Daybreak 讓符合資格的防禦者取得存取權，並用於防禦與授權的攻擊測試
  ↳ 這幾塊各有分工：前沿模型提供能力；Daybreak 決定誰能用，用來防禦，或在取得授權的前提下模擬攻擊，找出自家弱點。
• 13:25 Defense Factory 是一個框架，把上述各部分整合成持續性防禦（continuous defense）
  ↳ Defense Factory 是 OpenAI 提出的框架，把模型、存取管道、補助這些零件串成一條持續運轉的防禦流程。重點在「持續」，不是一次性的健檢。
• 13:57 當天目標：分享 frontier models 能做什麼、如何放進自己的營運，以及用研究方法打造更安全的系統
  ↳ 這場演講想談三件事：前沿模型實際能做到什麼、怎麼放進你自己的日常資安工作，以及怎麼借用研究上的方法，把系統做得更安全。
• 13:57 防禦者之窗現在是開著的，但不會開太久，必須好好把握
  ↳ 「防禦者之窗」指的是現在防守方用 AI 有優勢的這段時間。攻擊方遲早也會跟上，所以要趁現在把該補的漏洞補完。
• 14:27 Lee 負責 EMEA 地區 Go-To-Market 的 cyber program，過去 6 個月與歐洲最大、最關鍵的組織合作提升防禦能力
  ↳ 講者 Lee 負責歐洲、中東、非洲（EMEA）地區資安方案的推廣與落地（Go-To-Market）。過去半年，他和歐洲大型關鍵組織合作加強防禦，接下來的內容有實務經驗在背後。
• 14:57 新模型經過訓練，能找到更多漏洞（包括 zero-days）、更深入研究資安問題，也是更有能力的 red teamer
  ↳ 新模型找漏洞的能力變強，包括 zero-day（廠商還不知道、還沒有修補的漏洞），研究資安問題也更深入。它也是更強的 red teamer，就是能站在攻擊者角度幫你測系統的角色。
• 14:57 能力只是一部分，模型也要更具成本效益，大家才負擔得起大規模使用
  ↳ 光是很會還不夠，還得用得起。模型要夠划算，組織才能大量跑、全面掃，不會只捨得挑幾個地方測。
• 15:28 ExploitGym 測試模型能否把已知漏洞變成可運作的 exploit，涵蓋各種應用程式、Chrome 的 JavaScript engine 與 Linux kernel
  ↳ ExploitGym 是一套評測，看模型能不能把已知漏洞做成真的能用的攻擊程式（exploit）。測試對象從一般應用程式，一路到 Chrome 的 JavaScript 引擎和 Linux 系統核心這類很難攻的目標。
• 15:28 ExploitGym 的計分規則：exploit 必須真的能運作才得分，只觸發 crash 不算
  ↳ 這套評測計分很嚴格：攻擊必須真的成功才算分。程式只是當掉（crash）不算，因為讓程式當掉和真正控制它，難度差很多。
• 15:28 結果圖表的橫軸是使用的 output tokens，縱軸是成功完成挑戰的百分比
  ↳ 圖表的橫軸是 output tokens，也就是模型為了完成任務「寫」了多少內容，大致代表花費。縱軸是成功率。越靠左上角，代表花越少、成功越多。
• 15:59 GPT-5.6 Sol 約達 30% 完成率；Astra 的成功完成數多出約 40%，而且用的 tokens 少很多
  ↳ 前一代模型 GPT-5.6 Sol 成功率約 30%。Astra 成功的題數多出約四成，用掉的 tokens 卻少很多，等於更準、也更省。
• 15:59 重點進步在於用更少輸出完成更多困難任務，讓防禦者能用現有資源做更徹底的安全測試
  ↳ 這次真正的進步是用更少的運算，做成更多困難任務。對防守方來說，同樣的預算可以測得更多、更徹底。
• 16:31 實例：模型協助研究人員找出 Chrome JavaScript engine 兩個先前未知的漏洞，並串成 exploit chain
  ↳ 實際案例：模型協助研究人員在 Chrome 的 JavaScript 引擎找到兩個新漏洞，並串成 exploit chain，也就是把多個漏洞接起來，組成一次完整的攻擊。
• 16:31 其中一個漏洞造成 memory corruption，另一個讓這個損壞突破另一層保護；最難的是理解兩個弱點如何搭配
  ↳ 第一個漏洞造成 memory corruption（記憶體內容被破壞），第二個漏洞讓這個破壞突破另一層保護。單看每個漏洞不一定危險，最難的是看出兩個漏洞怎麼搭配。
• 16:31 研究人員驗證後回報 Google，Google 隨後釋出修補
  ↳ 研究人員確認漏洞屬實後通報 Google，Google 也發布了修補。這就是負責任的做法：先通知廠商修好，而不是公開讓人拿去攻擊。
• 17:04 Patch the Planet 是與 Trail of Bits 合作的計畫，保護廣泛使用的開源軟體，例如 Python、curl、Go
  ↳ Patch the Planet 是和資安公司 Trail of Bits 合作的計畫，專門保護大家都在用的開源軟體，例如 Python、curl、Go。這些軟體一出問題，影響範圍非常廣。
• 17:04 計畫資助專業資安研究人員，並提供模型與 Codex Security 給他們使用
  ↳ 計畫的做法是出錢請專業資安研究人員，並提供模型和 Codex Security 讓他們使用。Codex Security 是 OpenAI 用 AI 協助調查漏洞、提出修補的資安工具。
• 17:34 研究人員直接與 maintainers 合作：調查發現、開發並測試 patches、協調揭露（disclosure）
  ↳ 研究人員直接和 maintainers（負責維護該開源專案的人）一起處理：確認問題、寫修補程式（patch）並測試，再協調什麼時候公開（disclosure），避免還沒修好就被人知道。
• 17:34 第一週就合併 37 個 patches；其中 aiohttp 的 maintainers 在數小時內修好 8 個回報問題
  ↳ 第一週就有 37 個修補被正式併入軟體。開源函式庫 aiohttp 的維護者，幾小時內就修好了 8 個回報的問題，可見有好的報告和修補，維護者處理得很快。
• 17:34 幫助防禦者的同樣能力也可能被濫用，所以 safeguards 必須跟著模型能力一起進步
  ↳ 能幫防守的能力，壞人拿到一樣能用來攻擊。所以 safeguards（防止被濫用的保護措施）必須跟著模型變強一起升級，不能落後。
• 18:08 Astra 是 OpenAI 第一個達到 cyber critical threshold 的模型，帶來機會，也帶來審慎管理風險的責任
  ↳ cyber critical threshold 是 OpenAI 用來判斷資安能力高到需要特別管制的門檻，Astra 是第一個達到的模型。這代表它很有用，也代表 OpenAI 有責任更小心地管理風險。
• 18:08 引述 Sam：不應代替人類承擔風險，人必須保持掌控
  ↳ 引述 Sam：AI 公司不該替人類決定要冒什麼風險，人必須保持掌控。意思是能力再強，最後的控制權也要在人手上。
• 18:41 cyber 模型的多層保護：訓練模型拒絕有害請求、偵測並阻擋濫用、監控危險行為
  ↳ 資安模型的保護有好幾層：模型本身受過訓練，會拒絕明顯有害的請求；系統會偵測、阻擋濫用；也會監控危險行為。一層漏掉了，還有下一層。
• 18:41 Astra 的強化 1：更好地偵測 cyber 濫用與繞過 safeguards 的嘗試
  ↳ Astra 第一項強化：更會察覺有人想拿它做壞事，也更會察覺有人想繞過防護，例如換個說法騙模型幫忙。
• 19:11 Astra 的強化 2：對高風險帳號更嚴格限制；monitors 會檢視模型的推理與行動，發現模型偏離指令時可以介入
  ↳ 第二項強化：對高風險帳號限制得更嚴。另外有監控機制（monitors）檢查模型的推理和實際動作，一發現它偏離指令就介入。
• 19:11 安全必須領先能力。OpenAI 曾暫停 frontier training，加碼 monitoring 與 alignment 研究，須先達到安全門檻才推進能力
  ↳ OpenAI 的原則是安全要走在能力前面。他們曾暫停訓練新模型，先加強監控和 alignment（讓模型行為符合人類意圖）的研究，達到安全標準才繼續提升能力。
• 19:42 Astra 是目前最 aligned 的模型。測試方式之一：給困難任務，並放入一個模型可當捷徑利用的 out-of-scope target
  ↳ 講者說 Astra 是目前最守規矩的模型。測試方式之一，是給它很難的任務，同時故意放一個不在授權範圍內、但可以拿來抄捷徑的目標，看它會不會去碰。
• 19:42 相關能力包括理解漏洞、開發可運作的 exploit、驗證結果
  ↳ 他們要管理的是一整套能力：看懂漏洞、做出真能用的攻擊程式，以及確認攻擊是不是真的成功。
• 19:42 這些能力分成兩個 Daybreak 層級：red 與 blue
  ↳ 這些能力依風險高低分成 Daybreak 的兩個層級：Red 給專業攻擊測試團隊，Blue 給一般防守工作。
• 19:42 Daybreak Red 是最高層級的 cyber 存取，讓核准的資安團隊使用專門模型，做進階 red teaming 與 weaponized exploit development
  ↳ Daybreak Red 是權限最高的一層，只開放給審核通過的資安團隊，用專門模型做進階攻擊演練，甚至開發可實際用來攻擊的程式，目的是先替自家系統找出最壞情況。
• 20:18 Red 的用途例子：把 crash 變成可運作的 exploit，或串連多個弱點，看攻擊者能走多遠
  ↳ Red 的典型用法：把只會讓程式當掉的問題，做成真的能入侵的攻擊；或把幾個小弱點串起來，看攻擊者最遠能打到哪裡。
• 20:18 給 agent 這麼強的能力，就要訂清楚邊界：允許測試什麼、能觸及什麼，並讓團隊看到它在做什麼
  ↳ AI agent 能力這麼強，就一定要先劃清界線：哪些東西可以測、能碰到哪些系統。它做了什麼也要讓團隊看得到，不能讓它在黑箱裡亂跑。
• 20:18 現況：團隊常得自建執行環境、網路控管、監控與證據收集，佔用資安工作的時間
  ↳ 現在的問題是，團隊常常得自己架測試環境、管網路、做監控、收集證據，光準備這些就吃掉大量時間，真正做資安分析的時間反而變少。
• 20:18 宣布 Codex Security Red：受管理的 penetration test 服務，scope、控管與監督都直接內建在工作流程中
  ↳ OpenAI 推出 Codex Security Red，一種代管的 penetration test（滲透測試，經授權模擬駭客攻擊自家系統）服務。測試範圍、管控和監督都已經建在流程裡，不用自己拼湊。
• 20:54 流程 1：在 Codex 定義評估 scope 與 rules of engagement
  ↳ 第一步：在 Codex 裡先訂好 scope（這次可以測哪些目標）和 rules of engagement（交戰規則，也就是什麼能做、什麼不能做）。
• 20:54 流程 2：investigation agents 在 OpenAI hosted 環境執行，每個 agent 有自己的隔離 sandbox
  ↳ 第二步：負責調查的 AI agents 在 OpenAI 的環境裡跑。每個 agent 都有自己的 sandbox（隔離的執行空間），彼此互不干擾，出事也不會波及外面。
• 20:54 流程 3：團隊透過 dashboard 追蹤 agents 活動，findings 與佐證會匯整在一起供審查
  ↳ 第三步：團隊在儀表板上看各個 agent 在做什麼。找到的問題（findings）和證據會集中在一起，方便人工審查。
• 20:54 流程 4：agents 與你的應用程式互動時，對外請求會經過網路控管，並由 guardian agent 審查流量
  ↳ 第四步：agent 對你的應用程式發出的連線，都要經過網路管控，並由另一個專門把關的 AI（guardian agent）檢查流量有沒有越界。
• 21:30 這樣能測出攻擊者實際可達成的結果，同時保有對整個評估的可見性與完整控制
  ↳ 這樣測出來的，是攻擊者實際能做到什麼，不是紙上推測。整個過程你都看得到，也隨時能控制。
• 21:30 好處 1：少建、少維護基礎設施。執行環境、監控、findings 整合在同一個畫面，能把時間留給調查與修補
  ↳ 好處一：基礎設施不用自己建、自己維護。環境、監控、結果都在同一個畫面，人力可以留給調查和修補。
• 21:30 好處 2：safeguards 內建於流程，隔離環境與對外請求檢查，能管理使用高能力模型的風險
  ↳ 好處二：保護機制本來就在流程裡，有隔離環境，對外連線也會被檢查，用很強的模型時風險比較好管。
• 22:04 好處 3：用現有團隊就能測試更多應用程式、調查潛在攻擊路徑，讓徹底且可重複的評估更容易執行
  ↳ 好處三：不用加人，也能測更多系統、追更多可能的攻擊路線。評估可以做得更完整，也能定期重跑。
• 22:04 好處 4：可設定模型能存取的 scope，並在網路層級封鎖、限制活動
  ↳ 好處四：你可以設定模型能碰到哪些範圍，必要時直接在網路層把它的活動擋掉或限縮。
• 22:04 對多數防禦者來說，起點是 Daybreak Blue：frontier general-purpose models，搭配針對授權資安工作調整的 safeguards
  ↳ 多數防守方的起點是 Daybreak Blue：用的是一般用途的前沿模型，但防護規則已經針對合法、經授權的資安工作調整過，比較不會因為問資安問題就被誤擋。
• 22:35 Blue 的用途：審查程式碼、調查警報、找漏洞、產生 patches，並消化漏洞 backlog
  ↳ Blue 能做的事很實際：幫忙看程式碼、調查警報、找漏洞、寫修補，並且一點一點清掉累積已久、一直沒空處理的漏洞清單（backlog）。
• 22:35 Blue 包含 GPT-6 Sol，現在也包含 Luna，即將加入 GPT-6 Astra，可依工作選擇合適大小的模型
  ↳ Blue 目前有 GPT-6 Sol 和 Luna，GPT-6 Astra 之後也會加入。工作簡單就用小模型省成本，任務難再用大模型。
• 22:35 接下來由 cyber deployment engineer Vanessa 示範 Codex Security 如何調查 finding 並提出 patch
  ↳ 接下來會由負責部署資安方案的工程師 Vanessa 現場示範：Codex Security 怎麼調查一個找到的問題，並提出修補。

在 ExploitGym 評測中，模型要怎樣才算得分？