The Defender's Window(防禦者之窗):資安主題演講(第 1/4 段)


🏦 台灣Pay 銀行轉帳 💙 PayPal
OpenAI 說明 AI 資安的「防守者之窗」,呼籲生態系共同行動,並介紹 defense factory
- 00:05 Emmanuel Mayolle(OpenAI 歐洲、中東與非洲 general manager)開場。今天的目的是理解未來的變化、互相學習,並善用在場所有人的知識
- 05:28 角色一:企業領導者。資安必須由上而下推動,列為公司第一優先。美國已經是第一優先;歐洲稍微落後,但正在追上
- 11:36 還要確認問題是否已被 risk accepted。重點是要的是 fixes,不是 findings,這是保護機構必須補上的缺口
💡 你可以怎麼用:如果你在公司有發言權,可以直接問 IT 或資安負責人:我們的舊系統有沒有用 AI 掃過漏洞?找到之後誰負責修、怎麼確認修好了?追問的重點要放在「修好幾個」,不是「找到幾個」。
看全部 34 條重點
🧑🏫 這是 OpenAI 一場資安主題演講的前段。核心主張是:AI 已經強到能幫忙找出系統漏洞,攻擊者遲早也會拿到同樣的能力,所以防守方要趁現在這段領先期快點補洞。後半段介紹 OpenAI 自己怎麼用 AI 做防禦,也就是他們說的 defense factory。如果你想知道 AI 跟資安的關係正在怎麼變,這段很值得看。
- 00:05 Emmanuel Mayolle(OpenAI 歐洲、中東與非洲 general manager)開場。今天的目的是理解未來的變化、互相學習,並善用在場所有人的知識↳ 開場的是 OpenAI 負責歐洲、中東、非洲業務的 general manager(區域總經理)。他說今天不是來單向宣傳,是要大家一起交流,看清接下來會怎麼變。
- 00:05 議程:開場後有一小時的場次,接著是幾場 fireside chat,最後由 Emmanuel 收尾↳ 流程先是一小時的主題場次,再來幾場 fireside chat(爐邊對談,台上兩三人輕鬆對話的座談形式),最後由他收尾。
- 00:37 AI 能力持續成長:幾週前 Navier-Stokes 數學問題被解開;OpenAI 發布 GPT-4o,講者稱它是 OpenAI 至今推出最強的模型↳ 他先說明 AI 進步得很快:知名數學難題 Navier-Stokes 問題前陣子被解開,OpenAI 也推出了他口中目前最強的模型 GPT-4o。
- 01:12 企業使用 AI 的程度愈來愈高:用 Codex 做行銷的每週活躍使用者多了 26%;Legal 領域 108%(講者隨即改口為 108X)↳ 他用數字說明企業愈用愈深:拿 Codex 做行銷的每週活躍使用者成長 26%。法律領域他先說 108%,馬上改口成 108 倍,意思是成長幅度大很多。
- 01:12 例子:講者週二在 Berlin 拜訪中小企業 Staedtler,公司有 650 名員工↳ 接著舉一個真實例子:他週二在 Berlin 拜訪了 Staedtler。這是一家約 650 名員工的中型公司,不是科技巨頭。
- 01:46 Staedtler 在 650 名員工之外運行 145 個 agents,達成 30–40% 的效率提升。中小企業到大型企業都在受惠↳ 這家公司除了 650 名員工,還跑了 145 個 agents(AI 代理,能自己執行一連串工作的 AI),效率提升 30–40%。他想說明 AI 不只大公司在用。
- 01:46 每週使用 ChatGPT 的活躍使用者超過 10 億人↳ 每週有超過 10 億人在用 ChatGPT,AI 已經是一般人日常會用的工具。
- 02:16 能力成長隨之帶來「信任」問題。安全一直是 OpenAI 的核心,近期事件發生後,OpenAI 更加重視安全議題↳ 能力變強,大家就會問:這東西可以信任嗎?他說安全一直是 OpenAI 的核心,最近發生一些事件後又更重視了,不過字幕沒有說是哪些事件。
- 02:47 OpenAI 的安全措施:大幅擴編 safety team、大量投資 safety computing、8 月初暫停最新的 training runs 幾週↳ 具體做法有三項:安全團隊大量擴編;大量投資 safety computing(字幕沒細講內容);8 月初把最新的 training runs(訓練新模型的運算)暫停幾週。
- 02:47 講者稱 o1 是 OpenAI 至今推出最 aligned 的模型,並強調安全是信任的必要元素↳ 他說 o1 是 OpenAI 最 aligned 的模型。aligned 指模型行為符合人的意圖與規範,不會亂來。他強調沒有安全就談不上信任。
- 03:21 OpenAI 負責模型本身的安全;外部世界的資安則是在場所有人(包含 OpenAI)的責任。信任也來自團隊與生態系在資安上的作為↳ 他把責任分成兩塊:模型本身安不安全由 OpenAI 負責;整個外部世界的資安則是大家一起扛。信任也來自整個生態系在資安上實際做了什麼。
- 03:51 講者過去兩週拜訪許多客戶:六個月前,客戶談的都不是資安;六天前,每位客戶一開口都是資安疑慮↳ 他觀察到客戶關心的事變了:半年前沒人主動提資安,最近每位客戶一見面就先問資安。
- 04:23 defender's window 的定義:OpenAI 推出的模型能力,與快速追趕的 open weights 模型之間的差距。防守者必須趁這段時間善用最好的能力↳ defender's window 指 OpenAI 最新模型和緊追在後的 open weights 模型(權重公開、任何人可下載來跑)之間的差距。趁差距還在,防守方要先把最強能力用起來。
- 04:56 幾週前發起一封公開信,有 100 家公司簽署(在場多數公司也在名單上),主張整個生態系應團結起來解決這個問題↳ 幾週前有 100 家公司簽了一封公開信,在場很多公司也有簽。主張是這件事靠單一公司做不到,整個業界要一起來。
- 05:28 角色一:企業領導者。資安必須由上而下推動,列為公司第一優先。美國已經是第一優先;歐洲稍微落後,但正在追上↳ 第一個角色是企業老闆。資安要由高層帶頭推動、列為第一優先,不能只丟給 IT 部門。他說美國已經這樣做,歐洲稍慢但在追。
- 05:58 角色二:技術夥伴(Darktrace、Check Point)。需要他們的能力、知識與團隊,把模型連接到各組織以便部署,並及時行動↳ 第二個角色是技術夥伴,例如資安公司 Darktrace、Check Point。要靠他們的專業和團隊,把模型接進各家公司的系統,真正部署起來,而且動作要快。
- 05:58 講者強調這是時間問題,必須快速行動↳ 他再次強調時間是關鍵,因為防守方的領先期不會一直都在。
- 06:30 角色三:政府,扮演推動者與加速者。昨天宣布與 Ukraine 合作協助網路防禦,Ukraine 去年遭遇 6,000 次攻擊↳ 第三個角色是政府,負責推動和加速。昨天 OpenAI 宣布和 Ukraine 合作做網路防禦,Ukraine 去年遭受 6,000 次攻擊。
- 06:30 歐盟資安機構 ENISA 幾週前報告,他們用 OpenAI 模型找漏洞,即使只是小規模使用,也找到數個意料之外的漏洞↳ 歐盟資安機構 ENISA 回報,他們只小規模試用 OpenAI 模型找漏洞,就挖到好幾個沒預料到的漏洞。
- 07:01 角色四:OpenAI。目標是讓每個關鍵基礎設施都能受惠,醫院、公用事業業者都應能用 cyber models 自我防禦,前提是透過 trusted access↳ 第四個角色是 OpenAI。目標是讓醫院、水電這類關鍵基礎設施都能用資安模型自保,但必須透過 trusted access(經過審核、可信任的對象才能使用)。
- 08:05 OpenAI 兩週前推出 10 億美元基金,目的是讓錢不成為防禦的障礙↳ OpenAI 兩週前推出 10 億美元的基金,用意是不要讓「沒錢」成為防禦做不起來的理由。
- 08:05 領導者、技術夥伴、政府與 OpenAI 的技術結合起來,就有很好的機會把握 Defender Window↳ 總結前半段:老闆重視、夥伴協助部署、政府加速,再加上 OpenAI 的技術,四方一起合作,才能把握這段防守方的領先期。
- 09:29 Matt(OpenAI Head of Engineering for Cyber)上台,主題是如何讓 cyber model 的能力實際發揮作用↳ 換 OpenAI 資安工程主管 Matt 上台。他要講的不是模型有多強,而是怎麼讓這些能力真正派上用場。
- 09:29 Matt 以 Thames Barrier 開場,提到它已運作超過 40 年(字幕此處中斷)↳ 他用倫敦泰晤士河的防洪閘 Thames Barrier 開場,提到它運作超過 40 年。後面的內容字幕斷掉了。
- 10:00 可以用這些模型搶得先機,在攻擊者利用弱點之前先把弱點補起來↳ 他的重點是先下手為強:趁攻擊者還沒利用弱點,就先用模型把它找出來修好。
- 10:00 OpenAI 內部集合 security、applied engineering、research 三個團隊,目標是強化自身防禦。這項工作成為 defense factory 的起點↳ OpenAI 內部讓資安、應用工程、研究三個團隊合作,先保護自己的系統。這套做法後來發展成 defense factory(防禦工廠)。
- 10:00 defense factory 的組成:models 給 agents 能力;skills 給 agents 可重複的 workflows;development environments 讓 agents 執行軟體,以測試與驗證變更↳ defense factory 有三塊:模型提供能力;skills 是固定可重複的工作流程;development environments 是讓 AI 實際跑軟體的測試環境,用來確認改動有沒有效。
- 10:32 agents 需要自己的環境來調查弱點、測試修補。目標是走向 continuous defense,稍後由 Lee 詳細介紹↳ AI 需要自己的環境,才能去查弱點、試修補,不會碰壞真正在用的系統。長期目標是 continuous defense,持續不中斷的防禦,細節由下一位講者 Lee 說明。
- 10:32 模型正在找出藏了數十年的漏洞,例如協助找出 OpenBSD 中一個 23 年前的缺陷↳ 模型已經能找到藏了很多年的漏洞(系統裡可被攻擊者利用的缺陷)。例如在以安全著稱的作業系統 OpenBSD 裡,找到一個 23 年前的缺陷。
- 11:04 在 Poland,cyber models 在 MikroTik 找到漏洞,受影響的版本最早可追溯到 2013 年↳ 另一個例子在 Poland:模型在網路設備廠商 MikroTik 的產品裡找到漏洞,受影響的版本最早到 2013 年。
- 11:04 許多在場者運行的系統比 23 年還舊,講者預測深入調查後會發現更多問題↳ 很多在場公司的系統比 23 年還老,他預估真的仔細查下去,會挖出更多問題。
- 11:04 光是「找到問題」並不有趣。findings 會觸發另一套流程:是否正確?是否重複?是否已在追蹤?↳ 找到問題只是開始。每個 finding(發現)都還要確認:是真的嗎?有沒有重複?是不是早就在處理清單上了?
- 11:36 還要確認問題是否已被 risk accepted。重點是要的是 fixes,不是 findings,這是保護機構必須補上的缺口↳ 還要看這個問題是不是已被 risk accepted,也就是公司評估後決定接受、暫時不修。他強調大家要的是修好,不是一份問題清單。
- 11:36 還要驗證修補有效,而且要快,因為讓我們找到弱點的同樣能力,也讓攻擊者更容易利用這些弱點↳ 修完還要驗證真的有效,而且要快。AI 能幫我們找到弱點,同樣也能幫攻擊者更容易利用這些弱點。
📘 術語
defender's window(防守者之窗):OpenAI 模型能力與快速追趕的 open weights 模型之間的差距,防守者需把握這段時間行動
open weights models(開放權重模型):字幕只說它們正在後面快速追趕,是構成 defender's window 的另一端
fireside chat(爐邊對談):字幕只提到議程中有幾場,未進一步解釋
agents(代理):Staedtler 有 145 個 agents 與員工一起工作;在 defense factory 中,agents 用來調查弱點、測試修補
training runs(訓練執行):OpenAI 在 8 月初暫停最新的 training runs 幾週,作為安全措施之一
aligned(對齊):講者稱 o1 是 OpenAI 推出過最 aligned 的模型,放在安全措施脈絡中提及
safety computing(安全運算):OpenAI 大量投資的安全項目之一,字幕未進一步說明
critical infrastructure(關鍵基礎設施):如醫院、公用事業業者,OpenAI 希望它們都能用模型自我防禦
trusted access(受信任存取):關鍵基礎設施使用 OpenAI cyber models 防禦時,搭配的存取機制
ENISA(歐盟網路安全局):字幕稱其為 EU Cyber Agency,曾用 OpenAI 模型找到數個意料外的漏洞
defense factory(防禦工廠):OpenAI 集合 security、applied engineering、research 團隊強化自身防禦,由此形成的做法
skills(技能):在 defense factory 中,skills 給 agents 可重複的 workflows
development environments(開發環境):讓 agents 執行軟體,以測試與驗證變更
continuous defense(持續防禦):defense factory 想要邁向的目標,字幕未進一步說明
vulnerability(漏洞):模型能找出藏了數十年的漏洞,例如 OpenBSD、MikroTik 的案例
findings vs. fixes(發現 vs. 修補):findings 只會觸發驗證流程;真正需要的是 fixes,且要驗證有效並快速完成
risk accepted(已接受風險):處理 findings 時要確認的項目之一:該問題是否已被接受為風險
open weights models(開放權重模型):字幕只說它們正在後面快速追趕,是構成 defender's window 的另一端
fireside chat(爐邊對談):字幕只提到議程中有幾場,未進一步解釋
agents(代理):Staedtler 有 145 個 agents 與員工一起工作;在 defense factory 中,agents 用來調查弱點、測試修補
training runs(訓練執行):OpenAI 在 8 月初暫停最新的 training runs 幾週,作為安全措施之一
aligned(對齊):講者稱 o1 是 OpenAI 推出過最 aligned 的模型,放在安全措施脈絡中提及
safety computing(安全運算):OpenAI 大量投資的安全項目之一,字幕未進一步說明
critical infrastructure(關鍵基礎設施):如醫院、公用事業業者,OpenAI 希望它們都能用模型自我防禦
trusted access(受信任存取):關鍵基礎設施使用 OpenAI cyber models 防禦時,搭配的存取機制
ENISA(歐盟網路安全局):字幕稱其為 EU Cyber Agency,曾用 OpenAI 模型找到數個意料外的漏洞
defense factory(防禦工廠):OpenAI 集合 security、applied engineering、research 團隊強化自身防禦,由此形成的做法
skills(技能):在 defense factory 中,skills 給 agents 可重複的 workflows
development environments(開發環境):讓 agents 執行軟體,以測試與驗證變更
continuous defense(持續防禦):defense factory 想要邁向的目標,字幕未進一步說明
vulnerability(漏洞):模型能找出藏了數十年的漏洞,例如 OpenBSD、MikroTik 的案例
findings vs. fixes(發現 vs. 修補):findings 只會觸發驗證流程;真正需要的是 fixes,且要驗證有效並快速完成
risk accepted(已接受風險):處理 findings 時要確認的項目之一:該問題是否已被接受為風險
✏️ 小考一題
講者在 Berlin 拜訪的 Staedtler,在 650 名員工之外運行了多少個 agents?達成多少效率提升?
A. 145 個 agents,效率提升 30–40%B. 650 個 agents,效率提升 108%C. 100 個 agents,效率提升 26%D. 145 個 agents,效率提升 108%看答案
答案:A。[01:46] 字幕說 Staedtler 有 145 agents working on top of their 650 employees,獲得 30 to 40% efficiency gains
💛 覺得有幫助?支持一下


課本免費、沒有廣告,支持與否都能照常讀 🐰