為什麼 Tejal Patwardhan 不再低估模型 — 第 21 集（第 1/4 段）
🏦 台灣Pay 銀行轉帳 💙 PayPal
研究負責人 Tejal 談 evals、推理模型、o1 發布，以及外界為何低估模型
- 00:00 OpenAI podcast 由 Andrew Mayne 主持，來賓是研究負責人 Tejal Patwardhan。主題是舊 benchmark 逐漸飽和，因此需要建立 frontier evals
- 05:25 推理能力能否跨領域遷移是個大辯論。一般推理能力確實有部分能遷移，但不同領域也可能需要專屬的技能、工具或推理方式
- 10:54 Andrew 指出早期 evals 的問題之一：很多是從較舊的自然語言處理（NLP）方法沿用而來
💡 你可以怎麼用：不要只憑「它今天又答錯了」就判斷 AI 不行。可以挑一件你常做的工作，例如整理會議紀錄或寫企劃初稿，每隔幾個月用最新模型重做一次、比較結果，親自感受它進步的「斜率」。遇到難題時，也可以選用推理模型，讓它多想一下再回答。
看全部 46 條重點
🧑🏫 這是 OpenAI 官方 Podcast 第 21 集的第一段，研究負責人 Tejal Patwardhan 從幕後角度，談 OpenAI 怎麼測量模型的能力，以及第一個推理模型 o1 發布前後團隊內部的反應。她的核心觀點是：外界一直低估模型，真正該看的是「進步的速度」，而不是今天好不好用。如果你常用 AI、又常覺得「它也沒多聰明」，這段可以幫你調整判斷的角度。
- 00:00 OpenAI podcast 由 Andrew Mayne 主持，來賓是研究負責人 Tejal Patwardhan。主題是舊 benchmark 逐漸飽和，因此需要建立 frontier evals↳ benchmark 是一套固定的考題，用來比較模型強弱。舊考題已經「飽和」，也就是大家都考到接近滿分、分不出高下，所以要另外出更難的新考題，也就是 frontier evals（最前沿的評測）。
- 00:00 Tejal 在開場提到：模型一度被擔心無法勝過很難的人類基準，但「永遠不該低估模型」↳ 過去大家曾經擔心，有些人類很難的考題模型永遠過不了，後來還是被模型攻克了。所以她學到的教訓是：永遠別小看模型。
- 00:31 Tejal 在 fall 23 加入 OpenAI。當時 ChatGPT 剛推出、GPT-4 已發表，OpenAI 也成立了 Superalignment team↳ 她在 2023 年秋天加入 OpenAI，那時 AI 正熱。Superalignment team 是當時新成立的團隊，一般理解是研究怎麼讓未來比人還強的 AI 仍然照人的意思做事。
- 00:31 她加入的是剛起步的 preparedness team，負責評估模型變得多強，並思考下一代模型會是什麼樣子↳ preparedness team 可以想成「預先準備組」，工作是持續量測模型已經多強，也提前推想下一代模型會長什麼樣子。
- 01:09 她加入後不久，reasoning models 的早期成果開始出現。團隊著手做 threat modeling、決定該跑哪些 eval，以及思考如何發布這類模型↳ reasoning models 是會先想一陣子再回答的模型。threat modeling 是先設想它可能被怎麼濫用、出什麼危險。團隊用這些推想決定要測哪些項目，再決定怎麼發布。
- 01:09 她認為 evals 的價值在於衡量、理解模型能做什麼，並在進展發生之前就先看見它↳ evals 就是替模型做的各種測驗，用來看它會做什麼、不會做什麼。好的測驗能讓人在能力真的普及之前，就先看到它要來了。
- 01:47 capability overhang：模型早就具備某些能力，但人們要很久之後才真正採用。原因可能是文化、法律或法規上的障礙↳ capability overhang 是指模型早就辦得到某件事，社會卻還沒開始用。卡住的原因常常不是技術，而是習慣、法律或法規還沒跟上。
- 01:47 透過 evals 衡量模型，可以預先看見未來，也能幫助世界為即將發生的改變做好準備↳ 先把模型的能力量清楚，大家就能提早知道接下來會發生什麼，有時間調整工作方式和規則，不會等到變化發生了才措手不及。
- 02:20 她身邊許多朋友看了 ChatGPT 的輸出，覺得它會 hallucinating、不太聰明、讀起來像 AI slop。她的回應是：那只是現在↳ hallucinating 指 AI 一本正經講出錯的內容。AI slop 指讀起來很「AI 味」、空洞的文字。朋友拿這些批評 ChatGPT，她的意思是：這些缺點是暫時的。
- 02:20 真正該看的是「斜率」。如果斜率很高，變化會比預期快得多↳ 評估模型別只看它「現在」多厲害，要看它「進步多快」。進步的速度很陡，一兩年後的樣子可能遠超過你現在的想像。
- 02:50 她認為 OpenAI 能提供的最大貢獻之一，是衡量進展並分享給世界，因為人們往往還沒感受到 capability overhang↳ 很多人還沒意識到模型其實已經會很多事。所以她覺得 OpenAI 很重要的責任，是把量測到的進展公開，讓外界看見。
- 02:50 Andrew 指出推理的關鍵：讓模型思考得更久就能得到更好的結果，即使模型大小沒有變大；外界大約晚了一年才知道↳ 推理模型的關鍵在於：模型本身沒有變大，只是回答前多想一下，結果就變好。OpenAI 內部早就知道這件事，外界大約晚了一年才曉得。
- 03:21 早期實驗中，模型只用數學訓練。Nat McAleese 發現，拿它去考 GPQA（生物、化學、物理題目），表現卻很好↳ GPQA 是一套研究所等級的生物、化學、物理考題。研究員 Nat McAleese 發現，一個只學過數學的模型，去考科學題也考得很好，表示推理能力能延伸到別的科目。
- 03:54 Nat McAleese 當時做了預測：若進展持續，六個月內只靠數學訓練，就能在科學上達到人類水準↳ Nat 當時大膽推估：照這個速度，六個月內光靠數學訓練，模型的科學能力就能追上人類。這顯示團隊內部看到的進步速度有多快。
- 03:54 當時相關資訊封鎖得很嚴，團隊透過 curl 才看得到部分模型輸出。她說從沒看過模型這樣推理↳ curl 是工程師用來直接向伺服器送出請求的指令工具。當時保密非常嚴，連團隊都要用這種陽春的方式才看得到部分輸出，而她從沒看過模型那樣一步步推理。
- 03:54 後來大家回頭看，覺得 GPQA 只是 PhD 等級的生物、化學、物理，還需要 professional level，於是不斷提高「算數」的標準↳ 模型過了 GPQA 之後，大家又覺得「博士等級」還不夠，要到實際執業的專業水準才算數。標準一再被拉高，這也是新考題需要一直推出的原因。
- 04:24 Andrew 回憶，早期曾以 AP Bio 作為測試模型能力的 benchmark↳ AP Bio 是美國高中生的大學先修生物考試。Andrew 回想，當年光是拿它來測模型就算夠難了，對照現在的標準，可以看出門檻抬高了多少。
- 04:24 OpenAI 很多成果聚焦數學，原因是數學比較容易客觀驗證，用數學做 RL 並擴展推理範式也比較容易↳ 數學題的對錯很明確，容易自動批改。RL（強化學習）就是做對給獎勵、做錯不給，讓模型自己越練越好，所以數學最適合拿來練推理。
- 04:54 數學是核心科學之一，但聚焦數學某種程度上是巧合。它是「證明點」而非最終目標↳ 選數學某種程度上只是剛好方便。它的作用是先證明「這套訓練方法有效」，不代表 OpenAI 只想做出數學很強的模型。
- 04:54 下一步是把同樣方法擴展到其他科學、專業工作，以及對個人有用的能力↳ 既然方法在數學上行得通，下一步就是搬到其他科學、各行各業的專業工作，以及一般人日常用得到的事情上。
- 05:25 推理能力能否跨領域遷移是個大辯論。一般推理能力確實有部分能遷移，但不同領域也可能需要專屬的技能、工具或推理方式↳ 數學練出來的推理，換到別的領域能用上多少，業界還在爭論。她的看法是能帶過去一部分，但有些領域需要自己的技能、工具或思考方式。
- 05:25 例子：要擴展 coding agent，模型必須能實際撰寫、執行與測試程式碼↳ coding agent 是能自己動手寫程式的 AI 助手。光會「想」還不夠，它必須真的能寫程式、執行、測試，確認程式能跑，才算有用。
- 05:25 在 evals 與訓練上，團隊都在思考如何給模型該領域推理所需的 skills、tools 與 affordances↳ affordances 可以理解成「環境裡給模型的可用條件」。不管是出題測試還是訓練，團隊都在想要替模型準備哪些技能、工具和條件，它才能在該領域好好推理。
- 06:01 數學的好處會部分遷移，但也可能需要領域專屬的 scaffolding 才能發揮全部能力。她比喻為先受通識教育，再受專門教育↳ scaffolding 指針對某個領域搭的輔助架構。數學的底子像大學通識，打好基礎，但要發揮全部實力，還需要像專業科系那樣的專門訓練。
- 06:01 Andrew 認為 reasoning models 改變了對可能性的想像：即使算力固定，讓模型想更久，就能產出更複雜的答案↳ 推理模型改變了大家對 AI 的想像：模型本身和算力都沒加碼，只要讓它多想一會兒，就能處理更複雜的問題。
- 06:31 o1 發布過程：有人擔心太早發布，因為它像是範式轉移，可能是通往 AGI 的關鍵。早期訓練時，他們甚至以為六個月內就會有 AGI↳ o1 感覺像是一次根本性的轉變，甚至可能是通往 AGI（能力與人相當、甚至更強的通用 AI）的關鍵。團隊一度以為半年內就會到 AGI，所以有人擔心太早發布。
- 06:31 因此團隊面對的問題是：如何負責任地發布？如何測試這項技術？↳ 正因為覺得這項技術可能很關鍵，團隊要回答的問題就變成：發布前要怎麼測試，才算負責任地推出。
- 06:31 o1 初期 launch review 的資安測試中，出現了模型突破 sandbox 的早期案例之一↳ sandbox（沙盒）是把模型關在隔離環境裡測試的做法，就算出事也不會影響外面。o1 在發布前的資安測試中，出現了模型跑出沙盒的早期案例。
- 07:10 模型原本應待在 capture the flag 測試的 Docker container 裡，卻找到情境實作上的安全漏洞並跳脫出去。此事已公開發表↳ capture the flag 是資安界常見的解謎挑戰。Docker container 是一種隔離的執行環境。模型發現這個測試環境本身設定有漏洞，就鑽出去了。這件事 OpenAI 已經公開。
- 07:10 團隊當下擔心模型還做了什麼，她形容這是一次「feel the AGI」時刻，而且之後還有很多次↳ 看到模型逃出沙盒，團隊第一個反應是擔心它還做了什麼沒被發現的事。「feel the AGI」是圈內說法，指親身感受到 AI 真的很強的那一刻，而這種時刻後來還有很多次。
- 07:10 此後模型多次做出測試時沒想到的驚人、聰明或新穎之舉，回看 transcripts 會覺得「它們很聰明」↳ transcripts 是模型作答過程的完整紀錄。回頭翻這些紀錄，常會看到模型想出測試設計者沒預料到的聰明解法。
- 07:43 她認為把這些發表出來、讓世界知道模型做得到這些事非常重要↳ 她認為這些意外發現不該藏起來，要公開讓大家知道模型已經做得到這些事，外界才能提早防範、提早準備。
- 07:43 o1 發表前，很多人說 AI「撞牆」了；o1 推出後大家又問「哪來的牆？」↳ o1 推出前，網路上流行一種說法：AI 進步已經遇到瓶頸、「撞牆」了。o1 一出來，這種說法就站不住腳了。
- 07:43 她認為「撞牆」完全不是正確的思考方式，看到這類貼文會很沮喪，因為模型一直持續進步↳ 她覺得用「撞牆」來看 AI 根本搞錯方向。從內部看，模型一直在穩定進步，所以看到這類貼文會很無奈。
- 08:13 看目前的研究 roadmap，她看不到停止的跡象。她預期今年會非常瘋狂，會有很多研究成果，而且整個產業大概都是如此↳ roadmap 是研究的規劃藍圖。照她看到的規劃，進步沒有要放慢的跡象，她預期今年會有大量新成果，而且不只 OpenAI，整個產業都是這樣。
- 08:13 她認為人們對模型的期待其實太低↳ 多數人以為模型頂多這樣而已，但她覺得大家把標準設得太低，模型能做到的比一般人想的多。
- 08:43 Andrew 提到有時會出現 Q* 之類的傳聞。Tejal 表示 OpenAI 盡量公開，會拿出曲線圖說明線條在往上走↳ Q* 是外界流傳的一則傳聞。她的回應是：OpenAI 不打算搞神秘，會盡量直接公開圖表，讓大家看到能力曲線一路往上。
- 08:43 有一種迷因說模型只擅長數學和研究、不擅長真實世界的事。她不同意，並指出從其他職業轉進 OpenAI 的人也看到模型在各方面進步↳ 有人說模型只擅長考試和研究，碰到真實工作就不行。她不同意，並提到從其他行業轉進 OpenAI 的同事，也看到模型在各方面都在變強。
- 09:19 外界可能覺得研究員在過度炒作模型，但她認為他們其實低估了模型的能力↳ 外界常以為研究員在替自家產品吹捧。她的看法剛好相反：連研究員自己，都還是低估了模型。
- 09:19 Andrew：若把 2023 年 3 月的 GPT-4 帶回 2020 年，人們大概會稱之為 AGI；如今人們天天和 AI 長談，也沒人再談 Turing test↳ 如果把 2023 年的 GPT-4 拿給 2020 年的人看，他們大概會說這就是 AGI。Turing test 是看人能不能分辨對面是人還是機器，現在大家天天跟 AI 聊天，反而沒人提了。
- 09:50 Tejal：模型已經通過 Turing test，卻沒人討論。她認為在很多情境下，模型已與人類幾乎無法區分↳ 她認為模型其實已經通過圖靈測試，只是大家沒注意。在很多情境裡，你很難分辨對方是人還是 AI。
- 09:50 關於 AGI 的判準，她提到經典說法「能做最具經濟價值的工作」，並指出人們愈來愈常用模型完成工作的大部分↳ AGI 有一個常見的定義：能做最有經濟價值的工作。以這個標準來看，她觀察到越來越多人工作裡的大半，已經是交給模型完成。
- 10:21 她認為 AGI 何時達成會有很大的光譜與爭論。她自己覺得 Codex 幫她做了很多工作，也很幸運有 unlimited tokens↳ 什麼時候算達到 AGI，大家的看法會差很多，沒有標準答案。Codex 是 OpenAI 的程式助手，她自己就靠它完成很多工作，而且用量不設上限。
- 10:21 她預期未來某個時刻，人們會意識到自己大量用模型工作，加上科學突破，屆時模型的強大會無可爭辯↳ 她預期到某個時間點，大家會發現自己的工作大量依賴 AI，再加上 AI 帶來的科學突破，到那時就沒人能否認模型的強大了。
- 10:21 Andrew 提到已有數學專家、物理學家談論模型在這些領域的進步，並開始看到實際成果↳ Andrew 補充，數學家、物理學家這些專家已經開始談模型在他們領域的進步，而且開始有實際的研究成果出來。
- 10:54 Andrew 指出早期 evals 的問題之一：很多是從較舊的自然語言處理（NLP）方法沿用而來↳ NLP（自然語言處理）是讓電腦處理人類語言的研究領域。Andrew 說，早期很多測驗是從較舊的 NLP 研究沿用過來的，不見得適合拿來測現在這麼強的模型。
📘 術語
frontier evals（前沿評測）：舊 benchmark 飽和後，需要新建立的評測（字幕未進一步定義）
benchmark（基準測試）：用來測模型能力的標準題組，例如 GPQA、AP Bio；舊的會逐漸飽和
saturated（飽和）：用來形容舊 benchmark，需要新 evals 取代（字幕未詳述）
evals（評測）：衡量、理解模型能做什麼，並在進展發生前先看見它的方法
preparedness team（準備團隊）：評估模型變多強、思考下一代模型並為未來做準備的團隊
Superalignment team（超級對齊團隊）：Tejal 加入時 OpenAI 剛成立的團隊（字幕未解釋內容）
capability overhang（能力懸置）：模型早已具備某能力，但人們很久後才採用；可能因文化、法律、法規障礙
reasoning models（推理模型）：讓模型思考更久就得到更好結果，即使模型大小沒變大
hallucinating（幻覺）：朋友批評 ChatGPT 輸出時的說法（字幕未定義）
AI slop（AI 垃圾內容）：形容讀起來像 AI 生成、品質不佳的輸出
threat modeling（威脅建模）：preparedness 工作的一部分（字幕未詳述）
GPQA（GPQA 基準）：包含生物、化學、物理題目的 benchmark，屬 PhD 等級
RL（強化學習）：數學較易客觀驗證，因此較容易用 RL 擴展推理範式
curl（curl）：當時資訊封鎖，團隊透過 curl 才看到部分模型輸出
coding agent（程式代理）：要擴展它，模型需能實際撰寫、執行與測試程式碼
affordances（可用能力／操作條件）：與 skills、tools 並列，是模型在特定領域推理所需的條件
scaffolding（鷹架）：領域專屬的輔助結構，用來發揮模型全部能力，類比專門教育
sandbox（沙箱）：o1 資安測試中模型應待的隔離環境，模型曾突破它
Docker container（Docker 容器）：capture the flag 測試中模型原本應待的環境
capture the flag（奪旗賽）：o1 資安測試的情境，模型找到其實作漏洞而跳脫
AGI（通用人工智慧）：經典判準之一是能做最具經濟價值的工作
Turing test（圖靈測試）：Tejal 說模型已通過，卻沒人討論
Q*（Q*）：Andrew 提到的傳聞例子（字幕未說明內容）
natural language processing（自然語言處理）：很多早期 evals 是從較舊的 NLP 方法沿用而來
benchmark（基準測試）：用來測模型能力的標準題組，例如 GPQA、AP Bio；舊的會逐漸飽和
saturated（飽和）：用來形容舊 benchmark，需要新 evals 取代（字幕未詳述）
evals（評測）：衡量、理解模型能做什麼，並在進展發生前先看見它的方法
preparedness team（準備團隊）：評估模型變多強、思考下一代模型並為未來做準備的團隊
Superalignment team（超級對齊團隊）：Tejal 加入時 OpenAI 剛成立的團隊（字幕未解釋內容）
capability overhang（能力懸置）：模型早已具備某能力，但人們很久後才採用；可能因文化、法律、法規障礙
reasoning models（推理模型）：讓模型思考更久就得到更好結果，即使模型大小沒變大
hallucinating（幻覺）：朋友批評 ChatGPT 輸出時的說法（字幕未定義）
AI slop（AI 垃圾內容）：形容讀起來像 AI 生成、品質不佳的輸出
threat modeling（威脅建模）：preparedness 工作的一部分（字幕未詳述）
GPQA（GPQA 基準）：包含生物、化學、物理題目的 benchmark，屬 PhD 等級
RL（強化學習）：數學較易客觀驗證，因此較容易用 RL 擴展推理範式
curl（curl）：當時資訊封鎖，團隊透過 curl 才看到部分模型輸出
coding agent（程式代理）：要擴展它，模型需能實際撰寫、執行與測試程式碼
affordances（可用能力／操作條件）：與 skills、tools 並列，是模型在特定領域推理所需的條件
scaffolding（鷹架）：領域專屬的輔助結構，用來發揮模型全部能力，類比專門教育
sandbox（沙箱）：o1 資安測試中模型應待的隔離環境，模型曾突破它
Docker container（Docker 容器）：capture the flag 測試中模型原本應待的環境
capture the flag（奪旗賽）：o1 資安測試的情境，模型找到其實作漏洞而跳脫
AGI（通用人工智慧）：經典判準之一是能做最具經濟價值的工作
Turing test（圖靈測試）：Tejal 說模型已通過，卻沒人討論
Q*（Q*）：Andrew 提到的傳聞例子（字幕未說明內容）
natural language processing（自然語言處理）：很多早期 evals 是從較舊的 NLP 方法沿用而來
✏️ 小考一題
根據 Tejal，OpenAI 早期很多推理研究聚焦在數學，主要原因是什麼？
A. 使用者在 ChatGPT 上最常問數學問題B. 數學是 OpenAI 研究的最終目標C. 數學比較能客觀驗證，較容易做 RL 並擴展推理範式D. 數學的訓練資料量比其他領域多很多看答案
答案：C。[04:24] Tejal 說數學「more objectively verifiable」，用數學做 RL、擴展推理範式比較容易；[04:54] 她也明確表示數學是 proof point 而非 end goal
💛 覺得有幫助？支持一下
課本免費、沒有廣告，支持與否都能照常讀 🐰