Sam Altman 談打造 AI 的未來（第 1/4 段）

🧑‍🏫 這是 OpenAI 一場座談的開頭 11 分鐘。Sam Altman 和兩位同事說明，為什麼要在當天發表一份談「超級智慧」的藍圖文件。值得看的原因是，這段直接講出 OpenAI 內部認為 AI 進步有多快、有多急，以及他們覺得社會該從哪些地方開始準備。

• 00:06 主持人 Chris Nicholson 開場：OpenAI forum 是認真討論 AI 在世界上如何被使用、從中學到什麼、更多人如何參與形塑其方向的場合
  ↳ OpenAI forum 是 OpenAI 辦的公開討論場合。主持人一開始就說明來意：這裡要談 AI 在真實世界怎麼被使用、大家學到什麼，也想讓更多人參與決定 AI 往哪走。
• 00:06 本場主題：AI 系統能力大幅提升後，對科學、工作、共同生活與治理的意義
  ↳ 這場的核心問題是：AI 變得比現在強很多以後，做研究、上班、日常生活和政府管理，會有什麼不一樣？
• 00:37 與談人：OpenAI 共同創辦人暨 CEO Sam Altman、chief futurist Josh Acklin、長期研究員 Adrian Akyol
  ↳ 三位與談人各有角色：Sam 是公司老闆；Josh 的職稱是 chief futurist（首席未來學家），工作是想像未來會怎樣；Adrian 是長期在做技術研究的研究員。
• 00:37 當天早上 OpenAI 發表了一份大量談論 superintelligence 的 blueprint，主持人問為何選在現在
  ↳ blueprint 是一份「藍圖」文件，寫的是對未來的規劃構想。superintelligence（超級智慧）一般指在多數事情上都比人類聰明的 AI。主持人問：為什麼偏偏選今天發表？
• 01:08 Sam：最主要原因是進展速度持續加快，他們相信已經非常接近；這不是一次性事件，而是未來幾年會陸續出現影響世界的強大模型
  ↳ Sam 的意思是，AI 進步越來越快，他們覺得強大 AI 已經很近了。而且不會只出現一次，未來幾年會一個接一個冒出來，每個都會影響世界。
• 01:08 blueprint 由研究員撰寫，內容定位為「早期想法」，目的是開啟討論，預期世界辯論後會出現更好的想法
  ↳ 這份文件不是最終答案，是研究員先拋出來的初步想法。目的是讓大家開始吵、開始討論，他們也預期討論後會出現比這份更好的想法。
• 01:39 Sam 承認可能判斷錯誤、可能撞牆，但依目前所見，預期很快會進入模型極度強大的世界，且能力會持續上升
  ↳ Sam 沒有把話說死。他承認自己可能看錯，技術也可能卡關。但照他們現在看到的情況，很強的模型很快就會出現，之後還會繼續變強。
• 01:39 Sam 認為這會對經濟、生活方式、人類能做的事產生巨大影響
  ↳ 換句話說，這不只是科技圈的事。大家怎麼賺錢、怎麼過日子、人類做得到哪些事，都可能被大幅改變。
• 01:39 Sam 的觀察：大眾、領袖與政治體系在必須做決定前有越多時間辯論，就越可能做出好決定，所以要現在就開始
  ↳ 這是「現在就要談」的核心理由：政府和大眾等到非做決定不可的時候再來討論，常常會做出倉促的決定。早點開始吵，才有時間想清楚。
• 02:11 這份文件在很早期就找了大量研究員參與，與經常思考政策的同事合作，主持人稱這可能是獨特的做法
  ↳ 一般的政策文件多半由政策人員寫。這份從很早就拉了一大群技術研究員加入，和政策同事一起寫，主持人認為這種寫法很少見。
• 02:42 Adrian：這是他第一次主動參與政策文件，覺得有點讓人謙卑；研究員常有抽象想法，但真正寫下具體政策提案、讓同儕辯論是另一回事
  ↳ Adrian 說，研究員平常想的多半是抽象概念。要寫成具體可執行的政策建議，再交給同事挑毛病，是另一種難度，讓他覺得自己懂得還不夠。
• 03:42 Adrian：這類前瞻文件需要每天接觸這項技術、知道怎麼打造、了解 safety stack 運作、並親眼看到進展速度的人參與
  ↳ safety stack 指 AI 一層一層的安全防護機制。Adrian 認為，談 AI 未來的文件要有天天碰技術、知道怎麼做、懂安全機制、親眼看到進度的人參與。
• 03:42 Adrian：撰寫期間的過去幾個月，許多研究員從自己寫大部分程式碼，轉變為由 AI 寫大部分程式碼
  ↳ 這是很具體的例子：就在寫文件的這幾個月，很多研究員從「程式大多自己寫」變成「程式大多交給 AI 寫」。連做 AI 的人自己的工作方式都變了。
• 04:13 Adrian：這個轉變讓研究員帶進一種急迫感——技術是真實、重要且快速前進的，這也是「為何是現在」的部分原因
  ↳ 研究員親身經歷這種變化，所以寫文件時帶著急迫感。他們覺得這技術是真的、影響很大、進展很快，這也是現在就發表的原因之一。
• 04:44 Sam 的故事：2020 年 1 月底／2 月初，OpenAI 研究員比世界其他人更早著迷於 COVID，每天盯數字、規劃在家工作
  ↳ Sam 用 COVID 舉例。2020 年初，全世界還沒當一回事的時候，OpenAI 研究員已經天天追確診數字，還先規劃好在家上班。
• 04:44 當時有文章嘲笑 OpenAI 的人很瘋狂，因為他們在部分門把上放了銅之類的東西
  ↳ 當時還有媒體寫文章笑他們想太多，因為他們在一些門把上加了銅之類的東西，想降低病毒傳播。
• 05:14 Sam：他們認定封城會發生、世界卻沒在注意；他認為從事「指數型」相關的工作讓人更能理解這類事
  ↳ exponential（指數型）是越長越快的成長，例如 1、2、4、8。Sam 認為做 AI 的人天天看這種成長，比較能提早看出疫情會爆發、封城會發生。
• 05:14 Sam 當時住在 Mission，在一個很冷的夜晚走了好幾小時，透過窗戶看人們在餐廳酒吧面對面呼吸，只遇到另一個戴口罩的人，生活看似完全正常
  ↳ Mission 是舊金山的一個區。Sam 那晚走在街上，看到餐廳酒吧裡大家照常聚會、近距離聊天，幾乎沒人戴口罩。風暴快來了，眼前卻一切正常。
• 06:16 Sam：現在的感受和那晚一樣強烈——變化已經發生，模型已達到某個水準，但社會尚未消化；他們試著告訴世界，但很難傳達
  ↳ Sam 說他現在的感覺跟那晚一模一樣：AI 已經強到某個程度，但社會還沒意識到、也還沒適應。他們想提醒大家，卻很難讓人聽進去。
• 06:48 Sam 談好處：若能一年內做出數十年的科學進展、治癒大量疾病、提供個人化醫療、找到新材料來做便宜安全的能源
  ↳ Sam 描述的好處包括：原本要花幾十年的科學進展，一年就做到；治好很多疾病；每個人都有量身打造的醫療；找到新材料，做出便宜又安全的能源。
• 06:48 Sam：任何有新創點子的人都能讓 AI 實作、寫出想要的軟體，甚至擁有為自己量身打造、最好玩的電玩
  ↳ 對一般人最直接的好處是：有點子但不會寫程式也沒關係，AI 可以幫你做出想要的軟體，甚至做出只為你設計、最合你口味的遊戲。
• 07:19 Sam：帶著急迫感發表，部分原因是有很多即將到來的事需要緩解；他天性樂觀，假設人類會找到辦法
  ↳ mitigation 指「緩解」，就是事先降低壞影響。Sam 說急著發表，部分原因是很多衝擊要提早準備。不過他個性樂觀，相信人類會想出辦法。
• 07:19 Sam 讀完 blueprint 的第一反應：很棒，但也有點瘋狂——竟然能認真可信地討論這類事情
  ↳ Sam 看完文件覺得寫得很好，同時也覺得有點不可思議：這些以前聽起來像科幻的事，現在居然可以正經、嚴肅地拿出來討論。
• 07:50 Sam：如果 AI 真如預期般強大，我們也同時擁有一個能幫忙緩解潛在壞處的強大新工具
  ↳ Sam 的邏輯是：AI 如果真的強到會帶來大問題，那它同樣強到可以幫我們解決這些問題。帶來麻煩的是它，能拿來處理麻煩的也是它。
• 07:50 主持人把 AI 描述為改變人們工作、學習與參與社會方式的社會基礎建設，問機構有何責任
  ↳ 主持人把 AI 比作水電、道路這類大家都依賴的公共設施。既然影響這麼廣，他問做 AI 的公司和機構應該負起哪些責任。
• 08:22 Josh：社會長期期望每個人都有食物、住所、電力、醫療，但一再被告知太貴、無法負擔
  ↳ Josh 指出，社會一直希望每個人都吃得飽、有地方住、有電用、看得起病，但每次都被告知成本太高、做不到。
• 08:53 Josh：AI 與 superintelligence 將帶來以史上最低成本做到這一切的自由
  ↳ Josh 的看法是，超級智慧可以讓這些基本需求的成本降到史上最低，讓「人人都有」從口號變成做得到的事。
• 08:53 Josh：作為技術的管理者，有特別責任參與建立政策與制度，確保受益的是勞工、中產階級、低收入國家的人，而不只是非常富有的人
  ↳ Josh 強調，好處不能只落到有錢人手上。做 AI 的公司有責任幫忙建立制度，讓一般上班族、中產階級、比較窮的國家也分得到。
• 09:23 Josh：下行風險也相當嚴重，可能發生系統性衝擊，必須準備、審慎並誠實面對
  ↳ systemic shocks（系統性衝擊）指影響整個社會的大震盪，例如大量工作一次消失。Josh 坦白說這種風險很大，要預先準備，也要誠實面對。
• 09:53 主持人：文件把韌性（resilience）視為多層次，不只在 AI 發布前，也包括發布後社會如何回應與準備
  ↳ resilience（韌性）是指受到衝擊後還撐得住、恢復得了的能力。文件把它分成好幾層：AI 推出前要防範，推出後社會也要準備好怎麼應對。
• 10:23 Adrian：傳統安全做法是跑 safety evals、對模型做 red team、實施 mitigations，這是很重要的一層，應持續並擴大
  ↳ safety evals 是發布前的安全測試。red team（紅隊）是故意扮壞人去攻擊模型、找漏洞。發現問題後補上防護，就是 mitigations。Adrian 說這幾件事要繼續做，還要做更多。
• 10:53 Adrian：但社會也要為其他情況做準備——可能有些行為者做較少安全測試，或即使測試仍發生事故或險些出事
  ↳ 只靠發布前把關不夠。可能有別家公司安全測試做得比較少；就算測試做足了，也還是可能出事，或差一點出事。
• 10:53 blueprint 提到事故通報機制，參考航空業做法：任何險些出事或事故，無論多小都通報到資料庫（此段字幕在此中斷）
  ↳ incident reporting（事故通報）參考航空業：任何事故或 near miss（差點出事）不管多小都要回報、集中記錄，讓大家從中學習。字幕到這裡中斷。

根據 Adrian 的說法，blueprint 中的事故通報（incident reporting）機制是參考哪個產業的做法？