Sam Altman 談打造 AI 的未來（第 2/4 段）
🏦 台灣Pay 銀行轉帳 💙 PayPal
座談討論社會如何靠 AI 建立韌性，以及普及 AI 與算力的方式
- 11:32 社會層級的做法之一：事故不論多小都回報到資料庫，讓各公司知道這類風險，以及可以採取哪些緩解措施
- 17:07 用 AI 擴大防禦規模，建立防禦者生態系，讓網路與生物攻擊的成本高到攻擊者缺乏動機
- 22:44 主持人總結：算力稀缺會成為另一種被壟斷的稀缺，因此蓋更多資料中心其實是讓 AI 更普及的平等化措施
💡 你可以怎麼用：把自己工作或副業裡不擅長的雜事（例如記帳、寫文案、整理合約重點）列出來，挑一兩項試著交給 AI 處理，體驗一個人加上 AI 能多做多少。用 AI 時遇到它出錯或給出危險內容，就用產品內的回報功能回報，這就是影片說的社會層級防禦的一小部分。
看全部 33 條重點
🧑🏫 這段座談在談：AI 越來越強、越來越普及，社會要怎麼撐得住它帶來的風險，又要怎麼讓每個人都用得到。Sam Altman 和來賓認為，安全不能只靠一家公司把 AI 管好，要靠整個社會一起防守；普及 AI 也不能只靠口號，得實際蓋出足夠的運算設備。想了解 AI 公司怎麼看安全、創業和算力，這段很值得看。
- 11:32 社會層級的做法之一：事故不論多小都回報到資料庫，讓各公司知道這類風險，以及可以採取哪些緩解措施↳ 不管 AI 出的包多小，都登記到一個共用資料庫。這樣別家公司能提早知道有這種風險，也能參考 mitigations（因應方法，就是事後怎麼補救、怎麼預防）。
- 11:32 模型寫程式的能力大幅提升，也代表具備資安攻擊能力，可能被惡意人士用來發動網路攻擊↳ 會寫程式的 AI，也看得出程式哪裡有破綻。同一種能力，好人拿來開發軟體，壞人就能拿來入侵別人的系統。
- 12:02 韌性的一部分是讓軟體系統更安全，並用 AI 來做這件事；防禦是由多個層次組成↳ resilience（韌性）指社會被打到之後還撐得住、能恢復。做法之一是用 AI 幫忙補強軟體。防線也不只一道，這層擋不住，還有下一層。
- 12:02 主持人提出：大家都能用 AI 時，繁榮可以自然湧現，韌性或許也能自然湧現↳ 主持人的意思是：AI 普及後，不需要誰規劃，大家各自用 AI 做事就會帶來繁榮。那麼安全防護是不是也能靠大家各自使用，自然長出來？
- 12:32 Sam 說明「古典 AI 安全」的想法：世界上只會有極少數 AI，只要把它們 align 好、不做不安全的事，世界就沒問題↳ classical AI safety thinking（古典 AI 安全想法）假設全世界只有少數幾個 AI。只要把它們 align（調整成做對的事、不做危險的事）好就沒事。
- 12:32 Sam 認為現在的情況更穩定但也更複雜：世界上會有很多 AI，光靠一家公司確保 AI 不做壞事不夠，需要整個社會湧現出的回應↳ Sam 覺得現實是 AI 會很多、很分散。這樣不會一個出事就全垮，比較穩，但也更難管。單靠一家公司守不住，要社會各方一起反應。
- 13:02 資安一定會成為重大議題：AI 非常擅長找軟體漏洞，世界會發現軟體比想像中更脆弱、更不安全，而人類找漏洞的能力有限↳ vulnerabilities / exploits 指軟體的安全弱點，以及利用弱點的攻擊手法。AI 很會找這些，一找就會發現軟體到處是洞，而人工根本找不完。
- 13:33 只靠一兩三家模型供應商防堵不夠，因為會寫程式也就能找出安全問題；就算都防住了，很快會有擅長程式、也擅長找漏洞的開源模型↳ 就算幾家大公司都擋住壞用途也沒用。open-source models（開源模型，任何人都能下載、修改、自己執行的模型）很快也會很會寫程式、很會找漏洞。
- 14:04 做法是讓世界使用這些模型，並採差別存取：先開放給已知、可信任的防禦者。Sam 說他們有這樣的計畫，其他公司也會做類似的事↳ differential access（差別存取）就是分批開放：先讓已知、可信的資安防守方拿到工具去補洞。Sam 說 OpenAI 有這類計畫，也預期別家會跟進。
- 14:04 要支持負責防禦軟體的公司，例如某座發電廠的軟體 20 年沒人動過、無法修補卻有大問題，必須處理↳ 很多關鍵設施跑的是老舊軟體。例如某座發電廠的系統 20 年沒人動過，連 patch（修補程式、打補丁）都打不了，洞卻很大，需要有人專門協助處理。
- 14:34 韌性思維：既然出現很會攻擊電腦系統的 AI，就用 AI 來防禦；這不是單一公司的事，需要龐大的共同努力↳ 核心邏輯是用 AI 對付 AI：攻擊工具變強了，防守也要用同樣等級的工具。這件事規模大到一家公司扛不起，得各界一起投入。
- 14:34 生物領域也會有類似情況：光限制模型研發病原體不夠，遲早有人會用某個模型做出病原體，世界需要防護罩、偵測系統、快速反應治療等↳ pathogen 是病原體，例如病毒、細菌。生物風險也一樣，光限制模型不准幫忙做病原體是擋不完的，還要有防護、偵測、快速治療這些後援。
- 15:04 這不代表可以不 align 系統、不打造安全系統，這些仍必須做；只要保持在前沿就有時間優勢，但仍需要社會建立多層防禦↳ 這不是放棄 AI 安全，把 AI 調好、把系統做安全仍然必須做。走在技術最前面，能搶到時間先做防守，但最後還是要靠社會建立多層防線。
- 15:34 主持人提到 Josh 的觀點：每次重大技術轉變都催生了新的機構與新的民主機制↳ 主持人引用 Josh 的看法：歷史上每次重大技術轉變，社會都會長出新的機構和新的民主運作方式，這次 AI 應該也一樣。
- 16:05 Josh：很多擔心 AI 帶來外部性的問題與弱點，不論有沒有 AI 都存在，AI 只是讓行動更急迫↳ externalities（外部性）指一件事對旁人造成的影響。Josh 認為很多被算到 AI 頭上的問題本來就存在，AI 只是逼我們得快點處理。
- 16:05 Josh 以 COVID 為例：大家對供應鏈（食物、商品等維持文明的一切）的依賴比原本意識到的更深↳ supply chain（供應鏈）是把食物、商品一路送到你手上的整套體系。COVID 時缺貨，讓大家發現自己比想像中更依賴它。
- 16:36 民主也有弱點：不當影響社會的風險長期存在，而 AI 可能讓人在短期內擁有前所未有的工具，使這些弱點更容易被攻擊↳ 有人不當影響社會的風險一直都在。AI 可能讓少數人在短時間內拿到前所未有的強大工具，讓這些老弱點更容易被攻擊。
- 16:36 Josh 期待建立新的機構與國家能力，用 AI 以過去做不到的方式系統性地找出並修補這些弱點↳ state capacities（國家能力）指政府實際把事情辦好的能力。Josh 希望用 AI 建立新機構，有系統地找出社會弱點並補起來，這是以前人力做不到的。
- 17:07 用 AI 擴大防禦規模，建立防禦者生態系，讓網路與生物攻擊的成本高到攻擊者缺乏動機↳ 防守方用 AI 放大力量，彼此串成網絡，讓網路攻擊和生物攻擊變得又貴又難成功。攻擊者算一算划不來，就沒動機動手。
- 17:37 Josh 認為大家低估了食物供應鏈的生物風險；可以用 AI 以目前成本過高的規模讓它更有韌性↳ Josh 認為食物供應鏈的生物風險被大家低估了。以前要全面強化它太貴，AI 可能讓這件事變得做得起。
- 18:08 談到個人轉型：Josh 認為人們會有更多發揮能動性的機會，例如創業時由一組 AI 處理自己不擅長的各種業務↳ agency（能動性）是自己主動把事做成的能力。例如創業時不擅長會計、行銷，可以交給一組 AI 分工處理，你專心做自己擅長的部分。
- 18:39 當人們擁有能做更多事的存取權與工具，經濟會發生根本性的改變↳ 當一般人都拿得到這些工具，一個人就能做以前一群人才做得到的事。經濟和工作的運作方式會因此根本改變。
- 19:11 Sam 執著於探索一人或極小團隊快速打造整家新創的可能；產業中每次創業摩擦或成本大降，都會出現驚人的新事物↳ Sam 很想知道一個人或極小的團隊能多快做出一整家公司。他觀察到，每次創業的門檻和成本大降，就會冒出大量過去想不到的新東西。
- 19:42 Sam 舉他創業時碰到 AWS 推出、出現雲端概念為例，小新創不必再自己管機櫃；這次即將到來的轉變規模大得多↳ AWS 是亞馬遜的服務，它推出後帶來 cloud（雲端，租用遠端電腦）的概念，小公司不必自己買機器、管機櫃。Sam 說這次的轉變比那次大得多。
- 20:12 Sam 想知道兩三個人加上大量 GPU 的新創會是什麼樣子，這能真正讓創業民主化↳ GPU 是執行 AI 最主要的運算晶片。Sam 設想兩三個人配上大量 GPU 就能撐起一家公司，創業就不再只屬於資源多的少數人。
- 20:43 Sam 認為「AI 民主化」有兩種意思：一是分享存取，讓每個人都能用足夠的 AI 改善生活；二是對 AI 未來走向有發言權↳ democratization of AI（AI 民主化）有兩層意思：一是人人都用得到夠好的 AI，二是大家對 AI 往哪裡走有發言權，不是只由公司決定。
- 20:43 發表這份 blueprint、推出產品，部分是為了讓社會討論這些議題；這是讓大眾能提供意見的前提但不夠，還要真的聆聽並把意見納回系統↳ blueprint（藍圖，這裡指 OpenAI 發表的一份規劃文件）和產品公開出來，大家才有東西可以討論。但這只是開始，還要真的聽進去、改進做法。
- 21:13 不只要把 ChatGPT 這類服務，還要把真正高算力、有價值的服務廣泛交到許多人手上，讓人能創業或做出科學發現↳ 不只要給大家 ChatGPT 這種聊天服務，還要讓很多人用得到需要大量運算、真正有價值的服務，拿去創業或做科學研究。
- 21:13 主持人補充：這需要新的經濟模式或更便宜的 inference，也是基礎設施問題↳ inference（推論）是 AI 實際回答你時跑的運算，每次都有成本。要人人用得起，需要新的收費模式或更便宜的推論，說到底是設備夠不夠的問題。
- 21:43 OpenAI 多年來討論何時能度過 compute crunch；Sam 認為永遠不會，若持續降低智慧成本、提升能力，需求沒有上限↳ compute crunch（算力吃緊）指運算資源不夠用。Sam 認為這個問題永遠解決不了：AI 越便宜越強，大家就想用越多，需求沒有上限。
- 22:14 若基礎設施蓋得不夠，人們會不斷哄抬價格，造成權力與算力的極度集中↳ 算力如果蓋得不夠，大家只好搶著出高價，最後只有少數人用得起。運算資源和隨之而來的權力，會極度集中在他們手上。
- 22:14 Sam 唯一相信的長期民主化策略：提供極大量 AI 基礎設施、讓模型非常強大，希望人們想不出算力要用在哪，但他認為實際上不會到這地步↳ Sam 認為長期唯一可行的辦法，是大量蓋 AI 基礎設施、把模型做強，最好多到大家想不出要拿算力做什麼。但他也覺得實際上不會真的過剩。
- 22:44 主持人總結：算力稀缺會成為另一種被壟斷的稀缺，因此蓋更多資料中心其實是讓 AI 更普及的平等化措施↳ 主持人總結：算力稀少就會被少數人壟斷。所以多蓋資料中心（放大量伺服器、提供運算的機房），其實是讓 AI 更公平普及的做法。
📘 術語
resilience（韌性）：社會面對 AI 帶來的風險時，建立多層防禦來因應，例如用 AI 讓軟體更安全
mitigations（緩解措施）：事故回報到資料庫後，各公司可以採取的因應方法
classical AI safety thinking（古典 AI 安全思維）：認為世界只會有極少數 AI，只要 align 好它們，世界就會沒事
align（對齊）：字幕中指讓 AI 做對的事、不做不安全的事
vulnerabilities / exploits（漏洞／漏洞利用）：軟體中的安全弱點；AI 非常擅長找出這些，人類能力有限
open-source models（開源模型）：很快就會出現擅長程式、也因此擅長找安全漏洞的開源模型
differential access（差別存取）：先把模型開放給已知、可信任的防禦者使用
patch（修補）：字幕例子：某發電廠軟體 20 年沒人動，無法修補
pathogen（病原體）：生物風險的例子，有人可能用模型研發病原體
externalities（外部性）：AI 可能帶來的新問題；Josh 指很多問題本來就存在，AI 只是讓它更急迫
supply chain（供應鏈）：食物、商品等維持文明的供應體系，COVID 時顯示大家高度依賴
state capacities（國家能力）：Josh 期待建立能用 AI 修補社會弱點的新機構與國家能力
agency（能動性）：人們能自己做更多事，例如靠一組 AI 處理創業的各種業務
AWS / cloud（AWS／雲端）：AWS 推出帶來雲端概念，小新創不必再自己管機櫃
GPU（GPU）：Sam 設想兩三個人加上大量 GPU 就能經營新創
democratization of AI（AI 民主化）：兩種意思：分享 AI 存取，以及讓人們對 AI 走向有發言權
inference（推論）：主持人說更便宜的 inference 能讓 AI 更普及
compute crunch（算力短缺）：算力不夠用的窘境；Sam 認為永遠不會擺脫，因為需求沒有上限
mitigations（緩解措施）：事故回報到資料庫後，各公司可以採取的因應方法
classical AI safety thinking（古典 AI 安全思維）：認為世界只會有極少數 AI，只要 align 好它們，世界就會沒事
align（對齊）：字幕中指讓 AI 做對的事、不做不安全的事
vulnerabilities / exploits（漏洞／漏洞利用）：軟體中的安全弱點；AI 非常擅長找出這些，人類能力有限
open-source models（開源模型）：很快就會出現擅長程式、也因此擅長找安全漏洞的開源模型
differential access（差別存取）：先把模型開放給已知、可信任的防禦者使用
patch（修補）：字幕例子：某發電廠軟體 20 年沒人動，無法修補
pathogen（病原體）：生物風險的例子，有人可能用模型研發病原體
externalities（外部性）：AI 可能帶來的新問題；Josh 指很多問題本來就存在，AI 只是讓它更急迫
supply chain（供應鏈）：食物、商品等維持文明的供應體系，COVID 時顯示大家高度依賴
state capacities（國家能力）：Josh 期待建立能用 AI 修補社會弱點的新機構與國家能力
agency（能動性）：人們能自己做更多事，例如靠一組 AI 處理創業的各種業務
AWS / cloud（AWS／雲端）：AWS 推出帶來雲端概念，小新創不必再自己管機櫃
GPU（GPU）：Sam 設想兩三個人加上大量 GPU 就能經營新創
democratization of AI（AI 民主化）：兩種意思：分享 AI 存取，以及讓人們對 AI 走向有發言權
inference（推論）：主持人說更便宜的 inference 能讓 AI 更普及
compute crunch（算力短缺）：算力不夠用的窘境；Sam 認為永遠不會擺脫，因為需求沒有上限
✏️ 小考一題
根據 Sam 的說法，「古典 AI 安全思維」的核心假設是什麼？
A. 世界上會有很多 AI，需要整個社會湧現出的回應B. 只要限制 AI 寫程式的能力，就能避免所有資安風險C. 開源模型比封閉模型更安全，應優先推廣D. 世界上只會有極少數 AI，只要 align 好它們，世界就會沒事看答案
答案：D。[12:32] Sam 說古典 AI 安全思維認為世界上只會有極少數 AI，只要 align 好、不做不安全的事，世界就會沒事；「很多 AI、需要社會湧現回應」是他對現況的看法（[12:32]–[13:02]）
💛 覺得有幫助？支持一下
課本免費、沒有廣告，支持與否都能照常讀 🐰