當數百萬個 AI agent 相遇（第 4/4 段） ☕ Buy me a coffee

🧑‍🏫 這段在談：當幾百萬個 AI agent（能替你自己動手辦事的 AI 助理）同時上線，會出什麼問題、又有什麼好處。重點是風險不只在單一 AI，而在「一大群 AI 湊在一起」；來賓也提出未來的 AI 可能不是一個萬能大腦，而是一群各有專長的 AI 分工合作。

• 32:08 以演唱會門票為例：讓 agent 以最能反映你需求的方式代表你，分散到所有人後，希望在群體層面得到較公平的結果；人類系統過去也有抽籤制、點數制等做法。
  ↳ 搶演唱會門票時，如果每個人都有一個 agent 照自己真正的需求去爭取，整體結果有機會比現在公平。人類以前也用抽籤、點數來處理搶不到的問題。
• 32:39 主持人提到高頻交易演算法對股市造成的擾動，並問：agents 若以特定方式部署，也可能對股市造成災難性衝擊，要如何避免 flash crash？
  ↳ 主持人擔心：高頻交易（電腦程式在極短時間內大量買賣股票）曾讓股市亂掉，agent 會不會也造成 flash crash，也就是股價在很短時間內暴跌？
• 32:39 回答：風險確實較高，但金融市場處理這類風險已有一段時間，也有過早期出錯的經驗，可以直接借鏡既有的緩解措施，不必重新發明輪子。
  ↳ 來賓承認風險更高，但金融業早就吃過這種虧，也發展出一套防護做法，可以直接拿來用，不用從零想起。
• 33:12 agent 情境的不同點：目前 agents 用的語言模型集中在少數幾個（Claude、ChatGPT、Gemini 等，另有開源與其他模型），它們意見相近、行動方式相似，稱為 cognitive monoculture。
  ↳ agent 特有的問題是：大家背後用的都是那幾家的模型，想法和做法很像。這叫 cognitive monoculture，意思是「腦袋都長得差不多」。
• 33:12 一次部署數十萬、數百萬個人工決策者且決策相似時，因為決策彼此相關，失敗點也會變得相關。
  ↳ 幾百萬個 agent 想法相似，就會同時做對，也同時做錯。就像全班抄同一份答案，一錯就全錯，災情會一次爆開。
• 33:45 因此需要思考如何讓 agents 的決策多樣化。進階使用者可寫很細緻的 system prompt 賦予 agent 某種個性，使其偏向或避開某類決策，但多數人目前不會這樣做。
  ↳ 所以要讓 agent 的決定有差異。system prompt 是事先寫給 AI 的一段設定，可以規定它的個性和偏好；但會這樣細調的人很少，多數人都用預設值。
• 33:45 除了 groupthink（agentic groupthink），還有串通（collusion）問題：人類拍賣中也有群體協調出價以取得優勢的情況。
  ↳ 除了 groupthink（大家想法一致、沒人唱反調），還有 collusion，就是串通。像拍賣時幾個人私下講好怎麼出價，讓自己佔便宜。
• 34:18 agents 的不同之處：可能透過環境以不明顯的方式協調，也就是不必直接溝通就能協調，所以也要思考反串通（anti-collusion）措施。
  ↳ 麻煩的是 agent 不用互相講話也能串通，例如只靠觀察彼此的出價就形成默契。外人很難看出來，所以要先想好反串通的辦法。
• 35:00 這些安全顧慮說明了為何要謹慎、緩慢地釋出 agents；來賓說每一次重大技術變革都是如此。
  ↳ 這些風險就是 agent 要慢慢放出來、不能一次全開的原因。來賓說，每次重大技術變革都得這樣走。
• 35:30 以自駕車為例：大家興奮很久、也看過 demo，但要安全上路仍多花了許多年，因為大部分的工作往往落在最後一哩路。
  ↳ 自駕車就是例子：示範影片很早就有了，但真正安全上路又拖了好多年。最花力氣的往往是最後那一小段。
• 35:30 協調 agents 做類人任務，需要的不只是技術解法，很大一部分還關乎政策，以及社會對如何整合這些系統的整體理解。
  ↳ 讓 agent 替人辦事，不是技術做出來就好，還要有法規政策，社會也要先想清楚這些系統該怎麼放進日常運作裡。
• 36:04 完全自主的 agentic economies 未來也許會出現，但現在還沒有；所以系統中需要 humans in the loop，AI 是被整合進人類結構，兩者必須契合。
  ↳ 完全由 AI 自己運轉的經濟現在還不存在。所以要 humans in the loop，也就是流程中保留人來把關，AI 是加入人類既有的制度，得配合得起來。
• 36:04 另一面：人類社會集結起來能達成了不起的成就，agentic 社會也可望如此，這正是使用 multi-agent systems 的初衷。
  ↳ 換個角度看好處：人類聚在一起能做出個人做不到的大事，一群 agent 也可望如此。這本來就是用 multi-agent systems（多個 agent 合作的系統）的理由。
• 36:42 若所有 agents 能力相同、做類似的事，平行處理相較循序處理只是多一點速度；當 agents 能以不同方式做不同的事，才真正有趣。
  ↳ 如果每個 agent 能力都一樣，同時開工只是把排隊做的事變快一點而已。要每個 agent 會的東西不同、做法不同，合作才真的有價值。
• 36:42 agentic economy 的一部分概念是存在專才（specialists），不只有通才（generalists）。
  ↳ agentic economy 指 agent 互相交易、分工的經濟體系。它的核心想法之一是：裡面要有只精通一件事的專才，不能全是什麼都會一點的通才。
• 37:25 來賓個人觀點：大家都想打造盡量通用的 agent（AGI 的 G），但從經濟角度看，這不會是最後收斂的終點。
  ↳ 來賓個人認為：大家都在拼什麼都會的 AI，但從成本和效益來看，最後不會停在「一個萬能 AI」這種形態。
• 37:25 西洋棋例子：Gemini 和其他模型能下一些棋（過去很長時間做不到），但你還是會用 chess engine，因為它更快、更準、便宜得多，只專注把一件事做好，所需參數也較少。
  ↳ 現在的聊天型 AI 已經會下一點棋，但真要下棋還是用 chess engine（專門下棋的程式），因為它只做這件事，更快、更準、便宜很多，模型也比較小。
• 38:03 談 AGI 時常犯的錯：它在精神上應是 human-level intelligence，卻被當成 humanity-level intelligence（任何人可能做到的事都要會），但沒有任何單一人類能同時做到這麼多事。
  ↳ AGI 指通用人工智慧，原意是「跟一個人一樣聰明」。但大家常把標準拉高成「全人類會的它都要會」，其實沒有任何一個人做得到這種事。
• 38:39 大腦容量有限、時間有限。與其用一個巨大、昂貴又慢的模型，也許改用一個專才社會；每個專才原則上放大後也可以是通用的。這說的不是架構突破，而是如何拆分。
  ↳ 一個腦袋的容量和時間都有限。與其養一個又大又貴又慢的模型，不如拆成一群專才。這談的不是新技術，而是工作怎麼切分。
• 38:39 這些專才針對特定技能取得認證，且執行成本較低。
  ↳ 這些專才可以像人考證照一樣，針對某項技能通過檢驗，證明它做得好，而且跑起來比較省錢。
• 39:10 因為更便宜、更可靠，沒有經濟誘因不這麼做。可能的未來：有一層較通用的層像結締組織，知道一切並負責協調，遇到很特定的任務再呼叫其他模型。
  ↳ 既然又便宜又可靠，市場自然會往這裡走。可能的樣子是：有一個懂得廣的總管負責協調，遇到專門的工作再叫對應的專才模型來做。
• 39:10 主持人歸納這是「分散式智慧」而非一個 AGI，來賓同意，並說這正是人類擁有的形式。
  ↳ 主持人歸納這叫「分散式智慧」：聰明不是集中在一個 AI，而是散在一群裡。來賓同意，並說人類社會本來就是這樣運作的。
• 39:43 若 AGI 是分散在許多 agents 上，安全與對齊的思考方式必須改變（來賓答：100%）；對齊的不再是單一個體，除非把整個分散體視為一個個體。
  ↳ alignment（對齊）是指讓 AI 的行為符合人類的期望。如果智慧是散在一大群 agent 身上，要管的就不再是單一個體，安全的想法得整個換掉。
• 40:13 現有的對齊方法是：拿一個模型，觀察其行為，並讓行為符合我們認為可允許、較好或想要的樣子。
  ↳ 現在的對齊做法是針對單一模型：觀察它怎麼表現，再把它調整到我們能接受、想要的樣子。
• 40:13 當可能有 10,000 個 agents 以複雜方式互動時，要對齊整個系統並不容易，甚至連「系統是什麼」都難以界定。
  ↳ 換成一萬個 agent 複雜地互動，這套就不夠用了。甚至連「要管的系統範圍到哪裡」都很難講清楚。
• 40:46 例子：agent A 今天與 B 互動，明天換另一個任務與 C 互動，C 再轉委派給 D，D 可能在流程中某處諮詢人類。
  ↳ 舉例：A 今天跟 B 合作，明天換任務改找 C，C 又把一部分轉包給 D，D 中途還去問了真人。關係一直在變，出事時很難釐清責任。
• 40:46 人類社會協調這類系統的方法之一是經濟誘因。若為 agents 謹慎設計經濟體，使它們在追求利潤最大化時不造成傷害，就有了對齊分散式 agentic 社會的起點。
  ↳ 人類管這種複雜系統，靠的方法之一是獎懲和利益設計。如果把規則訂好，讓 agent 在拼命賺錢時也不會傷害人，就有了管好整群的起點。
• 41:19 個別 agent 的安全仍然重要，它是群體安全的先決條件；但在防範「群體」風險上，需要做的比目前多得多，而且時間很短。
  ↳ 每個 agent 自己安全還是基本條件，但光這樣不夠。防範「一群」造成的風險，現在做得遠遠不足，而且剩下的時間不多。
• 41:19 主持人總結：agents 被視為對人要求較少的 AI，少一點來回下 prompt、少一點等待回應，直接把手上的任務做完。
  ↳ 主持人總結 agent 的賣點：你不用一直來回下指令、等它回話，交代完它就自己把事情做完。
• 41:52 主持人引述 Nenad 的觀點：只看單一 agent 會錯過全貌，每個 agent 可能是更大 agentic 社會的一部分，其中有專才、通才、負責委派的與專注細節的 agents。
  ↳ 主持人引述來賓的看法：只盯著單一 agent 會看漏全局。每個 agent 可能都是一個大社會的一份子，裡面有專才、通才、分派工作的和顧細節的。
• 41:52 主持人的結語：也許複製 human-level intelligence 不是最終目標，前進的方向可能是複製 humanity-level intelligence。主持人為 Hannah Fry，節目為 Google DeepMind: The Podcast。
  ↳ 主持人的結語：目標也許不是做出「像一個人」的 AI，而是做出「像整個人類社會」那樣的集體智慧。主持人是 Hannah Fry，節目是 Google DeepMind 的 Podcast。

依字幕，來賓所說的「cognitive monoculture」會造成什麼問題？