當數百萬個 AI agent 相遇（第 2/4 段）

🧑‍🏫 這段在講：AI agent（能自己動手替你辦事的 AI）要大量上場，卡關的不只是模型夠不夠聰明，更是怎麼檢查成果、怎麼建立信任、怎麼分派工作。值得看的原因是，它把人的角色講得很清楚：你會從自己動手做，變成負責分派、把關、驗收的主管。

• 10:39 需要有防護措施與可靠的 protocol，讓 agent 能「closing the loop」。軟體裡這件事容易：寫測試、用測試驗證就能繼續。
  ↳ agent 是能自己動手做事的 AI。「closing the loop」是做完能自己確認對不對再往下走；protocol 是事先說好的溝通規則。寫程式有測試可跑，最容易做到。
• 10:39 科學領域大多需要跑實體實驗才能得到回饋，知道想法好不好，再觀察、分析。
  ↳ 科學沒這麼方便：想法好不好，常要真的進實驗室做一輪才知道，AI 沒辦法坐在電腦前自己確認。
• 11:09 若 agent 有自主權去測試不同數學問題，而不是等人下 prompt，就會引出「人類的角色在哪」的問題；長期來看需要想清楚。
  ↳ prompt 是你下給 AI 的指令。如果 agent 不用等指令就自己挑數學題去試，人到底要做什麼，就成了得認真想的長期問題。
• 11:09 短期內人類仍有重要角色：目前的系統還不是 AGI，仍有很多事做不到。
  ↳ AGI 一般指各方面都達到人類水準的通用 AI。現在的系統還沒到那裡，很多事做不來，所以短期內還是少不了人。
• 11:09 目前這一代系統擅長的是「我們已知怎麼做的事」的 combinatorial closure（組合式的延伸）。
  ↳ combinatorial closure 指把人類已經會的做法拿來排列組合、往外延伸。現在的 AI 強在這裡，不是憑空開出新路。
• 11:39 模型主要以人類資料訓練，所以能複製、重複、組合人類技能，並補上一些較小的缺口。
  ↳ 因為它是讀人類留下的資料學的，所以會的就是人會的：照做、重組，頂多把中間漏掉的小洞補起來。
• 11:39 還沒看到這些模型在科學上有真正深刻的變革，例如做出沒有任何人類會想到的發現，所以人類仍有很多可發揮的角色。
  ↳ 到目前還沒看到 AI 做出「沒有人想得到」的科學突破。真正全新的點子，還是得靠人。
• 12:09 歷史上被稱為 agent 的東西早已部署過，例如用來最佳化 data center 的運作。
  ↳ agent 不是新東西。data center（放大量伺服器的機房）以前就用過這類程式，自動調整運作讓它更有效率。
• 12:09 過去的 agent 很受限，因為沒有語言，人類無法與之溝通；它是針對特定任務訓練的窄 agent，只擅長那項任務。
  ↳ narrow agent 是只為一件事訓練的 agent，只會那件事。以前的它不懂語言，你沒辦法跟它講話、叫它改做法。
• 12:40 沒有互動性，就只是傳統意義的軟體；某些交易、投資演算法或許也算 agent，但它們只是自行運作。
  ↳ 不能互動，其實就跟一般軟體差不多。像自動下單的交易程式，設定好就自己跑，你沒辦法中途跟它商量。
• 12:40 現在的差別是 agent 以 language model 為基礎，我們可以跟它對話、向它學習、影響它、引導它，所以人們與 agent 的互動多很多。
  ↳ language model 是能讀寫人話的 AI 模型。現在的 agent 建在它上面，所以你能用講的指揮它、問它、糾正它，這是最大的不同。
• 12:40 為何還沒廣泛部署：不能只專注設計底層模型，雖然那裡投入了很多心力，也還有待改進。
  ↳ agent 還沒普及，問題不只在模型不夠聰明。模型當然還要進步，但光顧著把模型做強是不夠的。
• 13:14 既然已有能力夠強的 agent 與模型，下一步是找到更好的方式去協調、orchestrate、管理它們。
  ↳ orchestrate 是指揮調度：誰做什麼、先後順序、怎麼銜接。模型已經夠用，接下來缺的是把一群 agent 安排好的方法。
• 13:14 我們要把自己看成團隊與機構的管理者，培養管理技能來處理這些 workflow。
  ↳ workflow 是一件事從頭到尾的工作流程。意思是你的角色會從自己動手做變成當主管，要學會分派、盯進度、驗收。
• 13:45 管理 agent 團隊與管理人類團隊有共通點也有差異：agent 會犯很「非人類」的錯誤，它們不是人類智慧。
  ↳ 帶 agent 有點像帶人，但它出錯的方式跟人不一樣，會犯人不太可能犯的怪錯，不能用對同事的直覺去預期它。
• 13:45 agent 對你的了解不夠深，無法準確猜中你想做的一切，所以你仍需參與，我們也需要更擅長 orchestration。
  ↳ agent 不夠了解你，猜不到你沒講出來的想法。所以你不能丟了就走，要留在流程裡，把調度這件事練好。
• 13:45 主持人指出：大型語言模型偶爾仍會 hallucinate，一次 hallucination 可能造成災難性後果，所以要人類信任 agent 代為執行任務是很大的一步。
  ↳ hallucinate 是 AI 很有自信地講出錯的、甚至不存在的東西。只是聊天還好，一旦它替你動手辦事，錯一次就可能很慘。
• 15:00 信任是給予的，但也是賺來的。他們的框架提到需要長期追蹤 reputation：agent 若一再不可靠，就不該被信任。
  ↳ reputation 是長期累積的可靠度紀錄，像賣家評價。信任要靠表現累積，老是出包的 agent 就不該再把事情交給它。
• 15:00 即使 agent 大多時候可靠，也不該盲目信任，仍應驗證它的行動。
  ↳ 就算它平常很穩，也不能看都不看就放行。該檢查的還是要檢查。
• 15:00 language model 在某種程度上永遠會 hallucinate，所以整合進 workflow 時要承認這一點。
  ↳ 亂講這件事不會完全消失，是這類模型的本質。把它放進工作流程時，要先當作它偶爾一定會出錯來設計。
• 15:32 hallucination 越來越少見，也希望持續減少；重點是確保它不會危及正在進行的 workflow。
  ↳ 出錯機率在降，但重點不是等它降到零，而是把流程安排好，讓它就算錯一次也不會拖垮整件事。
• 15:32 另一個瓶頸：我們最希望 agent 幫忙的是非常複雜的任務。
  ↳ 另一個卡關的地方：我們最想丟給 agent 的，偏偏是又大又複雜的事，而那正是最難做好的。
• 16:05 簡單 agent 能輕鬆處理很直接的指令，例如「我明天想在這家餐廳吃飯，找個時段並訂位」，agent 可透過 tools 完成。
  ↳ tools 是 agent 能呼叫的外部功能，例如查空位、送出訂位。訂餐廳這種一句話講得清楚的事，一個 agent 就能搞定。
• 16:05 複雜的計畫需要拆成多個部分分別執行，可能沒有任何單一 agent 能完成每一個部分。
  ↳ 大計畫得拆成很多塊來做，每塊需要的本事不同，很可能沒有哪一個 agent 能全包。
• 16:35 agent 可能需要透過既有的 agent-to-agent protocol，把部分工作交給另一個 agent。
  ↳ agent-to-agent protocol 是 agent 之間互相交辦工作的共通規則。自己做不來的部分，就照這套規則轉給別的 agent。
• 16:35 過程中可能失敗，所以負責委派的 agent 或人類要管理、處理這些失敗，並盡量事先預防。
  ↳ delegation 就是委派、轉包。轉出去的事可能搞砸，所以發包的那一方（agent 或人）要負責善後，更要先想辦法避免。
• 16:35 事先預防包括：先弄清楚哪些 agent 夠可靠、值得委派。
  ↳ 預防的第一步是挑對象：交辦之前先確認哪些 agent 靠得住。
• 17:06 還要問：它們的能力是什麼？這能不能被認證？同時要保護使用者與 agent 不受惡意互動傷害。
  ↳ 還要知道對方到底會什麼，最好有認證可查，不是它自己說了算。另外也要防有心人藉著 agent 互動來搞破壞。
• 17:06 例子：籌辦大型活動時，有些預訂會落空、會出意外、東西沒準時到；大型協調工作總有很多事出錯。
  ↳ 就像辦大型活動，預訂落空、東西晚到、臨時出狀況都很平常。事情一大，出錯是常態，不是例外。
• 17:40 人類管理時要處理這些延誤與問題；同樣地，委派給一群 agent 的 agent 也要管理所有可能出現的問題。
  ↳ 人當總召要處理這些狀況；把工作分給一群 agent 的那個 agent，也得扮演同樣的總召角色。
• 17:40 目前許多 multi-agent 系統比較像 parallelization 而非 delegation：很多 agent 同時工作，但工作怎麼分並沒有智慧的框架。
  ↳ multi-agent 是多個 agent 一起工作，parallelization 是同時各做各的。現在多半只是同時開工，沒認真想誰適合做哪一塊。
• 18:13 工作基本上被切成近乎隨機的子部分交出去平行處理；有加速效果，但前提是一切可靠、每個 agent 都能獨立完成任務。這不是他們所說的 intelligent delegation 框架。
  ↳ 工作被隨便切開分頭做，確實比較快，但要每個 agent 都不出錯、也不需互相配合才行。這還不算 intelligent delegation（聰明的委派）。
• 18:13 主持人舉例：隨機拆分下，一個 agent 買酒、另一個買杯子，卻不知道需要的是酒杯，彼此沒有溝通。來賓回答「有可能」。
  ↳ 隨便切的毛病：買酒的和買杯子的互不通氣，結果買來的不是酒杯。每一塊都做完了，合起來卻不能用。
• 18:43 目前 agent 的用途很多在 software engineering，部分原因是軟體可以寫 unit test 並執行，驗證程式碼至少單獨來看能發揮功能。
  ↳ software engineering 是軟體開發，unit test 是檢查一小段程式對不對的自動測試。寫程式有這種現成的對答案方式，agent 才先在這裡用起來。
• 18:43 許多真實世界任務的驗證沒那麼直接，可能帶有主觀成分，例如「好喝的酒」要怎麼定義？
  ↳ 現實裡很多事沒有標準答案。「幫我買好喝的酒」，好不好喝因人而異，就很難判定 agent 到底做對了沒。
• 19:17 這與 reward hacking 有關，這個概念在領域裡已存在一段時間：agent 可能做出技術上符合要求、卻不符合要求精神的事。
  ↳ reward hacking 是鑽漏洞達標：字面上做到了，卻不是你要的。例如要它讓測試通過，它不修程式，而是去改測試。
• 19:17 因此要強調 verifiability，並把 delegator 與 delegatee 之間的契約訂得很正式。
  ↳ verifiability 是成果能不能被檢查。交辦方（delegator）和接辦方（delegatee）要把「怎樣算完成」寫清楚，才不會被鑽漏洞。
• 19:50 有些任務完全可逆：出錯也沒有損害，重跑、重試、重新委派就好。
  ↳ 有些事做錯了沒差，例如整理一份草稿，不滿意就重來或換一個 agent 做，可以放心交出去。
• 19:50 有些任務在真實世界有後果，做了之後不容易撤回，這類任務要更加小心。
  ↳ 有些事做了就收不回來，例如付款、寄出信件。這類事要多一道把關，才能交給 agent。
• 19:50 早期的一些 agent 也出現了 agent 把任務委派給人類的情況。
  ↳ 也有反過來的情況：早期就有 agent 把一部分任務轉交給人類去做。
• 20:20 人類委派任務給 AI 是常見的方向；反過來的方向是一種反轉，已有多項研究探討過。
  ↳ 平常是人把事交給 AI，AI 交辦給人是角色對調。這個方向已經有不少研究在探討。
• 20:20 來賓的背景是做過很多 medical AI 相關工作；醫學上已有窄系統，在它受訓練的特定事項上基本達到超越人類的表現。
  ↳ medical AI 是用在醫療上的 AI，來賓做過很多這類工作。醫療已有只做單一項目的 AI，在那一項上表現超過人。
• 20:53 在醫學影像、放射科：machine learning 模型看掃描影像、找出病灶位置、框起來，再交給人類放射科醫師審閱。
  ↳ machine learning 是讓電腦從大量資料學會判斷的技術。放射科的做法是 AI 先看片、把可疑處框出來，再交給醫師確認。
• 20:53 這些系統多年來表現水準很高，但仍會失誤，所以需要人類專家審閱；人們因此實驗了 AI 與人類的團隊，由人類修正系統的錯誤。
  ↳ 這些系統很準，但還是會漏、會錯，所以最後要醫師把關。這就是人和 AI 搭檔、由人補 AI 錯誤的實際例子。

來賓說，目前許多 multi-agent 系統的運作方式比較像什麼？