AI 不確定性的數學（第 4/4 段）

🧑‍🏫 這段是訪談的收尾，談 AI 為什麼該老實說出「我不確定」，以及貝氏（Bayesian）這套用機率更新信念的方法，替 AI 研究指出哪些方向、又卡在哪裡。看完你會更清楚，為什麼 AI 講得很篤定不代表它是對的。

• 33:33 要把不確定性用看得見的形式呈現給人類使用者；Cambridge 的同事 David Spiegelhalter 做了很多如何向大眾傳達不確定性與機率的研究，例如把答案視覺化。
  ↳ 光是 AI 自己心裡有數不夠，還要讓人看得懂它有幾成把握。像氣象預報說「降雨機率 70%」或畫成圖表，比丟一句肯定的答案有用。
• 33:33 受訪者認為 AI 系統應該做與人類互補、加成的事，幫助人解決我們在意的問題。
  ↳ AI 的定位不是取代人，而是補人的短處、放大人的長處，把力氣用在我們真正在乎的問題上。
• 34:05 要做到這點，AI 必須對自己知道什麼、不知道什麼保持誠實；主持人認為這是設計人類與 AI 共同未來的關鍵。
  ↳ 人要跟 AI 分工，前提是知道它哪裡可信。它如果不會說「這我不確定」，你就不知道什麼時候該自己再查一次。
• 34:05 受訪者強調 AI 系統已經非常有用，只是還能做得更好，途中仍有開放問題，所以需要更多研究。
  ↳ 他不是在唱衰。意思是現在的 AI 已經很好用，只是離「可靠」還有幾個沒解決的題目，所以值得繼續研究。
• 35:00 有人持不同看法：只要放進更多資料，模型什麼都會知道，就不必擔心不確定性。
  ↳ 反方的想法是：模型看得夠多就什麼都懂，既然都懂，就沒什麼好不確定的，不必特地處理這件事。
• 35:32 受訪者說這派不是完全錯，自己也不是完全對；模型在許多有用的事上確實不錯，但延伸到不尋常的 long tail 時會露出缺口。
  ↳ long tail（長尾）指很少發生的冷門情況。常見問題模型答得好，但一碰到罕見狀況，它就容易出錯。
• 35:32 和 chatbot 互動時決策後果可能不大，但做可靠的自駕車或協助診斷的醫療 AI 時，就真的在意機率是否正確。
  ↳ 跟聊天機器人（chatbot）聊天，答錯頂多重問；但自駕車或醫療診斷出錯後果嚴重，這時它說的「九成把握」準不準就很要緊。
• 36:05 主持人簡化地說打造 AGI 有兩派：一派認為只需要規模（更多資料、更多運算）；另一派認為需要新的 architecture。
  ↳ AGI 一般指能力像人一樣全面的通用人工智慧。architecture 是模型的基本設計結構。兩派爭的是：加大就好，還是要換設計。
• 36:05 受訪者說第一派已有很大進展，系統每天有數十億人使用，但不代表已沒有有趣的東西可發現。
  ↳ 「加大」這條路確實很成功，大家每天都在用。但成功不代表走到底了，還有別的東西等著被發現。
• 36:38 研究方向一：continual learning。現在整個領域的做法是訓練一個巨大模型、用在產品或釋出，幾個月後再訓練另一個巨大模型。
  ↳ continual learning（持續學習）就是邊用邊學。現在的 AI 不是這樣：訓練完就定型，要學新東西得隔幾個月整個重練一版。
• 37:11 人類與動物是連續學習：不斷接收資料流、不斷調整神經元之間的連結；AI 系統做不好這件事，會有 catastrophic forgetting 等問題。
  ↳ 人每天都在學，學新的不會把舊的忘光。AI 一學新東西卻常把舊的蓋掉，這叫 catastrophic forgetting（災難性遺忘）。
• 37:42 嚴格的 Bayesian 觀點：有 prior beliefs，得到一個資料點就更新成 posterior，再來一個資料點再更新；理論上這種更新能做 continual learning 且不會 catastrophic forgetting。
  ↳ 貝氏的做法：prior beliefs 是原本的看法，看到新資料修正後的看法叫 posterior。一筆一筆修正，舊知識自然留著。
• 38:12 許多在大型神經網路上做 continual learning 的嘗試，其實是 Bayesian updating 的近似。
  ↳ 也就是說，現在各種讓大模型持續學習的技巧，骨子裡多半是用省事的方式在模仿貝氏更新（Bayesian updating）。
• 38:12 研究方向二：能源效率。人腦耗電約 20 瓦，像一顆燈泡。
  ↳ 人腦這麼聰明，用的電卻只有一顆燈泡的量。這個對照是要說：智慧不一定要靠大量耗電才辦得到。
• 38:42 相比之下，在大型資料中心訓練大型語言模型差了好幾個數量級；受訪者不想直接把單一大腦和語言模型相比（前者是單一人的生命經驗，後者像全世界知識的大雜燴），但模型確實低效得多。
  ↳ 訓練大模型的耗電遠遠超過人腦。他承認這樣比不完全公平，因為模型吞的是全世界的知識，但浪費是事實。
• 39:12 研究方向三：可能需要新的 architecture。現代 AI 的兩大主力是 Transformers 與 diffusion models，但可能有軟硬體共同演化的全新路線，例如涉及非常稀疏神經網路的新型硬體架構。
  ↳ Transformers 是語言模型的底層設計，diffusion models 常用在 AI 生圖。他猜未來可能換一套：連結很少的稀疏網路，配上專門設計的硬體。
• 39:48 研究方向四：學習系統和人類、動物的學習相比，資料效率極差；受訪者認為 Bayesian 想法能幫上忙。
  ↳ 小孩看幾次貓就認得貓，AI 卻要看非常大量的例子。貝氏方法會善用原本已知的東西，所以有機會用較少資料就學會。
• 39:48 主持人問：一行 Bayes' rule 就能帶來謙遜與不確定性、continual learning、資料效率，會不會好得不像真的？
  ↳ Bayes' rule（貝氏定理）是一條算「看到新證據後機率該怎麼修正」的公式。主持人在質疑：一條公式解決這麼多問題，太美好了吧？
• 40:18 受訪者說這些想法早就為人所知，所有機器學習的學生至少應該了解這些事是可能做到的。
  ↳ 他的回答是：這不是新發現，是早就有的基礎知識，學這行的學生都該知道這條路理論上走得通。
• 40:18 這個魔術伴隨一個大詛咒：計算上非常慢。教科書會說這些無法精確計算，因為是 NP-complete 或 NP-hard 之類的困難問題。
  ↳ 問題在算不動。NP-complete、NP-hard 是電腦科學裡公認極難算的問題類型，題目一大，算再久也算不完。
• 40:52 所以必須用近似；可以說我們知道如何用這些概念打造理想的 AI 系統，而現代 AI 系統是它的近似。
  ↳ 既然算不出精確答案，就只能抓個大概。換個角度看：理想做法早就知道了，現在的 AI 是它的簡化版。
• 40:52 主持人指出，「計算太昂貴、太慢」正是 80 年代對神經網路的評語；受訪者認為可以用現在的運算能力重新檢視這些想法。
  ↳ 神經網路當年也被嫌太慢太貴，後來電腦變快就翻身了。他認為貝氏方法可能也一樣，值得用現在的算力重試。
• 41:27 受訪者大學時用的頂尖平行超級電腦 Connection Machine，其實比他口袋裡的 Pixel 手機還慢。
  ↳ 他用親身例子說明進步有多大：當年最頂級的超級電腦 Connection Machine，還比不上現在口袋裡的一支手機。
• 41:27 運算越來越快，加上已累積數十年如何高效近似這些方法的想法；工具都有了，只需要組合起來，或許再加幾個新想法。
  ↳ 硬體變快了，幾十年來累積的「怎麼省力地算個大概」的方法也都在。他覺得缺的不是材料，而是把它們拼起來。
• 41:58 主持人說謙遜、誠實、不確定、懷疑都像人類特質；受訪者說他沒想到會走到今天這步，任何 AI 研究者都會對進展速度感到震驚。
  ↳ 主持人覺得這些詞像在形容人的品格。受訪者則感嘆 AI 進步之快，連做研究的人自己都沒料到。
• 42:31 受訪者認為這些也是智慧系統的根本特質；需要一個超越人類的智慧概念，因為人類推理有缺陷，在不確定下做理性決策其實很差，會算錯或估錯機率。
  ↳ 他認為懂得懷疑不只是人的美德，而是任何聰明系統的基本功。而且人其實很不會估機率，AI 不該只拿人當標準。
• 42:31 打造以人為本的 AI 系統，要從人類需要什麼、社會與人類最大的問題是什麼往回推，看需要什麼樣的 AI 系統。
  ↳ 做 AI 的順序應該倒過來：先問人和社會最需要解決什麼，再決定要做哪種 AI，而不是做出來才找用途。
• 43:05 對所有重要的問題，受訪者寧願要一個知道自己不知道的 AI，而不是傲慢、過度自信的 AI。
  ↳ 遇到重要的事，會說「我不知道」的 AI，比什麼都講得斬釘截鐵的 AI 更值得信任。
• 43:05 主持人 Hannah 向受訪者 Zoubin 致謝，並總結：多年來我們打造的 AI 專注於準確度。
  ↳ 訪談收尾。主持人點出過去的主軸：大家一直在拚 AI 答得準不準。
• 43:36 這些處理巨量資料得出答案的系統能力驚人，但某些方面很脆弱：失敗時是帶著十足信心地失敗。
  ↳ 現在 AI 的毛病不只是會錯，而是錯的時候語氣跟對的時候一樣篤定，讓人分不出來。
• 43:36 教 AI 擁抱不確定性，會賦予它謙遜、誠實與懂得懷疑的智慧；這不是弱點，不會讓 AI 變弱，而是讓它立足於現實，成為我們能真正依賴的協作者。
  ↳ 結論：會說「我不確定」不會讓 AI 變弱，反而讓人知道什麼時候能信它，這樣才敢真的把事情交給它。

受訪者說 Bayesian 這個「魔術」伴隨的大詛咒是什麼？