AI 模型到底知道什麼？ ☕ Buy me a coffee

🧑‍🏫 這支影片在講 Claude 這類 AI 到底「知道」什麼：它的知識從哪裡來、在哪裡停住，還有哪些問題它比較容易答錯。每天在用 AI 的人看完，就比較知道它的答案什麼時候可以直接用，什麼時候要自己再查一下。

• 00:00 像 Claude 這樣的模型處理過的資料量，比任何人花好幾輩子能吸收的還多，所以看起來好像什麼都知道，但其實不是。
  ↳ Claude 讀過的資料，比一個人花好幾輩子讀的還多，所以回答起來常常像萬事通。但讀得多不代表什麼都懂，它還是有不知道或講錯的時候。
• 00:00 AI 模型靠閱讀大量文字學習，這些文字主要來自網路、公開資料集和其他書面來源。
  ↳ 它的知識是讀文字學來的，主要是網路文章、書面資料，還有 public datasets（公開資料集，就是整理好、大家都能拿來用的大量文字資料）。沒被寫下來的事，它就學不到。
• 00:00 模型沒有自己的經驗。
  ↳ 它沒有自己的經歷，沒吃過那家店，也沒去過那個地方，知道的都是別人寫下來的描述。要靠親身體驗才能判斷的事，它只能轉述，沒辦法幫你確認。
• 00:00 除非產品有特別提供搜尋工具，否則模型不會即時瀏覽網頁。
  ↳ 平常聊天時它不會自己上網查。要等產品另外提供 search tool／web search（讓模型即時上網搜尋的功能），而且有開啟，它才看得到網路上的最新內容。
• 00:00 訓練會在某個日期結束，在那之後發生的事都不在模型的記憶裡。
  ↳ 訓練資料只收到某一天，這一天叫 data cutoff（資料截止日）。在那之後的新聞、產品改版、新規定，它原本的記憶裡都沒有。
• 00:00 可以把模型的知識想成一條連續的光譜。
  ↳ 它的知識不是「會」跟「不會」二選一，比較像 continuous spectrum（連續光譜）：從很熟到幾乎不懂，中間是一段慢慢變化的漸層。
• 00:30 光譜的一端是出現得頻繁、內容一致，而且一直延續到資料截止日的主題，模型在這方面的知識非常深。
  ↳ 光譜的一端是很多人寫過、說法一致，而且到截止日前一直有人在討論的主題，像基礎數學或 Excel 的常見用法，這類問題它通常答得很紮實。
• 00:30 光譜的另一端是冷門主題、截止日之後的事件、狹窄的領域和在地知識。越往這一端，模型的答案越不可信。
  ↳ 另一端是冷門主題、截止日之後的事、很窄的專業，還有在地資訊，例如你家附近巷子裡的店。越接近這一端，它的答案越不可靠，要自己再查一下。
• 00:30 知識缺口最可能出現在：主題跟時間有關；領域高度專業、屬於在地知識，或使用的語言比較少人用。
  ↳ knowledge gaps（知識缺口，就是模型不知道或只知道一部分的地方）最常出現在：跟時間有關的問題、很專業的領域、在地資訊，還有比較少人使用的語言。
• 00:30 另外兩種情況也容易出現知識缺口：你是在依賴模型對「典型」或「正常」的判斷，或是 web search 沒有開啟。
  ↳ 另外兩種情況也要小心：一是你請它判斷什麼算「一般」或「正常」，它的標準來自訓練資料，不一定符合你的狀況；二是 web search 沒開，它只能靠舊記憶回答。
• 00:30 模型的知識同時具備四個特性：很廣、很深、停在某個時間點，而且不完美。
  ↳ 它的知識同時有四個特點：範圍很廣、常見主題很深、停在截止日那一刻，而且不完美。這四點是同時成立的，並不互相衝突。
• 01:00 只要看清楚這些界線在哪，就不會再對它們感到意外。
  ↳ 搞清楚界線在哪，就能事先猜到它哪裡可能出錯，不會被嚇到。它擅長的部分可以放心用，接近界線的地方就自己多查證一下。

根據影片，下列哪一種情況最可能讓模型出現知識缺口？