ChatGPT 中的 Computer History

🧑‍🏫 這支影片介紹 ChatGPT 桌面 app 的新功能 Computer History：它會記下你在電腦上做過哪些事，讓 ChatGPT 和 Codex 回答時知道前因後果。如果你常得跟 AI 重新交代「我剛剛在做什麼」，這個功能就是在解決這件事。也值得先搞懂它記了什麼、怎麼排除和刪除。

• 00:00 透過 Computer History，你可以直接讓 ChatGPT 和 Codex 看到你的工作方式，和 agent 對話會更自然
  ↳ Computer History 讓 agent 直接看到你怎麼工作。agent 是能替你查資料、動手做事的 AI 助手，這裡指 ChatGPT 和 OpenAI 的 Codex。你跟它講話就能更簡短自然。
• 00:00 開啟方式：在 macOS 桌面 app 的設定中開啟 Computer History
  ↳ 要在 Mac 電腦（macOS 系統）的 ChatGPT 桌面 app 裡，進設定把 Computer History 打開，它才會開始運作。
• 00:00 開啟後，它會把你在桌面上的操作轉成 memories 和 timeline。下次你提問或開始任務時，agent 可以參考這些內容
  ↳ 打開後，你在電腦上的操作會變成 memories（一筆筆記憶紀錄）和 timeline（按時間排好的活動流水帳）。之後你提問或交代任務，AI 會參考這些紀錄。
• 00:00 示範一：問「我剛才看的最後一份 Google Doc 是哪份？」，agent 會去查近期活動紀錄
  ↳ 第一個示範：直接問「我剛才看的最後一份 Google 文件是哪份？」，不用給檔名或連結，AI 會自己去翻你最近的活動紀錄。
• 00:31 agent 回答最後編輯的是今天稍早的 VideoScript Computer History。Codex 靠 Computer History 準確知道看的是哪份 doc
  ↳ AI 回答是今天稍早編輯的「VideoScript Computer History」。它不用猜，因為紀錄裡有你實際打開過哪份文件。
• 00:31 示範二：請它確認這份 doc 已分享給稍早 group DM 裡的 Josh 和 Priya。Codex 知道稍早看的是哪段對話，能理解訊息的脈絡
  ↳ 第二個示範：請它把文件分享給稍早 group DM（群組私訊）裡的 Josh 和 Priya。AI 知道你剛看的是哪段對話，所以聽得懂「稍早」「這份」指什麼。
• 01:01 結果：Josh 和 Priya 取得影片腳本的 viewer access，agent 也把連結分享到稍早的 group DM
  ↳ 結果兩人拿到腳本的 viewer access（檢視權限，只能看不能改），AI 還把連結貼回那個群組。一句話就完成分享和通知兩件事。
• 01:01 示範三：請它摘要今天早上怎麼花時間。agent 用本機活動紀錄（local activity history）整理出簡短回顧
  ↳ 第三個示範：問「我今天早上時間都花在哪？」AI 用存在你這台電腦上的活動紀錄（local activity history），整理出一段簡短回顧。
• 01:01 回顧內容：早上主要在推進 Computer History 發表影片，包括撰寫、修改腳本，並和隊友反覆調整 framing 與 flow
  ↳ 回顧寫著：早上主要在做這支發表影片，包括寫腳本、改腳本，還跟隊友反覆調整切入角度（framing）和段落順序（flow）。這就像一份自動生成的工作日誌。
• 01:01 回顧內容（續）：還在 Codex 裡做了 3D World Builder 的原型，並 triage 了一些 usage limit 的回饋
  ↳ 回顧裡還有：在 Codex 做了 3D World Builder 的原型，並 triage（分類後決定先處理哪些）了一些關於 usage limit（使用量上限）的意見回饋。
• 01:32 它知道你做過哪些動作，所以不必每次交代完整 context，就能自然對話
  ↳ 它知道你剛做過哪些事，你就不必每次都先交代 context（前因後果），直接講「剛剛那份」「那個群組」它就懂。
• 01:32 Computer History 不靠螢幕或音訊擷取，而是記錄點擊、打字、切換 app 等互動事件，所以擷取記憶更快、更有效率
  ↳ 它不錄螢幕也不錄音，只記點擊、打字、切換 app 這類互動事件（interaction events）。因為只記動作不錄畫面，建立記憶更快、更有效率。
• 01:32 你可以更細緻地控制哪些 app 和網站不讓 Computer History 存取
  ↳ 你可以一個個指定哪些 app 或網站不讓它存取，例如網路銀行或私人聊天，控制得比較細。
• 01:32 排除方式一：從新的 menu bar 項目，快速排除網站或整個 app
  ↳ 第一種排除方法：點電腦螢幕最上方那條選單列（menu bar）裡新出現的項目，就能快速把某個網站或整個 app 排除。
• 02:03 排除方式二：在桌面 app 的設定中明確列出要排除的網站或 app
  ↳ 第二種排除方法：進桌面 app 的設定，直接列出要排除的網站或 app，適合事先一次設好。
• 02:03 設定裡也能檢視 Computer History 擷取的所有內容。除了看摘要，還可以刪除單筆項目、清空最近的紀錄，或開啟實際的記憶檔案
  ↳ 設定裡能看它記了哪些東西：可以看摘要、刪掉單筆、清空最近的紀錄，或打開實際的記憶檔案。記了什麼你看得到，也刪得掉。
• 02:03 Memories 存放在你的檔案系統上，你可以清楚看到 agent 擷取並記住了什麼
  ↳ 這些記憶以檔案形式存在你自己電腦的資料夾裡，打開就能看到 AI 抓了、記住了哪些內容。
• 02:03 Computer History 會根據你的重複性工作，建議它可以產生的 skills 和 automations
  ↳ 它會從你常重複做的事，建議做成 skills（讓 AI 學會的一套固定做法）或 automations（設好時間或條件就自動執行的任務）。
• 02:33 這些建議可在設定的 history 區查看
  ↳ 這些建議都放在設定裡的 history 區，你可以自己進去看。
• 02:33 agent 了解你的工作方式後，互動方式也會改變
  ↳ AI 摸清你的工作習慣後，你用它的方式也會變：不只是一問一答，還能請它照你的習慣接手事情。
• 02:33 用法一：請它根據你剛做的事建立 skills
  ↳ 用法一：剛做完一件事，就請它根據你剛做的事建立 skill，之後同樣的事就能交給它。
• 02:33 用法二：設定每天早上執行的 automation，替團隊草擬 standup update
  ↳ 用法二：設定每天早上自動執行的任務，替團隊草擬 standup update（每天簡短回報昨天做了什麼、今天要做什麼）。
• 02:33 用法三：讓它依你的習慣使用工具，例如用你平常寫文件的那個 app 來草擬文件
  ↳ 用法三：它會照你的習慣挑工具。例如你平常都用某個 app 寫文件，它草擬文件時就用那個 app。
• 02:33 Computer History 讓 ChatGPT 和 Codex 更貼合你本人和你的工作方式
  ↳ 總結：Computer History 的目的，是讓 ChatGPT 和 Codex 更貼合你這個人，還有你做事的方式。

根據影片，Computer History 是靠擷取什麼來建立記憶？