Codex 中的 computer use

🧑‍🏫 這支影片示範 Codex 的新功能 computer use：Codex 能像人一樣看畫面、動滑鼠、打字，直接操作你 Mac 上的 app。影片也說明它為什麼又快又準，以及權限怎麼控管。如果你常在好幾個 app 之間做重複的雜事，這支影片能讓你知道哪些事可以交給 AI 做。

• 00:02 Roman 表示 Codex 已從 coding agent 演變成真正的隊友，不只寫程式，可以用在任何任務；computer use 是這個轉變的重要部分
  ↳ Codex 原本是 coding agent，也就是專門幫人寫程式的 AI 助手。Roman 說它現在更像隊友，什麼工作都能交給它，而 computer use 是這次轉變的關鍵。
• 00:02 computer use 讓 Codex 超越你的工具與檔案，進入你用本機 app 完成的實際工作
  ↳ 以前 Codex 只能碰你給它的檔案和工具。現在它能直接進到你平常用的 app 裡，幫你做那些要在軟體裡點來點去才能完成的工作。
• 00:32 Codex 原本就能執行指令、寫程式；新的是它能操作圖形化介面軟體，像人一樣看畫面、移動滑鼠、點擊、打字
  ↳ Codex 本來就會下指令、寫程式。新的地方是它會操作 graphical user interface，也就是要看畫面、用滑鼠點的一般軟體介面，操作方式跟人一樣。
• 00:32 因此 Codex 可以使用你電腦上幾乎任何應用程式
  ↳ 只要是有畫面、能用滑鼠鍵盤操作的軟體，Codex 幾乎都能用，不用等對方另外開放串接功能。
• 01:03 第一次使用 computer use 時會先請求權限，跳出「enable Codex computer use」視窗
  ↳ 它不會自己偷偷開始操作。第一次使用時，會先跳出「enable Codex computer use」視窗，問你要不要開放這個功能。
• 01:03 按下 allow 後，面板會以動畫直接移進系統設定視窗，提示你該看哪裡、該怎麼做
  ↳ 按下 allow（允許）後，提示面板會直接移到系統設定視窗裡，指給你看要點哪裡，你不用自己去找設定藏在哪。
• 01:34 畫面會教你把它拖進清單；因為要修改系統設定，需要再授權一次。Ari 用兩次拖曳就完成整個設定
  ↳ 照畫面把它拖進清單就好。因為這一步會改到系統設定，Mac 會要你再確認一次。實際上拖兩下就設定完了。
• 02:04 範例一：Ari 需要在舊版 Mac 作業系統測試軟體，會用 UTM 開虛擬機，但建立過程要點很多步驟、跑 Mac OS 設定助理，很麻煩
  ↳ virtual machine（VM，虛擬機）是在電腦裡另外模擬一台電腦。Ari 用 UTM 這個軟體開舊版 Mac 系統來測程式，但建立的步驟又多又煩。
• 02:04 在 Codex 輸入「Make a new Mac VM in UTM」，交給 agent 去做以節省時間
  ↳ 他只打一句「Make a new Mac VM in UTM」（在 UTM 建一台新的 Mac 虛擬機），就把這件麻煩事整個交給 Codex 去跑。
• 02:04 輸入 @ 會列出電腦上的 app，選好 app 後執行，Codex 就會開始使用該 app
  ↳ 在輸入框打 @，會列出你電腦上的 app。選好要用哪個 app 再送出，Codex 就會開始操作它。
• 02:34 Codex 開始用 app 時會有游標飛進畫面；這個游標和使用者自己的游標是分開的
  ↳ Codex 動手時，畫面上會出現一個屬於它自己的游標，跟你手上那個滑鼠游標是分開的，彼此不會搶。
• 02:34 所以 Codex 點來點去時不會打斷你，你可以在它於背景工作時繼續用電腦
  ↳ 所以它在背景點東點西的時候，你還是能照常打字、上網，不會做到一半被它打斷。
• 03:05 Ari 說他看過的每一種 computer use 實作都會接管整台電腦，agent 用 app 時你就不能用電腦
  ↳ Ari 說他看過的其他做法，都是 AI 一操作就佔住整台電腦，你只能在旁邊等它做完。Codex 這點不一樣。
• 03:05 UTM 範例中 Codex 已在下載 Mac OS，下載完後還能接著完成 Mac OS 的設定步驟
  ↳ 回到 UTM 的例子，Codex 已經在下載 Mac 系統，下載完還能接著把系統安裝時的一步步設定也做完。
• 03:36 範例二：請 Codex 在 Spotify 播放適合專心工作的音樂
  ↳ 第二個例子：請 Codex 打開 Spotify，放一些適合專心工作的音樂。
• 03:36 Codex 能跨多個 app 同時運作，在多個 app 裡同時有多個游標
  ↳ 它可以同時在好幾個 app 裡工作，每個 app 各有一個它的游標，一起動。
• 03:36 範例三：同時請它在 Reminders app 新增今晚查看報稅文件的提醒
  ↳ 第三個例子：同時請它在 Mac 的「提醒事項」加一條提醒，今晚要看報稅文件。
• 04:09 Mac 因此變成多工環境，可同時讓 agent 處理你不想花時間做的事；示範中背景同時有三個 app 由 Codex 操作
  ↳ 這樣你的 Mac 就能同時做好幾件事。示範時背景有三個 app 都由 Codex 在操作，全是些你不想親手做的小事。
• 04:09 團隊刻意設計游標移動曲線，讓它自然又帶點趣味，箭頭會轉向移動方向，看起來像在螢幕上游動
  ↳ 游標的移動路線是團隊刻意設計的，會走自然的弧線，箭頭也會轉向前進的方向，看起來有點像在畫面上游來游去。
• 04:40 游標動作的設計也讓使用者更容易理解 agent 在每個 app 裡實際做了什麼
  ↳ 這樣設計不只是好看。你看游標怎麼走、點了哪裡，就能知道 AI 在每個 app 裡實際做了什麼。
• 05:10 過去 computer use 只靠截圖：利用多模態模型看介面，再依座標點擊與打字
  ↳ 以前的做法只靠截圖。multimodal model（多模態模型，能看懂圖片的 AI）看圖判斷按鈕在哪，再照畫面座標去點、去打字。
• 05:10 透過 accessibility framework 能取出許多介面的隱藏資訊，團隊花了很多時間研究如何用它增強模型能力
  ↳ accessibility framework 是系統給螢幕閱讀器等輔助工具用的機制，能讀出 app 介面背後的資訊。團隊花了很多功夫用它讓模型更聰明。
• 05:40 系統會擷取描述介面的文字資訊，模型能「看到」捲到畫面外的內容，更深入理解每個元素的角色，執行任務因此非常精準
  ↳ 透過這個機制，Codex 拿到的是文字寫成的介面說明，連還沒捲到的內容都知道，也清楚每個按鈕是做什麼的，所以操作很精準。
• 05:40 因為不一定需要影像，可以使用非多模態、速度很快的模型如 Codex Spark，操作軟體甚至比人還快
  ↳ 既然不一定要看圖，就能用 non-multimodal model（不處理圖片的模型）。像速度很快的 Codex Spark，操作軟體甚至比人還快。
• 06:11 示範：切換到 Spark 模型，用 Messages 傳訊息邀對方試試用 computer use 來 debug app，一秒內就送出
  ↳ 示範時切換到 Spark，請它用「訊息」app 傳訊息邀朋友試試用 computer use 找程式錯誤（debug），不到一秒就送出了。
• 06:41 這個任務也在背景完成，Ari 同時還能在電腦上做其他事
  ↳ 傳訊息這件事一樣是在背景完成，Ari 在同一時間還能繼續用電腦做別的事。
• 07:12 Roman 提到 Ari 把他在 Sky 的經驗帶進了 Codex app
  ↳ Roman 提到，Ari 把自己以前做 Sky 累積的經驗帶進了 Codex app。
• 07:12 早期產品 Operator 和 ChatGPT agent 使用專門為 computer use 訓練的模型
  ↳ OpenAI 更早的產品 Operator 和 ChatGPT agent，用的是專門為操作電腦另外訓練的模型。
• 07:12 之後研究團隊把這些能力帶進主要的 GPT 模型；現在 Codex 的 computer use 建立在 API 上也能用的同一批模型上
  ↳ 後來這些能力被整合進主力的 GPT 模型。現在 Codex 用的，跟開發者透過 API（讓別人把模型接進自己程式的管道）能用的是同一批模型。
• 07:44 目標是讓 computer use 達到超越人類，操作電腦的速度可達人的 2、5、10 倍，到那時它會變得不可或缺
  ↳ 團隊的目標是讓 AI 操作電腦比人快 2 倍、5 倍，甚至 10 倍。做到那一步，大家就會離不開它。
• 08:14 安全疑慮：這類技術會接管你在電腦上的操作、能存取很多東西，所以團隊重視讓使用者能安心使用
  ↳ 大家會擔心的是：它會替你操作電腦、能碰到很多東西。所以團隊很重視讓使用者用得安心。
• 08:45 computer use 只能存取你允許的 app：Codex 第一次使用某個 app 時會請求權限
  ↳ Codex 只能用你允許的 app。每碰一個新的 app，都會先問過你。
• 08:45 同意後 Codex 只能看見並輸入該 app，無法看見或操作電腦上其他 app
  ↳ 你同意某個 app 之後，Codex 就只看得到、只能操作那一個 app，電腦上其他 app 它看不到也碰不到。
• 09:16 因此可以讓 Codex 存取開發與生產力 app，而不碰到較敏感的 app；它不是串流整個桌面或存取所有檔案，而是逐一 app 授權
  ↳ 所以你可以只開放工作用的 app，把網銀、私人聊天這類敏感的留著不給它。它不是整個桌面都看，而是一個 app 一個 app 授權。
• 09:48 Ari 的實際用例：請 Codex 幫他更新用來追蹤財務的試算表，不必自己動手
  ↳ Ari 自己的用法：請 Codex 幫他更新記帳用的試算表，他不用自己一格一格填。
• 09:48 Ari 表示現在要開始新工作，不論是否是寫程式，都會想先找 Codex，因為能省很多時間
  ↳ Ari 說現在不管要做什麼新工作，是不是寫程式都一樣，他都會先想到交給 Codex，因為真的很省時間。
• 10:19 Roman 認為已有檔案系統、可存取線上服務的 plugins，computer use 是存取本機 app 的最後一塊拼圖
  ↳ plugins（外掛）讓 Codex 能連到各種線上服務，它也本來就能讀寫檔案。Roman 認為能操作本機 app 的 computer use 是最後一塊拼圖。
• 10:19 Ari 用很多 web app 和 Apple 原生 app，例如用 Numbers 追蹤試算表；現在 Codex 都能端到端存取
  ↳ Ari 用很多網頁版工具，也用 Apple 內建的 app，例如用 Numbers 管試算表。現在這些 Codex 都能從頭到尾幫他做完。
• 10:49 建議拿最困難的任務來試，例如要在五個 app 之間來回、耗掉好幾小時的工作；它能在背景工作而不打斷你的節奏
  ↳ 他們建議拿最累的工作來試，例如要在五個 app 之間切來切去、花好幾個小時的那種。它在背景做，不會打亂你手上的事。
• 10:49 computer use 目前可在 Mac 上使用，很快會推出 Windows 版
  ↳ computer use 目前只有 Mac 版，Windows 版很快會推出。

依影片說明，為什麼 computer use 可以搭配 Codex Spark 這類非多模態模型使用？