使用你的電腦與瀏覽器（Computer use 與 Chrome use） ☕ Buy me a coffee

🧑‍🏫 這支影片介紹 ChatGPT 桌面 app 的兩個新能力，讓 ChatGPT 可以直接幫你操作電腦上的軟體和網站，不再只能陪你聊天。它清楚說明什麼情況該用哪一種方法，也示範怎麼把繁瑣的步驟交給 ChatGPT，同時把最後按下送出的決定留給自己。

• 00:04 ChatGPT Work 可以透過 plugin 使用你平常用的工具，但有些工具沒有 plugin
  ↳ ChatGPT Work 是桌面 app 裡的 Work 分頁，專門用來幫你做事。plugin 是讓 ChatGPT 直接連到某個工具的通道，例如接上 Google Calendar。不過不是每個工具都有人做好 plugin。
• 00:04 有些工具在桌面 app 裡，或在你已經登入的網站上，這時就要用 Computer use 和 Chrome use
  ↳ 很多工作卡在電腦裝的軟體裡，或是要登入才進得去的網站，例如公司內部系統。這些工具沒有 plugin 可以接，就改讓 ChatGPT 自己動手操作。
• 00:04 這兩個功能只能在 ChatGPT 桌面 app 的 Work 分頁使用，一般 ChatGPT、網頁版和手機都沒有
  ↳ 這兩個功能一定要裝 ChatGPT 桌面 app，並切到 Work 分頁才用得到。在瀏覽器開的網頁版、手機 app，或是一般聊天畫面，都找不到這兩個功能。
• 00:04 Computer use 讓 ChatGPT 像你一樣操作桌面 app：可以點擊、打字，也能在不同 app 和視窗之間切換
  ↳ Computer use 就是讓 ChatGPT 接手你的滑鼠和鍵盤。它會看畫面、點按鈕、打字，也會自己切換到其他 app 或視窗，做你平常親手做的那些操作。
• 00:04 Chrome use 是在瀏覽器裡做同樣的事，可以使用你已經登入的網站
  ↳ Chrome use 是把同樣的能力搬進 Chrome 瀏覽器。它沿用你已經登入的狀態，所以公司系統、各種網站帳號，它都能直接進去操作。
• 00:04 兩者都能在背景執行，你可以繼續用電腦做自己的事
  ↳ ChatGPT 做事時不會霸占你的電腦。你可以一邊回信、一邊讓它在背後跑任務，不用停下來乾等。
• 00:35 ChatGPT 存取 app 或網站前會先徵求許可，你可以只允許這一次，或讓它記住你的選擇
  ↳ 它要動某個 app 或網站之前會先問你。你可以選只允許這一次，下次它會再問；也可以選記住，之後就不用每次都按確認。
• 00:35 示範中講者用 dictation（語音輸入）下指令，用說的就好，不必打字
  ↳ dictation 就是語音輸入。你直接開口說要它做什麼就好，不用打字。手在忙，或是指令很長懶得打的時候特別方便。
• 00:35 範例：「Play my daylist on Spotify」。這裡沒有專門的 Spotify 整合，ChatGPT 是直接操作講者平常用的桌面 app
  ↳ 講者只說了一句「用 Spotify 播我的 daylist」。Spotify 並沒有專門接到 ChatGPT，是 ChatGPT 直接打開講者電腦上的 Spotify，自己點進去播放。
• 00:35 在 Mac 上，ChatGPT 可以在背景處理這類任務；你隨時可以在旁邊看、接手操作或叫它停下來
  ↳ 在 Mac 上，這類任務會在背景進行。你想看可以在旁邊盯著，發現它方向不對，可以自己接手操作，或直接叫它停下來。主導權一直在你手上。
• 01:05 按 Command Command 可以拍一張 appshot，app 和網站都適用，就像帶有上下文的截圖
  ↳ appshot 是在 Mac 上連按兩下 Command 鍵拍下目前的畫面，app 和網站都適用。它跟一般截圖不同，會連同畫面的上下文一起交給 ChatGPT。
• 01:05 有了 appshot，ChatGPT 能看到並理解你眼前的畫面，你不必把所有東西都解釋一遍
  ↳ 以前問畫面上的東西，要先打一大段說明現在在哪、這欄是什麼。有了 appshot，ChatGPT 自己就看得懂你眼前的畫面，你直接問重點就好。
• 01:05 範例：請 ChatGPT 在 Workday 準備 9 月 14、15 日的 PTO 申請，查行事曆有沒有衝突，並草擬同日期的 out-of-office 活動
  ↳ 講者一次交代三件事：在 Workday（公司用的人資系統）填 9/14、15 的 PTO 請假申請，查行事曆有沒有撞期，再草擬同日期的 out-of-office（標示不在辦公室）活動。
• 01:05 指令裡明確要求先給兩份草稿，送出 PTO 申請前就停下來
  ↳ 講者在指令裡特別寫明：兩份都先做成草稿，請假申請送出前要停下來。先把「做到哪裡為止」講清楚，它就不會自己按下送出。
• 01:35 Workday 沒有 plugin，所以開分頁、填表單這些步驟交給 Chrome use
  ↳ Workday 沒有 plugin，ChatGPT 沒有捷徑可以直接連過去。所以改用 Chrome use，讓它像人一樣在瀏覽器裡開分頁、找到請假頁面，一格一格把表單填好。
• 01:35 Chrome use 和 plugin 可以搭配：Workday 走瀏覽器，行事曆查詢和 out-of-office 活動則用 Google Calendar plugin
  ↳ 同一個任務可以混著用。Workday 的部分走瀏覽器，查行事曆和建立休假活動則走 Google Calendar plugin。哪條路順就走哪條，不必整件事只選一種方法。
• 01:35 ChatGPT 做到這裡就停：申請已經填好，行事曆活動也準備好了，但還沒送出
  ↳ 最後停在這個狀態：請假申請填好了，休假活動也準備好了，但兩樣都還沒送出，正等你確認。
• 01:35 送出 PTO 和建立活動會造成真正的變更，所以要讓使用者先檢查過
  ↳ 送出請假申請、在行事曆建立活動，都會真的改到系統，別人也看得到，做錯還得回頭收拾。所以要先讓你看過再送出。
• 01:35 講者的用法：繁瑣的步驟交給 ChatGPT，但影響到行事曆、團隊或其他系統的事，最後由自己決定
  ↳ 講者是這樣分工的：填表、切換頁面這些瑣碎步驟交給 ChatGPT；會影響行事曆、同事或公司系統的事，最後由自己檢查、自己決定。
• 02:06 選用原則：有直接通往工具的路徑就用 plugin；工作在桌面 app 上就用 Computer use；工作在已登入的瀏覽器裡就用 Chrome use
  ↳ 選用原則很簡單：工具有 plugin 就優先用 plugin，最直接；工作在電腦裝的軟體裡，用 Computer use；工作在已經登入的網站上，用 Chrome use。

在影片的 PTO 範例中，為什麼 ChatGPT 要用 Chrome use 來處理 Workday？