Grok Bot 101 入門（第 4/5 段） ☕ Buy me a coffee

🧑‍🏫 這段示範 Grokbot 怎麼用 computer use 直接操作 Figma 做貼紙，再把成果交給另一個 bot 做成投票表單。值得看的是它一路示範了幾個實用觀念：什麼時候用 connector、什麼時候讓 bot 自己操作電腦、為什麼要寫 skill，以及多個 bot 怎麼分工合作。

• 34:08 示範任務：製作 Grokbot 周邊貼紙，要使用 Figma 裡指定的 icon 與素材，讓設計師能拿去用
  ↳ 這次的示範任務是做 Grokbot 周邊貼紙。重點是不能亂畫，要照 Figma（多人線上協作的設計工具）裡現成的 icon 和素材來做，做完設計師可以直接接手用。
• 34:08 貼上的 prompt：依照 Figma 的規範做 8 張 Grokbot 貼紙，並先讓 bot 回報它的想法，再進入下一步
  ↳ prompt 就是你打給 AI 的指令。這段指令除了要 8 張照規範做的貼紙，還刻意要 bot 先講它打算怎麼做，等你確認方向再動手，免得一開始就做偏。
• 34:38 Connect apps 裡的 Figma 是內建 connector，而且是雙向的：可以從來源拉進 context，也能更新下游的物件
  ↳ connector 是讓 bot 連上某個 App 的內建接口，在 Connect apps 裡就有 Figma。雙向是指它能把 Figma 內容讀進來當 context（AI 做事時參考的背景資料），也能回頭改 Figma 裡的東西。
• 34:38 Figma 團隊為 connector 設定了一組 tools，也就是 AI 能對 Figma 做的功能，例如取得截圖、生成設計
  ↳ tools 是 Figma 團隊開放給 AI 用的功能清單。AI 只能做清單上有的事，例如抓截圖、生成設計；清單上沒有的，它就做不到。
• 35:12 Figma 是很複雜的平台，只用 connector 或 MCP 可能會受限，所以 computer use 很重要：Dex 能進 Figma，用跟人一樣的方式看畫面
  ↳ Figma 功能很多，connector 或 MCP（讓 AI 串接外部工具的通用規格）只開放一部分，容易卡住。所以讓名叫 Dex 的 bot 用 computer use：在自己電腦上看畫面、點滑鼠，像人一樣操作。
• 35:12 可以教 Dex 一個任務，例如怎麼做投影片，在這個例子裡則是怎麼做貼紙
  ↳ 你可以把一件事做給 Dex 看，讓它學會之後自己做，例如做投影片。這次要教它的是做貼紙。
• 35:12 Dex 回覆：在做任何貼紙之前，會先說明它看到了什麼
  ↳ Dex 照 prompt 的要求，沒有急著開工，而是先回報它對素材的理解。這樣你可以在它花力氣之前，先確認它有沒有看懂。
• 35:43 Dex 拉近查看品牌素材、顏色和形狀；這份規範有不同的分頁，可以從中取得 context
  ↳ Dex 會把畫面放大，仔細看品牌素材的顏色和形狀。規範檔分成好幾個分頁，它會一頁頁看，把資訊收集起來當作設計依據。
• 35:43 Dex 接著摘要哪些內容對這批貼紙真正重要
  ↳ 看完之後，Dex 會整理出哪些規範跟這批貼紙真的有關，不會把所有資料照單全收，後面做出來的東西才會切題。
• 36:15 Dex 不需要管 Maya 在做 Google Forms 的事；建立 bot 時，要讓它專注在自己負責的那一塊
  ↳ 另一個 bot 叫 Maya，負責 Google Forms（Google 的線上表單工具）。Dex 不用管表單的事。建立 bot 時給每個 bot 明確的分工，它才不會分心。
• 36:15 Dex 說明 Figma 連結裡有 characters、colors、stickers，而且因為能在自己的電腦上開 Figma，還附上截圖
  ↳ Dex 回報 Figma 檔裡分成角色、配色、貼紙三類。因為它是在自己電腦上開 Figma，所以能直接附上截圖，你一眼就能確認它看的是不是對的東西。
• 36:45 接著下指令：要 8 張新貼紙，打開新的 Figma 檔，並在它的電腦上製作，讓大家能在旁邊看
  ↳ 方向確認後才正式下指令：開一個新的 Figma 檔做 8 張貼紙。因為是在 Dex 的電腦上做，大家可以同步看它一步步操作的畫面。
• 37:18 觀眾常見問題一：什麼時候該用 computer use？是自己操作電腦教它任務、讓它自己做，還是找 connector？
  ↳ 觀眾問：到底什麼時候該用 computer use？是自己先操作一遍教它、讓它自己摸索，還是去找現成的 connector 來接？
• 37:18 觀眾常見問題二：大家用其他 coding agent 時熟悉的 context window 概念，是否也適用於 Grokbot？
  ↳ 觀眾問：context window（AI 一次能處理的資訊上限）是用 coding agent（幫人寫程式的 AI 工具）的人很熟的限制，Grokbot 也要擔心這個嗎？
• 38:20 回答：重點在於用合理的方式引導 Grokbot 的行為；放任它自己跑，通常也能把設計從頭到尾做得不錯
  ↳ 講者的回答是：不用把每一步都規定死，只要用合理的方式給方向，就算讓 Grokbot 自己決定怎麼做，通常也能把設計從頭到尾做完。
• 38:20 若想節省 token 與背後的 API 呼叫，可以建立 skill，明確告訴它步驟 A、B、C，讓它更有效率地從 A 點到 B 點
  ↳ token 是 AI 計算用量的單位，API 呼叫是 bot 在背後叫用 AI 服務的次數，兩者都跟成本有關。把步驟寫成 skill（固定的做事流程），它就不用每次重新摸索。
• 38:51 建立 skill 的重點在於減少反覆修改的次數（iteration cycles）
  ↳ iteration cycles 指「做出來、不滿意、再改」的來回次數。skill 的價值就在讓它一開始就照對的步驟做，少改幾輪。
• 38:51 如果流程能用 plugins 完成，做法很簡單；computer use 是用在 plugins 做不到的事情上
  ↳ plugins 指現成的擴充或串接功能。如果用現成功能就能完成流程，直接用最簡單；現成功能做不到的部分，才需要動用 computer use。
• 38:51 以 Figma 為例，connector 提供的 tool calls 很有限，這時就需要 computer use，照 Figma 原本的設計方式去操作它
  ↳ tool calls 是 AI 實際去呼叫那些功能的動作。Figma connector 能呼叫的功能不多，所以要靠 computer use，用 Figma 原本給人用的介面去操作。
• 39:22 Figma connector 主要是讓 AI 從來源拉資料；有了 computer use，能做的事完全不同
  ↳ Figma connector 主要是把資料讀進來，例如拿設計規範來參考。有了 computer use，bot 能直接動手畫、改檔案，能做的事完全不同。
• 39:22 Dex 示範了製作貼紙的過程，但這次執行出錯了
  ↳ Dex 實際示範了做貼紙的過程，但這次現場執行出了錯，沒有順利做完。
• 39:54 遇到錯誤時，做法是跟 Dex 來回溝通、反覆修改；這次是一次性（one shot）嘗試，讓 Dex 上手怎麼設計貼紙
  ↳ 出錯時的處理方式是跟 Dex 來回對話、一輪輪修正。這次只是 one shot（只試一次）的嘗試，目的是讓 Dex 初步學會怎麼設計貼紙。
• 39:54 設計師若希望 Dex 不只處理貼紙，也能處理其他素材，就要花時間用白話文教它：提供靈感來源，說明該怎麼做
  ↳ 設計師如果希望 Dex 處理貼紙以外的素材，就要花時間用平常說話的方式教它：給它參考的靈感來源，講清楚該怎麼做。
• 40:26 如果第一版不滿意，就修正方向，並教它該怎麼做
  ↳ 第一版不滿意很正常，就告訴它哪裡不對、該往哪個方向改，並教它正確的做法。
• 40:26 講者私下執行了 Dex 好幾次，每次結果都不同，原因是沒有建立 skill 讓貼紙製作變得固定且一致
  ↳ 講者私下跑了好幾次，每次做出的貼紙都不一樣。原因是沒寫 skill，Dex 每次都照自己的方式做。想要結果穩定，就要寫成 skill。
• 40:26 改用之前的 Dex 執行時做出的貼紙選項，來進行貼紙投票
  ↳ 因為現場這次失敗，改拿 Dex 之前做出來的貼紙當選項，繼續進行投票流程。
• 40:58 指示 Dex：記下電腦上的 Figma 畫面，把截圖傳給 Maya，讓她建立 Google 表單，給觀眾即時投票
  ↳ 指示 Dex 把電腦上 Figma 的貼紙畫面截圖，交給 Maya，由 Maya 做成 Google 表單，讓觀眾現場投票。
• 41:33 這樣就形成閉環：Maya 跟 Dex 溝通，Dex 也回頭跟 Maya 溝通；Dex 有自己的電腦，所以能截下 Figma 畫面
  ↳ 兩個 bot 會互相交辦、互相回報，形成完整的循環。Dex 有自己的電腦能截 Figma 畫面，Maya 收到後做表單，中間不用人手動轉交。
• 41:33 架構概念：每位使用者會被配置一整台 VM（電腦），每個 Grokbot 在裡面各有自己的桌面
  ↳ VM 是虛擬機器，也就是在雲端模擬出來的一台電腦。每位使用者會分到一整台，你的每個 Grokbot 在裡面各有自己的桌面。
• 42:03 Dex 在一個畫面上看 Figma，Maya 則在另一個畫面上用 Google Forms
  ↳ 所以 Dex 在一個桌面開 Figma，Maya 在另一個桌面用 Google 表單，兩邊同時進行、互不干擾。
• 42:03 bot 之間共用登入憑證：在 Maya 那邊登入 Google 後，Dex 也能使用
  ↳ credential 是登入帳號用的憑證。bot 之間共用登入狀態：你在 Maya 那邊登入 Google 一次，Dex 也能直接用，不用每個 bot 各登入一遍。
• 42:03 Maya 依照講者先前透過教任務讓她學會的 skill，建立 Google 表單並貼上截圖
  ↳ Maya 用的是講者之前教過她的 skill，所以知道怎麼建表單、怎麼把截圖放進去，不需要現場重新教。
• 42:36 截圖已存到它的電腦裡，新的 Google 表單已建立，Maya 接著填寫標題和描述
  ↳ 目前進度：截圖已經存進電腦，新的 Google 表單也建好了，Maya 正在填表單的標題和說明。
• 43:12 Maya 已經拿到 Figma 的截圖，知道有哪些選項，表單也快要可以發布
  ↳ Maya 已經拿到 Figma 截圖，清楚有哪幾個貼紙選項，表單差不多可以發布了。
• 43:12 追加指示：把各貼紙選項的截圖放進題目裡，觀眾掃 QR code 投票時會比較方便
  ↳ 臨時再補一個指示：在題目裡放上每個選項的貼紙截圖。觀眾用手機掃 QR code 進表單投票時，看圖就知道自己在選哪一張。
• 43:52 Cliff 回答：你所有的 bot 都在同一台電腦（一台 Cloud VM）上，但每個 bot 有自己的畫面或桌面，這是它們能平行處理任務的原因之一
  ↳ Cliff 回答：你的 bot 都在同一台 Cloud VM（雲端上的虛擬電腦）裡，但各有自己的桌面，這是它們能同時做不同事情的原因之一。
• 43:52 在 GrokBot 裡不需要擔心 context window；可以把 bot 想成長期合作的隊友，由它代替你管理許多各自有 context window 的 agent
  ↳ 在 GrokBot 裡不用管 context window。把 bot 當成長期合作的隊友，由它替你管理底下好幾個 agent（各自執行任務的 AI），每個 agent 的容量上限都交給它處理。
• 44:25 bot 會代替你做所有協調工作：建立 sub-agent 執行緒，並管理它們的 context、記憶和工具
  ↳ bot 會替你做協調：開出 sub-agent 執行緒（分頭做子任務的小幫手），並管理它們的 context、記憶和可用工具，你只要對 bot 說話就好。
• 44:25 還有許多關於 VM 的問題，例如架在哪裡、規格如何、能否更改規格，但超出 101 的範圍，這段沒有回答
  ↳ 觀眾還問了 VM 架在哪、規格多大、能不能改規格等問題，但這些超出入門 101 的範圍，這段沒有回答。
• 44:25 GrokBot 的核心理念是盡量讓使用變簡單
  ↳ GrokBot 的核心理念是讓使用者用起來越簡單越好。
• 44:58 即使 AI 工具很強大、有自己的電腦、能自主工作，如果不能簡單到開一個新 bot 就用白話跟它對話，就沒有意義
  ↳ 就算 AI 工具再強、有自己的電腦、能自己做事，如果不能做到開一個新 bot 就用平常說話的方式交代，這些能力就沒什麼意義。
• 44:58 記憶和 context 由官方在背後處理，使用者不會遇到「跟 bot 聊太多」這類門檻（字幕到此截斷）
  ↳ 記憶和 context 由官方在背後處理，使用者不會碰到「跟 bot 聊太多就出問題」這類門檻。字幕到這裡截斷。

根據影片說明，GrokBot 的多個 bot 在「電腦」資源上是如何配置的？