評估 ChatGPT Work 的使用情形與價值 ☕ Buy me a coffee

🧑‍🏫 這支是 OpenAI 教企業管理員的影片，教他們在後台看員工怎麼用 ChatGPT 和 Codex。它不只看「用了多少」，還看「拿去做什麼工作、有沒有做出成果」。如果你要跟老闆交代 AI 值不值得花錢，這些就是你手上的依據。

• 00:00 AI 採用增加後，管理員要回答更大的問題：AI 在哪裡創造價值、下一步該投資在哪裡
  ↳ 員工開始普遍用 AI 之後，管理員要回答的就不只是「有沒有人在用」。更重要的是「用在哪裡真的有幫助」，以及「接下來錢和力氣該放哪」。
• 00:00 admin console 的 Insights 能把 AI 使用量連結到實際進行的工作與產出的成果，協助決定賦能（enablement）重點、預算分配與擴大存取權
  ↳ admin console 是管理員的後台，Insights 是裡面的分析功能。它把用量對到實際工作和成果，幫你決定要加強哪種培訓推廣（enablement）、預算怎麼分、要不要開放給更多人用。
• 00:00 可以看到誰在使用這些工具，以及 credits 和 tokens 用到哪裡去
  ↳ 你看得到哪些人在用。也看得到 credits（計算用量的點數額度）和 tokens（AI 計算文字量的單位）主要花在哪些人、哪些用途上，概念像看帳單明細。
• 00:00 可依群組（group）或使用者篩選，了解使用量在哪些地方成長
  ↳ 可以按群組（group，例如某個部門或團隊）或按個人篩選。這樣看得出是哪裡的用量在增加，不會只看到全公司一個總數。
• 00:31 Insights 分頁會把使用者活動分類到預先定義的 use case 類別，並再細分成具體任務
  ↳ Insights 會自動把大家的使用紀錄歸進固定的用途類別（use case，例如業務類），再拆成更細的具體任務。你不用自己一筆一筆去分類。
• 00:31 可以先看總覽，再往下鑽研（drill down）細節
  ↳ 先看全公司的大方向，發現值得注意的地方，再一層一層點進去看細節。這個往下挖的動作就叫 drill down。
• 00:31 和 Usage 一樣，Insights 也能依群組篩選，看不同團隊如何使用 AI，再與團隊合作把它連結到商業成果
  ↳ Insights 也能按團隊篩選，看每個團隊主要拿 AI 做什麼。接著和那個團隊一起對照，確認這些用法有沒有真的幫到他們的工作目標或業績。
• 00:31 示範：點進 sales 底下的 account research and planning（客戶研究與規劃）
  ↳ 影片示範點進業務（sales）類別底下的「客戶研究與規劃」這項任務，看這類工作的詳細使用情況。
• 01:01 model、reasoning、speed 的細分資料可用來檢查設定是否適合任務，以及哪裡改用更快、成本更低的選項會更好
  ↳ 這裡看得到該任務用了哪個模型、推理強度（reasoning，讓模型想得多深）和速度設定。如果簡單工作卻用了又慢又貴的設定，就可以改成更快、更省的選項。
• 01:01 可看到哪些 plugins 支援這項工作；例如客戶研究預期會由 Salesforce 提供脈絡，若沒被使用，就是該加強培訓的地方
  ↳ plugins 是接在 AI 上的外部工具。做客戶研究時，理應會用到 Salesforce（常見的客戶管理系統）裡的資料。如果大家沒在用，就代表要加強教學。
• 01:01 Skills 能讓工作流程可重複、並符合公司的做法；看哪些 Skills 被使用，可決定哪些要維護、哪些要廣泛分享
  ↳ Skills 是把一套做事流程固定下來，讓每個人都照公司的方式重複執行。看哪些 Skills 常被用，就知道哪些該持續維護、哪些該推給更多人。
• 01:31 寫程式方面，可直接在 admin console 看到可衡量的成果：Codex 對 commits、merged code 與 code review 的貢獻
  ↳ Codex 是 OpenAI 寫程式用的 AI。後台能直接看到它在 commits（提交的程式修改）、merged code（正式併入的程式）和 code review（程式審查）上出了多少力。
• 01:31 追蹤這些貢獻隨時間、跨開發者的變化，可作為與工程主管討論 rollout 成效、決定擴大存取權的依據
  ↳ 把這些數字按時間、按工程師持續追蹤，就有具體證據。拿著這些證據跟工程主管討論這次導入（rollout）效果好不好、要不要開放給更多人。
• 01:31 admin plugin 把這些分析集中到同一段對話中：可探索採用情形或花費、合併檢視，並在調查時追問
  ↳ admin plugin 讓你用聊天的方式做分析。用量、花費都能在同一段對話裡查，也能把資料合在一起看，發現疑點就直接接著問。
• 02:02 範例情境：準備每月的 AI rollout review（AI 導入檢討會議）
  ↳ 影片用的情境是準備每月一次的 AI 導入檢討會，也就是定期回頭檢查 AI 用得怎麼樣、接下來要怎麼調整。
• 02:02 示範提示：視覺化過去 30 天各團隊 Codex 與 Work 的使用量與 credits 趨勢，以及各團隊主要 use case 與任務細分
  ↳ 示範的提問是：把過去 30 天各團隊在 Codex 和 Work 的用量與 credits 變化畫成圖，並列出各團隊主要的用途和細分任務。
• 02:02 提示中也要求：工程團隊要包含 Codex 對 commits 和 code review 的貢獻，並找出最大變化與下一步該聚焦之處
  ↳ 同一個提問裡還要求兩件事。第一，工程團隊要加上 Codex 對提交和審查程式的貢獻。第二，指出變化最大的地方和下一步該專注什麼。
• 02:34 可接著追問：把結果做成含圖表、重點與建議下一步的簡短主管簡報，並分享到 AI Rollout Slack 頻道
  ↳ 拿到結果後可以再追問，請它整理成給主管看的簡短簡報，附圖表、重點和建議。最後直接發到名為 AI Rollout 的 Slack（工作用聊天軟體）頻道。
• 02:34 總結：透過 admin console 的 Insights 了解全組織使用量與花費指標、AI 被用來做什麼，並連結到企業成果
  ↳ 總結：用 Insights 掌握全公司的用量和花費，搞清楚 AI 被拿去做什麼，再把這些連到公司真正在意的成果上。
• 03:04 呼籲今天就打開 admin console 或 admin plugin，看看團隊把 AI 用在哪裡
  ↳ 影片最後鼓勵管理員今天就打開 admin console 或 admin plugin，看看自己的團隊把 AI 用在哪裡。

影片中，若 account research 工作沒有用到預期的 Salesforce plugin，管理員應該怎麼看待？