新創創辦人如何用 Claude Managed Agents 打造產品（第 2/3 段） ☕ Buy me a coffee

🧑‍🏫 這段是幾位新創創辦人分享他們怎麼選：AI agent 的底層要自己做，還是直接用 Claude 官方託管的 Managed Agents。他們也講了「記憶」和「沙箱」在真實產品裡怎麼用。想用 AI 做工具或產品的人，可以從這裡學到怎麼決定哪些自己做、哪些用現成的。

• 11:35 產品必須安全，要讓小型企業到大型企業都信任；用 Managed Agents 很快就做到這點
  ↳ Managed Agents 是 Claude 官方幫你代管 AI agent（會自己一步步做事的 AI 程式）的服務。產品要讓小公司到大企業都敢用，安全是基本門檻，用它很快就過關。
• 11:35 session 類型很多元：有夜間批次系統在晚上找問題。大規模漏斗（funnel）變化不適合即時分析，要放在 cron process 裡跑
  ↳ session 是 agent 每一次被叫起來做事。有些在半夜批次找問題。漏斗（funnel，用戶一路流失的過程）這種大量分析不用即時做，交給 cron process（定時自動執行的排程）跑。
• 11:35 也有即時型 session：有人發問時，會快速查看原始碼、確認 source of truth，讓回答更準確；這些目前都在 Managed Agents 上跑
  ↳ 另一種是即時的：使用者一問，agent 馬上去翻原始碼，確認 source of truth（最權威、最準確的那份資料），而不是憑印象回答。這兩種工作現在都跑在 Managed Agents 上。
• 12:06 本段討論三種例子：Managed Agents 搭配 sandboxing、搭配 outcomes、搭配 memory
  ↳ 接下來用三個案例說明：sandboxing（讓 AI 在隔離空間裡跑程式、碰不到外面）、outcomes（檢查 AI 有沒有達到你設定的結果）、memory（讓 AI 記住過去的資訊）。
• 12:06 要自建 harness 還是用託管方案？關鍵在 harness 是不是這個功能的核心能力。以 briefs 功能為例，harness 不是核心，重點是有沒有把價值交給使用者
  ↳ harness 是包在 AI 模型外面、負責呼叫工具和跑流程的執行框架。要不要自己做，就看它是不是這個功能的核心。像 briefs 這個功能，重點是使用者有沒有拿到價值，框架誰做的不重要。
• 12:40 反例：如果要做完全語音控制的 Jarvis 系統，harness 本身可能就是核心能力，還可能帶來全新能力
  ↳ 反過來說，如果要做像鋼鐵人 Jarvis 那樣全程用說話控制的助理，執行框架本身就是產品的一部分。這時自己做，才可能做出別人沒有的新能力。
• 12:40 本質上是在「控制權」和「成本與時間」之間取捨：基礎設施不決定產品品質就用買的，決定品質就自己做
  ↳ 說穿了就是取捨：自己做，掌控度高，但花錢又花時間；用買的，省力但比較難控制。判斷標準是：這層底層會不會決定產品好壞？不會就買，會就自己做。
• 13:10 產品早期是在驗證 product-market fit 和核心功能，目標是用比傳統方案好 10X 的方式解決難題，不需要自建基礎設施
  ↳ 產品剛起步時要先證明 product-market fit（真的有一群人需要、願意用），並用比傳統做法好十倍的方式解決難題。這個階段花力氣自己做底層不划算。
• 13:40 哪天可能因為需要更細的控制，或某方面成本達不到營運要求，才需要自建；早期要做的是創新、盡快把功能送到客戶面前、能非常快速地改動
  ↳ 等哪天需要更細的控制，或某些成本壓不下來、營運撐不住，再來自己做。早期該把力氣放在創新、快點把功能送到客戶手上，而且要能隨時大幅修改。
• 14:10 這個方案不適合所有人，但在新創階段是分配時間與排優先順序的正確思路
  ↳ 講者也承認這不是每個人都適用。但新創最缺的是時間，先把時間花在最影響產品的地方，這樣排優先順序是對的。
• 14:10 原本用自己開發的方案，但開始出問題，發現得整個重做，於是拿它和 Managed Agents 做 bake-off（比較）
  ↳ 有位創辦人原本用自己寫的方案，後來問題越來越多，發現得整個打掉重做。於是做了 bake-off（把兩個方案並排實際比一比），拿自家方案和 Managed Agents 比較。
• 14:42 Managed Agents 很快就能跑起來，也涵蓋了很多原本打算自己處理的 edge cases；幾天內基礎設施就能運作，幾週內整個產品就遷移過去
  ↳ 結果 Managed Agents 很快就能跑起來，還已經處理好很多 edge cases（少見但會出錯的特殊狀況），這些原本他們打算自己補。幾天內底層就能用，幾週內整個產品就搬過去了。
• 14:42 meeting assistant：一天就做出第一版，再花幾天迭代，幾週內使用者規模成長 100 到 1,000X
  ↳ 例子是 meeting assistant（會議助理）：一天做出第一版，再調整幾天，幾週內使用者規模就成長了 100 到 1,000 倍。
• 15:13 主要的工作是釐清使用者到底想從這個功能得到什麼，要反覆經過 build、dogfood、找其他人測試、再迭代，大約 2 到 3 週就能完成
  ↳ 最花力氣的不是技術，而是搞清楚使用者到底想要什麼。流程是：做出來、dogfood（自己團隊先天天用）、找別人試、再改。大約 2 到 3 週完成。
• 15:13 迭代時 prompts、skills、tools 都會改，還有 loop 的編排：什麼時候搜尋、檢索、為相關內容排序、要回傳什麼給使用者、怎麼跨多個來源協調
  ↳ 會一直改的有 prompts（給 AI 的指令）、skills（打包好的做事方法）、tools（AI 能呼叫的功能），還有 loop 的安排：何時搜尋、怎麼挑重點排序、回什麼、怎麼整合多個來源。
• 15:46 Watchtower 從構想到交付客戶約 2 週，大概第一週左右就開始內部 dogfood
  ↳ Watchtower 是他們做的另一個功能，從想法到交到客戶手上大約 2 週，差不多第一週就開始讓自己團隊試用。
• 16:16 常調的是 skills、prompts、tools，而且不用自己處理 compaction 等 harness 的其他部分
  ↳ 平常調整的重點都在 skills、prompts、tools。像 compaction（對話太長時把前面的內容壓縮成摘要）這類 harness 的雜事，都不用自己處理。
• 16:16 真正的問題是：依照使用者要參加的會議，該呈現哪些最重要的資訊？不用管其他部分，就能專心迭代這個問題
  ↳ 他們真正要解的問題只有一個：這個人等一下要開這場會，該給他看哪些最重要的資訊？其他部分交給託管方案，團隊就能專心反覆打磨這件事。
• 16:46 outcomes 功能用來確保這場對話已經評估過最重要的資訊、照那樣組織，並能快速朝這個目標迭代
  ↳ outcomes 功能就是替這個目標把關：檢查 AI 有沒有真的考慮過最重要的資訊、有沒有照那個方式整理，讓團隊能很快朝目標修正。
• 16:46 據說 Claude Code 很早期沒有 evals，是靠 vibes（感覺）迭代到產品有黏著度（sticky）
  ↳ 講者說，聽說 Claude Code（寫程式用的 AI 工具）很早期沒做 evals（有系統的測試評分），是靠 vibes（用起來的感覺）一路改，改到產品 sticky（使用者會一直回來用）。
• 17:16 產品一有黏著度，就必須有系統化的 evals；但產品沒黏著度的話，再多評估也無法讓它變得有黏著度，要先想辦法做出黏著度
  ↳ 產品一旦有人黏著用，就要建立系統化的評估。但如果根本沒人想用，測得再細也救不起來，這時該先想辦法讓人願意一直用下去。
• 17:16 快速迭代階段用託管 harness 很方便，因為基礎設施是託管的，例如 prompt caching 直接解決了，而這對成本很重要
  ↳ 快速改版的階段用託管的 harness 很省事，底層有人顧。例如 prompt caching（重複的指令內容先暫存起來，不用每次重新處理）已經內建，這直接影響成本。
• 17:47 memory 很難做對。Watchtower 每個 account 的 memory 是核心，需要大量客製，要拉很多槓桿才能讓它穩定
  ↳ memory 很難做好。對 Watchtower 來說，每個客戶帳戶（account）的記憶是產品核心，需要大量客製、調整很多地方，才能讓它穩定可靠。
• 18:20 account memory 會永久保存、內容詳細、時間久了可能損壞；這部分他們自己管理，並用特定方式建索引，讓查詢更有效率
  ↳ 帳戶記憶會永久保存、內容很細，放久了可能壞掉。所以這部分他們自己管，並用自己的方式建索引（像書的目錄），讓查詢更有效率。
• 18:20 較不核心的 memory，例如各欄位的意義、組織如何運作、使用者偏好，要能用、要夠好，但不需要和別人不同，託管 memory 幫他們解決了這些
  ↳ 比較不核心的記憶，像各欄位代表什麼、公司怎麼運作、使用者喜歡什麼，只要好用就夠，不需要跟別人不一樣，這部分就交給託管 memory 處理。
• 18:50 他們認為自己的工作很大一部分是「讓 token 對業務人員有用」，價值主要來自產品體驗與周邊介面
  ↳ 他們把自己的工作定義成：把 AI 產出的 token（AI 處理文字的基本單位）變成業務用得上的東西。價值主要來自產品體驗和周邊介面，不在底層。
• 19:20 Watchtower 2 週就做出來；已經用了幾個月，沒有重做，也沒有想離開 Managed Agents，因為專心在更有價值的產品介面上
  ↳ Watchtower 兩週就做出來，到現在已經用了幾個月，沒有重寫，也不打算離開 Managed Agents，因為團隊的力氣都放在更有價值的產品介面上。
• 19:50 架構：每個 account 有自己的 agent 和 memory，這些不在 Claude Managed Agents 上，memory 架構由他們自己擁有且完全獨立；Watchtower 這個 managed agent 能存取整批 agent 的 memory
  ↳ 架構上，每個客戶帳戶都有自己的 agent 和記憶，這部分由他們自己掌握，不在 Managed Agents 上。而 Watchtower 這個託管 agent 可以讀取所有帳戶 agent 的記憶。
• 19:50 例如一位 account executive 有 N 個 agent，每個 account 一個，Watchtower 可以跨整批 agent 存取 memory
  ↳ account executive（AE，負責一批客戶、推動成交的業務）手上有幾個客戶，就有幾個 agent。Watchtower 能一次跨所有 agent 讀取記憶。
• 20:21 範例提問：「今天我該處理哪五個 accounts？」答案取決於各 account 的 memory（例如你負責 100 個 accounts），以及你的偏好和組織運作方式
  ↳ 例如業務問：「今天該先處理哪五個客戶？」假設他負責 100 個客戶，答案就要看每個客戶的記憶，也要看他個人的偏好和公司的做事方式。
• 20:21 managed agent 會自己寫程式查詢 account-level memory，還能做 fan-out；另一半輸入（你、你的公司、你的工作方式）則放在託管 memory 裡
  ↳ 託管 agent 會自己寫程式查各客戶的記憶，還能 fan-out（同時分頭查很多筆再彙整）。另一半資訊，像你這個人、你的公司、你的工作方式，則放在託管 memory 裡。
• 20:52 Watchtower 是給 account executive 用的介面，可以深入單一 account，也能跨 accounts 工作或排優先順序
  ↳ 所以 Watchtower 就是給業務用的操作畫面：可以深入看單一客戶，也能跨所有客戶一起看、排出先後順序。
• 21:23 使用者從 IC 擴展到主管：一位管理五個 AE 的業務主管等於要負責 500 個 accounts
  ↳ 使用者也從 IC（自己做事、不帶人的第一線人員）擴大到主管。一位帶五個 AE 的業務主管，等於要掌握 500 個客戶。
• 21:23 Todd 的 sandboxing 案例：分析產品能存取應用程式和它產生的 telemetry，也能存取客戶提供的原始碼
  ↳ 接著是 Todd 的 sandboxing 案例：他們的分析產品能看到客戶的應用程式和它產生的 telemetry（程式運作時自動回傳的使用與效能數據），也能拿到客戶提供的原始碼。
• 21:53 他們把程式碼放進 sandbox，再搭配應用程式的 telemetry 一起分析；用例很多
  ↳ 做法是把程式碼放進 sandbox 這個隔離空間，再和 telemetry 一起分析，把「實際發生了什麼」和「程式是怎麼寫的」對起來看。能用的情境很多。
• 21:53 不到 2 週就做出用 Managed Agents 的方案；原本有幾個團隊在自己做。要符合營運管控仍需要一些調整，但整體是驚喜
  ↳ 用 Managed Agents 不到兩週就做出方案，而公司裡原本有幾個團隊在自己做。為了符合公司的營運管控規範還得調整一些地方，但整體結果讓他們很驚喜。
• 22:23 他們整合了原始碼 repository：每次程式碼變更、送出 pull request，就啟動一個 managed agent session 審查程式碼、理解改了什麼
  ↳ 他們接上了 repository（存放程式碼的地方）：每次有人改程式、送出 pull request（請團隊審核並合併修改的申請），就自動開一個 agent 審查程式碼、搞懂改了什麼。
• 22:55 同時做輕量的 UX review，避免不好的 UX 一開始就被提交；合併之後再看實際發生了什麼
  ↳ 同時順便做簡單的 UX review（檢查使用體驗好不好），避免難用的設計一開始就被放進去；合併之後，再回頭看實際使用時發生了什麼。

根據影片，meeting assistant 在 Managed Agents 上做出第一版功能花了多久？