在 AWS 上使用 Claude 做 AI：從程式碼到協作編排 ☕ Buy me a coffee

🧑‍🏫 這支是 AWS 講者在 Claude Code 工作坊開場時的介紹。內容包括 Anthropic 和 AWS 的合作關係、在 AWS 上用 Claude 的三大好處、三種使用方式，以及工作坊怎麼進行。如果你的公司本來就用 AWS，又想把 Claude 用在正式工作上，看完就知道有哪些選項可以挑。

• 00:15 講者 Antonio Rodriguez 任職於 Amazon Web Services，自稱「cloud whisperer」，說現在比較像在下指令，而不是自己寫程式
  ↳ Antonio 在 AWS 工作，AWS 是 Amazon 的雲端服務。他自稱「cloud whisperer」，意思是他現在多半是告訴 AI 要做什麼，讓 AI 去寫程式，很少自己一行一行寫。
• 00:15 這場的主題：把在 Claude Code 做出來、只在自己電腦上的原型，變成部署在 AWS 雲端、可以上 production 的應用
  ↳ Claude Code 是會幫你寫程式的 AI 工具。這場要教的是：用它做出來、只能在自己電腦上跑的試作版，怎麼搬上 AWS 雲端，變成正式上線（production）、給人使用的服務。
• 00:45 講者說他 3 年多前開始和 Anthropic 合作，那時 Anthropic 正在推出 Claude 2
  ↳ Anthropic 就是開發 Claude 的公司。講者提這段是在說明自己的資歷：他從 Claude 還在第 2 代的時候就開始跟 Anthropic 合作了。
• 01:15 這是實作場次：先簡單介紹 Anthropic 和 AWS 怎麼合作，再發 AWS 帳號給大家免費、無限制地在 Bedrock 上測試 Claude，照工作坊的指引操作
  ↳ 這場要實際動手做。Bedrock 是 AWS 上提供 AI 模型的平台。現場會發臨時的 AWS 帳號，大家不用自己付錢，就能在上面盡情測試 Claude。
• 02:16 Amazon 對 Anthropic 做了數十億（multi-billion）規模的投資，AWS 也是 Anthropic 的主要雲端供應商
  ↳ 兩家公司的關係很深：Amazon 在 Anthropic 投資了數十億等級的資金，Anthropic 主要的雲端服務也是用 AWS。
• 02:16 Anthropic 承諾在 AWS 上的使用金額超過 100 billion
  ↳ 反過來，Anthropic 也承諾在 AWS 上的花費會超過 100 billion。雙方互相綁得很緊，不只是一般買賣服務的關係。
• 02:46 Project Rainier 是最大的 AI 運算基礎設施之一，用來訓練和託管 Claude 模型
  ↳ 訓練和運行 Claude 需要極大量的電腦運算，Project Rainier 就是用來做這件事的超大型運算設施之一。
• 02:46 Amazon 自己設計了專為 Claude 模型打造的晶片 Trainium，已經做到第三代，強調速度快、也比較省成本
  ↳ 晶片是負責 AI 運算的核心硬體。Amazon 自己設計了專為 Claude 打造的 Trainium 晶片，已經做到第三代。講者強調它速度快，成本也比較低。
• 03:17 在 AWS 上用 Claude 有三大優勢，第一是功能完整：Bedrock 是一整套平台，可以組合模型、也可以 fine-tune
  ↳ 第一個優勢是功能齊全。Bedrock 不只提供模型，還能搭配多種模型一起用，也能 fine-tune，也就是用自己的資料再調整模型，讓它更貼近特定用途。
• 03:47 講者說 AWS 是唯一能在雲端 fine-tune Haiku 的供應商，而且能和 Bedrock、整個 AWS 生態系整合
  ↳ Haiku 是 Claude 系列裡比較小、比較快的模型。講者說只有 AWS 能在雲端 fine-tune 它，調好之後還能直接接上 AWS 的其他服務。
• 03:47 第二是安全：資料不經過公開網路，全部留在自己的 AWS 範圍內，符合公司的合規規範和產業法規
  ↳ 第二個優勢是安全。資料只在 AWS 內部傳送，不經過公開網路，公司比較容易做到合規，也就是符合公司內部規定和產業法規。
• 04:18 銀行、醫療這類高度監管的產業，特別需要這種能完全掌控的選項
  ↳ 銀行、醫院處理的是存款、病歷這類資料，法規管得特別嚴，所以更需要「資料放哪裡、誰能碰」都由自己掌控的方案。
• 04:49 資料隱私：Bedrock 最新一代推論引擎做到 zero operator access，Amazon 和 Anthropic 的人都無法存取；資料不分享、也不拿去訓練模型
  ↳ 推論就是模型實際產生回答的過程。Bedrock 做到 zero operator access：連 Amazon 和 Anthropic 的員工都碰不到你的資料，資料也不會拿去訓練模型。
• 05:19 每天有數十萬客戶在用這些模型，所以對齊合規規範對 AWS 來說很重要
  ↳ 每天有數十萬個客戶在用，各行各業的規定又都不一樣，所以對 AWS 來說，把合規做好是基本門檻。
• 05:19 第三是擴展性：幾乎無限擴展，部署區域也能自己選，例如為了 GDPR 只部署在倫敦或歐洲區域
  ↳ 第三個優勢是擴展性：用量再大也撐得住，還能自己選資料放在哪個地區。GDPR 是歐盟的個資保護法，例如可以只部署在歐洲區域來符合它。
• 06:20 Bedrock 核心是基礎模型，Claude 是其中很重要的一部分；另外還有評估、prompt 最佳化、fine-tuning、模型蒸餾等功能
  ↳ Bedrock 的核心是像 Claude 這種通用大模型，周邊還有評估效果、優化 prompt（給 AI 的指令）、fine-tuning、模型蒸餾等工具。蒸餾是什麼，影片沒有多解釋。
• 06:51 Bedrock 有全託管的 knowledge bases，可以接到應用上
  ↳ Knowledge bases 就是知識庫，把資料放進去，讓 AI 回答時可以參考。「全託管」的意思是維護工作由 AWS 負責，你只要接到自己的應用上就好。
• 06:51 Guardrails：內容過濾、封鎖特定主題、自動遮蔽 PII 等敏感資料，還能用 grounding 和 automated reasoning checks 控制幻覺
  ↳ Guardrails 是護欄，可以過濾內容、擋掉特定話題，還能自動遮住 PII（身分證號這類個資）。也能用 grounding 等檢查來減少幻覺，也就是 AI 一本正經講錯的情況。
• 07:21 如果要把用 Claude Agent SDK 做的 agent 安全地放到雲端，可以用 Amazon Bedrock AgentCore，它也相容 LangChain、Crew AI 等框架
  ↳ Agent 是能自己分步驟完成任務的 AI 程式。用 Claude Agent SDK（開發工具包）做好之後，可以放到 AgentCore 上安全運行；用 LangChain 等其他框架做的也能放。
• 07:51 Better together 總結之一：資料主權，使用環境完全由自己掌控
  ↳ 接下來總結合作的好處。資料主權的意思是：資料放在哪裡、在什麼環境使用，都由你決定，而不是由供應商決定。
• 08:21 集中計費：Claude 的用量可以併入 AWS 帳單，只收一張帳單
  ↳ 不用另外跟 Anthropic 開帳戶付款，Claude 的費用會直接算進原本的 AWS 帳單，財務對帳比較單純。
• 08:21 完整的可觀測性：透過 CloudWatch、CloudTrail 查看指標、日誌和 traces
  ↳ 可觀測性就是能看到系統在做什麼。CloudWatch、CloudTrail 是 AWS 的監控工具，可以查用量指標、日誌，以及每一次操作的紀錄（traces）。
• 08:21 提供 SLA，保證服務可用性和 uptime，可以安心上 production、擴展規模
  ↳ SLA 是服務水準協議，用書面保證服務穩定運作的時間（uptime）。有了這個保證，公司才敢拿來跑正式業務。
• 08:52 內建身分驗證整合：SSO、OAuth、IAM roles，可以串接 Microsoft Entra ID、Okta 等身分提供者
  ↳ SSO 是一組帳號登入多個系統，OAuth 是常見的授權登入標準，IAM roles 是 AWS 的權限設定。這些都能直接接上公司現有的 Entra ID、Okta 帳號系統。
• 09:23 可以用 PrivateLink，讓所有通訊都走私有連線，資料完全不經過公開網路
  ↳ PrivateLink 是 AWS 的私有連線，就像走公司內部專線、不走一般網路，資料從頭到尾都不會跑到公開網路上。
• 09:54 支援的合規規範包括 FedRAMP、HIPAA 等，完整清單可以上網查
  ↳ FedRAMP 是美國政府的雲端安全認證，HIPAA 是美國的醫療資料隱私法，這些規範都有支援，完整清單要上網查。
• 09:54 在 AWS 上用 Claude 有三種方式，講者說這是目前業界選項最多的
  ↳ 接著講實際怎麼用。講者認為 AWS 提供的使用管道比其他業者都多，下面三種方式可以依需求挑選。
• 10:24 方式一：直接透過 Amazon Bedrock API 使用 Claude 模型；最近新增了 Opus 4.7，也支援 messages API
  ↳ 方式一適合寫程式的人：API 是程式之間溝通的介面，可以透過 Bedrock 的 API 呼叫 Claude。最近新增了 Opus 4.7，也支援 messages API 的呼叫格式。
• 10:54 方式二：Claude Platform on AWS 幾天前正式上線（GA），體驗和直接用 Anthropic 一樣，但帳單和存取控制都在 AWS
  ↳ 方式二：Claude Platform on AWS 前幾天正式上線（GA，正式開放使用）。用起來跟直接用 Anthropic 一樣，但付款和權限管理都在 AWS 上處理。
• 10:54 Claude Platform on AWS 由 AWS 當 gateway，把推論請求轉給 Anthropic 處理；功能和 Anthropic 對齊，包含 web search、files、agents 等
  ↳ Gateway 是中間的轉送站：你的請求先送到 AWS，再轉給 Anthropic 處理。所以功能跟 Anthropic 同步，網路搜尋、檔案、agents 都有。
• 11:24 方式三：不透過程式呼叫、而是用 Claude Desktop（包含在裡面用 Claude Code）的人，也可以走 AWS 合併帳單
  ↳ 方式三適合不寫程式、直接用 Claude Desktop 桌面版的人，在桌面版裡用 Claude Code 也算在內，費用一樣可以併進 AWS 帳單。
• 11:54 方式三有兩條路：一是透過 AWS Marketplace 訂閱 Claude Enterprise，依開發者人數訂閱
  ↳ 第一條路是在 AWS Marketplace（AWS 的軟體商店）訂閱 Claude Enterprise 企業版，依公司的開發者人數計費。
• 12:25 二是用 Anthropic 最近推出的第三方連接功能，讓 Claude Desktop 接到 Bedrock 或 Claude Platform on AWS
  ↳ 第二條路是用 Anthropic 最近推出的第三方連接功能，讓 Claude Desktop 改接到 Bedrock 或 Claude Platform on AWS。
• 12:57 工作坊的兩個前提：需要 AWS 帳號（現場提供免費的工作坊帳號），以及要安裝 Claude Code
  ↳ 參加工作坊只需要兩樣東西：一個 AWS 帳號（現場免費提供），以及在電腦上裝好 Claude Code。
• 13:27 工作坊名稱是「Introduction to Claude Code on AWS」，用 Scaled Draw（照字幕原文）的 repo，讓 Claude Code 幫忙畫架構圖
  ↳ Repo 是存放程式碼的專案資料夾。工作坊使用 Scaled Draw 這個專案，讓 Claude Code 幫你畫系統架構圖。
• 13:57 Module 1 比較基礎：在 AWS 上設定 Claude Code，並指向 Scaled Draw
  ↳ 第一單元是暖身：把 Claude Code 設定成透過 AWS 使用，並指向 Scaled Draw 這個專案。
• 14:28 Module 2 開始處理 context：用 Playwright MCP 截圖正在畫的圖，再讓 Claude Code 自動修改；也會練習 Git 工作流程
  ↳ Context 是 AI 當下掌握的資訊。第二單元用 Playwright MCP（讓 Claude 能操作瀏覽器的工具）截下圖給它看，讓它自己改圖；也會練習 Git 版本管理。
• 14:58 Module 3 練習 subagents、plugins，還會自己建 skills、hooks，以及一些進階設定參數
  ↳ 第三單元練進階功能：subagents 是分派出去做子任務的小幫手，plugins 是外掛，skills 是教它固定的做法，hooks 是在特定時機自動觸發的動作。
• 14:58 另有更進階的工作坊，給想安全上 production 的團隊：設定團隊標準、發佈進階工作流程、擴展性、成本控管
  ↳ 另外有一個給團隊的進階工作坊，重點是正式上線要注意的事：統一使用規範、分享好的工作流程、規模變大時怎麼撐住，以及控管成本。
• 15:28 進階工作坊還教你建 dashboard 監控 Claude Code 的 token 用量、衡量開發者生產力和投資報酬率
  ↳ Token 是 AI 計算用量和費用的單位。進階工作坊會教你做 dashboard（儀表板）追蹤 Claude Code 的用量，並衡量開發者的效率和投資報酬率。
• 15:28 進階工作坊也有在 Amazon Bedrock AgentCore 上使用 Claude Agent SDK、建立連接 AWS 基礎設施的 agent
  ↳ 進階工作坊也會教你在 AgentCore 上用 Claude Agent SDK，做出能連接、操作公司 AWS 環境的 agent。
• 15:58 工作坊帳號是個人專用，但不要上傳機密或個人資料；要先同意條款，再按 join event
  ↳ 工作坊帳號只給你一個人用，但它是臨時環境，不要放公司機密或個人資料。先同意條款，再按 join event 加入。
• 16:28 加入後會有預先部署好的環境，網址會開出終端機和 Visual Studio Code 介面，照著指引操作
  ↳ 加入之後，環境已經準備好了。打開網址就會看到終端機（輸入指令的視窗）和 Visual Studio Code（常用的寫程式編輯器），照指引操作就可以。
• 16:59 也可以在自己的電腦做：在終端機用 Claude，照指引設定指向 Bedrock；或用 Claude Desktop 指向 Bedrock
  ↳ 不想用現場環境的話，也可以在自己的電腦上做：在終端機用 Claude Code，或用 Claude Desktop，照指引設定成走 Bedrock。
• 17:30 最後會分享一篇同事寫的 blog，詳細說明怎麼在 Amazon Bedrock 上用 Claude Code 和 Cowork
  ↳ 講者最後會分享一篇同事寫的 blog，詳細說明怎麼在 Bedrock 上用 Claude Code 和 Cowork，適合回家照著慢慢做。
• 17:30 取得帳號：到 join.thatworkshop.aws（照字幕原文）輸入畫面上的存取碼；現場有兩位 AWS solutions architect 可以幫忙
  ↳ 到 join.thatworkshop.aws 輸入畫面上的存取碼，就能拿到帳號。卡住的話，可以找現場兩位 solutions architect，也就是 AWS 的技術顧問。
• 18:31 手動設定 Claude Code 的參數：區域指向 Bedrock、選預設模型等；另外還有減少 token 用量、限流、開啟 telemetry 回報的參數
  ↳ 自己手動設定時要調幾個參數：區域指向 Bedrock、選預設模型。另外還有節省 token、限流（限制請求速度）、開啟 telemetry（自動回報使用狀況）的選項。
• 19:03 Visual Studio 擴充套件也能設定，例如關掉每次啟動的登入提示、隱藏 onboarding 訊息；也可以直接叫 Claude 幫自己設定
  ↳ 在 Visual Studio 的擴充套件裡也能設定，例如關掉每次啟動時的登入提示、隱藏新手導覽訊息。不想自己查的話，也可以直接叫 Claude 幫你設定。

根據講者的說法，Claude Platform on AWS 是怎麼處理推論請求的？