介紹 Decisions API ☕ Buy me a coffee

🧑‍🏫 OpenAI 發表 Decisions API，讓 AI 在不到一秒內從幾個預先給定的選項中挑出答案。影片用表單擷取、賽車遊戲、會變表情的角色和會轉頭的機器人示範。值得看的原因是它說明了一種新用法：AI 不一定要長篇回答，也可以當反應極快的「選擇題判斷器」，讓互動變得幾乎即時。

• 00:00 App 有時需要非常快速地做出聰明的決策，例如 writing a request、為圖片分類，或決定 agent 下一步該做什麼
  ↳ 有些 App 的判斷要又快又準，例如處理一則請求、替圖片分類，或決定 agent（能替你連續執行多步驟任務的 AI 助手）下一步做什麼。慢一點，使用者就會卡住。
• 00:00 推出 Decisions API：模型能在不到一秒內回應，互動感覺幾乎是即時的
  ↳ Decisions API 是新推出的服務。API 是讓程式呼叫外部功能的接口。它不到一秒就回應，用起來像即時反應，沒有「等 AI 想一下」的空檔。
• 00:00 Decisions API 執行在 GPT-6 Luna 上
  ↳ 它背後跑的模型叫 GPT-6 Luna。影片只交代了這個名字，可以把它當成這個 API 的「大腦」。
• 00:00 使用方式很簡單：給它文字或圖片，定義問題和可能的答案，再把結果用在你的 App 裡
  ↳ 用法分三步：丟進文字或圖片，寫好問題並列出可選答案，再拿它選的答案接著用。很像出一道選擇題給它作答。
• 00:31 讓模型只專注在少數幾個選項上，速度可以快將近十倍，同時保留圖片理解、廣泛語言支援與安全防護等能力
  ↳ 快的關鍵是限縮範圍。它不自由發揮，只在幾個選項裡挑，速度就能快近十倍。看圖、懂多國語言和安全防護這些能力都還在。
• 00:31 文字應用之一：從一長段非結構化文字中自動擷取表單欄位
  ↳ 例如客人寫了一大段沒格式的訊息，它能自動抓出姓名、電話、需求等 form fields（表單欄位），直接填進表格，不用人工抄。
• 00:31 進一步的應用：用擷取出的內容，把客服工單或業務詢問分派給正確的團隊
  ↳ 抓出內容後還能接著分派。support tickets（客服工單，記錄一則客人問題）或業務詢問，會自動送到該負責的團隊。
• 01:03 示範中，多筆零散的使用者輸入被快速分類成 sales leads；畫面沒有加速，伺服器端回應時間不到 100 毫秒
  ↳ 示範中，它把一堆零散留言快速分出哪些是 sales leads（潛在客戶線索）。畫面沒有快轉，伺服器回應不到 0.1 秒。
• 01:03 也能用圖片輸入，根據視覺理解快速採取行動
  ↳ 輸入不限文字，也可以是圖片。它看懂畫面內容後，馬上決定接下來該做什麼。
• 01:03 遊戲示範：Decisions API 讀取道路與障礙物的畫面，快速決定車子要維持車道、往左或往右
  ↳ 賽車遊戲示範中，它看著道路和障礙物的畫面，每次只在「維持車道、往左、往右」三個選項中挑一個。
• 01:35 把遊戲速度調快後，Decisions API 仍能把車開到正確車道，花費時間只是 reasoning model 的一小部分
  ↳ 遊戲加速後，它仍能把車開進對的車道。reasoning model（先一步步推理再回答的模型）較周全但慢，它只需要對方的一小部分時間。
• 01:35 可以搭配基本的 computer use 任務：擷取螢幕畫面，再快速回傳動作
  ↳ computer use 是讓 AI 看螢幕並操作電腦。簡單的這類任務可以交給它：截圖給它看，它很快回傳一個動作，例如點哪個按鈕。
• 01:35 如果是很複雜的 computer use 或 browser use 情境，仍然會需要 Astra 的能力
  ↳ 如果是步驟多的複雜電腦操作或 browser use（讓 AI 操作網頁瀏覽器），影片說仍要靠 Astra 的能力，Decisions API 不是萬用的。
• 02:07 搭配語音可以讓即時互動感覺更靈敏：GBT Live 1 負責語音，Decisions API 負責選擇動畫角色該用哪種表情
  ↳ 語音也是一種 modality（輸入輸出的形式）。示範中 GBT Live 1 負責語音對話，Decisions API 同時決定動畫角色擺什麼表情。
• 02:37 App 從事先給定的一組表情中挑選；這些小反應能和助理實際說的話一起成為對話的一部分
  ↳ 表情是事先準備好的一組，它只負責挑。這些小反應會配合助理說的話一起出現，讓對話更自然。
• 03:08 Hugging Face 借出即將推出的可程式化機器人 Microdoc 預覽機，這台名叫 Lavender
  ↳ Hugging Face（知名的 AI 開源社群平台）借出尚未上市、可以寫程式控制的機器人 Microdoc 預覽機，這台取名 Lavender。
• 03:08 機器人整合了 GBT Live 提供語音智慧，並用 Decisions API 依據攝影機畫面決定要看哪裡
  ↳ 機器人的分工是：GBT Live 負責聽和說，Decisions API 看攝影機畫面，決定機器人要看向哪裡。
• 03:08 這個示範的選項很簡單：送出指令讓機器人的頭轉向某個方向，看向正確的物體
  ↳ 這裡的選項很單純，就是讓頭轉向某個方向，看著對的東西。選項少，正是它能這麼快的原因。
• 03:38 攝影機每隔幾個 frame 就交給 Decisions API 分析，由它判斷哪個是蘋果，並決定機器人該看哪裡
  ↳ 攝影機每隔幾個 frame（影片裡的一張張畫面）就送去分析一次，由它判斷哪個是蘋果、頭該轉往哪邊。
• 04:11 改用較模糊的指令「follow the fruit」，機器人仍會跟著符合這個概念的物體
  ↳ 指令改成比較模糊的「follow the fruit」（跟著水果），沒有點名蘋果，機器人仍會跟著屬於「水果」的東西。
• 04:11 放入第二個物體並問更模糊的問題「what's more fun to play with?」，Lavender 改為跟著遊戲手把
  ↳ 再放第二個物體，問更主觀的「what's more fun to play with?」（哪個比較好玩），Lavender 就改看遊戲手把，表示它理解問題的意思。
• 04:42 兩個物體交換位置、手把往左移動後，Lavender 仍持續追蹤遊戲手把
  ↳ 兩個物體交換位置、手把再往左移，Lavender 還是盯著手把。可見它是持續看畫面判斷，不是記住固定位置。
• 04:42 總結：以上示範涵蓋文字與視覺輸入，互動方式包含鍵盤和語音
  ↳ 回顧一下：輸入有文字也有影像，互動方式有打字也有說話，同一個 API 都能搭配。
• 05:13 官方認為 Decisions API 將開啟與 AI 互動的全新方式
  ↳ OpenAI 認為 Decisions API 會帶來跟 AI 互動的全新方式，影片沒有再說得更具體。

在 sales leads 分類示範中，Decisions API 在伺服器端的回應時間是多少？