現場示範 3 款全新 OpenAI realtime 音訊模型！
🏦 台灣Pay 銀行轉帳 💙 PayPal
示範 OpenAI API 新即時音訊模型：即時翻譯，以及能推理、執行動作的語音 agent
- 00:00 OpenAI API 推出新的即時音訊模型。本影片示範其中兩款：GPT Real-Time Translate 用於即時翻譯，GPT Real-Time 2 用於能遵循指示、執行動作的語音 agent
- 02:03 Jason 提醒：模型現在具備推理和 parallel tool calling 能力，因此更需要使用 preamble，讓模型自我說明並隨時向使用者更新進度
- 03:36 總結：agent 能一邊在背景思考一邊維持對話、能在 70 種語言間即時翻譯、能保留上下文，還能在既有產品裡執行動作
💡 你可以怎麼用：跟外語客戶開會或出國時，可以留意有沒有這類即時翻譯功能能用。請語音助理辦事時，可以先約好「等我說某句話再回應」，並要它動手前先講一下要做什麼，比較不會搞不清楚它做到哪裡。
看全部 20 條重點
🧑🏫 OpenAI 在 API（開發者把 OpenAI 模型接進自家產品的管道）推出新的即時音訊模型，這支影片現場示範其中兩款：專做即時翻譯的 GPT Real-Time Translate，以及能聽指令、真的動手辦事的 GPT Real-Time 2。看完就知道，語音 AI 已經從「陪你聊天」進步到「邊聊邊幫你做事」。
- 00:00 OpenAI API 推出新的即時音訊模型。本影片示範其中兩款：GPT Real-Time Translate 用於即時翻譯，GPT Real-Time 2 用於能遵循指示、執行動作的語音 agent↳ OpenAI API 推出新的即時音訊模型，也就是能邊聽邊用聲音回應的模型。影片示範兩款：一款專做即時翻譯，另一款是能聽指令、動手辦事的語音助理。
- 00:00 翻譯示範：講者說法文，觀眾聽到的英文是模型的即時語音輸出，直接從筆電擷取，並附上逐字稿↳ 講者說法文，觀眾聽到的英文不是配音，而是模型當下產生的語音，直接從筆電錄出來。旁邊附的 transcription 是逐字稿，把模型說的話轉成文字。
- 00:31 講者開始說法文時，會調低講者麥克風音量、調高模型音量，讓觀眾實際感受翻譯效果↳ 講者一開口說法文，現場就把他的麥克風轉小、模型的聲音轉大，讓觀眾主要聽到翻譯版本，自己判斷翻得好不好。
- 00:31 模型能邊聽講者說話邊翻譯，會等到關鍵字（例如動詞）出現就立刻開始翻譯，對話因此更自然，就像兩個人在對話↳ 模型不等整句講完才翻，而是邊聽邊翻。能確定意思的關鍵字（例如動詞）一出現，它就開口，中間不會有長長的空白，聽起來像兩個人在對話。
- 00:31 另一人可以用德文插話，模型能在德文與法文之間輕鬆切換↳ 中途有人改用德文插話，模型沒有卡住，能在德文和法文之間來回切換，繼續翻下去。
- 01:01 句子裡夾雜 GPT、real-time、OpenAI、computer use 等技術術語，模型也能順利處理↳ 句子裡夾著 GPT、real-time、OpenAI、computer use 這類英文專有名詞，模型也能照常處理，不會亂翻。這裡的 computer use 只是拿來舉例的技術名詞。
- 01:01 模型能在 70 種語言之間即時翻譯，並跟上每一句話↳ 模型支援 70 種語言互相即時翻譯，每一句都跟得上，不會越翻越落後。
- 01:01 適用情境：媒體平台、客服工具、教育工具，用來打破語言隔閡↳ 適合用在需要跨語言溝通的地方，例如媒體平台、客服系統、教學工具，讓說不同語言的人可以直接溝通。
- 01:32 GPT Real-Time 2 是新模型，為語音 agent 帶來智慧推理能力。示範對象是講者手機上的個人語音助理↳ GPT Real-Time 2 讓語音 agent（聽懂指令、替你執行動作的語音助理）多了 reasoning，也就是先想清楚再做事的推理能力。示範對象是講者手機上的個人助理。
- 01:32 講者請助理查看行事曆。助理回答：12 分鐘後要和 Sablecrest Robotics 開會，對象是該公司 CTO Alex Kim↳ 講者請助理看行事曆，它回答：12 分鐘後要和 Sablecrest Robotics 開會，對象是該公司 CTO（技術長）Alex Kim。可見它真的接上了行事曆。
- 01:32 講者請助理先保持安靜，直到聽見「back to demo」再回應↳ 講者要助理先別說話，等聽到「back to demo」（回到示範）再回應，等於跟它約好一個叫它回來的暗號。
- 02:03 Jason 提醒：模型現在具備推理和 parallel tool calling 能力，因此更需要使用 preamble，讓模型自我說明並隨時向使用者更新進度↳ Jason 提醒：模型現在會推理，也會 parallel tool calling（同時叫用好幾個外部工具），所以更需要 preamble，也就是動手前先說明要做什麼，途中回報進度。
- 02:03 執行動作可能要花幾秒鐘，模型必須先向使用者表示已收到。GPT Real-Time 2 能在推理和呼叫工具的過程中直接與使用者溝通，讓使用者掌握狀況↳ 辦事可能要等上幾秒，助理如果不出聲，你會不知道它有沒有在做。所以它要先回一句「收到」。GPT Real-Time 2 能邊想、邊查、邊跟你說話，讓你知道進度。
- 02:34 語音 agent 會一直留在對話中：講者與 Jason 聊天時，模型持續在聽但沒有插話，直到講者說「back to demo」才回應↳ 講者和 Jason 聊天時，助理一直在聽，但沒有插嘴，聽到「back to demo」才開口。它不會搶話，但一直留在對話裡。
- 02:34 講者請助理更新 CRM，把今天的會議寫成摘要並列出下一步↳ 講者請助理更新 CRM（客戶關係管理系統，公司記錄客戶資料和往來紀錄的地方），把今天的會議寫成摘要，並列出下一步要做的事。
- 03:05 助理先說明要抓取最新資訊，接著回報：Sablecrest 今早上線倉儲自動化、擴展進行中、資安審查是目前的卡關點↳ 助理先說要去抓最新資訊，這就是 preamble。接著回報：Sablecrest 今早上線了倉儲自動化，擴展還在進行中，目前卡在資安審查。
- 03:05 模型可以連接各種系統，例如儀表板、正在使用的服務、連網裝置等↳ 這類模型能接上各種系統，例如儀表板、你正在用的服務、連網裝置，所以不只會聊天，還能實際查資料、改資料。
- 03:36 總結：agent 能一邊在背景思考一邊維持對話、能在 70 種語言間即時翻譯、能保留上下文，還能在既有產品裡執行動作↳ 總結有四點：能在背景思考、同時繼續對話；能在 70 種語言間即時翻譯；記得前面講過的內容；能在現有產品裡直接執行動作。
- 03:36 講者認為語音現在真的可以成為主要的操作介面↳ 講者認為，語音現在已經好用到可以當主要的操作方式，不只是打字和點按鈕之外的配角。
- 03:36 結尾講者說「back to demo」並問助理表現如何，助理回答：流暢清楚、自然，很適合示範↳ 最後講者說「back to demo」，問助理表現如何。它回答流暢、清楚、自然，很適合示範。這也說明它一路都在聽，暗號一出現就接上。
📘 術語
real-time audio model（即時音訊模型）：OpenAI API 新推出的模型類型，本片示範 GPT Real-Time Translate 與 GPT Real-Time 2
voice agent（語音代理）：能遵循指示並執行動作的語音助理，例如查行事曆、更新 CRM
transcription（逐字稿／轉錄）：翻譯示範時，模型語音輸出旁附帶的文字紀錄
reasoning（推理）：GPT Real-Time 2 帶給語音 agent 的智慧推理能力，可在背景思考同時維持對話
parallel tool calling（平行工具呼叫）：字幕提到模型新具備此能力，也因此更需要用 preamble 向使用者說明
preamble（前導說明）：讓模型在執行動作前先說明自己要做什麼並更新使用者，因為動作可能要花幾秒
CRM（CRM 系統）：字幕未解釋；示範中請助理在 CRM 寫入會議摘要與下一步
computer use（computer use）：字幕只把它當作翻譯時能正確處理的技術術語例子，沒有另外解釋
voice agent（語音代理）：能遵循指示並執行動作的語音助理，例如查行事曆、更新 CRM
transcription（逐字稿／轉錄）：翻譯示範時，模型語音輸出旁附帶的文字紀錄
reasoning（推理）：GPT Real-Time 2 帶給語音 agent 的智慧推理能力，可在背景思考同時維持對話
parallel tool calling（平行工具呼叫）：字幕提到模型新具備此能力，也因此更需要用 preamble 向使用者說明
preamble（前導說明）：讓模型在執行動作前先說明自己要做什麼並更新使用者，因為動作可能要花幾秒
CRM（CRM 系統）：字幕未解釋；示範中請助理在 CRM 寫入會議摘要與下一步
computer use（computer use）：字幕只把它當作翻譯時能正確處理的技術術語例子，沒有另外解釋
✏️ 小考一題
根據影片，GPT Real-Time Translate 能即時翻譯多少種語言？
A. 30 種B. 100 種C. 70 種D. 50 種看答案
答案：C。[01:01] 字幕說模型能即時翻譯 70 種語言；[03:36] 總結時再次提到 70 種語言
💛 覺得有幫助？支持一下
課本免費、沒有廣告，支持與否都能照常讀 🐰