新一代 ChatGPT Voice ☕ Buy me a coffee

🧑‍🏫 OpenAI 推出由 GPT Live 驅動的新版 ChatGPT 語音。它能像真人聊天一樣邊聽邊說，還能上網查資料、推理難題、即時翻譯。影片用很多實際示範，讓你看出它跟以前「一問一答、講完才輪到它」的語音助理差在哪裡。

• 00:02 開場示範：主持人請 ChatGPT 等主持人介紹完再停下，最後補一句激勵觀眾的話
  ↳ 開場直接示範。主持人交代 ChatGPT「等我講完再開口」，它真的等到最後才接一句鼓勵觀眾的話。重點是它聽得懂什麼時候輪到自己講。
• 00:02 GPT Live 今天登上 ChatGPT，讓人用更自然的方式和電腦、手機或任何裝置互動
  ↳ GPT Live 是這次新推出的語音模型，也就是 ChatGPT 語音背後負責聽和說的大腦。目標是讓你在電腦、手機等裝置上，用講話就能順順地操作。
• 00:33 現有語音模型的缺點：聽起來不自然、要注意講話順序免得打斷 AI 或被 AI 打斷、吵雜環境完全不能用
  ↳ 以前的語音模式常卡在三件事：聲音像在念稿；你得等它講完才能開口，一插嘴就亂掉；旁邊一吵，它就聽不懂或亂回。
• 00:33 即使有這些限制，已有很多人在通勤和日常生活中使用語音模型，並從中受益
  ↳ 意思是需求本來就在。就算有這些毛病，很多人通勤、做家事時還是會用語音問問題，所以把語音做好很值得。
• 01:03 ChatGPT 補的那句話：這一刻，和科技互動終於像真正的對話，而不是命令列
  ↳ command line（命令列）是工程師在黑畫面上打指令操作電腦的方式，必須照固定格式下令。這句話是說：新的語音不像在下指令，而像在聊天。
• 01:33 生活例子：幫孫女織毛衣，ChatGPT 回答棒針選大一點的話，織出來會比較寬鬆
  ↳ 這個例子是說它能回答手邊的生活小問題，織毛衣時不用停下來打字。棒針越粗、針目越大，織出來就越鬆，這是編織常識。
• 02:03 全新 ChatGPT voice 由 GPT Live 驅動，是 full-duplex 的對話夥伴，官方稱為史上最強的語音模型
  ↳ full-duplex（全雙工）指雙方能同時傳送和接收，像講電話時兩邊可以同時開口。新語音就是這種模式；「史上最強」是官方自己的說法。
• 02:03 full-duplex 的比喻：就像和朋友聊天，可以同時聽和說
  ↳ 舊方式像對講機：按著才能講，放開才能聽，一次只有一個人。full-duplex 像面對面聊天，你講話時它也在聽，隨時能回應。
• 02:03 講話方式更接近真人溝通：可以打斷、停頓、更正，自然地說出想法
  ↳ 你不用先把話想好再一次講完。講到一半停下來想、說錯了改口、突然插嘴，它都跟得上，就像跟朋友講話一樣。
• 02:33 對它說「你可以休息了」，它會停下來，表示需要時還在
  ↳ 叫它先休息，它會安靜待命，不會自己一直講下去，等你需要再叫它。表示它懂「暫停」不等於「結束」。
• 02:33 Voice ChatGPT 能推理較複雜的問題，也能上網搜尋相關資訊
  ↳ 它不只會閒聊。遇到需要動腦的問題，它能想清楚再回答，也能即時上網找最新資訊，像天氣、新聞、交通狀況。
• 03:03 多工示範：講者 30 分鐘後要講聲音史，請它查核年代，同時查 16th Street BART 站有沒有延誤、下午會不會下雨
  ↳ 講者一口氣丟三件事：查講稿裡的年代對不對、BART（舊金山灣區捷運）16th Street 站有沒有誤點、下午會不會下雨。用來測試它能不能同時處理。
• 03:33 結果：目前沒有延誤回報、舊金山今天不會下雨；Edison 的錫箔留聲機應該是 1877 年，不是 1865 年
  ↳ 三件事都有答案，它還抓出講稿的錯誤：愛迪生的錫箔留聲機是 1877 年，不是 1865 年。等於順手幫你做了事實查核。
• 04:03 即時翻譯示範：扮演巴黎稀有書商的朋友講法文，兩人透過即時翻譯議價，最後以 30 成交
  ↳ real-time translation（即時翻譯）是對方一開口，它就接著翻出來。示範中兩個語言不通的人靠它討價還價，最後以 30 成交。
• 04:33 新 voice 會邊說邊聽，也知道什麼時候該插話、什麼時候該安靜
  ↳ 會插話不稀奇，難的是抓時機。你還在想、還沒講完時它不出聲，你需要幫忙時它才開口，像一個懂看場合的人。
• 05:33 ChatGPT 當直播共同主持人，表示自己會以聆聽為主，只在能補充或解釋時才插話
  ↳ 它被當成直播共同主持人。它自己說明會多聽少講，只有能補充資訊或幫忙解釋時才出聲，不搶主持人的話。
• 06:04 突破一 continuous interaction：full-duplex 模型不用再排隊輪流講，能持續處理輸入串流，同時產生輸出串流
  ↳ continuous interaction（持續互動）是第一個突破。它不再「你講完我才講」，而是一邊持續收你的聲音、一邊產生回應，所以能自然接話，也能被打斷。
• 06:35 突破二 delegation：兩個模型合作，GPT Live 遇到需要多想的複雜問題時交給 GPT 5.5，自己繼續和使用者對話
  ↳ delegation（委派）是第二個突破。GPT Live 負責陪你聊，碰到難題就交給 GPT 5.5（較強的進階模型）去想，自己繼續跟你講話，你不用乾等。
• 07:06 比舊模型更能處理複雜對話；用語言學習當例子
  ↳ 舊模型比較適合一問一答，對話一複雜就亂掉。這次用學語言示範，因為它得同時聽、判斷對錯、決定何時糾正，很考驗能力。
• 07:36 請它邊聽邊找文法錯誤或不自然的說法，一聽到就立刻插話糾正；它表示會委婉地在對話中介入
  ↳ 使用者請它當英文口說教練：邊聽她講，一聽到錯誤或不自然的說法就插話提醒。它說會用委婉的方式打斷，不讓人尷尬。
• 08:06 糾正例：「I've never been to San Francisco before」比原本的說法更自然
  ↳ 講「沒去過某地」時，英文習慣用現在完成式「I've never been to...」，這才是母語者自然會說的講法。
• 08:36 糾正例：要說 excited about this trip，不是 exciting；excited 描述自己的感受
  ↳ 很多人會搞混這兩個字。excited 是「我感到興奮」，講自己的心情；exciting 是「這件事令人興奮」，形容事物。所以說自己期待旅行要用 excited。
• 09:07 糾正例：「take some photos there」聽起來更自然
  ↳ 「拍照」英文習慣說 take photos。它抓的是「文法沒錯但不道地」的地方，這正是自學時最難自己發現的。
• 09:07 智慧對話管理：模型不被動等你講完，而是主動聆聽、思考、即時做決定，在需要的時候剛好提供幫助
  ↳ 總結來說，它不是等你問完才答。它一直在聽、一直在判斷現在該不該開口、要說什麼，然後在剛好需要的時候出手。
• 09:37 中英雙向即時翻譯示範：一人講中文、一人講英文，請它即時互譯
  ↳ 兩個人面對面，一個講中文、一個講英文，它在中間雙向即時翻譯，讓兩人像直接對話一樣聊下去。
• 10:38 使用心得：腦力激盪時，模型能和講話重疊、快速來回對話，理解深度超過以前用過的其他語音模型
  ↳ 團隊的心得：一起發想點子時，話還沒講完它就能接上，雙方快速來回；而且它真的聽懂內容，比以前用過的語音模型深入。
• 11:12 使用心得：它有時間感，情感表達自然到讓人忘了自己在和 AI 說話
  ↳ 「有時間感」指它知道要停頓多久、什麼時候接話才自然。再加上語氣有情緒起伏，聊著聊著會忘了對面是 AI。
• 11:44 即時翻譯是「同時聽和說」的極端情境：模型會蓋過講者的聲音，邊聽邊說
  ↳ 翻譯時，它的聲音會跟講者的聲音疊在一起，像同步口譯員一樣邊聽邊說。這是最考驗「同時聽和說」能力的情境。
• 12:15 這是通用模型：要求時能即時翻譯，也能正常聊天，或依要求主動打斷來幫忙學語言
  ↳ 同一個模型能做很多事，不用換工具。叫它翻譯它就翻，想聊天就聊，請它當語言教練，它就會主動插話糾正。
• 12:46 翻譯很自然：會在不同位置聰明地停頓來蒐集上下文，照語意翻譯，不是逐字或逐句替換
  ↳ 好的翻譯要先懂整句意思。它會在適當的地方稍等一下，多聽一點上下文再翻，所以翻出來是通順的意思，不是逐字硬套。
• 13:18 搜尋示範：挪威在世界盃 16 強以 2-1 擊敗巴西，Haaland 在第 79、90 分鐘進球，Neymar 在比賽後段進一球
  ↳ 這段在展示它能即時上網查最新比賽結果，而且講得出比分、誰進球、第幾分鐘進球這些細節，不是只給籠統的答案。
• 14:19 挪威的勝利儀式叫「Viking rowing」：球迷和球員坐下模仿划船並喊 row，象徵大家團結一體，是相當新的傳統
  ↳ Viking rowing（維京划船）是挪威的慶祝方式：大家坐下假裝划船、一起喊 row，象徵團結一體。它連這種新興的文化細節都查得到。
• 14:50 查到下一場：世界盃八強挪威對英格蘭，7 月 11 日週六太平洋時間下午 2 點，在 Miami
  ↳ 它接著查出下一場賽程，日期、星期、時間、時區和城市都講清楚。賽程這類資訊常變動，要靠即時搜尋才會準。
• 14:50 模型大量搜尋和推理，聽起來卻自然流暢；以前的模型通常會另外去搜尋，因此打斷對話
  ↳ 以前語音助理一去查資料，對話就冷場或卡住。這次它背後查了很多、想了很多，你聽起來卻還是一路順順地聊下去。
• 15:20 過去大家不太信任語音助理，因為它的智慧落後文字模型；委派給 GPT 5.5 後，這個差距已大幅縮小
  ↳ 以前語音助理比打字版 AI 笨，很多人問重要的事寧可打字。現在難題交給 GPT 5.5 處理，講話版和打字版的聰明程度差距縮小很多。
• 15:51 可選擇智慧程度：想要即時回答有專門的快速模型；需要更深推理可選 medium 或 high intelligence
  ↳ 可以依需求選。想馬上得到答案，就用速度優先的快速模型；問題比較難，就選 medium 或 high intelligence（中、高推理程度），回得較慢但較深入。
• 16:21 簡短驚嘆、笑聲、快速你來我往這些小細節，讓和模型溝通更簡單
  ↳ 像「哇」「嗯」、笑一下、短短的你一句我一句，這些人聊天時的小反應它也會，讓對話不生硬，講起來更輕鬆。
• 16:51 從訓練模型的第一天起安全就是優先事項；之後也會持續把安全措施擺前面，例如避開有風險的對話
  ↳ 官方強調從開始訓練模型就把安全放在前面，之後也會持續這樣做，例如遇到有風險的話題會避開，不繼續往下談。
• 17:22 結語：這個模型讓人更接近真正易用的 AI，今天就能在 ChatGPT 試用
  ↳ 官方的意思是：只要開口講話，就能自然地使用 AI，門檻更低了。這個新語音今天已經在 ChatGPT 上線，可以直接去試。

GPT Live 遇到需要更多時間思考的複雜問題時，會怎麼做？