GPT-6 Astra 與 Peter Gostev 對談


🏦 台灣Pay 銀行轉帳 💙 PayPal
Peter Gostev 分享他如何測試 Astra,以及它在溝通和可靠度上的進步
- 00:00 他很看重 Astra 不需要一直盯著(babysit),因為自己腦容量有限,沒辦法把每個任務都想得面面俱到
- 01:32 他有一個大約從 GPT 5.2 時期就開始 vibe-code 的小 app,程式碼品質不好又越積越多,約有 150,000 行
- 02:32 整體感想:感覺這個模型「長大了」
💡 你可以怎麼用:測試新模型時,別只丟簡單問題,拿你手上最難、最花時間的真實任務去試。也可以故意說它錯了,看它會不會堅持對的地方,就能判斷它的回饋值不值得信。
看全部 12 條重點
🧑🏫 這支影片是 Peter Gostev 分享他怎麼測試 OpenAI 的新模型 Astra,以及用下來的真實感受。重點不在跑分,而在兩件每天用 AI 的人都有感的事:它講話會不會一直討好你,還有交辦的事能不能放手讓它做完。
- 00:00 他很看重 Astra 不需要一直盯著(babysit),因為自己腦容量有限,沒辦法把每個任務都想得面面俱到↳ babysit 原意是「顧小孩」,這裡指模型每做一步都要有人盯著、隨時糾正。他看重 Astra 不用這樣顧,因為人能同時想的事有限,不可能替每個任務把細節都先想好。
- 00:00 評測思路:中等難度的測試現在很多模型都能完成,所以要找最難的任務來測,讓模型盡量長時間運作、充分探索↳ 中等難度的題目,現在大多數模型都做得出來,拿來比看不出差別。所以他專挑最難的任務,讓模型自己跑很久、多方嘗試,才分得出哪個真的比較強。
- 00:31 他喜歡用 3D 視覺類任務來測試,因為可以直接用眼睛追蹤模型能力的進步↳ 3D 畫面做得好不好,眼睛一看就知道,不用讀程式碼或看分數。同樣的題目丟給新舊模型,畫面差多少,進步就有多少,很直觀。
- 00:31 範例:用 voxel 3D 重現歷史上的倫敦,橫跨中世紀、Tudor 等不同時代,並在同一張地圖裡轉換↳ voxel 3D 是用一顆顆小方塊堆出立體畫面,類似 Minecraft 的風格。他請 Astra 重建不同年代的倫敦,例如中世紀和都鐸(Tudor)時期,還能在同一張地圖裡切換年代。
- 00:31 這個作品他只多下了大概幾個 prompt,例如要求改成俯視視角,做出像 GTA 2 的效果↳ prompt 就是你打給 AI 的指令。這麼大的作品,他只多補了幾句,例如「改成從上往下看」,就做出像老遊戲 GTA 2 那樣的俯視畫面。大部分工作是模型自己完成的。
- 01:01 Sol 有點怪的地方:只要給批評或回饋,它就馬上說「很棒,我也這樣想,你說得太對了」↳ 他提到另一個模型 Sol 有個怪習慣:你一挑毛病,它就立刻附和「你說得太對了」。聽起來很客氣,但你分不出它是真的同意,還是只是順著你講。
- 01:01 Astra 的溝通感覺有明顯轉變:沒什麼讓人煩的地方,比較自然,會像人一樣反駁,或承認自己犯錯↳ push back 就是有不同意見時會提出反對。Astra 不再一味討好,覺得你錯了會直說,自己做錯也會承認,跟它討論比較像在跟真人同事講話。
- 01:32 他有一個大約從 GPT 5.2 時期就開始 vibe-code 的小 app,程式碼品質不好又越積越多,約有 150,000 行↳ vibe-code 是指不太細看程式碼,主要靠跟 AI 描述需求把程式做出來。他用這種方式從 GPT 5.2 時期一路疊出一個小 app,品質差又越堆越多,累積到約 15 萬行。
- 01:32 他一直想遷移或改善這個 app:用 5.6 雖然成功了,但事後要花很多時間除錯才能對齊↳ 他一直想把這個 app 搬到新的做法上,或整理乾淨。用 5.6 版雖然也做得完,但成果和他要的有落差,事後得花很多時間找錯、修正,才能對得上。
- 02:02 換成 Astra 幾乎直接就能用,他不必再做任何處理;不用每一步都盯著,這種可靠度的躍進對他來說很重要↳ 換成 Astra 做同樣的事,完成後幾乎直接能用,他不用再收尾,過程中也不必一步步盯。對他來說,這省下的是除錯時間,也是操心的力氣。
- 02:02 現在的瓶頸出乎意料是 CPU:他必須把工作從筆電搬到 Linux 主機上遠端執行,一直插著電,也不怕沒電↳ CPU 是電腦負責運算的零件。現在卡住他的反而是電腦算力,不是模型。他把工作移到一台長期插電的 Linux 電腦(Linux box)上遠端執行,不用擔心筆電沒電。
- 02:32 整體感想:感覺這個模型「長大了」↳ 「長大了」指的是整體變成熟:不用一直有人顧,講話不再只會附和,交出來的東西也比較可靠,比較像可以放手交辦的對象。
📘 術語
babysit(盯著、看顧):字幕指每一步都要人盯著模型;Astra 讓他不需要這樣做
voxel 3D(體素 3D):字幕用它來重現歷史倫敦的 3D 呈現,沒有進一步說明定義
vibe-coded(憑感覺寫程式):字幕指他從 GPT 5.2 時期就這樣做出來的小 app,程式碼品質差且越積越多
push back(反駁、提出異議):Astra 會像人一樣反駁,而不是一味同意使用者
Linux box(Linux 主機):他把工作從筆電搬到這台機器上遠端執行,一直插著電,不怕沒電
voxel 3D(體素 3D):字幕用它來重現歷史倫敦的 3D 呈現,沒有進一步說明定義
vibe-coded(憑感覺寫程式):字幕指他從 GPT 5.2 時期就這樣做出來的小 app,程式碼品質差且越積越多
push back(反駁、提出異議):Astra 會像人一樣反駁,而不是一味同意使用者
Linux box(Linux 主機):他把工作從筆電搬到這台機器上遠端執行,一直插著電,不怕沒電
✏️ 小考一題
根據影片,Peter Gostev 使用 Astra 時,現在最主要的瓶頸是什麼?
A. CPUB. GPU 記憶體C. 網路頻寬D. API 速率限制看答案
答案:A。[02:02] 他說「CPU is surprisingly the big one」,所以把工作從筆電搬到 Linux 主機上
💛 覺得有幫助?支持一下


課本免費、沒有廣告,支持與否都能照常讀 🐰