Codex 用在日常工作:寫程式以外的 AI Agents(第 4/4 段)


🏦 台灣Pay 銀行轉帳 💙 PayPal
座談 Q&A:Codex 的 sandbox 權限、非工程師的使用習慣、computer use 用例與常見錯誤
- 32:17 可以限制 agent 只在某個資料夾內做事,就像公司裡不同部門只拿得到自己那部分的資訊。這就是 agent 的 sandbox,用來限制它能存取的東西和能做的動作
- 37:25 最大的錯誤:越來越依賴委派之後,很容易連「自己的理解」都一起委派出去,卻沒有用 Codex 來提升自己對問題的理解
- 42:33 下一場活動:5 月 26 日(週二),與 Gates Foundation 合辦的「How AI Could Detect and Prevent the Next Pandemic」
💡 你可以怎麼用:先寫一份「關於我」的檔案,內容包括目前目標、工作偏好、常用資料放在哪,讓 Codex 讀得到,再挑一件手上的真實工作交給它。做完後請它畫張圖或出幾題考你,確認你自己也搞懂了。
看全部 35 條重點
🧑🏫 這段是座談最後的問答,重點是不寫程式的人怎麼把 Codex 用好:怎麼限制它的權限、用得順的人有哪些習慣、讓它直接操作電腦能做什麼,以及最常犯的錯。對已經在用 AI、想從聊天進一步讓它實際動手做事的人很實用。
- 32:17 可以限制 agent 只在某個資料夾內做事,就像公司裡不同部門只拿得到自己那部分的資訊。這就是 agent 的 sandbox,用來限制它能存取的東西和能做的動作↳ 「agent」是能替你實際動手做事的 AI,不只是回答問題。「sandbox」是替它劃定活動範圍,例如只准碰某個資料夾,其他地方進不去,出錯也不會波及別處。
- 32:17 規則範例:IT 開給你的資料,agent 可以讀,但不能寫回、不能刪除、不能修改。資料會完整保留,你仍然可以擷取和分析↳ 權限可以切得很細:資料讓它看、讓它分析,但不准改、不准刪。就算它判斷錯,原始資料也還在,不怕被弄壞。
- 32:47 舉例來說,可以只給 agent 某項資源的「read access」(唯讀權限)↳ 「read access」就是唯讀權限,只能打開來看,不能動。就像把檔案設成唯讀再交給同事,他能參考,但改不了原檔。
- 32:47 社群提問(Jason DeLuca,Crossing Point IT Solutions):非開發者做了什麼讓 Codex 好用?用得有成果的人和卡住的人,習慣差在哪?↳ 這題問的是:同樣不寫程式,為什麼有人用得順、有人卡住?答案重點不在技術,而在使用習慣。
- 33:20 習慣一:發揮創意去用,並和已經用出成果的人交流,也就是加入社群。講者自己也常對別人的用例感到驚訝↳ 很多好用法自己想不到,是看了別人怎麼用才發現。連做這個工具的人都常被使用者的點子嚇到,所以多跟用得好的人交流最快。
- 33:20 習慣二:給精確的指示,不要含糊。花點心力把「我想要的結果到底是什麼」講清楚↳ 「幫我整理一下」這種話,它只能用猜的。先想清楚你要的成品長什麼樣:給誰看、多長、什麼格式,講明白了,結果才會對。
- 33:50 把 agent 當成剛到職的新人:它對你沒有任何 context,不知道你的喜好。你應該告訴它東西放在哪、該讀哪些相關文件、該怎麼思考,但很多人會忘記這一步↳ 「context」指背景資訊:你是誰、在做什麼、有什麼偏好。新同事第一天什麼都不知道,你得交代檔案在哪、先讀什麼。對 agent 也一樣,很多人卻跳過這步。
- 34:20 習慣三:盡量接上各種資料來源。目前有超過 100 個 plugins,可以連接行事曆、文件、Notion 等你常用的工具↳ 「plugins」是外掛連接器,讓 Codex 連上你平常用的工具,例如行事曆、文件、Notion(筆記和專案管理工具)。接上之後,它才拿得到那些資料。
- 34:20 你讓它存取越多你的工具和資訊,它就越有用。context 越多、越好,結果就越多、越好↳ 它只能根據看得到的資料做事。能讀你的行事曆和文件,它排出來的計畫才會貼近你的真實狀況,而不是一般性的建議。
- 34:51 有些 context 只存在你腦中,例如你的目標、文件裡沒寫的經驗。你得當個好主管,主動把這些告訴它↳ 像「這季最在意什麼」「上次跟這個客戶合作踩過什麼坑」,這些沒寫在任何地方。就像主管要把方向和經驗交代給下屬,你得主動說。
- 34:51 講者的習慣:把自己的想法和目標都寫成電腦上的檔案,並讓 Codex 能存取,讓它更貼近你。它讀不到你的腦袋,所以你必須說出來↳ 具體做法:把目標、想法、偏好寫成檔案放在電腦裡,讓 Codex 讀得到。寫一次就能重複使用,不用每次重講。
- 35:21 社群提問(Daniel Green,Kansas City AI Collective):目前最喜歡的 computer use 實際用例是什麼?特別是傳統寫程式以外的用途↳ 「computer use」是讓 Codex 直接操作電腦畫面,像人一樣點按鈕、打字、開程式。這題想知道它在寫程式以外能做什麼。
- 35:53 用例:購物。講者在個人電腦上讓 Codex 規劃餐點,再由它實際去訂購食材↳ 從規劃菜單到實際下單買食材,整段都交給它。重點是它不只給建議,而是真的上網站把事情做完。
- 35:53 用例:Windows 或 macOS 的設定很難找時,可以問 Codex 怎麼到那個設定。它會帶你一路點到正確位置,你也順便學到電腦的操作↳ 找不到某個系統設定時,它會一步步點到那個位置。你在旁邊看,下次就知道自己怎麼走,不只是被代勞。
- 36:24 用例:調整投影片、把圖片放進投影片等操作,也可以交給 computer use↳ 調整投影片版面、把圖片放進去這類瑣碎的點按工作,也能交給它操作,省下手動拖拉的時間。
- 36:24 對技術人員來說,computer use 很適合做 QA:Codex 會打開 app、到處點點看,測試功能是否真的正常↳ 「QA」是品質檢查,確認產品真的能正常使用。它會自己打開 app 到處點,看功能有沒有壞,就像請人幫你試用一輪。
- 36:55 社群提問(Sai Sri Hamsini,AdeptMind 的 AI/ML engineer):大家 prompt Codex 時最大的錯誤是什麼?↳ 「prompt」就是你給 AI 的指令或提問。這題問:大家下指令時最常犯的錯是什麼?
- 37:25 最大的錯誤:越來越依賴委派之後,很容易連「自己的理解」都一起委派出去,卻沒有用 Codex 來提升自己對問題的理解↳ 「delegate」就是委派,把事情交給它做。問題在於交出去的不只是工作,連「弄懂這件事」也一起交了,自己沒有變得更懂。
- 37:25 全部都委派的後果:某天會發現自己其實已經不懂到底發生什麼事,變得不夠踏實,生產力也可能因此下降↳ 短期看起來很省事,但久了你會說不出事情是怎麼運作的,出問題也判斷不了,反而拖慢自己。
- 37:56 建議多花時間讓 Codex 蒐集資訊、解釋給你聽。它可以畫圖解,其中 images V2 特別強,因為很會呈現文字↳ 除了叫它做事,也叫它教你:蒐集資料、解釋給你聽、畫成圖。講者提到 images V2 這個生圖功能特別會在圖裡放清楚的文字,很適合做說明圖。
- 37:56 常見用法:讓它讀產品發表計畫、行銷資料或部分程式碼,再產生圖片來解釋某個概念,幫助自己學習↳ 例如把一份產品發表計畫或行銷資料丟給它,請它畫一張圖解釋核心概念,看圖會比讀完整份文件更快懂。
- 38:26 總結這個錯誤:委派太多,太少用它來幫助自己理解↳ 一句話:讓它做太多,讓它教你太少。兩者要平衡。
- 38:26 「誰做事,誰就學到東西」。講者自製了一個 tutor skill,把角色反過來,由它出題考你學過的內容,逼自己做 active recall↳ 「skill」是替 Codex 設定好、可以重複叫用的一套固定做法。講者做了一個家教 skill 讓它出題考你。「active recall」是靠自己回想答案來記住,比單純重讀更扎實。
- 38:56 提問:Codex 為什麼在軟體以外也重要?這些用例接下來會往哪裡發展?↳ 這題問:一個看起來是給工程師的工具,為什麼跟其他人有關?之後會用在哪些地方?
- 38:56 根本上,他們在打造一個非常通用、非常強大的 agent。只要接上正確的資訊來源,並且能對世界採取行動,幾乎能做任何你允許它做的事↳ 他們要做的不是寫程式專用工具,而是什麼都能幫的 agent。它能做到哪裡,取決於你給它哪些資料、允許它做哪些動作。
- 39:29 願景是創造巨大價值:過去太花時間、根本不會去做,或對人類來說太難的事,將變得可行↳ 有些事以前不是做不到,而是太費工,所以沒人去做,例如整理大量資料。現在這些事都變得划得來。
- 39:29 目標是盡可能廣泛地推出,讓全世界都能使用這些能力和 agents,提高人們敢想像、能完成的事情的上限↳ 目標是讓越多人用到越好,讓大家敢想更大的事,也真的做得出來。
- 40:00 從得獎物理學家到產業專案經理,都有人表示自己累積的一堆好點子終於能開始動手,覺得像進入「黃金時代」↳ 很多人心裡一直放著想做的點子,只是沒時間或做不動。現在有工具幫忙,終於能一個個動手,所以有人形容這是黃金時代。
- 40:32 OpenAI Forum 是一個大家使用 Codex、互相教學和支援的社群,技能可以在這裡被示範和傳承↳ OpenAI Forum 是 OpenAI 的線上社群,使用者在這裡分享用法、互相教學。這呼應前面說的:多跟用得好的人交流。
- 41:03 本場要回答的問題:不寫程式的人為什麼要在意 Codex?雖然名字裡有 code,但 Codex 原意是「書」,是比 code 更廣的詞↳ 名字裡有 code,容易讓人以為只給工程師用。但 codex 原本指古代的書冊,意思比程式碼廣得多。
- 41:03 Codex 對開發者有用,對知識工作者也有用:搜尋需要的資訊(大海撈針)、理解資訊、做資料分析↳ 對一般上班族來說,它能從大量資料裡找出你要的那幾筆、幫你看懂內容,也能做資料分析,不用自己寫公式。
- 41:33 還包括即時視覺化、排定優先順序,以及在生活背景中執行複雜任務。主持人認為 Codex 把這些超能力帶給更多人↳ 它還能即時把資料畫成圖、幫你排事情的先後,並在背景處理複雜任務,你不用一直盯著。
- 42:03 行動呼籲:想一個生活或組織中 Codex 可能幫得上忙的工作流程,例如研究簡報、計畫、新人到職流程、報告、決策備忘錄,然後實際試試看↳ 別只聽不做,挑一件手上真的在做的事去試,例如研究簡報、工作計畫、新人到職流程、報告或決策備忘錄。
- 42:03 最清楚的答案來自你自己使用工具的經驗,不必相信任何人的說法,工具就在那裡可以直接用↳ 別人說好不好都不準。拿自己的真實工作試一次,最快知道它對你有沒有用。
- 42:33 下一場活動:5 月 26 日(週二),與 Gates Foundation 合辦的「How AI Could Detect and Prevent the Next Pandemic」↳ 下一場是 5 月 26 日(週二),和 Gates Foundation(蓋茲基金會)合辦,主題是 AI 如何偵測和預防下一場大流行病。
📘 術語
sandbox(沙盒):agent 版的權限隔離,限制它能存取的東西和能採取的動作,類似公司部門各自的資訊權限
read access(唯讀權限):只能讀取資料,不能寫回、刪除或修改;資料保留,但可擷取和分析
agent(代理(AI 代理)):要把它當成剛到職、對你毫無 context 的新人來對待;通用的 agent 能在允許範圍內採取行動
context(脈絡/背景資訊):提供越多、越好的 context,結果越好;有些 context 在你腦中,例如目標和經驗
plugins(外掛):用來連接各種工具,例如行事曆、文件、Notion;目前超過 100 個
computer use(電腦操作功能):讓 Codex 實際操作電腦,例如訂購食材、找系統設定、調整投影片、點擊 app 做測試
QA(品質檢測):Codex 打開 app、到處點擊,測試功能是否真的正常
delegate(委派):把工作交給 Codex;錯誤在於連自己的理解都一起委派出去
skill(技能):講者自製的 tutor skill,會反過來出題問你已經學過的內容
active recall(主動回想):講者用 tutor skill 被考問,逼自己完成這種學習方式
read access(唯讀權限):只能讀取資料,不能寫回、刪除或修改;資料保留,但可擷取和分析
agent(代理(AI 代理)):要把它當成剛到職、對你毫無 context 的新人來對待;通用的 agent 能在允許範圍內採取行動
context(脈絡/背景資訊):提供越多、越好的 context,結果越好;有些 context 在你腦中,例如目標和經驗
plugins(外掛):用來連接各種工具,例如行事曆、文件、Notion;目前超過 100 個
computer use(電腦操作功能):讓 Codex 實際操作電腦,例如訂購食材、找系統設定、調整投影片、點擊 app 做測試
QA(品質檢測):Codex 打開 app、到處點擊,測試功能是否真的正常
delegate(委派):把工作交給 Codex;錯誤在於連自己的理解都一起委派出去
skill(技能):講者自製的 tutor skill,會反過來出題問你已經學過的內容
active recall(主動回想):講者用 tutor skill 被考問,逼自己完成這種學習方式
✏️ 小考一題
根據影片,Codex 目前大約有多少個 plugins 可以連接各種工具?
A. 超過 500 個B. 超過 50 個C. 大約 20 個D. 超過 100 個看答案
答案:D。[34:20] 講者提到「We have more than 100 different plugins」,可連接行事曆、文件、Notion 等工具
💛 覺得有幫助?支持一下


課本免費、沒有廣告,支持與否都能照常讀 🐰