Gemini Robotics 2 的進階靈巧操作

🧑‍🏫 這支是 Google DeepMind 展示機器人「手有多巧」的影片：團隊讓機器人裝午餐、旋燈泡、綁垃圾袋，看 AI 能不能做好這些人覺得很簡單的手部動作。值得看的原因是，它讓你知道機器人離真正幫忙做家事、做危險工作，卡在哪些地方。

• 00:03 機器人要有用，就需要我們人類視為理所當然的靈巧度（dexterity）。
  ↳ dexterity 就是「手巧」的程度，指用手靈活操作東西的能力。機器人再聰明，手不巧就拿不好東西，也就幫不上實際的忙。
• 00:03 人操作自己的手時不會去想怎麼驅動 22 個獨立關節，但這正是團隊要求 AI 模型做到的事。
  ↳ joints 是關節，手上能彎能轉的地方。人拿杯子不用想每個關節怎麼動，但 AI 得同時指揮 22 個關節各自動多少，難度就在這裡。
• 00:03 Gemini robotics 團隊設計了一組任務，用來測試並發展靈巧度。
  ↳ 手巧不巧很難空口說，所以團隊挑了幾個具體動作當考題。一方面看現在做到哪，一方面也靠這些題目把能力練起來。
• 00:03 任務一：請機器人裝午餐，把葡萄放進 Ziploc 袋，這需要很高的精準度，也需要很多協調。
  ↳ 葡萄又小又軟又會滾，夾鏈袋軟趴趴會塌。一手要撐開袋口、另一手要把葡萄放進去，兩手得配合好，力道位置都不能差太多。
• 00:37 裝午餐任務中真正困難的部分是把 Ziploc 袋封起來。
  ↳ 把東西放進去還算簡單，難的是封口：要對準那條細細的夾鏈，再一路壓過去。袋子又薄又軟，稍微歪掉就封不起來。
• 00:37 任務二：請 Apollo 把燈泡旋下來。燈泡其實是球體，接觸點必須非常精準，指尖才能確實扣住它。
  ↳ Apollo 是影片裡那台人形機器人。燈泡圓圓滑滑，沒有邊角可抓，指尖得碰在剛好的位置才抓得住，偏一點就會滑掉。
• 00:37 旋燈泡牽涉很多動作與靈巧度：要扭轉、推、拉，還得理解這些動作，其實非常複雜。
  ↳ 旋燈泡不是單純轉一下而已，要邊轉邊控制推和拉的力道，還要知道現在是鬆了還是卡住。人靠手感做，機器人得把這些都搞懂。
• 00:37 團隊也在推進只用 parallel grippers 所能做到的事。
  ↳ parallel grippers 是只有兩片夾爪、像夾子一樣開合的簡單機器手。團隊想知道，就算手這麼陽春，靠更好的 AI 能做到多細的事。
• 01:09 這類任務需要靈巧度、精準度與 3D 空間理解，這些都是團隊正在努力解決的難題。
  ↳ 光是手巧還不夠，還要夠準，並且看得懂東西在立體空間裡的位置、遠近和角度（3D space understanding）。這三樣目前都還在攻克中。
• 01:09 工具組（kit）和工具可以被任意移動位置，機器人仍能理解如何在空間中重新調整物件方向，再精準地放進去。
  ↳ reorient 是把東西轉到對的方向。工具和工具盒位置被人亂移，機器人沒有死背位置，而是當場看懂，把工具轉正再準確放回格子裡。
• 01:09 任務三：機器人要打結，把垃圾袋綁起來。
  ↳ 打結對機器人非常難：塑膠袋又軟又滑，形狀一直變，還要把袋口拉起、繞過去、穿過、拉緊，每一步都不能掉。
• 01:09 多指手（multi-fingered hands）是完成這種精細打結靈巧操作的關鍵要素。
  ↳ multi-fingered hands 是像人手一樣有好幾根手指的機器手。打結需要一邊捏住一邊繞，兩片夾爪做不來，得有多根手指分工。
• 01:43 團隊正在推進對「機器人如何與真實世界中的複雜物件互動」的理解，例如垃圾袋或有害廢棄物。
  ↳ 垃圾袋這類東西軟、會變形、每次樣子都不同，比硬梆梆的盒子難處理得多。團隊想弄懂機器人面對這種東西該怎麼動手。
• 01:43 若能派機器人去處理這類物件，而不是讓人類自己冒險，會是很好的事。
  ↳ 這是整件事的目的：處理有害廢棄物這類對人有危險的工作，如果機器人手夠巧能代勞，人就不用親自冒險。

依字幕所述，在「把葡萄裝進 Ziploc 袋」的裝午餐任務中，真正困難的部分是什麼？