[新聞] Google DeepMind推出Gemini Robotics 1.5,讓機器人能夠思考後再行動
標題:Google DeepMind推出Gemini Robotics 1.5,讓機器人能夠思考後再行動
來源:iknow科技產業資訊室
原文網址:https://pse.is/86wr55
原文:
基本上,能夠創建文字、影像、音訊甚至視訊的生成式AI系統正變得日益普及。AI模型能
夠輸出這些資料類型,它們也可以用來輸出機器人的動作。這正是Google DeepMind之
Gemini Robotics的基礎。
如今該計畫宣布了兩個新模型,它們可以協同工作,創造出首批在行動前「思考」的機器
人。
Google DeepMind所推出了兩款全新AI模型:Gemini Robotics 1.5 和 Gemini
Robotics-ER 1.5,旨在讓機器人能夠自行規劃、理解和執行複雜任務。這兩款模型都將
多模態感知、語言處理、運動控制與內部決策系統結合。
DeepMind 目前的機器人技術依賴兩種模型:一種是「思考」模型,另一種是「行動」。
Gemini Robotics 1.5是視覺-語言-動作(VLA)模型,這意味著它使用視覺和文字資料來
產生機器人動作。另一個模型中的「ER」代表具身推理 (embodied reasoning)。這是一
個視覺-語言模型 (VLM),它接受視覺和文字輸入來產生完成複雜任務所需的步驟。
第一個模型Gemini Robotics 1.5將這些規劃轉化為實際行動。與先前的VLA不同,此模型
先推理後行動:它會建立內部邏輯鏈,規劃中間步驟,分解複雜任務,並解釋其決策。例
如,在將衣物分類時,模型會識別目標(例如「將淺色衣物放入白色垃圾桶」),然後規
劃抓取動作並執行。
至於Gemini Robotics-ER 1.5 是機器人的高階「大腦」。它負責任務規劃,使用谷歌搜
尋等數位工具,以自然語言進行交流,並監控進度和成功率。根據Google DeepMind 稱,
該模型在 15 項具身推理基準測試上取得了最佳結果。
這兩種模型都可以將其能力推廣到不同類型的機器人。谷歌表示,ALOHA 2 機器人學習到
的運動模式也可以在Apptronik 的 Apollo 或雙臂 Franka 機器人等平台上運行,無需額
外微調。
這些模型包含內建安全檢查功能。在執行操作之前,Gemini Robotics 1.5 會檢查移動是
否安全,並在需要時觸發防撞等功能。
這兩種型號都基於更廣泛的 Gemini 多模態系列,並針對機器人技術進行了專門調整。
Gemini Robotics-ER 1.5 現已透過 Google AI Studio 中的 Gemini API 提供,目前僅
限部分合作夥伴使用。
總之,有別於傳統依賴單一資料和特定平台的訓練方式,Gemini Robotics 1.5系列模型
使機器人能夠跨平台遷移技能,並在複雜環境中展現出類人適應性,拓展了機器人模型的
通用性。這也成為眾多廠商建構機器人模型的目標之一。
過去機器人往往只能依循固定程式,在既定框架下完成單調任務,如今藉由具身推理與跨
平台學習,它們不僅能理解環境、規劃多步驟任務,甚至能把一種硬體的經驗快速轉移到
另一種機器人身上,這意味著未來的機器學習將不再是耗時的重複過程,而是一種「即學
即用」的演化模式。心得:
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1759211752.A.DBF.html
推
09/30 14:10,
3小時前
, 1F
09/30 14:10, 1F
推
09/30 15:35,
1小時前
, 2F
09/30 15:35, 2F
推
09/30 16:35,
52分鐘前
, 3F
09/30 16:35, 3F
→
09/30 16:35,
52分鐘前
, 4F
09/30 16:35, 4F
→
09/30 16:35,
52分鐘前
, 5F
09/30 16:35, 5F
推
09/30 16:56,
31分鐘前
, 6F
09/30 16:56, 6F
Tech_Job 近期熱門文章
PTT職涯區 即時熱門文章
14
17