Re: [新聞] 輝達CMU新研究！機器人跳APT舞驚豔全網

看板Stock (股票)作者zxwxz (zxwxz)時間6小時前 (2025/02/06 02:21)推噓0(0推 0噓 7→)

留言7則, 2人參與討論串3/4 (看更多)

這階段是機器人的pre-training階段，類似大語言模型要去網路爬蟲把人類所有語言都爬進來做預訓練，老黃這招就是要把所有的人類動作影片全部映射會機器人身上，不然根本沒啥機器人的動作可當數據集，到時影片上所有人類可做的動作都會被所有機器人學起來，單一指令到單一動作就可以串起來了，大概是走路，開門，握手，揮手，到非常基本的獨立單一動作，但光這件事就很重要，機器人要在預訓練階段就知道所有動作要如何保持身體平衡，要如何避免碰撞，要如何做觸碰反饋調整，就像成人走路不會需要思考怎樣走才不會摔倒，要學到肌肉記憶等級的基本行為技能，重點不是仿照動作而已，而是這些模仿的機器人不會摔倒，有達到動態自主平衡機制最終如果要叫機器人自己打掃房間，還是要非常強的推理大腦才有辦法自主做事，但嫁接推理模型上去應該不是太難的事，只是端側算力還要好幾個量級上去才行。但今年機器人的發展，可能就有波小高潮，因為工廠打工的機器工人可以只做單一指令高重複動作，就能上產線了，比家戶使用情境會簡單超多，只要能動態學習視覺到行為的復刻，那上產線是很快的事 ※ 引述《LDPC (Channel Coding)》之銘言： : 標題: Re: [新聞] 輝達CMU新研究！機器人跳APT舞驚豔全網 : 時間: Thu Feb 6 01:19:38 2025 : 　 : https://hao.cnyes.com/post/133793 : 　 : 這機器人就是一個里程碑 (參照#1dZhKNT2 motion retarget和虛擬世界訓練) : (詳細訓練過程參照上面連結Fig 2) : 之前機器人各路玩家的夢想就是把人類影片所有動作去教他給機器人 : 概念就是把影片直接扔進去受益於poset estimation 可以把人類動作拆解成 : 骨架接者用motion retarget 在虛擬世界去做校正最後部署到現實世界 : 　 : 這個最重要點就是以後機器人看個影片就可以學會人類動作搭配LLM Gen AI之後更能 : 創造動作我們家的多拉a夢快要出來了 @@/ : 　 : 股點? @n@ 就是老黃RRRRRRR : 　 : 　 : ※ 引述《randy225 (資方打手)》之銘言： : : 原文標題：輝達CMU新研究！機器人跳APT舞驚豔全網「人形機器人」奧運會2030年可期 : : ※請勿刪減原文標題 : : 原文連結：https://news.cnyes.com/news/id/5851739 : : https://hao.cnyes.com/post/133793 (機器人動作) : : ※網址超過一行過長請用縮網址工具 : : 發布時間：2025-02-05 17:30 : : ※請以原文網頁/報紙之發布時間為準 : : 記者署名：鉅亨網編譯陳韋廷綜合報導 : : ※原文無記載者得留空 : : 原文內容： : : 機器人版的柯比布萊恩 (Kobe Bryant)、詹皇(LeBron James)、C 羅 Cristiano : : Ronaldo 真的來了，而這一切全拜卡內基美隆大學(CMU) 和輝達(NVDA-US) 所提出的一個 : : real2sim2real 模型 Aligning Simulation and Real Physics(ASAP)，ASAP 能讓人形 : : 機器人掌握非常流暢且動感的全身控制動作，就連跳時下最紅的 APT 也相當流暢。 : : 中國智能資訊社交平台《新智元》報導，市場可以期待在 2030 年看到人形機器人奧運會 : : 盛宴，CMU 與輝達提出的 ASAP 專案包含預訓練和後訓練兩大階段。在第一個階段中，透 : : 過重定向的人體數據，在模擬環境中預訓練運動追蹤策略，第二階段將這些策略部署到現 : : 實世界，並收集真實數據來訓練一個「殘差」動作模型，用來彌補模型與真實世界物理動 : : 態之間的差距。 : : 然後，ASAP 把這個 delta 動作模型整合到模擬器中，對預訓練策略進行微調，讓它和現 : : 實世界的動力學更匹配。具體步驟分為四步，分別是運動跟蹤預訓練與真實軌跡收集、差 : : 異動作模型訓練、策略微調以及真實世界部署。 : : 研究人員在三個遷移場景中評估了 ASAP 的效果。從 IsaacGym 到 IsaacSim、從 : : IsaacGym 到 Genesis，以及從 IsaacGym 到真實世界，使用的機器人則是中國廠商宇樹 : : 的 G1 人形機器人。 : : 最後，研究者藉助 delta 動作模型對預訓練的策略進行微調，使其能夠更好地適應真實 : : 世界的物理環境，從而實現更穩定、敏捷的運動控制。 : : sim2real 一直是實現空間與具身智慧的主要路徑之一，被廣泛應用在機器人模擬評估當 : : 中，而 real2sim2real 直接打破了繁瑣的動作微調的難題，彌合 sim2real 的差距，讓 : : 機器人能夠模仿各種類人的動作。 : : 輝達資深研究科學家 Jim Fan 興奮地表示，透過 RL 讓人形機器人成功模仿 C 羅、詹皇 : : 和科比！ : : 報導指出，CMU 跟輝達的研究有四大貢獻。第一個是提出 ASAP 框架，運用強化學習和真 : : 實世界的數據來訓練 delta 動作模型，有效縮小了模擬與現實之間的差距。其次，成功 : : 在真實環境部署全身控制策略，實現了不少以前人形機器人難以做到的動作。 : : 第三大貢獻則是 ASAP 能有效減少動力學不匹配問題，讓機器人做出高度敏捷的動作，同 : : 時顯著降低運動跟蹤誤差。最後，研究者開發並開源了一個多模擬器訓練與評估代碼庫， : : 以促進不同模擬器之間的平滑遷移，並加快後續研究。 : : 心得/評論：老黃在中國跳APT，而輝達與CMU開發的軟體讓機器人動作更靈活 : : 看完上面網址的影片，真的超驚嘆，機器人的動作會進步到什麼地步?? : : 動作逼真到很扯，未來機器人陪你運動XD : : ※必需填寫滿30正體中文字，無意義者板規處分 : 　 : -- : ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國) : ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738775980.A.897.html : ※ 編輯: LDPC (76.21.72.78 美國), 02/06/2025 01:20:26 : → saisai34 : 我有一個大膽的想法 @v@a 02/06 01:23 : 推 pansquarl : 樓上不要說丟AV女優動作讓AI學 >w< 02/06 01:26 : 推 lpmybig : 機器人拉拉隊快可以搞出來了 02/06 01:26 : → s90002442 : 底特律變人要成真啦 02/06 01:27 : → ASKA : 男下AI上嗎？ 02/06 01:27 : 推 v21638245 : 這是動作版的初音嗎 02/06 01:32 : → aloness : 其實這沒有很難耶 0.0 人體動作捕捉已經很成熟，是 02/06 01:33 : → aloness : 難在機器人本身的硬體加工 02/06 01:33 : → aloness : bio的里昂，克里斯，吉兒的動作建模，算是很流暢了 02/06 01:37 : 推 Murasaki0110: BD放到現在像個玩具 02/06 01:43 : 推 dayuer : 硬體靠AI自我迭代就能完成精密組設計和組裝了，以 02/06 01:44 : → dayuer : 後機器人足球賽可以每球都倒掛金鉤踢球精準踢往球 02/06 01:44 : → dayuer : 門方向。但守門機器人一樣能精準接球，演變成矛盾 02/06 01:44 : → dayuer : 問題。 02/06 01:44 : → dayuer : #精密組件 02/06 01:44 : 噓 qwe78971 : 所以說外行幻想就是如此簡單目前只看出來關節活動 02/06 01:55 : → qwe78971 : 機器人運動ok 而已又不是互動知道差異在哪嗎 02/06 01:55 : 蛙內行出來了迪士尼無法解決2d影片到機器人尺寸不同retarget 說簡單真是棒棒的 : → speedythief : 看的到44超音速魔球的日子不遠了 02/06 01:56 : ※ 編輯: LDPC (76.21.72.78 美國), 02/06/2025 01:57:54 : → TsmcEE : altas弱了哭哭 02/06 01:57 : 推 Galbygene : @n@ 是啥 02/06 01:58 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.112.255 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738779680.A.374.html