7月安卓手機(jī)性能榜：紅魔8S Pro再奪榜首
7月份的手機(jī)市場(chǎng)風(fēng)平浪靜，除了紅魔和努比亞帶來(lái)了兩款搭載驍龍8Gen2領(lǐng)先版處理器的新機(jī)之外，別的也想不到有什么新品了，這也正常，通常6月7月都是手機(jī)廠商修整的時(shí)間，進(jìn)入8月份之
騰訊機(jī)器狗，登上了Nature子刊封面！
在它的控制下，機(jī)器狗的動(dòng)作和真實(shí)世界中的狗越來(lái)越像了。
注意看，這里的兩只機(jī)器狗玩起了“定向越野”，還是帶追逐的那種。
游戲當(dāng)中，兩只機(jī)器狗分別要扮演追逐者和逃脫者，逃脫者需要在不被抓到的情況下到達(dá)指定位置。
一旦它到達(dá)了指定位置，兩只機(jī)器狗就會(huì)交換身份，如此來(lái)回進(jìn)行，直到有一只被抓住。
這個(gè)游戲的一個(gè)難點(diǎn)在于有最大速度限制，兩只機(jī)器狗都不能單獨(dú)依靠速度取勝，必須規(guī)劃出一定策略。
甚至，還有更加困難的障礙賽，戰(zhàn)斗更加激烈、場(chǎng)面更加精彩。
這場(chǎng)機(jī)器人越野大賽的背后，應(yīng)用的正是這套全新的控制框架。
該框架采取了分層式策略，并運(yùn)用生成式模型學(xué)習(xí)了動(dòng)物的運(yùn)動(dòng)方式，訓(xùn)練數(shù)據(jù)來(lái)自一只拉布拉多犬。
這套方法讓機(jī)器狗不再依賴物理模型或手工設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)，并能像動(dòng)物一樣理解和適應(yīng)更多的環(huán)境與任務(wù)。
像真的狗一樣運(yùn)動(dòng)
這只機(jī)器狗名叫MAX，重量為14kg，每條腿上有3個(gè)行動(dòng)器，可提供平均22N·m的持續(xù)扭矩，最大能達(dá)到30N·m。
MAX的一大亮點(diǎn)，就是實(shí)現(xiàn)了對(duì)真實(shí)世界中狗的模仿。
在室內(nèi)環(huán)境中，MAX掙脫了研究者，然后就開始了自由跑動(dòng)。
把MAX放到室外，它也能在草地上歡快地奔跑玩耍。
當(dāng)遇到有障礙的復(fù)雜地形時(shí)，這種模仿就更加惟妙惟肖了。
向上，MAX可以敏捷飛快地爬上樓梯。
向下，它也能鉆過(guò)障礙物，擋在它前面的橫桿沒(méi)有被碰到一點(diǎn)。
這一系列的動(dòng)作背后，都是MAX的控制系統(tǒng)從一只拉布拉多的動(dòng)作當(dāng)中學(xué)習(xí)到的策略。
利用對(duì)真狗的模仿，MAX還能規(guī)劃更高級(jí)的策略，完成更為復(fù)雜的任務(wù)，前面展示的追逐大戰(zhàn)就是一個(gè)很好的例子。
值得一提的是，除了讓兩只機(jī)器狗相互競(jìng)技之外，研究人員也通過(guò)手柄控制加入到了這場(chǎng)戰(zhàn)斗。
從畫面中不難看出，真人控制模式下的機(jī)器狗（下圖中1號(hào)），反而不如純機(jī)器方案（2號(hào)）來(lái)得靈活。
最終的結(jié)果是，在開了掛（人類控制的機(jī)器狗最大限速更高）的情況下，人類仍然以0:2的比分徹底輸給了機(jī)器。
除了能讓機(jī)器狗靈活運(yùn)動(dòng)，該框架最大的優(yōu)勢(shì)就是通用性，可以針對(duì)不同的任務(wù)場(chǎng)景和機(jī)器人形態(tài)進(jìn)行預(yù)訓(xùn)練和知識(shí)復(fù)用。
未來(lái)，團(tuán)隊(duì)還計(jì)劃把該系統(tǒng)遷移至人形機(jī)器人和多智能體協(xié)作的場(chǎng)景。
所以，Robotics X實(shí)驗(yàn)室的研究人員是如何打造出這套方案的呢？
加入生成式模型的分層框架
研究人員設(shè)計(jì)這套控制框架的核心思路，就是模仿真實(shí)動(dòng)物的運(yùn)動(dòng)、感知和策略。
該框架通過(guò)構(gòu)建可預(yù)訓(xùn)練、可重用和可擴(kuò)展的原始級(jí)、環(huán)境級(jí)和策略級(jí)知識(shí)，使機(jī)器人能夠像動(dòng)物一樣從更廣泛的視角理解和適應(yīng)環(huán)境與任務(wù)。
具體實(shí)現(xiàn)上，該框架也采用了分層式的控制方式，之中的三個(gè)層級(jí)——原始運(yùn)動(dòng)控制器（PMC）、環(huán)境適應(yīng)控制器（EPMC）和策略控制器（SEPMC）——分別與原始級(jí)、環(huán)境級(jí)和策略級(jí)知識(shí)形成了對(duì)應(yīng)。
首先，人類會(huì)發(fā)出一個(gè)高級(jí)的指令（比如告訴機(jī)器競(jìng)速追逐游戲的規(guī)則和目標(biāo)），這也是（運(yùn)行過(guò)程）全程唯一需要人參與的地方。
這個(gè)高級(jí)指令會(huì)被SEPMC接收，并根據(jù)當(dāng)前情況（如機(jī)器人角色、對(duì)手位置等）制定策略，然后生成包括移動(dòng)方向、速度等信息的導(dǎo)航命令。
導(dǎo)航命令接下來(lái)會(huì)傳給EPMC，然后結(jié)合環(huán)境感知信息（如地形高度圖、深度信息等），選擇適當(dāng)?shù)倪\(yùn)動(dòng)模式，形成一個(gè)類別分布，同時(shí)選擇合適的離散潛在表示。
最后，PMC又把這種潛在表示與機(jī)器人當(dāng)前的狀態(tài)（如關(guān)節(jié)位置、速度等）結(jié)合，得到電機(jī)控制信號(hào)，并最終交付執(zhí)行。
訓(xùn)練的順序則剛好與之相反——從PMC開始，到SEPMC結(jié)束。
第一階段PMC的訓(xùn)練，也就是原始級(jí)訓(xùn)練，是為了建立基礎(chǔ)的運(yùn)動(dòng)能力。
該階段的訓(xùn)練數(shù)據(jù)來(lái)自對(duì)一只訓(xùn)練有素的中型拉布拉多犬的運(yùn)動(dòng)捕捉。
通過(guò)指導(dǎo)狗狗完成各種動(dòng)作,作者收集了大約半小時(shí)的不同步態(tài)（如行走、奔跑、跳躍、坐下等）的運(yùn)動(dòng)序列，以每秒120幀的頻率采樣。
狗狗在捕捉過(guò)程中遵循直線、方形、圓形等不同的路徑軌跡。此外，作者還專門收集了約9分鐘的上下樓梯的運(yùn)動(dòng)數(shù)據(jù)。
為了彌合動(dòng)物和機(jī)器人的骨骼結(jié)構(gòu)差異，作者使用逆運(yùn)動(dòng)學(xué)方法將狗狗的關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)重定向到機(jī)器人關(guān)節(jié)。
通過(guò)進(jìn)一步的人工調(diào)整，最終得到了與四足機(jī)器人兼容的參考運(yùn)動(dòng)數(shù)據(jù)。
△資料圖，不代表訓(xùn)練數(shù)據(jù)來(lái)源
基于這些數(shù)據(jù)，作者使用了生成式模型VQ-VAE編碼器來(lái)壓縮和表示動(dòng)物的運(yùn)動(dòng)模式，構(gòu)建了PMC的離散潛在空間。
通過(guò)向量量化技術(shù)，這些連續(xù)的潛在表示離散化為預(yù)定義的離散嵌入向量，解碼器則基于選定的離散嵌入和當(dāng)前機(jī)器人狀態(tài)生成具體的運(yùn)動(dòng)控制信號(hào)。
在VQ-VAE的基礎(chǔ)上，PMC的訓(xùn)練目標(biāo)，是最小化生成的運(yùn)動(dòng)軌跡與參考軌跡之間的偏差。
同時(shí)，作者引入了優(yōu)先級(jí)采樣機(jī)制，根據(jù)不同運(yùn)動(dòng)模式的難易程度動(dòng)態(tài)調(diào)整其在訓(xùn)練中的權(quán)重，確保網(wǎng)絡(luò)對(duì)所有參考數(shù)據(jù)都能很好地?cái)M合。
通過(guò)不斷迭代和優(yōu)化，PMC逐步學(xué)習(xí)到一組能夠有效表達(dá)復(fù)雜動(dòng)物運(yùn)動(dòng)的離散表征，直至收斂。
PMC階段的結(jié)果，為EPMC生成更高級(jí)別的運(yùn)動(dòng)控制信息提供了基礎(chǔ)。
EPMC在PMC的基礎(chǔ)上引入了環(huán)境感知模塊，接收來(lái)自視覺(jué)、雷達(dá)等傳感器的信息，使得策略網(wǎng)絡(luò)能夠根據(jù)當(dāng)前環(huán)境狀態(tài)動(dòng)態(tài)調(diào)整運(yùn)動(dòng)模式。
EPMC的核心是一個(gè)概率生成網(wǎng)絡(luò)，根據(jù)當(dāng)前的感知信息和指令信號(hào)，在PMC提供的離散潛在空間上生成一個(gè)概率分布。
這個(gè)分布決定了應(yīng)該激活哪些原始運(yùn)動(dòng)模式，以最好地適應(yīng)當(dāng)前環(huán)境和任務(wù)。
EPMC的訓(xùn)練，通過(guò)最小化環(huán)境適應(yīng)和任務(wù)完成的損失函數(shù)來(lái)實(shí)現(xiàn)，逐步學(xué)習(xí)優(yōu)化運(yùn)動(dòng)策略，提高機(jī)器人的適應(yīng)能力和魯棒性。
最后的SEPMC訓(xùn)練階段進(jìn)一步提升了機(jī)器人的認(rèn)知和規(guī)劃能力，使其能夠在多智能體交互環(huán)境中制定和執(zhí)行高層策略。
SEPMC在EPMC的基礎(chǔ)上，根據(jù)當(dāng)前的游戲狀態(tài)（如自身和對(duì)手位置等）和歷史交互記錄，生成高層的策略決策（如追逐、躲避）。
MAX機(jī)器人玩的追逐式定向越野游戲，也正是SEPMC的訓(xùn)練方式。
在該階段，作者采用了先進(jìn)的多智能體強(qiáng)化學(xué)習(xí)算法PFSP，通過(guò)自我博弈不斷提升機(jī)器人的策略水平。
訓(xùn)練過(guò)程中，當(dāng)前策略不斷與歷史上的強(qiáng)對(duì)手進(jìn)行對(duì)抗，迫使其學(xué)習(xí)更加魯棒和高效的策略。
得益于前兩個(gè)階段打下的堅(jiān)實(shí)基礎(chǔ),這種復(fù)雜策略的學(xué)習(xí)是非常高效的，即使在稀疏獎(jiǎng)勵(lì)的情況下也能快速收斂。
值得一提的是，這樣的多智能體方案當(dāng)中，還可以引入一些模擬人類的智能體，從而實(shí)現(xiàn)機(jī)器間或人機(jī)間的協(xié)作配合。
以上的訓(xùn)練過(guò)程都是在仿真環(huán)境中完成，然后以零樣本遷移到真實(shí)環(huán)境。
在仿真中，物理參數(shù)可以自由控制，作者隨機(jī)化了大量物理參數(shù)（包括負(fù)載、地形變化等），通過(guò)強(qiáng)化學(xué)習(xí)得到的策略必須能夠應(yīng)對(duì)這些變化，得到穩(wěn)定和通用的控制能力。
另外，作者在控制框架中的每一層都使用了LSTM，使得各個(gè)層級(jí)都具備一定的時(shí)序記憶和規(guī)劃能力。
傳感器方面，目前作者主要驗(yàn)證了使用Motion Capture系統(tǒng)，或僅基于Depth Camera的視覺(jué)感知可以完成一系列復(fù)雜的任務(wù)。
為了處理更加開放和復(fù)雜的環(huán)境，作者未來(lái)將進(jìn)一步整合LiDAR、Audio等感知輸入，進(jìn)行多模態(tài)理解，更好的應(yīng)對(duì)環(huán)境。
論文地址：https://www.nature.com/articles/s42256-024-00861-3
項(xiàng)目主頁(yè)：https://tencent-roboticsx.github.io/lifelike-agility-and-play/
本文鏈接：http://www.yifxia.cn/showinfo-25-105529-0.html比真狗還狗！鵝廠機(jī)器狗登Nature子刊封面：可定向越野
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)