開源人形機(jī)器人端到端強(qiáng)化學(xué)習(xí)訓(xùn)練框架!星動(dòng)紀(jì)元聯(lián)合清華大學(xué)、上海期智研究院發(fā)布Humanoid-Gym，開啟sim-to-real新時(shí)代!
2024年3月5日，具身智能與人形機(jī)器人公司星動(dòng)紀(jì)元聯(lián)合清華大學(xué)、上海期智研究院開源了人形機(jī)器人強(qiáng)化學(xué)習(xí)訓(xùn)練框架Humanoid-Gym。此舉意在降低人形機(jī)器人算法的開發(fā)門檻，助力全球?qū)W界和業(yè)界的研究者們?cè)谌诵螜C(jī)器人領(lǐng)域的創(chuàng)新工作。此前，星動(dòng)紀(jì)元已在人形機(jī)器人強(qiáng)化學(xué)習(xí)技術(shù)上取得多項(xiàng)突破，并在全球范圍內(nèi)首次通過端到端強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)人形機(jī)器人野外雪地行走和上下樓梯。鑒于人形機(jī)器人結(jié)構(gòu)的高度復(fù)雜性，其強(qiáng)化學(xué)習(xí)訓(xùn)練以及從模擬環(huán)境向真實(shí)世界遷移(即sim-to-real transfer)的過程，相較于四足機(jī)器人，往往更具挑戰(zhàn)性。Humanoid-Gym框架通過其精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)以及域隨機(jī)化技術(shù)， 顯著簡(jiǎn)化了人形機(jī)器人的訓(xùn)練以及實(shí)現(xiàn)sim-to-real轉(zhuǎn)換的難度。目前，該框架已在星動(dòng)紀(jì)元旗下的兩款機(jī)器人——小星(1.2米高)和小星max(1.65米高)上成功驗(yàn)證。
project page:
https://sites.google.com/view/humanoid-gym/
Github 代碼庫:
https://github.com/roboterax/humanoid-gym
除了用sim-to-real驗(yàn)證以外，另一個(gè)常見的做法是用第二個(gè)更高精度的仿真環(huán)境來做初步做驗(yàn)證(sim-to-sim)。本次Humanoid-Gym開源后，用戶可以通過該框架輕松運(yùn)用sim-to-sim轉(zhuǎn)換功能，先在更高精度的仿真環(huán)境Mujoco中進(jìn)行初步驗(yàn)證與篩選，從而提升sim-to-real轉(zhuǎn)換的效率和成功率。
除此之外，本開源項(xiàng)目還引入了若干評(píng)估指標(biāo)，用以衡量訓(xùn)練策略的效果，包括但不限于速度追蹤、動(dòng)作絲滑程度等。
此次開源的Humanoid-Gym訓(xùn)練框架，標(biāo)志著星動(dòng)紀(jì)元在人形機(jī)器人技術(shù)推廣和共享方面的積極姿態(tài)。通過降低進(jìn)入門檻，星動(dòng)紀(jì)元期望激發(fā)更多的創(chuàng)新思維和解決方案，共同推進(jìn)人形機(jī)器人技術(shù)的未來發(fā)展。
據(jù)悉，星動(dòng)紀(jì)元于2023年8月在北京成立，由清華大學(xué)交叉信息研究院孵化，致力于具身智能以及人形通用機(jī)器人技術(shù)和產(chǎn)品的研發(fā)。就在今年1月份，星動(dòng)紀(jì)元?jiǎng)倓偼瓿沙瑑|元天使輪融資，由聯(lián)想創(chuàng)投領(lǐng)投。
此前，星動(dòng)紀(jì)元有兩款型號(hào)的人形機(jī)器人產(chǎn)品：小星(XBot-S)和小星Max(XBot-L)，來適配不同應(yīng)用場(chǎng)景的需求。小星體型更小巧，動(dòng)態(tài)性能強(qiáng)，可完成室內(nèi)外跑、跳、高速行走等動(dòng)作。小星Max為全尺寸人形機(jī)器人，身型高度和成年人相當(dāng)，手臂、腰部以及全身其他部位具備更高的自由度，還配有高自由度靈巧手，未來目標(biāo)場(chǎng)景是在工廠制造場(chǎng)景或服務(wù)場(chǎng)景，替代人類完成各種各樣較為精細(xì)的操作。
（來源：星動(dòng)紀(jì)元）
