在機(jī)器人技術(shù)領(lǐng)域，精細(xì)操作能力一直是制約其廣泛應(yīng)用的關(guān)鍵瓶頸。傳統(tǒng)方法需要耗費(fèi)大量計(jì)算資源對(duì)機(jī)器人主模型進(jìn)行全面訓(xùn)練，不僅耗時(shí)漫長(zhǎng)，且難以應(yīng)對(duì)工廠環(huán)境中對(duì)精準(zhǔn)度、靈活性和速度的嚴(yán)苛要求。如今，具身智能領(lǐng)域傳來(lái)突破性進(jìn)展：Physical Intelligence團(tuán)隊(duì)開(kāi)發(fā)的RL token技術(shù)，使機(jī)器人僅需十幾分鐘至數(shù)小時(shí)的真實(shí)世界操作經(jīng)驗(yàn)，即可掌握插網(wǎng)線(xiàn)、擰微型螺絲等高精度任務(wù)。

該技術(shù)的核心創(chuàng)新在于突破傳統(tǒng)訓(xùn)練范式。研究團(tuán)隊(duì)沒(méi)有選擇對(duì)機(jī)器人主模型進(jìn)行整體微調(diào)，而是為其添加了一個(gè)專(zhuān)門(mén)處理精細(xì)動(dòng)作的"外掛模塊"——RL token。這一設(shè)計(jì)使機(jī)器人進(jìn)化速度提升三倍，在特定任務(wù)中的操作速度甚至超越人類(lèi)遠(yuǎn)程操控水平。以擰螺絲任務(wù)為例，機(jī)器人需在10厘米長(zhǎng)的螺絲刀上實(shí)現(xiàn)亞毫米級(jí)定位精度，傳統(tǒng)方法因手腕微小偏差導(dǎo)致刀尖誤差放大的難題被成功攻克。

技術(shù)實(shí)現(xiàn)路徑包含兩大關(guān)鍵突破：首先是VLA模型改造，通過(guò)編碼器-解碼器結(jié)構(gòu)生成包含關(guān)鍵信息的RL token，將復(fù)雜觀察數(shù)據(jù)壓縮為極簡(jiǎn)摘要；其次是輕量化強(qiáng)化學(xué)習(xí)系統(tǒng)，由Actor網(wǎng)絡(luò)輸出動(dòng)作、Critic網(wǎng)絡(luò)評(píng)估效果，采用節(jié)省數(shù)據(jù)的off-policy訓(xùn)練方法。這兩個(gè)神經(jīng)網(wǎng)絡(luò)可直接部署在機(jī)器人本體，實(shí)現(xiàn)每秒數(shù)百次的實(shí)時(shí)更新，確保每次試錯(cuò)后立即優(yōu)化行為策略。

研究團(tuán)隊(duì)設(shè)計(jì)了四項(xiàng)極具挑戰(zhàn)性的測(cè)試任務(wù)：用電動(dòng)螺絲刀安裝M3微型螺絲、系緊扎帶、插入網(wǎng)線(xiàn)及電源線(xiàn)。這些任務(wù)的成功關(guān)鍵在于最后數(shù)毫米的接觸精度，傳統(tǒng)基礎(chǔ)模型雖能完成前期動(dòng)作，但在關(guān)鍵階段常因角度偏差或時(shí)機(jī)失誤導(dǎo)致失敗。RL token技術(shù)通過(guò)針對(duì)性強(qiáng)化學(xué)習(xí)，僅用15分鐘真實(shí)數(shù)據(jù)即可優(yōu)化這些"硬骨頭"環(huán)節(jié)。在插網(wǎng)線(xiàn)任務(wù)中，機(jī)器人經(jīng)過(guò)2小時(shí)訓(xùn)練（含15分鐘操作數(shù)據(jù)）后，不僅成功率顯著提升，半數(shù)操作速度更超越人類(lèi)示范。

該技術(shù)的突破性在于建立了一套通用訓(xùn)練框架：通過(guò)預(yù)測(cè)動(dòng)作塊保持與VLA模型的動(dòng)作一致性，采用"修改而非推翻"的策略?xún)?yōu)化現(xiàn)有動(dòng)作，引入?yún)⒖紕?dòng)作dropout機(jī)制防止模型惰性，并支持人類(lèi)干預(yù)反饋。這些設(shè)計(jì)使在線(xiàn)強(qiáng)化學(xué)習(xí)成為可復(fù)用的解決方案，無(wú)需針對(duì)不同任務(wù)重新設(shè)計(jì)，即可直接應(yīng)用于各類(lèi)精密操作場(chǎng)景。