特斯拉首席執(zhí)行官埃隆·馬斯克近日在社交平臺(tái)公開稱贊了Kimi團(tuán)隊(duì)發(fā)布的一項(xiàng)前沿技術(shù)成果。這項(xiàng)名為《Attention Residuals: Rethinking depth-wise aggregation》的論文，通過(guò)提出"注意力殘差"機(jī)制，為神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)開辟了新思路。

研究團(tuán)隊(duì)在論文中指出，傳統(tǒng)深度學(xué)習(xí)模型長(zhǎng)期依賴固定模式的殘差連接，這種設(shè)計(jì)雖然穩(wěn)定但缺乏靈活性。新方法通過(guò)引入可學(xué)習(xí)的深度方向聚合機(jī)制，使模型能夠根據(jù)輸入特征動(dòng)態(tài)調(diào)整信息傳遞路徑。實(shí)驗(yàn)數(shù)據(jù)顯示，該方法在圖像分類和自然語(yǔ)言處理任務(wù)中均展現(xiàn)出顯著優(yōu)勢(shì)，特別是在處理復(fù)雜長(zhǎng)序列時(shí)，推理效率提升了23%。

馬斯克在轉(zhuǎn)發(fā)該研究時(shí)評(píng)論道："Impressive work from Kimi（Kimi這項(xiàng)研究干得漂亮）"。這一評(píng)價(jià)引發(fā)科技界廣泛關(guān)注，短短12小時(shí)內(nèi)相關(guān)話題在社交媒體的瀏覽量突破500萬(wàn)次。Kimi官方賬號(hào)隨即幽默回應(yīng)："你的火箭造得也不錯(cuò)！"這種跨領(lǐng)域的互動(dòng)被網(wǎng)友稱為"科技界夢(mèng)幻聯(lián)動(dòng)"。

據(jù)公開資料顯示，該研究團(tuán)隊(duì)由多位來(lái)自頂尖實(shí)驗(yàn)室的科學(xué)家組成，此前已在人工智能頂會(huì)發(fā)表過(guò)20余篇論文。此次提出的注意力殘差機(jī)制，已被三個(gè)開源項(xiàng)目采用進(jìn)行驗(yàn)證，相關(guān)代碼庫(kù)在發(fā)布48小時(shí)內(nèi)獲得超過(guò)3000次星標(biāo)。行業(yè)分析師認(rèn)為，這項(xiàng)突破可能影響未來(lái)三年Transformer架構(gòu)的演進(jìn)方向。