在人工智能領(lǐng)域，一項(xiàng)突破性技術(shù)引發(fā)了全球關(guān)注。月之暗面Kimi團(tuán)隊(duì)近日發(fā)布的技術(shù)報(bào)告《Attention Residuals》中，提出了一種重新設(shè)計(jì)深度學(xué)習(xí)核心殘差連接結(jié)構(gòu)的創(chuàng)新方案，被業(yè)界視為下一代模型架構(gòu)的重要預(yù)示。這項(xiàng)研究不僅獲得了硅谷頂級(jí)AI專家和企業(yè)家的廣泛關(guān)注，更得到了特斯拉創(chuàng)始人馬斯克"令人印象深刻"的高度評(píng)價(jià)。

傳統(tǒng)深度學(xué)習(xí)模型中，殘差連接結(jié)構(gòu)自2012年提出以來，十年來基本保持原狀。這種結(jié)構(gòu)通過統(tǒng)一求和各層輸出來實(shí)現(xiàn)信息傳遞，雖在提升模型深度方面成效顯著，但存在信息丟失和計(jì)算效率不足的缺陷。Kimi團(tuán)隊(duì)的新方案突破了這一局限，允許模型在每一層選擇性關(guān)注此前各層輸出，而非簡(jiǎn)單求和。實(shí)驗(yàn)數(shù)據(jù)顯示，采用該技術(shù)的480億參數(shù)模型訓(xùn)練效率提升了1.25倍，在保持模型性能的同時(shí)大幅優(yōu)化了計(jì)算資源利用。

這項(xiàng)技術(shù)突破由Kimi三位聯(lián)合創(chuàng)始人楊植麟、吳育昕、周昕宇帶領(lǐng)數(shù)十名研究員共同完成。研究團(tuán)隊(duì)通過引入注意力機(jī)制重構(gòu)殘差連接，使模型能夠動(dòng)態(tài)選擇信息傳遞路徑，有效解決了傳統(tǒng)結(jié)構(gòu)中信息稀釋和梯度消失問題。國際AI社區(qū)對(duì)此反應(yīng)熱烈，多位權(quán)威專家認(rèn)為該研究標(biāo)志著深度學(xué)習(xí)架構(gòu)進(jìn)入新階段，可能推動(dòng)整個(gè)領(lǐng)域向更高效、更智能的方向發(fā)展。

目前，該技術(shù)報(bào)告已在全球AI領(lǐng)域引發(fā)廣泛討論。除馬斯克外，多位圖靈獎(jiǎng)得主和知名實(shí)驗(yàn)室負(fù)責(zé)人也公開表示關(guān)注。國內(nèi)學(xué)術(shù)界同樣給予高度評(píng)價(jià)，認(rèn)為這項(xiàng)來自中國團(tuán)隊(duì)的創(chuàng)新為全球AI發(fā)展提供了重要思路。隨著技術(shù)細(xì)節(jié)的逐步公開，預(yù)計(jì)將有更多研究機(jī)構(gòu)和企業(yè)基于該成果展開后續(xù)探索。