研究團隊從網(wǎng)絡(luò)深度與序列時間的對偶性出發(fā)，發(fā)現(xiàn)傳統(tǒng)殘差連接存在"記憶負擔"問題。在PreNorm架構(gòu)下，各層信息等權(quán)重累加導致早期特征被稀釋，就像人類大腦無差別存儲所有記憶，反而讓關(guān)鍵信息難以檢索。更嚴峻的是，隱藏狀態(tài)范數(shù)隨深度指數(shù)增長，引發(fā)訓練不穩(wěn)定現(xiàn)象。針對這些痛點，團隊創(chuàng)造性地引入注意力機制替代固定累加：當前層通過可學習查詢向量，動態(tài)選擇需要關(guān)注的前置層信息，實現(xiàn)"選擇性回憶"。

為解決計算復雜度從O(L)激增至O(L2)的難題，研究團隊開發(fā)出Block AttnRes技術(shù)。該方案將連續(xù)若干層壓縮為"信息塊"，每個塊僅保留一個摘要向量。當處理第N層時，只需關(guān)注塊間摘要與塊內(nèi)實時輸出，使復雜度降至O(L·B)。配合緩存式流水線通信、序列分片預(yù)填充等工程優(yōu)化，該技術(shù)在實際模型中展現(xiàn)出驚人效率。

在Kimi Linear 48B大模型（3B激活參數(shù)）的驗證中，新機制帶來顯著提升：訓練計算量減少20%的同時，數(shù)學推理（MATH、GSM8K）、代碼生成（Humaneval）等任務(wù)性能持平或優(yōu)化，多語言理解一致性得到改善。更關(guān)鍵的是，這項技術(shù)可作為"即插即用"組件直接替換傳統(tǒng)殘差連接，無需調(diào)整網(wǎng)絡(luò)其他部分。

這項研究的共同一作名單中，17歲高中生陳廣宇的加入引發(fā)科技圈熱議。這位北京少年從黑客松比賽起步，在導師董科含引導下，通過研讀Transformer經(jīng)典論文、參與GitHub開源項目，逐步構(gòu)建起對大模型技術(shù)的認知體系。其關(guān)于"機械輔助手"的創(chuàng)意項目不僅獲得硅谷AI初創(chuàng)公司CEO關(guān)注，更讓他在舊金山實習期間直接參與144張H100顯卡的探索性項目，與早期投資者Vinod Khosla展開技術(shù)對話。

陳廣宇的技術(shù)成長軌跡頗具啟示意義：從運營短視頻賬號到鉆研Triton kernel優(yōu)化，從經(jīng)營跨境電商到重寫注意力機制，這個年輕人始終被底層技術(shù)的魅力所驅(qū)動。當他因GitHub上的FLA項目被Kimi團隊相中時，其技術(shù)積累已形成完整閉環(huán)——這種將興趣轉(zhuǎn)化為專業(yè)能力的成長路徑，或許比"天才少年"的標簽更具參考價值。