近日，科技界迎來一則重磅消息：X平臺掌舵者埃隆·馬斯克宣布，將X平臺最新的內(nèi)容推薦算法開源。這一決定猶如一顆投入平靜湖面的石子，在社交平臺領(lǐng)域激起層層漣漪，引發(fā)了廣泛關(guān)注與熱議。

在社交平臺競爭日益激烈的當(dāng)下，推薦算法一直是各平臺的“核心機(jī)密”。用戶刷到的每一條動態(tài)、每一個(gè)廣告，背后都是算法依據(jù)用戶行為、內(nèi)容標(biāo)簽、商業(yè)訴求等多維度數(shù)據(jù)計(jì)算得出的結(jié)果。此前，像Facebook、Instagram等社交平臺，都將算法緊緊鎖在“黑箱”之中，外界只能通過逆向工程來猜測其運(yùn)行邏輯，平臺也鮮少主動公開相關(guān)信息。然而，馬斯克卻反其道而行之，這一舉措無疑打破了行業(yè)的常規(guī)。

馬斯克之所以做出這樣的決定，并非一時(shí)興起。接手X平臺前后，他就多次吐槽“算法不透明”的問題，立志要打造一個(gè)“自由廣場”。此次開源算法，是他對X平臺改造的關(guān)鍵一步。一方面，通過開源讓全球開發(fā)者和用戶能夠監(jiān)督算法邏輯，減少“算法偏見”“流量操縱”等方面的質(zhì)疑，同時(shí)也能更好地應(yīng)對監(jiān)管；另一方面，借助社區(qū)的智慧來優(yōu)化算法。畢竟，全球程序員的智慧遠(yuǎn)超內(nèi)部團(tuán)隊(duì)“閉門造車”，這有助于鞏固X平臺的生態(tài)護(hù)城河。而且，馬斯克還表示，后續(xù)將每四周更新一次代碼，并附帶開發(fā)者說明，標(biāo)注算法和邏輯上的改動內(nèi)容。這種“持續(xù)開源 + 透明更新”的模式，在社交平臺領(lǐng)域堪稱前所未有的嘗試。

很快，X平臺工程團(tuán)隊(duì)的Engineering官方賬號給出了答案，正式宣布開源新的X推薦算法。該算法采用了與xAI的Grok模型相同的Transformer架構(gòu)。與此同時(shí)，相關(guān)的GitHub倉庫也一并公開，上線僅六小時(shí)就獲得了1.6k個(gè)Star，足見其受關(guān)注程度之高。

打開GitHub倉庫（https://github.com/xai-org/x-algorithm ），我們可以看到這次開源的是“For You（為你推薦）”信息流的核心推薦系統(tǒng)。據(jù)X工程團(tuán)隊(duì)介紹，“For You”信息流的內(nèi)容主要來自兩大方面。一是站內(nèi)內(nèi)容，由Thunder模塊負(fù)責(zé)，即用戶關(guān)注賬號發(fā)布的帖子；二是站外內(nèi)容，由Phoenix召回模塊處理，也就是從全網(wǎng)內(nèi)容庫中篩選出的帖子。這兩類內(nèi)容整合后，會交給Phoenix模型進(jìn)行分析。該模型基于Grok Transformer模型，Transformer實(shí)現(xiàn)移植自xAI開源的Grok - 1，并針對推薦系統(tǒng)的具體使用場景進(jìn)行了適配和調(diào)整。它會通過用戶的點(diǎn)贊、回復(fù)、轉(zhuǎn)發(fā)等互動歷史，預(yù)測用戶對每篇帖子的各類互動概率，最終的內(nèi)容得分是這些概率的加權(quán)組合。并且，該系統(tǒng)已剔除所有手工設(shè)計(jì)的特征及絕大部分啟發(fā)式規(guī)則，核心計(jì)算工作完全由這款Grok Transformer模型承擔(dān)，其核心邏輯就是通過分析用戶互動歷史，判斷內(nèi)容與用戶的相關(guān)性。

從技術(shù)棧維度來看，這個(gè)倉庫主要使用了Rust和Python兩種編程語言，項(xiàng)目遵循Apache License 2.0開源許可。代碼文件按功能模塊劃分，核心模塊分工明確。phoenix/模塊包含Grok模型適配、推薦系統(tǒng)模型、召回模型等核心代碼，以及模型運(yùn)行、測試腳本；home - mixer/模塊以Rust語言開發(fā)，是推薦系統(tǒng)的“編排層”，包含候選內(nèi)容補(bǔ)全、查詢數(shù)據(jù)補(bǔ)全、打分器、過濾器等核心邏輯；thunder/模塊基于Rust開發(fā)，負(fù)責(zé)處理“站內(nèi)內(nèi)容”的檢索、反序列化、Kafka消息處理等；candidate - pipeline/模塊則是候選內(nèi)容流水線相關(guān)邏輯，是連接內(nèi)容源與后續(xù)處理的關(guān)鍵環(huán)節(jié)。

該推薦系統(tǒng)有著清晰的工作原理和核心執(zhí)行流程。從響應(yīng)用戶的信息流請求開始，算法會通過七個(gè)核心階段完成內(nèi)容篩選與推送。第一步是調(diào)取用戶核心數(shù)據(jù)，系統(tǒng)會抓取用戶近期的互動記錄，如點(diǎn)贊、回復(fù)、轉(zhuǎn)發(fā)、點(diǎn)擊等行為，同時(shí)調(diào)取關(guān)注列表、賬號偏好設(shè)置等基礎(chǔ)元數(shù)據(jù)，為算法搭建“用戶畫像”的基礎(chǔ)框架。第二步是抓取兩類候選內(nèi)容，基于用戶數(shù)據(jù)，從站內(nèi)和站外兩大渠道檢索候選內(nèi)容。第三步是對所有候選內(nèi)容進(jìn)行信息補(bǔ)全，確保每一條候選內(nèi)容的信息維度完整。第四步是在進(jìn)入核心打分環(huán)節(jié)前，執(zhí)行“前置過濾”，剔除不符合要求的內(nèi)容，如重復(fù)帖子、過期內(nèi)容、用戶本人發(fā)布的帖子等。第五步是多維度打分并排序，過濾后的內(nèi)容會依次調(diào)用四款打分器計(jì)算“適配得分”。第六步是篩選，算法按得分高低對所有內(nèi)容排序，選取排名前K的候選內(nèi)容進(jìn)入最后環(huán)節(jié)。第七步是最終驗(yàn)證后推送，系統(tǒng)會對候選內(nèi)容做最后一輪合規(guī)性、有效性校驗(yàn)，確認(rèn)無誤后才會正式推送到用戶的信息流中。

在算法底層設(shè)計(jì)上，X平臺的推薦系統(tǒng)有五大核心決策。它完全摒棄了手工設(shè)計(jì)的特征，核心依賴基于Grok的Transformer模型，從用戶的互動行為序列中自主學(xué)習(xí)內(nèi)容與用戶的相關(guān)性，降低了數(shù)據(jù)處理流水線和推送基礎(chǔ)設(shè)施的復(fù)雜度；在排序環(huán)節(jié)，模型對候選內(nèi)容采取“隔離計(jì)算”方式，確保單篇帖子的得分不受同批次其他內(nèi)容干擾；召回和排序兩大核心環(huán)節(jié)均采用多個(gè)哈希函數(shù)實(shí)現(xiàn)嵌入向量的查找，提升了算法運(yùn)行效率；該模型會同時(shí)預(yù)測用戶對內(nèi)容的多種行為概率，讓打分維度更全面；系統(tǒng)基于candidate - pipeline框架搭建了可組合的流水線架構(gòu)，具備高度的靈活性和可拓展性。

此次開源之際，馬斯克直言：“我們知道這個(gè)算法很笨拙，需要大幅改進(jìn)，但至少你可以實(shí)時(shí)、透明地看到我們努力改進(jìn)它的過程。”他還強(qiáng)調(diào)，“其他社交媒體公司都沒有這樣做?！边@一舉措引發(fā)了諸多熱議。對于普通開發(fā)者來說，此次開源的價(jià)值遠(yuǎn)超“看代碼”本身。有網(wǎng)友評論稱，當(dāng)分配注意力的系統(tǒng)不透明時(shí)，豐富性是不可能出現(xiàn)的。將推薦算法開源，把注意力從一個(gè)神秘資源變成了一個(gè)可理解的系統(tǒng)，可理解性會改變?nèi)藗兊男袨?。雖然一開始透明度會讓“玩法”更容易被利用，但這是一個(gè)階段，開放系統(tǒng)會暴露漏洞、適應(yīng)變化并不斷改進(jìn)。不過，也有用戶擔(dān)憂開源以后，現(xiàn)在更容易作弊，優(yōu)質(zhì)內(nèi)容瀏覽量很快就會爆炸式增長。整體而言，如果X平臺的“開源 + 透明更新”模式被證明有效，可能會倒逼其他平臺做出改變，畢竟用戶對算法透明的需求只會越來越高。