在第五屆字節(jié)跳動(dòng)獎(jiǎng)學(xué)金頒獎(jiǎng)典禮上，字節(jié)跳動(dòng)技術(shù)副總裁楊震原分享了公司自2014年以來(lái)在技術(shù)領(lǐng)域的探索歷程。作為一位資深技術(shù)愛好者，楊震原自2014年加入字節(jié)跳動(dòng)后，從搭建推薦系統(tǒng)起步，至今已參與公司多項(xiàng)重大技術(shù)突破，帶領(lǐng)團(tuán)隊(duì)在多個(gè)前沿領(lǐng)域取得顯著成果。

2014年，字節(jié)跳動(dòng)在推薦系統(tǒng)領(lǐng)域設(shè)定了一個(gè)極具挑戰(zhàn)性的目標(biāo)：實(shí)現(xiàn)萬(wàn)億級(jí)特征規(guī)模。當(dāng)時(shí)，工業(yè)界最大規(guī)模的機(jī)器學(xué)習(xí)系統(tǒng)主要用于搜索廣告，而將這套技術(shù)應(yīng)用于推薦系統(tǒng)面臨諸多難題。團(tuán)隊(duì)不僅需要攻克系統(tǒng)建模和算法優(yōu)化等工程難題，還要處理存儲(chǔ)和計(jì)算等基礎(chǔ)設(shè)施問題。通過引入FM類算法并構(gòu)建streaming training系統(tǒng)，團(tuán)隊(duì)最終實(shí)現(xiàn)了目標(biāo)，并發(fā)現(xiàn)淺層神經(jīng)網(wǎng)絡(luò)在推薦場(chǎng)景中仍具有顯著優(yōu)勢(shì)。

2020年，字節(jié)跳動(dòng)將目光投向科學(xué)計(jì)算領(lǐng)域。團(tuán)隊(duì)認(rèn)為，除了線上應(yīng)用，現(xiàn)實(shí)世界和科學(xué)計(jì)算能夠產(chǎn)生大量有價(jià)值的數(shù)據(jù)。在第一性原理計(jì)算方面，公司持續(xù)投入研發(fā)神經(jīng)網(wǎng)絡(luò)量子蒙特卡洛方法（NNQMC），通過神經(jīng)網(wǎng)絡(luò)表示波函數(shù)并優(yōu)化計(jì)算過程，在仿真精度上達(dá)到行業(yè)領(lǐng)先水平。最新成果Scaling Laws with LAVA顯示，增加參數(shù)數(shù)量可持續(xù)提升仿真精度，為實(shí)用化突破帶來(lái)可能。

在分子動(dòng)力學(xué)領(lǐng)域，團(tuán)隊(duì)通過GPU加速密度泛函分析（DFT）計(jì)算，實(shí)現(xiàn)1個(gè)GPU相當(dāng)于500至1000個(gè)CPU核心的加速效果，大幅降低算力成本。開發(fā)的Bamboo-MLFF和ByteFF力場(chǎng)模型在預(yù)測(cè)分子和固體體系性質(zhì)方面表現(xiàn)優(yōu)異，其中ByteFF-Pol在無(wú)實(shí)驗(yàn)數(shù)據(jù)條件下預(yù)測(cè)電解液性質(zhì)達(dá)到行業(yè)最高精度。這些技術(shù)已與比亞迪合作，推動(dòng)AI for Science在電池材料領(lǐng)域的工業(yè)應(yīng)用。

2021年，字節(jié)跳動(dòng)收購(gòu)Pico團(tuán)隊(duì)后，在XR領(lǐng)域展開雙路線探索：一方面優(yōu)化現(xiàn)有產(chǎn)品形態(tài)并加強(qiáng)內(nèi)容運(yùn)營(yíng)，另一方面投入基礎(chǔ)技術(shù)研發(fā)以提升核心體驗(yàn)。2023年，公司決定減少內(nèi)容投入，轉(zhuǎn)而加大技術(shù)研發(fā)投入。在顯示技術(shù)方面，團(tuán)隊(duì)與供應(yīng)商定制MicroOLED屏幕，結(jié)合微透鏡技術(shù)實(shí)現(xiàn)單眼4K分辨率，同時(shí)保持設(shè)備輕便性。針對(duì)MR技術(shù)的眩暈問題，全鏈路自研專用芯片，將系統(tǒng)延遲控制在12毫秒左右，達(dá)到行業(yè)領(lǐng)先水平。

大模型領(lǐng)域，字節(jié)跳動(dòng)自2022年開始重點(diǎn)布局，推出豆包AI對(duì)話助手和火山引擎大模型服務(wù)。技術(shù)層面，公司建設(shè)的大規(guī)模穩(wěn)定訓(xùn)練系統(tǒng)MegaSacle使浮點(diǎn)運(yùn)算利用率超過55%，顯著優(yōu)于主流開源框架。通過優(yōu)化模型結(jié)構(gòu)和自研服務(wù)器，公司成功降低大模型應(yīng)用成本，火山引擎在中國(guó)MaaS市場(chǎng)占據(jù)領(lǐng)先地位。當(dāng)前研究重點(diǎn)包括提升模型持續(xù)學(xué)習(xí)能力，使其能夠像人類一樣通過交互不斷優(yōu)化，以及增強(qiáng)模型與物理世界的交互能力，縮小在內(nèi)容理解和界面操作等方面與人類的差距。