在NeurIPS 2025的一場備受矚目的爐邊談話中，AI領(lǐng)域的兩位標志性人物——Geoffrey Hinton與Jeff Dean，展開了一場關(guān)于人工智能發(fā)展歷程與未來展望的深度對話。這場訪談不僅回顧了AI從早期突破到如今引領(lǐng)技術(shù)潮流的輝煌歷程，還揭秘了諸多鮮為人知的幕后故事。

訪談一開始，Hinton便拋出了一個引人深思的問題：谷歌是否后悔發(fā)表了奠定現(xiàn)代AI基石的Transformer論文？Jeff Dean毫不猶豫地回應(yīng)：“不后悔，因為它對世界產(chǎn)生了深遠的影響。”這一回答不僅彰顯了谷歌對技術(shù)共享的開放態(tài)度，也凸顯了Transformer在推動AI技術(shù)普及與應(yīng)用中的關(guān)鍵作用。

Hinton在對話中透露，自己對模型規(guī)模擴展（Scaling）重要性的深刻認識，源自于Ilya Sutskever的一次演講。他坦言，自己本應(yīng)在更早的時候意識到算力與模型規(guī)模之間的緊密聯(lián)系，但直到2014年，聽完Ilya的報告后，才徹底醒悟Scaling的至關(guān)重要性，并堅信這一趨勢將持續(xù)下去。

回顧AI發(fā)展史上的重要時刻，2012年AlexNet的誕生無疑是一個里程碑。Hinton分享了這段經(jīng)歷中的趣事：當時，他們申請項目資助續(xù)期時遭遇了挫折，被評審認為項目缺乏工業(yè)應(yīng)用價值。然而，正是這一不被看好的項目，在糾正了權(quán)重衰減參數(shù)的錯誤后，憑借在ImageNet上的出色表現(xiàn)，引發(fā)了AI領(lǐng)域的革命性變革。Hinton幽默地提到，訓(xùn)練AlexNet的兩塊英偉達GTX 580 GPU，不僅為多倫多大學(xué)節(jié)省了成本，還讓Alex在自家臥室里完成了這一歷史性的訓(xùn)練。

Jeff Dean則回憶了谷歌大腦（Google Brain）的誕生過程。他提到，這一項目的靈感源自于一次在谷歌茶水間的偶遇閑聊。當時，Andrew Ng提到他的學(xué)生用神經(jīng)網(wǎng)絡(luò)取得了不錯成果，這句話激發(fā)了Jeff Dean的靈感：既然谷歌擁有海量的CPU資源，為何不嘗試訓(xùn)練超大規(guī)模的神經(jīng)網(wǎng)絡(luò)呢？于是，谷歌大腦應(yīng)運而生，通過模型并行與數(shù)據(jù)并行的技術(shù)，成功訓(xùn)練出了參數(shù)達20億的龐大模型，驗證了Scaling Laws的可行性。

在談到谷歌與Hinton團隊的合作時，Jeff Dean透露了一段鮮為人知的拍賣故事。為了吸引更多資源支持，Hinton團隊決定將自己包裝成一家“公司”，并在南太浩湖的賭場舉辦了一場拍賣會。盡管樓下老虎機的聲音不絕于耳，但樓上的競價卻異常激烈。最終，谷歌在這場拍賣中脫穎而出，成功將Hinton及其團隊納入麾下。Hinton坦言，這一決定背后，是他對谷歌實習生經(jīng)歷的深刻認同。

在訪談的后半部分，兩位嘉賓還就AI的未來發(fā)展方向進行了探討。Jeff Dean對Scaling注意力機制的觸達范圍表示興奮，他設(shè)想未來模型將能夠直接訪問所有科學(xué)論文和視頻資源，而非將海量信息壓縮進有限的模型參數(shù)中。同時，他也指出了當前模型缺乏持續(xù)學(xué)習能力的局限性，并透露谷歌正在探索更動態(tài)、腦啟發(fā)的架構(gòu)設(shè)計。Hinton則對AI在醫(yī)療與教育領(lǐng)域的變革潛力表示樂觀，他認為大模型將能夠壓縮巨量知識，發(fā)現(xiàn)人類未見的共通性，從而展現(xiàn)出非凡的創(chuàng)造力。