亞馬遜在AWS re:Invent大會(huì)上正式推出了其最新一代的AI訓(xùn)練芯片Trainium3，并預(yù)告了Trainium4的研發(fā)計(jì)劃。這一舉措標(biāo)志著亞馬遜在數(shù)據(jù)中心定制芯片領(lǐng)域進(jìn)一步鞏固了其領(lǐng)先地位。Trainium3的發(fā)布不僅展示了其在性能上的飛躍，還體現(xiàn)了亞馬遜在硬件架構(gòu)、系統(tǒng)設(shè)計(jì)及軟件生態(tài)方面的全面創(chuàng)新。

Trainium3在硬件設(shè)計(jì)上采取了多項(xiàng)創(chuàng)新，以優(yōu)化總體擁有成本（TCO）下的性能。芯片采用臺(tái)積電的3納米N3P工藝，相比前代N5節(jié)點(diǎn)，N3P在相同漏電情況下速度提升約5%，或在相同頻率下功耗降低5%—10%。這一工藝升級(jí)使得Trainium3在性能和能效上均有了顯著提升。Trainium3的計(jì)算核心由8個(gè)大型NeuronCore組成，每個(gè)核心包含張量、矢量、標(biāo)量和GPSIMD四個(gè)引擎，特別適合處理大規(guī)模生成式AI工作負(fù)載。

在內(nèi)存和帶寬方面，Trainium3同樣進(jìn)行了大幅升級(jí)。芯片配備了12層HBM3E內(nèi)存，總?cè)萘窟_(dá)到144GB，內(nèi)存帶寬提升至9.6Gbps，相比前代提升了70%。這一提升得益于亞馬遜從三星轉(zhuǎn)向海力士和美光的內(nèi)存供應(yīng)，從而實(shí)現(xiàn)了更高的引腳速度。Trainium3還支持PCIe Gen 6擴(kuò)展，每條通道帶寬達(dá)到64Gbps，使得芯片間的擴(kuò)展帶寬翻倍，支持高達(dá)1.2TB/s的單向擴(kuò)展帶寬。

系統(tǒng)架構(gòu)方面，Trainium3引入了獨(dú)特的交換式橫向擴(kuò)展拓?fù)浣Y(jié)構(gòu)，相比前代的三維環(huán)形網(wǎng)格拓?fù)?，這一設(shè)計(jì)在混合專家（MoE）模型架構(gòu)下具有更高的絕對(duì)性能和更優(yōu)的TCO表現(xiàn)。Trainium3提供了兩種機(jī)架式SKU：NL32x2 Switched和NL72x2 Switched，分別采用風(fēng)冷和液冷散熱方式，以適應(yīng)不同的數(shù)據(jù)中心環(huán)境。NL72x2 Switched機(jī)架設(shè)計(jì)尤為引人注目，它通過跨機(jī)架連接實(shí)現(xiàn)了144個(gè)芯片的全球規(guī)模，支持更大的模型并行計(jì)算需求。

在軟件生態(tài)方面，亞馬遜同樣進(jìn)行了大規(guī)模的戰(zhàn)略轉(zhuǎn)型。AWS宣布開源其原生PyTorch后端、內(nèi)核語言編譯器NKI以及內(nèi)核和通信庫，旨在構(gòu)建一個(gè)開放的開發(fā)者生態(tài)系統(tǒng)。這一舉措被視為對(duì)英偉達(dá)CUDA護(hù)城河的直接挑戰(zhàn)，亞馬遜希望通過吸引外部開發(fā)者貢獻(xiàn)，快速擴(kuò)大其軟件棧的應(yīng)用范圍。AWS還計(jì)劃在未來開源其XLA圖編譯器和JAX軟件棧，進(jìn)一步鞏固其在AI軟件領(lǐng)域的地位。

Trainium3的發(fā)布不僅對(duì)亞馬遜自身意義重大，也對(duì)整個(gè)AI芯片市場(chǎng)產(chǎn)生了深遠(yuǎn)影響。隨著Trainium3的逐步部署，亞馬遜將能夠更好地滿足內(nèi)部和外部客戶對(duì)高性能、低成本AI訓(xùn)練芯片的需求。同時(shí)，Trainium4的研發(fā)計(jì)劃也預(yù)示著亞馬遜在AI芯片領(lǐng)域的長(zhǎng)期投入和持續(xù)創(chuàng)新。面對(duì)來自英偉達(dá)、谷歌和AMD等競(jìng)爭(zhēng)對(duì)手的激烈競(jìng)爭(zhēng)，亞馬遜憑借其全面的技術(shù)實(shí)力和靈活的市場(chǎng)策略，有望在AI芯片市場(chǎng)中占據(jù)更加有利的位置。