谷歌DeepMind近日宣布推出Gemini Embedding 2，這一原生多模態(tài)嵌入模型實(shí)現(xiàn)了文本、圖像、視頻、音頻及文檔五種媒體形式的統(tǒng)一嵌入，標(biāo)志著人工智能嵌入技術(shù)進(jìn)入全模態(tài)融合的新時(shí)代。該模型突破了傳統(tǒng)嵌入模型僅支持單一模態(tài)的局限，通過(guò)將不同類型的數(shù)據(jù)映射至同一向量空間，為多模態(tài)應(yīng)用開發(fā)提供了更高效的解決方案。

在技術(shù)架構(gòu)上，Gemini Embedding 2基于Gemini框架構(gòu)建，支持多種輸入格式：文本處理能力提升至8192個(gè)token，圖像可同時(shí)處理6張PNG或JPEG格式文件，視頻支持最長(zhǎng)120秒的MP4/MOV格式，音頻可直接生成嵌入向量無(wú)需轉(zhuǎn)錄，文檔則支持6頁(yè)以內(nèi)的PDF文件。該模型最顯著的創(chuàng)新在于支持交錯(cuò)輸入，允許開發(fā)者在單次請(qǐng)求中混合多種模態(tài)數(shù)據(jù)，從而捕捉不同媒體類型間的復(fù)雜語(yǔ)義關(guān)聯(lián)。

性能表現(xiàn)方面，谷歌披露的基準(zhǔn)測(cè)試數(shù)據(jù)顯示，Gemini Embedding 2在文本、圖像及視頻任務(wù)中均超越當(dāng)前主流模型。特別值得關(guān)注的是其原生語(yǔ)音處理能力，這項(xiàng)此前同類模型普遍缺失的功能，使音頻數(shù)據(jù)可直接生成嵌入向量，省去了語(yǔ)音轉(zhuǎn)文字的中間環(huán)節(jié)，顯著提升了處理效率。為平衡性能與成本，模型延續(xù)了Matryoshka表示學(xué)習(xí)技術(shù)，允許開發(fā)者根據(jù)應(yīng)用場(chǎng)景將輸出維度從默認(rèn)的3072靈活調(diào)整至1536或768。

對(duì)于企業(yè)用戶而言，該模型的發(fā)布具有重要實(shí)踐價(jià)值。通過(guò)統(tǒng)一嵌入空間的設(shè)計(jì)，開發(fā)者構(gòu)建多模態(tài)檢索增強(qiáng)生成（RAG）、語(yǔ)義搜索及數(shù)據(jù)分類系統(tǒng)的技術(shù)門檻大幅降低。以往需要分別處理不同模態(tài)數(shù)據(jù)的復(fù)雜管道，現(xiàn)在可通過(guò)單一模型簡(jiǎn)化實(shí)現(xiàn)。谷歌特別強(qiáng)調(diào)，維度壓縮技術(shù)使大規(guī)模部署嵌入向量的企業(yè)能夠在控制基礎(chǔ)設(shè)施成本的同時(shí)，保持較高的模型精度。

目前，Gemini Embedding 2已通過(guò)Gemini API和Vertex AI平臺(tái)開放預(yù)覽，開發(fā)者可立即接入使用。據(jù)谷歌透露，部分早期合作伙伴已基于該模型開發(fā)出多模態(tài)應(yīng)用，這些實(shí)踐案例正在驗(yàn)證其在高價(jià)值場(chǎng)景中的實(shí)際效能。隨著嵌入技術(shù)在上下文工程、大規(guī)模數(shù)據(jù)管理及傳統(tǒng)搜索分析等領(lǐng)域的廣泛應(yīng)用，這款新模型有望推動(dòng)相關(guān)技術(shù)生態(tài)的進(jìn)一步發(fā)展。