百度CTO王海峰詳解“文心一言”背后技術特性

3月16日消息，百度于北京總部召開新聞發(fā)布會，主題圍繞新一代大語言模型、生成式AI產(chǎn)品文心一言。百度首席技術官王海峰現(xiàn)在詳解了文心一言背后的文心大模型及技術特性。

文心一言是新一代知識增強大語言模型，也是百度繼文心一格之后的又一個生成式AI產(chǎn)品，具備對話交互、內(nèi)容創(chuàng)作、知識推理、多模態(tài)生成等能力。

王海峰表示，新一代知識增強大語言模型文心一言，是在ERNIE及PLATO系列模型的基礎上研發(fā)的。它的關鍵技術包括有監(jiān)督精調(diào)、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術，ERNIE和PLATO中已經(jīng)有應用和積累，在一言中又有了進一步強化和打磨；后三項則是百度已有技術優(yōu)勢的再創(chuàng)新，也是一言未來越來越強大的基礎。

在知識增強方面，文心一言的知識增強主要是通過知識內(nèi)化和知識外用兩種方式。知識內(nèi)化，是從大規(guī)模知識和無標注數(shù)據(jù)中，基于語義單元學習，利用知識構造訓練數(shù)據(jù)，將知識學習到模型參數(shù)中；知識外用，是引入外部多源異構知識，做知識推理、提示構建等等。

在檢索增強方面，文心一言的檢索增強，來自以語義理解與語義匹配為核心技術的新一代搜索架構。通過引入搜索結果，可以為大模型提供時效性強、準確率高的參考信息，更好地滿足用戶需求。

在對話增強方面，基于對話技術和應用積累，文心一言具備記憶機制、上下文理解和對話規(guī)劃能力，實現(xiàn)更好的對話連貫性、合理性和邏輯性。

“百度特有的技術，現(xiàn)在已經(jīng)應用在文心一言上”，王海峰也坦言，技術有了，但是大模型的訓練的還不夠充分。不過文心大模型建立起人類反饋、獎勵模型和策略優(yōu)化之間的飛輪機制，隨著真實用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強。

王海峰稱，百度自2010年起開始全面布局人工智能，是全球為數(shù)不多、進行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學習平臺、文心大模型到應用，百度在技術棧的各層都有領先業(yè)界的關鍵自研技術，實現(xiàn)了層與層反饋，端到端優(yōu)化。

王海峰強調(diào)，飛槳深度學習平臺支撐文心一言效果更好、效率更高、性能更強。對于開發(fā)訓練，飛槳動靜統(tǒng)一的開發(fā)范式，以及自適應分布式架構，可以實現(xiàn)大模型的靈活開發(fā)和高效訓練。在推理部署方面，飛槳支持大模型高效推理，并提供服務化部署能力，包括計算融合、軟硬協(xié)同的稀疏量化、模型壓縮等等。文心大模型加上飛槳深度學習平臺，夯實了產(chǎn)業(yè)智能化基座。隨著文心一言與飛槳平臺的進一步融合發(fā)展，人工智能技術和應用的研發(fā)將越來越標準化、自動化和模塊化，加速人工智能的工業(yè)大生產(chǎn)，同時也反哺文心一言加速迭代進化，落地更多場景和行業(yè)。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。