DeepSeek開源新動態(tài)：優(yōu)化GPU通信庫DeepEP，揭開高效通信新篇章

標(biāo)題：優(yōu)化GPU通信庫：揭開高效通信新篇章——DeepEP開源動態(tài)

隨著科技的進步，人工智能的模型訓(xùn)練和推理已成為主流。在這個領(lǐng)域，DeepSeek的開源新動態(tài)——DeepEP，以其創(chuàng)新的EP通信庫，為MoE模型的訓(xùn)練和推理帶來了新的可能。DeepEP專注于提供高效且低延遲的GPU通信解決方案，進一步推動了人工智能領(lǐng)域的發(fā)展。

首先，DeepEP是一個專為MoE（混合專家）模型訓(xùn)練和推理設(shè)計的EP（專家并行化）通信庫。它為所有GPU內(nèi)核提供高吞吐量和低延遲，同時也支持低精度操作，如FP8。DeepEP針對NVLink（一種高速互聯(lián)技術(shù)，主要用于GPU之間的通信，提升帶寬和降低延遲）到RDMA（遠程直接內(nèi)存訪問，一種網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)，用于跨節(jié)點高效通信）的非對稱帶寬轉(zhuǎn)發(fā)場景進行了深度優(yōu)化。

值得注意的是，DeepEP不僅提供了高吞吐量，還支持SM（流式多處理器）數(shù)量控制，這使得它在訓(xùn)練和推理任務(wù)中都能保持高吞吐量表現(xiàn)。對于對延遲敏感的推理解碼，DeepEP包含一組低延遲內(nèi)核和純RDMA，以最大限度地減少延遲。此外，DeepEP還引入了一種基于鉤子的通信計算重疊方法，這種方法不占用任何SM資源，進一步提升了效率。

DeepSeek表示，DeepEP的實現(xiàn)可能與DeepSeek-V3論文中的描述略有不同，但這種差異并不影響其核心優(yōu)勢的發(fā)揮。DeepSeek-V3論文是深度學(xué)習(xí)領(lǐng)域的經(jīng)典之作，而DeepEP則是這一經(jīng)典理論在實際應(yīng)用中的創(chuàng)新實踐。

為了驗證DeepEP的實際性能，DeepSeek在H800（NVLink的最大帶寬約為160 GB/s）上進行了一系列測試。測試結(jié)果顯示，使用常規(guī)內(nèi)核，每臺設(shè)備都連接一塊CX7 InfiniBand 400 Gb/s的RDMA網(wǎng)卡（最大帶寬約為50 GB/s），并遵循DeepSeek-V3/R1預(yù)訓(xùn)練設(shè)置（每批次4096個Tokens，7168個隱藏層單元，前4個組，前8個專家），使用FP8格式進行調(diào)度，使用BF16格式進行合并。而在H800上測試低延遲內(nèi)核時，每臺H800都連接同樣的網(wǎng)卡，遵循典型的生產(chǎn)環(huán)境設(shè)置（每批次128個Tokens，7168個隱藏層單元），前8個專家采用FP8格式進行調(diào)度，采用BF16格式進行合并。

這些測試結(jié)果充分證明了DeepEP的高效性。在追求更高效、更精確的人工智能模型訓(xùn)練和推理的過程中，DeepEP的出現(xiàn)無疑為我們揭開了高效通信新篇章。

總的來說，DeepSeek開源的DeepEP優(yōu)化了GPU通信庫，為人工智能領(lǐng)域帶來了新的可能。DeepEP以其創(chuàng)新的EP通信庫、高效的性能和低延遲的設(shè)計，展示了其在推動人工智能領(lǐng)域發(fā)展中的重要作用。未來，我們期待DeepEP能在更多的應(yīng)用場景中發(fā)揮其優(yōu)勢，為人工智能的發(fā)展注入新的活力。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。