Deepseek進(jìn)入業(yè)務(wù)深水區(qū)，為什么需要昇騰大EP？

DeepSeek讓各行業(yè)引入AI大模型的意識(shí)和積極性明顯提高，已推動(dòng)AI在政務(wù)、能源、制造等領(lǐng)域廣泛鋪展開來(lái)。

很多政企用戶接入DeepSeek之后，感受到了AI大模型給業(yè)務(wù)帶來(lái)了“旦用難回”的體驗(yàn)，很快就從試用的第一階段，進(jìn)入第二階段——大模型推理集群的擴(kuò)容升級(jí)。

當(dāng)“有沒(méi)有Deepseek用”不再成為問(wèn)題，那么“Deepseek好不好用”的挑戰(zhàn)就迎面而來(lái)。

一來(lái)，人多了，大量訪問(wèn)請(qǐng)求帶來(lái)的高并發(fā)，就像春運(yùn)高峰期涌入巨大的人流量，會(huì)出現(xiàn)請(qǐng)求積壓，模型推理思考時(shí)間變長(zhǎng)，token吞吐速度下降，用戶的等待時(shí)延達(dá)到50-100毫秒，服務(wù)器繁忙和排隊(duì)讓人惱火。

二來(lái)，機(jī)器多了，增加更多服務(wù)器會(huì)遇到物理天花板，機(jī)器擴(kuò)容并不會(huì)線性提升在線推理服務(wù)的體驗(yàn)，就像即使增加了更多車廂，但鐵軌承載能力有限，也無(wú)法運(yùn)送更多旅客（AI任務(wù)）了。

當(dāng)行業(yè)智能化進(jìn)入深度應(yīng)用DeepSeek的第二階段，不得不面臨高并發(fā)推理的技術(shù)挑戰(zhàn)。在堆算力的同時(shí)，也要同步優(yōu)化性能體驗(yàn)，相當(dāng)于想要運(yùn)送更多乘客，不僅要增加車廂數(shù)量，還要同步改造軌道、站臺(tái)和管理機(jī)制，將老式火車升級(jí)為高鐵，才能綜合提高運(yùn)輸效率。

以DeepSeek為例，前不久公布了其利潤(rùn)率，高達(dá)545%，其中就涉及大量工程化能力，比如引入大EP推理集群，實(shí)現(xiàn)高并發(fā)推理吞吐量指數(shù)級(jí)增長(zhǎng)。

對(duì)于更多行業(yè)和企業(yè)來(lái)說(shuō)，沒(méi)有DeepSeek那樣的極客天才和頂尖技術(shù)團(tuán)隊(duì)，怎樣用大EP來(lái)解決高并發(fā)推理挑戰(zhàn)呢？當(dāng)AI大模型開始進(jìn)入千行萬(wàn)業(yè)的深水區(qū)，亟需一場(chǎng)大EP的“運(yùn)力革命”。

很多政企客戶在接入了Deepseek之后，使用量進(jìn)一步增加，有了擴(kuò)展推理集群規(guī)模的需求，推理資源需要從2臺(tái)擴(kuò)展到10臺(tái)，從16卡擴(kuò)展到千卡，但擴(kuò)容升級(jí)并不是往機(jī)房一放、網(wǎng)絡(luò)一連，就能高枕無(wú)憂了。

就像印度仍在使用的老式火車，僅靠增加車廂，還是無(wú)法提高運(yùn)力，每個(gè)乘客能占用的火車空間極小，體驗(yàn)很差，火車不堪重負(fù)，延誤晚點(diǎn)成了家常便飯。類似問(wèn)題，在Deepseek和各種大模型與業(yè)務(wù)的結(jié)合中，高并發(fā)推理卡住了用戶的體驗(yàn)瓶頸。

面對(duì)上述問(wèn)題，大EP大規(guī)模專家并行的技術(shù)架構(gòu)，成為趨勢(shì)。

簡(jiǎn)單來(lái)說(shuō)，大EP就是將MoE（混合專家）模型中數(shù)千個(gè)專家，分配到更多的卡（算力）上去。原本一張卡只能拉10個(gè)人，有了大EP，可以同時(shí)拉100個(gè)（高并發(fā)）；原本只能跑一趟車，現(xiàn)在可以同時(shí)跑八趟車（提高專家計(jì)算路數(shù)batch size），那么乘客就不用長(zhǎng)時(shí)間等待了。

所以，通過(guò)大EP可以提高高并發(fā)推理場(chǎng)景下的計(jì)算效率，實(shí)現(xiàn)更大的吞吐和更低的時(shí)延。用戶體感上，比如一家銀行的工作人員同時(shí)訪問(wèn)Deepseek，不會(huì)遇到排隊(duì)、延遲、過(guò)長(zhǎng)等待等情況。

大EP這么好，怎么才能部署到自己的一體機(jī)或推理資源池呢？不經(jīng)過(guò)一番努力，確實(shí)很難吃到大EP的蛋糕。

一方面，推理場(chǎng)景的算力需求指數(shù)級(jí)擴(kuò)展，而海外廠商的推理芯片如H20，雖然顯存高，但算力不足，處理大EP場(chǎng)景時(shí)吞吐驟降。Deepseek公開的論文來(lái)看，仍然使用H800來(lái)進(jìn)行推理。更強(qiáng)算力且供應(yīng)鏈穩(wěn)定的推理硬件，是大EP必不可少的。

另一方面，當(dāng)請(qǐng)求總量猛增之后，會(huì)帶來(lái)多種多樣的負(fù)載，且極不均衡，相當(dāng)于有的車廂坐的人多，有的車廂坐的人少，負(fù)載不均一樣會(huì)導(dǎo)致體驗(yàn)不佳。

此外，大EP場(chǎng)景的All-to-All通信，導(dǎo)致卡間通信占比時(shí)間高，相當(dāng)于每個(gè)車廂的專家都要通知到，這就會(huì)耽誤進(jìn)出站的效率。NVLink在大EP場(chǎng)景中，實(shí)際有效帶寬利用率就不足。

由此可見，當(dāng)行業(yè)使用Deepseek進(jìn)入深水區(qū)，面對(duì)高并發(fā)推理場(chǎng)景，不能抱有“頭疼醫(yī)頭腳疼醫(yī)腳”的僥幸心理，而需要通盤思考和系統(tǒng)攻堅(jiān)。

今天來(lái)看，各行各業(yè)擁抱Deepseek不是追逐一時(shí)風(fēng)口，而是對(duì)智能化發(fā)展趨勢(shì)的長(zhǎng)期價(jià)值判斷。普惠LLM進(jìn)入千行萬(wàn)業(yè)，已經(jīng)是大勢(shì)所趨。

而大EP無(wú)法順利被行業(yè)用起來(lái)，就意味著接入Deepseek始終存在時(shí)延高、體驗(yàn)差、成本難優(yōu)化的問(wèn)題，那么行業(yè)智能化也就無(wú)法順利達(dá)成。

不過(guò)也不必過(guò)于擔(dān)心，Deepseek、科大訊飛等模廠，與昇騰等算力廠商，以及政企行業(yè)用戶，一直保持著緊密協(xié)作與溝通，自開年Deepseek熱潮以來(lái)，從部署實(shí)踐中沉淀了大量技術(shù)創(chuàng)新。

近期，昇騰推出了大EP解決方案，面向高并發(fā)推理場(chǎng)景，一站式升級(jí)為智能化“高鐵”。

具體來(lái)說(shuō)，昇騰大EP解決方案借助五大關(guān)鍵技術(shù)，與昇騰算力深度協(xié)同優(yōu)化，成功突破了“專家負(fù)載均衡+通信優(yōu)化”兩大難題。

針對(duì)專家負(fù)載不均的難題：

昇騰大EP解決方案提出了MoE負(fù)載均衡技術(shù)，可以自動(dòng)尋優(yōu)，根據(jù)業(yè)務(wù)情況、集群規(guī)模，找到最優(yōu)的專家，自動(dòng)預(yù)測(cè)哪個(gè)專家更忙，自動(dòng)配比，當(dāng)一個(gè)專家負(fù)載過(guò)多時(shí)自動(dòng)講解，從而實(shí)現(xiàn)了備份節(jié)點(diǎn)和副本專家靈活可擴(kuò)展、高可用和極致均衡，性能得到極大提升。

采用多種創(chuàng)新技術(shù)，做到自適應(yīng)的autoPD分離部署。根據(jù)Prefill和Decode的動(dòng)態(tài)負(fù)載，進(jìn)行P、D實(shí)例的自動(dòng)伸縮，無(wú)需人工介入，從而減少計(jì)算訪存資源競(jìng)爭(zhēng)。結(jié)合多級(jí)緩存內(nèi)存資源池化，對(duì)冷熱溫?cái)?shù)據(jù)進(jìn)行區(qū)分，可以讓系統(tǒng)的有效吞吐提升50%以上。

針對(duì)All-to-All通信優(yōu)化的難題：

昇騰大EP解決方案提出了雙流/多維混合并行，其中Prefill micro-batch雙流并行，可以實(shí)現(xiàn)計(jì)算和通信的相互掩蓋；MoE expert專家雙流并行，實(shí)現(xiàn)兩條數(shù)據(jù)流Stream的并行計(jì)算；Weight權(quán)重預(yù)取雙流并行，可以把訪存和通信并行起來(lái)，降低權(quán)重加載時(shí)間，提升效率。

MLA預(yù)處理階段，昇騰大EP解決方案把大量的小算子，合成為大的融合算子，將計(jì)算耗時(shí)降低70%，讓算力能力充分發(fā)揮出來(lái)。

如果你覺得上述技術(shù)創(chuàng)新多、不好記，那么只需要，借助昇騰大EP解決方案，行業(yè)應(yīng)用Deepseek時(shí)，可以做到：

快。訪問(wèn)Deepseek無(wú)需等待。昇騰大EP可以將單卡并發(fā)提升3倍，Decode階段響應(yīng)速度穩(wěn)定在50ms以內(nèi)，支撐600+并發(fā)請(qǐng)求。

省。業(yè)務(wù)使用Deepseek上量之后，推理集群擴(kuò)展的同時(shí)，性能也保持線性度，擴(kuò)容綜合成本更優(yōu)。

正如高鐵改變了中國(guó)人的出行，昇騰大EP為高并發(fā)推理鋪設(shè)了一條“高速鐵路”，改變了Deepseek上量擴(kuò)容階段的體驗(yàn)，為行業(yè)智能化提速增效。

僅用兩個(gè)多月的時(shí)間，Deepseek就完成了從試用階段到擴(kuò)容階段的進(jìn)階。高并發(fā)推理場(chǎng)景和大EP技術(shù)架構(gòu)，成為應(yīng)用Deepseek的新挑戰(zhàn)。這也提醒我們，行業(yè)智能化是一個(gè)循序漸進(jìn)的過(guò)程，不可能一蹴而就。

自主創(chuàng)新算力與國(guó)產(chǎn)模型如同高鐵的雙軌，成為支撐起智能中國(guó)的“新基建”。昇騰生態(tài)之所以與Deepseek等大模型更加適配，答案逐步清晰明確。

首先，昇騰有硬件，為行業(yè)智能化提供“永不沉降”的算力路基。昇騰硬件的FP16和INT8算力，可達(dá)到H20的2倍以上，且功耗更低，足以支撐各行業(yè)智能化的平穩(wěn)前進(jìn)。

此外，昇騰有軟硬件的協(xié)同優(yōu)化能力。隨著行業(yè)智能化的不斷深入，AI模型對(duì)算力需求不斷擴(kuò)張，但硬件的物理天花板和企業(yè)的投入產(chǎn)出比，都要求計(jì)算性能持續(xù)優(yōu)化。昇騰的AI軟硬件，提供從預(yù)訓(xùn)練到微調(diào)到強(qiáng)化學(xué)習(xí)，到推理集群、一體機(jī)，全流程全覆蓋的方案，可以快速響應(yīng)客戶需求，高效支撐技術(shù)創(chuàng)新。目前，昇騰與DeepSeek最新技術(shù)已經(jīng)實(shí)現(xiàn)了“day0”級(jí)別同步，確保企業(yè)智能化在昇騰軟硬件基座上，始終行駛在技術(shù)最前沿。

更重要的是，昇騰有伙伴。行業(yè)智能化是一個(gè)體系化工程，不是單一硬件或軟件廠商就能獨(dú)自完成的。在自主創(chuàng)新算力生態(tài)中，昇騰一方面兼容主流生態(tài)與PyTorch等國(guó)內(nèi)外框架，同時(shí)與ISV伙伴、各大模廠都保持著緊密共生與合作。這意味著，當(dāng)行業(yè)用戶基于昇騰底座開發(fā)AI應(yīng)用，能得到生態(tài)的全方位助力，減少智能化升級(jí)的阻力，降低綜合成本。

今天，智能化已經(jīng)成為全球經(jīng)濟(jì)發(fā)展的主航道。在自主算力與國(guó)產(chǎn)模型所鑄就的雙軌上，行業(yè)智能化也將走深向遠(yuǎn)，向著智能時(shí)代飛馳。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。