打破AI壁壘，引領(lǐng)行業(yè)新風(fēng)向——摩爾線程開源兩大AI框架
隨著科技的飛速發(fā)展，人工智能（AI）已成為推動(dòng)各行各業(yè)創(chuàng)新的重要驅(qū)動(dòng)力。摩爾線程，一家致力于構(gòu)建全球領(lǐng)先的圖形計(jì)算處理器的公司，近日宣布正式開源其兩大AI框架——MT-MegatronLM和MT-TransformerEngine。這兩大框架的開源，無疑將打破AI領(lǐng)域的壁壘，引領(lǐng)行業(yè)新風(fēng)向。
MT-MegatronLM，這是一項(xiàng)面向全功能GPU的開源混合并行訓(xùn)練框架。它支持dense模型、多模態(tài)模型及MoE（混合專家）模型的高效訓(xùn)練。這項(xiàng)框架的開源，不僅意味著開發(fā)者們可以更便捷地利用GPU進(jìn)行深度學(xué)習(xí)訓(xùn)練，同時(shí)也為各種模型的研發(fā)提供了強(qiáng)大的支持。
而MT-TransformerEngine，主要用于Transformer模型的訓(xùn)練與推理優(yōu)化。通過算子融合、并行加速策略等技術(shù)，釋放摩爾線程全功能GPU高密度計(jì)算的潛力和memory bound算子效率。這一框架的開源，無疑將推動(dòng)Transformer模型的研究和應(yīng)用。
這兩大框架的技術(shù)突破體現(xiàn)在硬件適配與算法創(chuàng)新的深度協(xié)同。其中，混合并行訓(xùn)練能夠支持dense、多模態(tài)及MoE模型的混合并行訓(xùn)練，可靈活應(yīng)對(duì)不同模型架構(gòu)的復(fù)雜運(yùn)算場(chǎng)景；FP8混合訓(xùn)練策略結(jié)合摩爾線程GPU原生支持的FP8混合精度訓(xùn)練策略，能夠有效提升訓(xùn)練效率；高性能算子庫通過與muDNN與通信庫MCCL的深度集成，系統(tǒng)性優(yōu)化了計(jì)算密集型任務(wù)與多卡協(xié)同的通信開銷；同時(shí)結(jié)合摩爾線程開源Simumax庫，可自動(dòng)進(jìn)行并行策略搜索，并針對(duì)不同模型和加速環(huán)境spec最大化并行訓(xùn)練性能。
在實(shí)際應(yīng)用中，這兩大框架也取得了顯著的效果。例如，在全功能GPU集群上，利用FP8混合精度加速技術(shù)，可以在loss幾乎無損的情況下MFU達(dá)到90%以上，提升了訓(xùn)練效率；摩爾線程已深度集成并開源對(duì)DeepSeek并行算法DualPipe的高效支持，成功實(shí)現(xiàn)DeepSeek訓(xùn)練流程的完整復(fù)現(xiàn)；通過多種Transformer算子融合技術(shù)，顯著提升了內(nèi)存帶寬利用率，進(jìn)一步釋放了國(guó)產(chǎn)GPU的硬件潛力。
摩爾線程官方表示，將持續(xù)優(yōu)化MT-MegatronLM與MT-TransformerEngine框架，并引入一系列新功能。其中包括Dual Pipe/ZeroBubble并行策略，以進(jìn)一步降低氣泡率，提升并行訓(xùn)練效率；多種FP8優(yōu)化策略，以提高訓(xùn)練的性能和穩(wěn)定性；異步checkpoint策略，以提高訓(xùn)練過程中的容錯(cuò)能力和效率；優(yōu)化后的重計(jì)算策略，減少計(jì)算和顯存開銷，提高訓(xùn)練速度；以及獨(dú)創(chuàng)的容錯(cuò)訓(xùn)練算法，增強(qiáng)訓(xùn)練過程中的容錯(cuò)能力。此外，還計(jì)劃進(jìn)一步集成摩爾線程的FlashMLA和DeepGemm庫，以進(jìn)一步釋放摩爾線程GPU的算力和FP8計(jì)算能力，提升計(jì)算性能和效率。
總的來說，摩爾線程開源兩大AI框架，不僅打破了AI領(lǐng)域的壁壘，也展現(xiàn)了其在AI領(lǐng)域的強(qiáng)大實(shí)力和技術(shù)創(chuàng)新。我們期待在未來的發(fā)展中，摩爾線程能夠繼續(xù)發(fā)揮其技術(shù)優(yōu)勢(shì)，引領(lǐng)行業(yè)新風(fēng)向，為全球的開發(fā)者們提供更強(qiáng)大、更便捷的AI工具和服務(wù)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
