新聞重點(diǎn)：
·Arm通過把Kleidi技術(shù)集成到PyTorch和ExecuTorch，將關(guān)鍵的AI性能優(yōu)勢(shì)從邊側(cè)拓展至云端，賦能新一代應(yīng)用在Arm CPU上運(yùn)行大語言模型。
·對(duì)普及ML工作負(fù)載的持續(xù)投入將使任一技術(shù)棧的開發(fā)者能夠在最新的生成式AI模型上即刻獲得顯著的推理性能提升。
·通過擴(kuò)大與云服務(wù)提供商以及主要的ML獨(dú)立軟件開發(fā)商合作，進(jìn)一步賦能全球的AI開發(fā)者。
Arm控股有限公司(納斯達(dá)克股票代碼：ARM，以下簡(jiǎn)稱“Arm”)近期宣布通過將Arm® Kleidi技術(shù)集成到PyTorch和ExecuTorch，賦能新一代應(yīng)用在Arm CPU上運(yùn)行大語言模型(LLM)。Kleidi匯集了最新的開發(fā)者賦能技術(shù)和關(guān)鍵資源，旨在推動(dòng)機(jī)器學(xué)習(xí)(ML)技術(shù)棧中的技術(shù)協(xié)作和創(chuàng)新。通過這些重要進(jìn)展，Arm致力于為任一ML技術(shù)棧的開發(fā)者提供更為順暢的體驗(yàn)。
Arm戰(zhàn)略與生態(tài)部開發(fā)者技術(shù)副總裁Alex Spinelli表示：“Arm正與領(lǐng)先的云服務(wù)提供商和框架設(shè)計(jì)者緊密合作，以打造便捷的開發(fā)環(huán)境，讓軟件開發(fā)者能夠輕松地在基于Arm架構(gòu)的硬件上加速人工智能(AI)和ML工作負(fù)載。自該技術(shù)推出的四個(gè)月以來，Kleidi已在Arm CPU上加速開發(fā)并顯著提升主要的AI性能。Arm與PyTorch社區(qū)的緊密合作印證了該技術(shù)可以大大減少開發(fā)者利用高效AI所需的工作量。”
與領(lǐng)先框架集成，實(shí)現(xiàn)顯著云端優(yōu)勢(shì)
在云端，Kleidi以利用Arm Compute Libraries(ACL)增強(qiáng)PyTorch帶來的成果為基礎(chǔ)，為世界各地在Arm平臺(tái)上優(yōu)化AI的開發(fā)者打造藍(lán)圖。通過為開發(fā)者免去不必要的工程工作，以便開發(fā)者能將Arm視為運(yùn)行其關(guān)鍵ML工作負(fù)載的首選平臺(tái)。作為實(shí)現(xiàn)這一愿景的關(guān)鍵一步，Arm直接與PyTorch和TensorFlow進(jìn)行Arm Kleidi Libraries的集成合作，這包括將基本的Arm軟件庫直接集成到上述的領(lǐng)先框架中。
重要的是，這意味著當(dāng)新的框架版本發(fā)布時(shí)，應(yīng)用開發(fā)者能夠自動(dòng)從其大幅的性能提升中受益，而無需額外在Arm平臺(tái)上重新編譯。這項(xiàng)投入已對(duì)合作伙伴關(guān)系產(chǎn)生了積極影響：
·Arm聊天機(jī)器人演示由Meta Llama 3 LLM驅(qū)動(dòng)，并運(yùn)行在亞馬遜云科技(AWS) Graviton處理器上，首次在主線PyTorch中實(shí)現(xiàn)了實(shí)時(shí)聊天響應(yīng)。
o根據(jù)在AWS Graviton4上所測(cè)得的數(shù)據(jù)顯示，通過將Kleidi技術(shù)集成到開源PyTorch代碼庫，詞元(token)首次響應(yīng)時(shí)間可提高2.5倍。
·通過優(yōu)化torch.compile以充分利用通過ACL提供的Kleidi技術(shù)，在基于AWS Graviton3上所測(cè)得的數(shù)據(jù)顯示，各類Hugging Face模型推理工作負(fù)載上的性能可提升1.35至2倍。
這些僅是出色的云端示例之一，卻代表了在Arm平臺(tái)上普及ML工作負(fù)載時(shí)可實(shí)現(xiàn)的性能加速類型。Arm將持續(xù)投入，以確保開發(fā)者的AI應(yīng)用可以在其技術(shù)上從云到邊都能完美運(yùn)行，其中包括實(shí)現(xiàn)新功能的向前兼容，進(jìn)而使得開發(fā)者能夠即刻從中受益。
合作助力開發(fā)者緊跟生成式AI發(fā)展步伐
隨著新的語言模型版本快速地推陳出新，生成式AI掀起了一波AI創(chuàng)新熱潮。Arm持續(xù)與ML技術(shù)棧的各個(gè)關(guān)鍵環(huán)節(jié)緊密合作，攜手AWS和Google等云服務(wù)提供商以及Databricks等迅速壯大的ML獨(dú)立軟件開發(fā)商(ISV)社區(qū)，進(jìn)而幫助開發(fā)者立于技術(shù)前沿。
Google Cloud Compute產(chǎn)品管理高級(jí)總監(jiān)Nirav Mehta表示：“Arm和Google Cloud致力于為開發(fā)者提升AI的可訪問性和敏捷性，而Kleidi代表了通過軟硬件協(xié)同優(yōu)化滿足AI需求所取得的重要進(jìn)展。隨著我們的客戶正積極采用基于Arm架構(gòu)的定制CPU —— Axion，我們期待在整個(gè)ML技術(shù)棧中為客戶帶來更加順暢的集成體驗(yàn)。”
Databricks軟件工程師Lin Yuan表示：“利用Databricks Data Intelligence Platform進(jìn)行AI和ML工作流的企業(yè)，將受益于跨ML軟件棧的Arm Kleidi集成所帶來的性能優(yōu)化。借助由Databricks ML Runtime集群提供支持的Arm架構(gòu)AWS Graviton處理器，企業(yè)可以從各種ML軟件庫的加速中受益，同時(shí)降低云服務(wù)提供商的成本。”
協(xié)助開發(fā)者將Arm提供的資源應(yīng)用到實(shí)際用例中至關(guān)重要，為此Arm創(chuàng)建示例軟件棧和學(xué)習(xí)資源，向開發(fā)者展示如何在Arm CPU上構(gòu)建AI工作負(fù)載，進(jìn)而迅速推動(dòng)了Arm系統(tǒng)的廣泛采用，并加快了開發(fā)者在Arm系統(tǒng)上的部署速度。第一個(gè)案例是通過Kleidi技術(shù)加速聊天機(jī)器人的實(shí)現(xiàn)，今年晚些時(shí)候ML Ops和檢索增強(qiáng)生成(RAG)也將添加至這些用例，并計(jì)劃在2025年實(shí)現(xiàn)更多成果。
持續(xù)提升端側(cè)性能
基于Kleidi在端側(cè)的發(fā)展勢(shì)頭，KleidiAI還將被集成到ExecuTorch(PyTorch新的端側(cè)推理運(yùn)行時(shí))。這項(xiàng)集成預(yù)計(jì)將于2024年10月完成，并有望為目前正在ExecuTorch中進(jìn)行生產(chǎn)測(cè)試或?qū)崿F(xiàn)的端側(cè)應(yīng)用帶來顯著的性能提升。目前已完成的多項(xiàng)KleidiAI集成包括與Google XNNPACK和MediaPipe，以及騰訊的混元大模型，為其實(shí)際工作負(fù)載帶來了顯著提升。
Kleidi將繼續(xù)與PyTorch和ExecuTorch的各版本以及其他主要AI框架進(jìn)行集成。從云數(shù)據(jù)中心到端側(cè)設(shè)備，開發(fā)者現(xiàn)在可以即刻在各類設(shè)備上基于Arm平臺(tái)高效運(yùn)行高性能AI工作負(fù)載。Arm將繼續(xù)積極地面向PyTorch社區(qū)推出增強(qiáng)功能，并專注于針對(duì)各種整數(shù)格式提供量化優(yōu)化，進(jìn)一步提高性能，賦能Arm CPU大規(guī)模無縫運(yùn)行新一代AI體驗(yàn)。
實(shí)現(xiàn)更多成果以賦能開發(fā)者
PyTorch正在推動(dòng)ML開發(fā)領(lǐng)域的開拓創(chuàng)新。近日，Arm加入PyTorch基金會(huì)成為Premier成員，這對(duì)于Arm的AI之旅來說，無疑是一個(gè)重要時(shí)刻。Arm將持續(xù)致力于賦能全球各地的開發(fā)者在Arm平臺(tái)上充分發(fā)揮端到端AI的潛力，進(jìn)而塑造前沿的AI和應(yīng)用功能。
###
附加資源：
關(guān)于Kleidi:
Kleidi(古希臘語中意為“鑰匙”)基于三大關(guān)鍵支柱而構(gòu)建：
·開放的Arm技術(shù)直接集成至關(guān)鍵框架中，開發(fā)者無需任何額外工作，便能使LLM無縫取得Arm CPU性能。Arm將確保新技術(shù)始終向前兼容，以便開發(fā)者可以立即從中受益。
·通過提供使用指南、學(xué)習(xí)資源和技術(shù)演示等各種資源賦能開發(fā)者。
·借助由ML軟件供應(yīng)商、框架和開源項(xiàng)目所構(gòu)成的活力十足的生態(tài)系統(tǒng)，從中取得各類最新的AI功能，讓Arm平臺(tái)成為開發(fā)者構(gòu)建解決方案的首選平臺(tái)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
