LLM如何幫助解決人工智能數(shù)據(jù)中心問題

關于人工智能給數(shù)據(jù)中心電力帶來的問題，已經(jīng)有很多報道。緩解壓力的一種方法是使用“邊緣LLM”，這使得人工智能系統(tǒng)能夠在pc、平板電腦、筆記本電腦和智能手機上本地運行。

邊緣LLM的明顯優(yōu)勢包括降低LLM培訓成本、減少查詢LLM的延遲、增強用戶隱私并提高可靠性。

如果能夠通過降低處理能力需求來減輕數(shù)據(jù)中心的壓力，那么邊緣的llm就有可能消除對千兆瓦級人工智能數(shù)據(jù)中心工廠的需求。但這種方法真的可行嗎？

隨著有關將支撐生成式人工智能的LLM轉移到邊緣的討論越來越多，我們仔細研究了這種轉變是否能夠真正減輕數(shù)據(jù)中心的壓力。

智能手機引領邊緣人工智能

發(fā)展最快的邊緣AI用例是智能手機上的輕量級LLM。華為已開發(fā)了不同大小的LLMPangu5.0，最小版本已與其智能手機操作系統(tǒng)HarmonyOS集成。運行該操作系統(tǒng)的設備包括華為Mate30Pro5G。

與此同時，三星開發(fā)了GaussLLM，用于三星GalaxyAI，該技術在其旗艦智能手機三星S24中運行。其AI功能包括實時翻譯、語音轉文本和總結筆記、圓圈搜索以及照片和消息輔助。

三星電子的LPDDR5XDRAM半導體也進入了量產(chǎn)階段。這些12納米芯片直接在設備上處理內(nèi)存工作負載，使手機的操作系統(tǒng)能夠更快地與存儲設備一起工作，從而更有效地處理人工智能工作負載。

總體而言，智能手機制造商正在努力縮小LLM的大小。他們正試圖將其參數(shù)數(shù)量從ChatGPT-3的1750億個減少到20億個左右。

英特爾和AMD也參與了邊緣AI的開發(fā)。AMD正在開發(fā)能夠快速本地運行300億參數(shù)LLM的筆記本電腦芯片。同樣，英特爾也組建了一個合作伙伴生態(tài)系統(tǒng)，正在努力開發(fā)AIPC。這些支持AI的設備可能比普通型號更貴。但加價可能不會像預期的那么高，而且隨著采用率的提高，加價可能會大幅下降。

邊緣AI的昂貴部分主要在于訓練。在推理模式下使用的訓練模型不需要昂貴的設備來運行。早期的部署可能是針對錯誤和“幻覺”不太重要且聲譽受損風險不太可能太大的場景。

示例包括增強型推薦引擎、人工智能驅動的互聯(lián)網(wǎng)搜索以及創(chuàng)建插圖或設計。在這里，依靠用戶來檢測可疑的響應或表現(xiàn)不佳的圖像和設計。

數(shù)據(jù)中心對LLM的影響

隨著數(shù)據(jù)中心準備大幅增加密度和功率需求以支持人工智能的發(fā)展，邊緣趨勢的LLM對數(shù)字基礎設施意味著什么？

在可預見的未來，在邊緣運行的模型將繼續(xù)在數(shù)據(jù)中心進行訓練。因此，目前來自人工智能的大量流量在短期內(nèi)不太可能減弱。但數(shù)據(jù)中心內(nèi)訓練的模型已經(jīng)在發(fā)生變化。來自OpenAI、谷歌和亞馬遜等企業(yè)的大規(guī)模模型將繼續(xù)存在。但規(guī)模較小、更專注的LLM正在崛起。

到2027年，企業(yè)使用的GenAI模型中將有超過50%專門針對某個行業(yè)或業(yè)務功能，而2023年這一比例約為1%。領域模型可以更小、計算強度更低，并降低與通用模型相關的幻覺風險。

為減少GenAI的大小和處理強度而開展的開發(fā)工作，將延伸到可在各種設備上運行的更高效的邊緣LLM。一旦邊緣LLM獲得發(fā)展勢頭，它們有望減少需要在集中式數(shù)據(jù)中心進行的AI處理量，這完全取決于規(guī)模。

目前，LLM訓練在很大程度上主導了GenAI，因為模型仍在創(chuàng)建或完善中。但想象一下，數(shù)億用戶在智能手機和PC上本地使用LLM，查詢必須通過大型數(shù)據(jù)中心進行處理。從規(guī)模上講，這種流量可能會讓數(shù)據(jù)中心不堪重負。因此，LLM在邊緣的價值可能要等到它們進入主流后才能實現(xiàn)。

LLM：安全與隱私

任何與云端的LLM進行交互的人，都有可能使組織面臨隱私問題和網(wǎng)絡安全漏洞的可能性。

隨著越來越多的查詢和提示在企業(yè)外部進行，人們開始質(zhì)疑誰有權訪問這些數(shù)據(jù)。畢竟，用戶正在向人工智能系統(tǒng)詢問有關他們的健康、財務和業(yè)務的各種問題。

為此，這些用戶經(jīng)常輸入個人身份信息(PII)、敏感醫(yī)療保健數(shù)據(jù)、客戶信息甚至企業(yè)機密。

轉向規(guī)模較小的LLM，這些LLM可以包含在企業(yè)數(shù)據(jù)中心內(nèi)（因此不在云中運行），也可以在本地設備上運行，這是繞過廣泛使用LLM（如ChatGPT）所帶來的許多持續(xù)安全和隱私問題的一種方式。

如果使用人工智能作為個人助理，并且要處理機密信息、你不想公開的敏感信息，那么邊緣的安全和隱私確實非常重要。

邊緣LLM發(fā)展趨勢

邊緣上的LLM不會立即顯現(xiàn)出來——除了少數(shù)特殊用例。但邊緣趨勢似乎勢不可擋。67%的組織基礎設施硬件決策者已經(jīng)采用邊緣智能或正在采用。約三分之一的企業(yè)還將收集和執(zhí)行邊緣環(huán)境的AI分析，以便為員工提供更高、更快的價值洞察。

企業(yè)希望從移動設備、物聯(lián)網(wǎng)和其他設備收集相關輸入，以便在客戶提出要求或需要更大價值時為他們提供相關的用例驅動的洞察。

公用事業(yè)、采礦和交通維護等行業(yè)的現(xiàn)場工程和運營已經(jīng)面向個人設備，并已準備好進行LLM增強。由于此類邊緣LLM應用具有商業(yè)價值，因此預計為具有LLM功能的現(xiàn)場設備或手機支付更多費用將不再是問題。

隨著采用率的提高，硬件價格下降后，邊緣LLM才能被消費者和企業(yè)廣泛使用。例如，AppleVisionPro主要部署在價格合理的商業(yè)解決方案中。

近期的其他用例包括電信和網(wǎng)絡管理、智能建筑和工廠自動化。Goetz表示，邊緣LLM的更高級用例（例如沉浸式零售和自動駕駛汽車）將不得不等待五年或更長時間。

在我們看到個人設備上的LLM蓬勃發(fā)展之前，針對特定行業(yè)和業(yè)務流程的專業(yè)LLM將會出現(xiàn)增長。一旦這些開發(fā)出來，就更容易擴展和采用，因為不需要同時訓練和調(diào)整模型、縮小模型和部署模型。

CIBIS峰會

由千家網(wǎng)主辦的2024年第25屆CIBIS建筑智能化峰會即將開啟，本屆峰會主題為：“匯智提質(zhì)：開啟未來新篇章”。屆時，我們將攜手全球知名智能化品牌及業(yè)內(nèi)專家，共同探討物聯(lián)網(wǎng)、AI、云計算、大數(shù)據(jù)、智慧建筑、智能家居、智慧安防等熱點話題與最新技術應用，分享如何利用更智慧、更高效、更安全、更低碳的智慧技術，共同開啟未來美好智慧生活。

歡迎建筑智能化行業(yè)小伙伴報名參會，共同分享交流！

報名方式

長沙站（10月24日）：https://hdxu.cn/MrRqa

成都站（11月05日）：https://hdxu.cn/7FoIq

西安站（11月07日）：https://hdxu.cn/ToURP

北京站（11月19日）：https://hdxu.cn/aeV0J

上海站（11月21日）：https://hdxu.cn/xCWWb

廣州站（12月05日）：https://hdxu.cn/QaqDj

更多2024年峰會信息，詳見峰會官網(wǎng)：http://summit.qianjia.com

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。