人工智能和數(shù)據(jù)中心：為什么人工智能如此需要資源

到2023年底，對(duì)生成式人工智能將需要多少能源的任何預(yù)測都是不準(zhǔn)確的。例如，頭條新聞傾向于猜測“人工智能需要5倍、10倍、30倍的電力”和“足夠運(yùn)行10萬戶家庭的電力”等。與此同時(shí)，數(shù)據(jù)中心新聞等專業(yè)出版物的報(bào)道稱，每機(jī)架的功率密度將上升到50kW或100kW。

為什么生成式人工智能如此需要資源？正在采取哪些措施來計(jì)算其潛在的能源成本和碳足跡？分析師們已經(jīng)對(duì)特定工作負(fù)載場景進(jìn)行了自己的預(yù)測，但由于處于模型構(gòu)建前沿的云超大規(guī)模廠商幾乎沒有公開的數(shù)據(jù)，因此目前幾乎沒有確鑿的數(shù)據(jù)可供參考。

經(jīng)過分析，人工智能模型從訓(xùn)練到推理的碳成本已經(jīng)產(chǎn)生了一些發(fā)人深省的數(shù)字。根據(jù)《哈佛商業(yè)評(píng)論》的一份報(bào)告，研究人員認(rèn)為，訓(xùn)練“單一大語言深度學(xué)習(xí)模型”，如OpenAI的GPT-4或谷歌的PaLM，估計(jì)會(huì)消耗約300噸二氧化碳。

其他研究人員計(jì)算出，使用一種名為“神經(jīng)架構(gòu)搜索”的技術(shù)，訓(xùn)練一個(gè)中型生成人工智能模型所消耗的電力和能源相當(dāng)于626,000噸二氧化碳排放量。

那么，到底是什么讓人工智能如此耗電呢？

是數(shù)據(jù)集，也就是數(shù)據(jù)量嗎？使用了多少個(gè)參數(shù)？變壓器模型？編碼、解碼和微調(diào)？處理時(shí)間？答案當(dāng)然是上述所有因素的結(jié)合。

人們常說Gen AI大型語言模型(LLM)和自然語言處理(NLP)需要大量的訓(xùn)練數(shù)據(jù)。然而，從傳統(tǒng)數(shù)據(jù)存儲(chǔ)的角度來看，實(shí)際情況并非如此。

ChatGPT-3是在45TB的Commoncrawl（爬蟲網(wǎng)站）明文上進(jìn)行訓(xùn)練的，然后過濾到570GB的文本數(shù)據(jù)。作為對(duì)開源AI數(shù)據(jù)的貢獻(xiàn)，它免費(fèi)托管在AWS上。

但存儲(chǔ)量、從網(wǎng)絡(luò)、維基百科和其他地方抓取的數(shù)十億網(wǎng)頁或數(shù)據(jù)令牌，然后進(jìn)行編碼、解碼和微調(diào)以訓(xùn)練ChatGPT和其他模型，應(yīng)該不會(huì)對(duì)數(shù)據(jù)中心產(chǎn)生重大影響。

同樣，訓(xùn)練文本到語音、文本到圖像或文本到視頻模型所需的TB或PB數(shù)據(jù)，應(yīng)該不會(huì)給數(shù)據(jù)中心的電源和冷卻系統(tǒng)帶來特別的壓力，這些數(shù)據(jù)中心是為托管存儲(chǔ)和處理數(shù)百或數(shù)千pb級(jí)數(shù)據(jù)的IT設(shè)備而構(gòu)建的。

文本到圖像模型的一個(gè)例子是LAION（大規(guī)模人工智能開放網(wǎng)絡(luò)），一個(gè)擁有數(shù)十億圖像的德國人工智能模型。其中一款名為LAION 400m的模型擁有10TB的網(wǎng)絡(luò)數(shù)據(jù)集。另一個(gè)是LAION 5B，它有58.5億個(gè)經(jīng)過剪輯過濾的文本圖像對(duì)。

訓(xùn)練數(shù)據(jù)量保持可控規(guī)模的一個(gè)原因是，大多數(shù)人工智能模型構(gòu)建者使用預(yù)訓(xùn)練模型(ptm)，而不是從頭開始訓(xùn)練的搜索模型。我們所熟悉的兩個(gè)ptm示例是來自變壓器(BERT)的雙向編碼器表示和生成預(yù)訓(xùn)練變壓器(GPT)系列，如ChatGPT。

人工智能參數(shù)和變壓器

數(shù)據(jù)中心運(yùn)營商感興趣的人工智能訓(xùn)練的另一個(gè)衡量標(biāo)準(zhǔn)是參數(shù)。

生成式AI模型在訓(xùn)練期間使用AI參數(shù)。參數(shù)數(shù)量越多，對(duì)預(yù)期結(jié)果的預(yù)測就越準(zhǔn)確。ChatGPT-3是基于1750億個(gè)參數(shù)構(gòu)建的。

但對(duì)于AI來說，參數(shù)的數(shù)量已經(jīng)在快速上升。中國LLM第一個(gè)版本W(wǎng)UDao使用了1.75萬億個(gè)參數(shù)。WUDao作為一個(gè)大型語言模型，還提供文本到圖像和文本到視頻的服務(wù)。預(yù)計(jì)數(shù)字將繼續(xù)增長。

由于沒有可用的硬數(shù)據(jù)，可以合理地推測運(yùn)行具有1.7萬億個(gè)參數(shù)的模型所需的計(jì)算能力將非常大。隨著我們進(jìn)入更多的人工智能視頻生成領(lǐng)域，模型中使用的數(shù)據(jù)量和參數(shù)數(shù)量將會(huì)激增。

Transformer是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在解決序列轉(zhuǎn)導(dǎo)或神經(jīng)機(jī)器翻譯問題。這意味著將輸入序列轉(zhuǎn)換為輸出序列的任何任務(wù)。

Transformer層依賴于循環(huán)，因此當(dāng)輸入數(shù)據(jù)移入一個(gè)Transformer層時(shí)，數(shù)據(jù)將循環(huán)回到其上一層并傳出到下一層。這些層改進(jìn)了接下來發(fā)生的事情的預(yù)測輸出。它有助于提高語音識(shí)別、文本到語音轉(zhuǎn)換等。

多少電量才足夠？

標(biāo)準(zhǔn)普爾全球發(fā)布的一份題為《人工智能的力量:人工智能對(duì)電力需求的瘋狂預(yù)測讓行業(yè)處于緊張狀態(tài)》的報(bào)告引用了幾個(gè)消息來源:“關(guān)于美國的電力需求，很難量化像ChatGPT這樣的東西需要多少需求，就宏觀數(shù)據(jù)而言，到2030年，人工智能將占全球電力需求的3-4%。谷歌表示，目前人工智能占其電力使用量的10-15%，即每年2.3TWh。”

據(jù)估計(jì)，在每次網(wǎng)絡(luò)搜索中使用ChatGPT等生成式人工智能，將需要超過50萬臺(tái)Nvidia A100 HGX服務(wù)器，總計(jì)410萬個(gè)圖形處理單元或GPU。如果每臺(tái)服務(wù)器的電力需求為6.5kW，則日耗電量為80GWh，年耗電量為29.2TWh。

瑞典研究所RI.SE提供了用于訓(xùn)練AI模型的實(shí)際功率的計(jì)算結(jié)果。它說：“訓(xùn)練像GPT-4這樣的超大型語言模型，有1.7萬億個(gè)參數(shù)，使用13萬億個(gè)標(biāo)記(單詞片段)，是一項(xiàng)艱巨的任務(wù)。OpenAI透露，他們花費(fèi)了1億美元，耗時(shí)100天，使用了25,000個(gè)Nvidia A100 GPU。每個(gè)配備這些GPU的服務(wù)器大約使用6.5kW，因此訓(xùn)練期間估計(jì)消耗50GWh的能源?！?/p>

這一點(diǎn)很重要，因?yàn)槿斯ぶ悄苁褂玫哪茉凑杆俪蔀楣娪懻摰脑掝}。目前還沒有公布關(guān)于人工智能行業(yè)總足跡的估計(jì)，人工智能領(lǐng)域的爆炸式增長如此之快，幾乎不可能獲得準(zhǔn)確的數(shù)字。

當(dāng)我們等待機(jī)器學(xué)習(xí)和人工智能過去和現(xiàn)有的電力使用數(shù)據(jù)出現(xiàn)時(shí)，很明顯，一旦模型投入生產(chǎn)和使用，我們將處于exabyte（艾字節(jié)）和exaflops（計(jì)算機(jī)每秒可以至少進(jìn)行10^18或百億億次浮點(diǎn)運(yùn)算。）的計(jì)算規(guī)模。對(duì)于數(shù)據(jù)中心的電源和冷卻來說，這才是真正有趣和更具挑戰(zhàn)性的事情。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。