極客網(wǎng)·人工智能2月13日 ChatGPT紅遍網(wǎng)絡(luò)，其背后的AI模型訓(xùn)練也廣受關(guān)注。IBM研究部門日前宣布，其開發(fā)的云原生超級(jí)計(jì)算機(jī)Vela可以快速部署并用于訓(xùn)練基礎(chǔ)AI模型。自2022年5月以來，該公司數(shù)十名研究人員一直在使用這款超級(jí)計(jì)算機(jī)訓(xùn)練具有數(shù)百億參數(shù)的AI模型。
基礎(chǔ)模型是基于大量未標(biāo)記數(shù)據(jù)訓(xùn)練的AI模型，它們的通用性意味著只需微調(diào)就可以用于一系列不同的任務(wù)。它們的規(guī)模非常龐大，需要大量且成本高昂的計(jì)算能力。因此正如專家表示，計(jì)算能力將成為開發(fā)下一代大規(guī)?；A(chǔ)模型的最大瓶頸，訓(xùn)練它們需要花費(fèi)大量算力和時(shí)間。
訓(xùn)練可以運(yùn)行數(shù)百億個(gè)或數(shù)千億個(gè)參數(shù)的模型，需要采用高性能的計(jì)算硬件，包括網(wǎng)絡(luò)、并行文件系統(tǒng)和裸機(jī)節(jié)點(diǎn)等。這些硬件很難部署，運(yùn)行成本也很高。微軟于2020年5月為OpenAI建造了AI超級(jí)計(jì)算機(jī)，并托管在Azure云平臺(tái)中。但I(xiàn)BM表示，它們是由硬件驅(qū)動(dòng)的，這增加了成本，并限制了靈活性。
云端AI超級(jí)計(jì)算機(jī)
因此，IBM創(chuàng)建了名為Vela的“專門專注于大規(guī)模AI”的系統(tǒng)。
Vela可以根據(jù)需要部署到IBM的任何一個(gè)云數(shù)據(jù)中心中，它本身就是一個(gè)“虛擬云”。與構(gòu)建物理的超級(jí)計(jì)算機(jī)相比，雖然這種方法在計(jì)算能力方面有所下降，但創(chuàng)造了一個(gè)更靈活的解決方案。云計(jì)算解決方案通過API接口為工程師提供資源，更方便地訪問廣泛的IBM云生態(tài)系統(tǒng)以進(jìn)行更深入的集成，并能夠根據(jù)需要擴(kuò)展性能。
IBM工程師解釋說，Vela能夠訪問IBM云對(duì)象存儲(chǔ)上的數(shù)據(jù)集，而不是構(gòu)建自定義存儲(chǔ)后端。以往這些基礎(chǔ)設(shè)施必須單獨(dú)構(gòu)建到超級(jí)計(jì)算機(jī)中。
任何AI超級(jí)計(jì)算機(jī)的關(guān)鍵組成部分都是大量的GPU以及連接它們的節(jié)點(diǎn)。Vela其實(shí)是將每個(gè)節(jié)點(diǎn)配置為虛擬機(jī)（而不是裸機(jī)），這是最常見的方法，也被廣泛認(rèn)為是AI訓(xùn)練最理想的方法。
Vela是如何構(gòu)建的？
云端虛擬計(jì)算機(jī)的弊病之一是性能不能保證。為了解決性能下降問題，并在虛擬機(jī)內(nèi)部提供裸機(jī)性能，IBM工程師找到了一種釋放全部節(jié)點(diǎn)性能（包括GPU、CPU、網(wǎng)絡(luò)和存儲(chǔ)），并將負(fù)載損耗降低到5%以下的方法。
這涉及到為虛擬化配置裸機(jī)主機(jī)，支持虛擬機(jī)擴(kuò)展、大型頁面和單根IO虛擬化，以及真實(shí)地表示虛擬機(jī)內(nèi)的所有設(shè)備和連接；還包括網(wǎng)卡與CPU和GPU匹配，以及它們彼此之間如何橋接起來。完成這些工作后，他們發(fā)現(xiàn)虛擬機(jī)節(jié)點(diǎn)的性能“接近裸機(jī)”。
此外，他們還致力于設(shè)計(jì)具有大型GPU內(nèi)存和大量本地存儲(chǔ)的AI節(jié)點(diǎn)，用于緩存AI訓(xùn)練數(shù)據(jù)、模型和成品。在使用PyTorch的測(cè)試中，他們發(fā)現(xiàn)通過優(yōu)化工作負(fù)載通信模式，與超級(jí)計(jì)算中使用的類似Infiniband的更快的網(wǎng)絡(luò)相比，他們還能夠彌補(bǔ)以太網(wǎng)網(wǎng)絡(luò)相對(duì)較慢的瓶頸。
配置方面，每個(gè)Vela都采用了8個(gè)80GB A100 GPU、兩個(gè)第二代Intel Xeon可擴(kuò)展處理器、1.5TB內(nèi)存和四個(gè)3.2TB NVMe硬盤驅(qū)動(dòng)器，并能夠以任何規(guī)模部署到IBM在全球的任何一個(gè)云數(shù)據(jù)中心。
IBM的工程師表示：“擁有合適的工具和基礎(chǔ)設(shè)施是提高研發(fā)效率的關(guān)鍵因素。許多團(tuán)隊(duì)選擇遵循為AI構(gòu)建傳統(tǒng)超級(jí)計(jì)算機(jī)的可靠路徑……我們一直在研究一種更好的解決方案，以提供高性能計(jì)算和高端用戶生產(chǎn)力的雙重好處?！?nbsp;
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
