原標(biāo)題:強(qiáng)強(qiáng)聯(lián)手 百度智能云機(jī)器學(xué)習(xí)平臺(tái)BML上線NVIDIA RAPIDS加速庫(kù)
近日,百度智能云與英偉達(dá)合作,通過(guò)容器化技術(shù)將RAPIDS庫(kù)封裝到機(jī)器學(xué)習(xí)平臺(tái)BML,并利用Kubernetes進(jìn)一步管理,做到了開(kāi)箱即用,高效靈活。
RAPIDS是NVIDIA數(shù)據(jù)科學(xué)平臺(tái),包括了一系列開(kāi)源軟件庫(kù)和API,能夠完全地在GPU上加速數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和數(shù)據(jù)分析。在機(jī)器學(xué)習(xí)平臺(tái)BML,開(kāi)發(fā)者只要準(zhǔn)備好數(shù)據(jù)和訓(xùn)練代碼,就可以快速啟動(dòng)訓(xùn)練任務(wù)。在保護(hù)用戶數(shù)據(jù)安全的前提下,極大提升了訓(xùn)練的速度與便捷程度,為開(kāi)發(fā)者帶來(lái)福音。
機(jī)器學(xué)習(xí)平臺(tái)BML,一站式開(kāi)發(fā)與部署
百度智能云機(jī)器學(xué)習(xí)平臺(tái)BML是一款端到端的AI開(kāi)發(fā)和部署平臺(tái)?;跈C(jī)器學(xué)習(xí)平臺(tái)BML,用戶可以一站式完成數(shù)據(jù)處理、模型訓(xùn)練與評(píng)估、服務(wù)部署等工作。平臺(tái)提供高性能的集群訓(xùn)練環(huán)境,海量算法框架與模型案例,以及操作便捷的預(yù)測(cè)服務(wù)工具。用戶可以專注于模型與算法本身,并得到優(yōu)質(zhì)的模型與預(yù)測(cè)效果。
機(jī)器學(xué)習(xí)平臺(tái)BML包含工作區(qū)、訓(xùn)練和預(yù)測(cè)三大模塊。
工作區(qū)為用戶提供了基于Jupyter Lab的運(yùn)行環(huán)境,方便用戶輕松構(gòu)建深度學(xué)習(xí)模型并為訓(xùn)練任務(wù)做好準(zhǔn)備;訓(xùn)練模塊提供了豐富的機(jī)器學(xué)習(xí)框架以及自動(dòng)調(diào)參工具,其中深度學(xué)習(xí)框架包括PaddlePaddle、TensorFlow和PyTorch,傳統(tǒng)機(jī)器學(xué)習(xí)包括RAPIDS cuML以及百度自研的機(jī)器學(xué)習(xí)算法;預(yù)測(cè)模塊可按照部署模型應(yīng)用的需求,合理的配置調(diào)度預(yù)測(cè)服務(wù)資源,搭建部署高可用的在線預(yù)測(cè)集群服務(wù)。支持部署多種深度學(xué)習(xí)框架、機(jī)器學(xué)習(xí)框架訓(xùn)練生成的模型種類,支持實(shí)現(xiàn)在線流量分流和A/B Test。
RAPIDS加速庫(kù),更多熱門功能并提供 GPU 加速
RAPIDS是針對(duì)數(shù)據(jù)科學(xué)的NVIDIA GPU加速庫(kù)的集合,包括深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和數(shù)據(jù)分析?;贑UDA-X AI,RAPIDS包括用于加速深度學(xué)習(xí)原語(yǔ)的cuDNN、用于加速機(jī)器學(xué)習(xí)算法的cuML、用于加速數(shù)據(jù)處理的cuDF、用于優(yōu)化推理的訓(xùn)練模型的TensorRT?以及超過(guò)15個(gè)其他的庫(kù)。它們一起與NVIDIA Tensor Core GPU無(wú)縫協(xié)作,加速開(kāi)發(fā)和部署基于AI的應(yīng)用程序的端到端的工作流。CUDA-X AI可以集成到深度學(xué)習(xí)框架中,包括TensorFlow、PyTorch和MXNet。
RAPIDS通過(guò)cuDF加速庫(kù),能夠讓GPU加速計(jì)算應(yīng)用到更多機(jī)器學(xué)習(xí)的算法與場(chǎng)景當(dāng)中,為數(shù)據(jù)科學(xué)家提供標(biāo)準(zhǔn)化的流水線式工具。例如,數(shù)據(jù)處理方面,RAPIDS將會(huì)通過(guò)數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)合并、數(shù)據(jù)降維三個(gè)步驟加速處理數(shù)據(jù)。使得數(shù)據(jù)科學(xué)家可以加快迭代和測(cè)試速度,提供更準(zhǔn)確的預(yù)測(cè)結(jié)果,從而改善業(yè)務(wù)成果。
RAPIDS還引入了不斷發(fā)展壯大的全新GPU加速M(fèi)L算法(cuML)庫(kù),其中包括XGBoost、Kalman、K-means、KNN、DBScan、PCA、TSVD、OLS 線性回歸、Random forest、Kalman Filtering 等算法。
BML+RAPIDS,開(kāi)箱即用,快速安全
機(jī)器學(xué)習(xí)平臺(tái)BML通過(guò)容器化技術(shù)封裝了RAPIDS庫(kù),并通過(guò)Kubernetes管理這些容器,具有開(kāi)箱即用、啟動(dòng)快速、安全等優(yōu)勢(shì)。目前機(jī)器學(xué)習(xí)平臺(tái)BML在訓(xùn)練模塊集成了RAPIDS庫(kù),并且支持包含NVIDIA V100、P4 GPU在內(nèi)的多種GPU套餐。在訓(xùn)練模塊,用戶只要準(zhǔn)備好數(shù)據(jù)和訓(xùn)練代碼,就可以快速啟動(dòng)基于RAPIDS的訓(xùn)練任務(wù)。
當(dāng)用戶啟動(dòng)訓(xùn)練任務(wù)之后,機(jī)器學(xué)習(xí)平臺(tái)BML會(huì)自動(dòng)下載用戶數(shù)據(jù)并啟動(dòng)訓(xùn)練腳本;訓(xùn)練結(jié)束之后,平臺(tái)會(huì)自動(dòng)上傳訓(xùn)練過(guò)程中日志和模型輸出,最后銷毀容器,平臺(tái)不會(huì)保留用戶的任何數(shù)據(jù),確保用戶數(shù)據(jù)的安全性。
如何在機(jī)器學(xué)習(xí)平臺(tái)BML平臺(tái)上,使用RAPIDS
在機(jī)器學(xué)習(xí)平臺(tái)BML的訓(xùn)練模塊中,選擇機(jī)器學(xué)習(xí),然后新建作業(yè)。如圖4-1所示,在新建作業(yè)頁(yè)面的算法或框架中,選擇RAPIDS-cuML。由于機(jī)器學(xué)習(xí)平臺(tái)BML提供了默認(rèn)配置,用戶只要點(diǎn)擊確定就可以快速啟動(dòng)一個(gè)RAPIDS-cuML訓(xùn)練任務(wù)。
圖4-1 新建RAPIDS-cuML作業(yè)
對(duì)于用戶代碼,機(jī)器學(xué)習(xí)平臺(tái)BML提供了2種錄入方式:選取代碼文件和直接編輯代碼。在選取代碼文件中,用戶先上傳訓(xùn)練代碼到百度智能云的對(duì)象存儲(chǔ)中,然后在代碼文件路徑中指定路徑即可。在直接編輯代碼中,如圖4-2所示,機(jī)器學(xué)習(xí)平臺(tái)BML提供了多種RAPIDS-cuML代碼模版,用戶可以直接使用這些代碼模版。
圖4-2 直接編輯代碼的代碼模版
對(duì)于用戶數(shù)據(jù),分為輸入數(shù)據(jù)和輸出數(shù)據(jù)。輸入數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。如果用戶想使用自己的數(shù)據(jù)進(jìn)行訓(xùn)練,可以先將數(shù)據(jù)上傳到百度智能云對(duì)象存儲(chǔ)中,然后在機(jī)器學(xué)習(xí)平臺(tái)BML中指定對(duì)應(yīng)的路徑。輸出數(shù)據(jù)包含訓(xùn)練過(guò)程中的日志和用戶保存在當(dāng)前輸出目錄下的內(nèi)容,由于要保存輸出數(shù)據(jù),因此輸出數(shù)據(jù)路徑是必選參數(shù)。目前輸出數(shù)據(jù)路徑支持百度智能云上的對(duì)象存儲(chǔ),只要用戶設(shè)置一個(gè)對(duì)象存儲(chǔ)路徑即可。
集群配置中,用戶可以選擇機(jī)器學(xué)習(xí)平臺(tái)BML集群、資源套餐等配置。目前機(jī)器學(xué)習(xí)平臺(tái)BML支持RAPIDS-cuML單機(jī)訓(xùn)練任務(wù),可以選擇多種GPU套餐。在機(jī)器學(xué)習(xí)平臺(tái)BML的NVIDIA V100 GPU單卡套餐上,使用GPU加速的Kmeans訓(xùn)練任務(wù),可以獲得45倍以上的加速;使用GPU加速的XGBoost訓(xùn)練任務(wù),可以獲得33倍的加速。
注:GPU配置V100 16GB顯存;CPU配置Intel Xeon Gold 6148,12個(gè)邏輯核心。
機(jī)器學(xué)習(xí)作為人工智能的核心,是使機(jī)器具有智能的根本途徑,其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域,一直是百度智能云研發(fā)的重點(diǎn)方向之一。百度智能云自主開(kāi)發(fā)的端到端機(jī)器學(xué)習(xí)平臺(tái)BML,自面向企業(yè)與開(kāi)發(fā)者開(kāi)放之日起,就獲得了廣泛好評(píng),這次與英偉達(dá)的強(qiáng)強(qiáng)聯(lián)手,更進(jìn)一步提升了機(jī)器學(xué)習(xí)平臺(tái)BML的性能。未來(lái),百度智能云將繼續(xù)攜手更多合作伙伴,為各領(lǐng)域提供最先進(jìn)的技術(shù)與最全面的能力,助推產(chǎn)業(yè)智能化升級(jí)。
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋(píng)果,下個(gè)大計(jì)劃瞄準(zhǔn)AI機(jī)器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費(fèi)引熱議
- 消息稱塔塔集團(tuán)將收購(gòu)和碩印度iPhone代工廠60%股份 并接管日常運(yùn)營(yíng)
- 蘋(píng)果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達(dá)新一代Blackwell GPU面臨過(guò)熱挑戰(zhàn),交付延期引發(fā)市場(chǎng)關(guān)注
- 馬斯克能否成為 AI 部部長(zhǎng)?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號(hào)發(fā)布,意外泄露引發(fā)關(guān)注
- 無(wú)人機(jī)“黑科技”亮相航展:全球首臺(tái)低空重力測(cè)量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開(kāi)展人形機(jī)器人合作
- 賽力斯觸及漲停,汽車整車股盤初強(qiáng)勢(shì)拉升
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。