AI+時代，Zilliz Mega強(qiáng)勢突破數(shù)據(jù)處理邊界

2019年5月8日-10日，第十屆中國數(shù)據(jù)庫技術(shù)大會(DTCC2019)在京隆重召開,Zilliz受邀參加并榮獲“年度創(chuàng)新企業(yè)獎”，并發(fā)布了業(yè)界首個GPU加速AI數(shù)據(jù)中臺產(chǎn)品——Mega。創(chuàng)始人兼CEO星爵表示，Zilliz的AI數(shù)據(jù)中臺Mega使用GPU處理器將數(shù)據(jù)ETL、數(shù)據(jù)倉庫、模型訓(xùn)練、推理和部署等多個流程進(jìn)行融合和加速，打破了人工智能和數(shù)據(jù)處理之間的分界和壁壘，提供GPU加速的一站式AI數(shù)據(jù)科學(xué)解決方案。Zilliz團(tuán)隊(duì)堅(jiān)持獨(dú)立自主研發(fā)，在經(jīng)歷了1096個日夜的研發(fā)攻堅(jiān)后，終于推出了Mega數(shù)據(jù)中臺產(chǎn)品。正是因?yàn)閆illiz人前瞻的產(chǎn)品格局及創(chuàng)新的技術(shù)追求，從眾多數(shù)據(jù)庫廠商中脫穎而出，在“2019中國數(shù)據(jù)庫技術(shù)年度評選”過程中受到了評委會的一致高度認(rèn)可，被評為“年度創(chuàng)新企業(yè)”。

DTCC 2019的主題是“數(shù)據(jù)風(fēng)云，十年變遷”，中國數(shù)據(jù)庫十年間，技術(shù)領(lǐng)域百舸爭流，不乏引路者、追隨者與開拓者。Zilliz自2016年成立以來，始終堅(jiān)信隨著AI在全球各行業(yè)落地的進(jìn)一步深化和應(yīng)用數(shù)據(jù)量的飛速增長，數(shù)據(jù)ETL、數(shù)據(jù)倉庫和海量特征向量檢索等數(shù)據(jù)處理流程勢必將無限簡化易用，所以潛心堅(jiān)守獨(dú)立自主研發(fā)，從獨(dú)創(chuàng)國內(nèi)新一代異構(gòu)眾核加速數(shù)據(jù)庫系統(tǒng)Mega到打通人工智能端到端數(shù)據(jù)中臺系統(tǒng)（Mega），可謂“挑燈三年磨一劍，只為一朝試鋒芒”。

圖：Zilliz創(chuàng)始人兼CEO在DTCC2019大會發(fā)表演講

GPU加速AI數(shù)據(jù)中臺Mega于2019年上半年正式開放商用，下圖是Mega系統(tǒng)架構(gòu)展示。

圖：Mega系統(tǒng)架構(gòu)圖

依托GPU的強(qiáng)算力，Mega實(shí)現(xiàn)了將所有資源，包括計(jì)算資源和存儲資源的統(tǒng)一管理與調(diào)度。目前共包含四大核心產(chǎn)品：

MegaETL：GPU加速ETL。大量的數(shù)據(jù)ETL耗時巨大，占用了AI科學(xué)家和工程師太多時間和精力。而大多數(shù)數(shù)據(jù)提取和轉(zhuǎn)換過程本質(zhì)上卻是可以通過并行處理進(jìn)行加速的。MegaETL依托GPU強(qiáng)大的并行運(yùn)算能力，加速數(shù)據(jù)轉(zhuǎn)換和清洗的過程，能將數(shù)據(jù)ETL處理的時間減少50~60倍。

MegaWise：GPU加速數(shù)據(jù)分析引擎。MegaWise是基于GPU硬件加速的新一代OLAP處理引擎，突破了數(shù)據(jù)分析中計(jì)算能力和存儲帶寬兩大瓶頸，和主流CPU數(shù)據(jù)處理引擎相比，查詢性能提升100倍以上，硬件成本和運(yùn)維成本降低10倍。

MegaLearning：大數(shù)據(jù)資產(chǎn)AI賦能。在過去的十年間，很多企業(yè)都構(gòu)建了大數(shù)據(jù)系統(tǒng)，在其上積累和存儲了大量的數(shù)據(jù)資產(chǎn)。MegaLearning幫助用戶直接在已有的大數(shù)據(jù)系統(tǒng)（如Hive和Impala等）之上進(jìn)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的訓(xùn)練，打通底層數(shù)據(jù)資產(chǎn)、大數(shù)據(jù)系統(tǒng)和AI訓(xùn)練系統(tǒng)之間的隔閡。MegaLearning自動為AI科學(xué)家解決數(shù)據(jù)預(yù)處理、數(shù)據(jù)緩存和調(diào)度等任務(wù)，使得他們能用直接、便易的方式將AI訓(xùn)練和推理任務(wù)構(gòu)建在現(xiàn)有的大數(shù)據(jù)系統(tǒng)之上，讓AI科學(xué)家專注于AI建模、調(diào)優(yōu)和調(diào)參，能幫助他們節(jié)省8成以上的程序開發(fā)工作量。

MegaSearch：GPU加速海量特征向量匹配和檢索引擎。特征向量是深度學(xué)習(xí)對數(shù)據(jù)倉庫和數(shù)據(jù)分析領(lǐng)域提出的全新數(shù)據(jù)類型，是現(xiàn)代圖片分析、視頻分析、NLP和語音分析等的基石。在實(shí)際部署中，海量特征向量匹配和檢索的速度及準(zhǔn)確度往往是決定AI模型落地效果和可用性的關(guān)鍵。MegaSearch依托GPU加速，提供極速特征向量匹配以及多維度數(shù)據(jù)聯(lián)合查詢（特征、標(biāo)簽、圖片、視頻、文本和語音等聯(lián)合查詢）功能，并且支持自動分表分庫和多副本，能完美對接TensorFlow、Pytorch和MXNet等AI模型，可實(shí)現(xiàn)百億特征向量的秒級查詢。

伴隨著AI、IoT、5G的大規(guī)模應(yīng)用，我們將迎來更復(fù)雜多樣的業(yè)務(wù)需求。Zilliz將始終專注打磨出更完備的GPU加速AI數(shù)據(jù)中臺，服務(wù)不斷增長的用戶需求。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。