為什么軟件定義存儲走到十字路口?

原標題:為什么軟件定義存儲走到十字路口?

2004年,加州大學圣克魯斯分校Sage Weil寫下Ceph項目的第一行代碼。此時的Ceph僅僅是他攻讀博士期間的研究課題,卻對日后大火的軟件定義存儲產生深遠影響。

Ceph統(tǒng)一、分布式的設計理念,實現一套存儲同時提供對象、塊和文件多種存儲服務,不僅滿足不同應用的需求,極為簡化存儲的部署和運維,還讓存儲系統(tǒng)的擴展性和規(guī)模不再受到制約。這些理念讓Ceph開源之后脫穎而出成為明星項目,更極大推動了軟件定義存儲的發(fā)展。

近年來借著云計算的東風,軟件定義存儲市場取得了長足進步,在互聯網、云原生等大量新業(yè)務場景中獲得用戶青睞,更在很多關鍵業(yè)務場景中開始扮演著重要角色。哪怕是在去年多個行業(yè)受到疫情波及的背景下,軟件定義存儲市場依然顯示出強勁的增長速度。根據IDC最新數據顯示,中國軟件定義存儲市場2020年同比大幅增長51.7%,2019年同比增長46.8%,多家移動運營商對于軟件定義存儲的采購大單更是吸引大批眼球。

然而,喧囂繁華的背后卻透著一絲隱憂。軟件定義存儲走紅多年之后,愈發(fā)獲得用戶認可,成為云化基礎設施的重要選擇;卻也迎來了下一個關鍵的十字路口,大部分架構誕生于十余年前,修修補補多年,對于未來的應用趨勢逐漸有點力不從心。

“軟件定義存儲的架構是時候重塑了?!盓xponTech(華瑞指數云科技)CTO 曹羽中直言道。

云數智驅動基礎設施變革

云計算、大數據和人工智能正在深刻改變企業(yè)的基礎設施。

云化基礎設施已成大勢所趨。去年,中國移動、中國電信等運營商5G核心網云化項目中,對于軟件定義存儲采購力度之大堪稱驚人。同樣的情況也發(fā)生在金融等行業(yè),大型商業(yè)銀行紛紛在進行分布式架構改造,加速實現基礎設施的云化。

“在云化環(huán)境之中,不同種類業(yè)務在池化的資源池中拿到相匹配的資源。這種業(yè)務場景天然適合軟件定義存儲的分布式架構、軟件定義、水平擴展、基于統(tǒng)一存儲引擎向上提供多種接口等特性?!辈苡鹬薪榻B道,“這些新型的云化項目基本不太可能再選擇傳統(tǒng)存儲去構建存儲資源池。”

ExponTech CTO 曹羽中

基礎設施資源的池化,對于數據的利用大有好處,推動數據分析和AI等數據類應用落地。過去,企業(yè)的基礎設施往往是以滿足應用和流程為中心;新的趨勢下,一切業(yè)務和應用都是圍繞數據為中心。以如今銀行的數字化營銷為例,一個五一節(jié)假日的促銷活動,往往包含線上和線下多營銷渠道,與之匹配的是多樣化復雜推薦體系和營銷手段,需要針對各種數據進行多個業(yè)務模型的訓練,以實現營銷效果最優(yōu),帶動老用戶消費和挖掘潛客。

“以數據為中心將成為下一代基礎設施的典型特征,未來的企業(yè)應用場景都是由數據驅動的?!辈苡鹬腥缡钦f,“如今很多基于大數據、人工智能技術的業(yè)務場景,從業(yè)務形態(tài)上更加強調動態(tài)、彈性和并發(fā)訪問吞吐?!?/p>

面向未來,基于大數據、人工智能技術且由數據驅動的智慧應用將大量井噴,對于數據存儲的需求將發(fā)生翻天覆地的變化,軟件定義存儲也將迎來了重要的節(jié)點,必須進化以跟上趨勢。

在曹羽中看來,軟件定義存儲的架構開始加速走向變革,“一些開源項目,其架構在過去十年還是以小幅改進為主,缺少根本性變革。如果在架構層不做出改變,未來幾年,軟件定義存儲將面臨著更多棘手的挑戰(zhàn)。”

SDS2.0架構呼之欲出

軟件定義存儲在架構層之所以需要變革,在于如今的存儲基礎設施面臨著遠比過去復雜的環(huán)境。

這種復雜性主要集中在兩個方向:向下如何適配愈發(fā)豐富且復雜的硬件環(huán)境,如何適配跨越混合多云和邊緣的新IT環(huán)境,向上如何更好基于數據視角提供豐富的數據管理能力,形成統(tǒng)一的數據湖,乃至湖倉一體的平臺,讓企業(yè)的數據資源更好的支撐上層各種形態(tài)的,云化的業(yè)務應用,并催生更多的體現數據價值的數據類應用。

例如,在AI應用愈發(fā)豐富的趨勢下,像GPU、傲騰持久級內存等硬件開始得到大量使用,很多用戶都將面臨著硬件環(huán)境復雜、數據存儲層級增加等情況。對此,曹羽中表示:“軟件定義存儲的本質特征之一就是需要去適配復雜的環(huán)境,未來尤甚,包括多存儲層級、數據流動、全生命周期管理等,也包括對諸如NVMe SSD,SCM,RDMA等新興硬件和網絡技術的支持,都需要軟件定義存儲在架構層有技術能力和勇氣去做根本性變革?!?/p>

另一方面,混合多云環(huán)境正在成為很多企業(yè)的選擇,企業(yè)基于混合多云的IT環(huán)境,構建起統(tǒng)一的數據湖成為一個重要的趨勢。基于軟件定義存儲來構建企業(yè)數據湖會帶來許多的好處:可以利用軟件定義存儲面向海量數據的能力,解決數據大規(guī)模存儲和吞吐的問題,實現計算與存儲完全分離,帶來動態(tài)和彈性以及數據打通與共享;另外,可以集成各種數據管理、服務能力,更好的支撐起上層各種應用的需求。

“公有云巨頭都在其大規(guī)模公有云平臺上提供了智能數據湖相關方案,此類方案都有一個共同的特征:以大規(guī)模對象存儲為基座,實現計算與存儲的完全分離,再配合數據集成,數據管理,多樣化的數據分析等相關能力來構建。對于積極推動數字化轉型的企業(yè)客戶,如果基于數據安全和監(jiān)管考慮,不能夠把全部的數據和應用都部署到公有云上去,就需要考慮在自己的數據中心(或者考慮跨越自有數據中心和多家公有云)來構建數據湖。在這種情況下,基于軟件定義存儲來構建企業(yè)數據湖將成為一個很自然的選擇,而軟件定義存儲產品則需要向上為數據湖開放更多接口和能力,讓數據湖的構建,管理和使用更加便捷。”曹羽中補充道。

如果說以Ceph為代表的開源系統(tǒng)或基于Ceph核心的商業(yè)化版本,代表著軟件定義存儲1.0(SDS1.0),那么下一代SDS2.0架構又將走向何方?本質上,SDS2.0肩負的使命已經不僅僅是數據存儲,而是需要面向數字化和智能化時代,面向混合多云的新IT環(huán)境,幫助企業(yè)打造以數據為中心的下一代IT基礎設施。在曹羽中看來,基于未來的趨勢洞察,SDS2.0架構重點會朝著五個方向演進:

其一,支持端到端可組合式的架構,從數據感知,IO感知的角度組合整合分布式云環(huán)境(私有云、多個公有云,邊緣)中的存儲資源,提供不同IO模型,不同性能和可靠性要求以及許多種協(xié)議接口(SCSI, S3, POSIX, NFS, CIFS, CSI, HDFS等) 的自由組合及靈活部署, 可Scale-up,Scale-out任意擴展,一個數據平臺、一份數據支持多樣化業(yè)務負載;

其二,架構需要適應分布式云環(huán)境,一套軟件堆棧覆蓋公有云/私有云/邊緣云多種場景,可以跨越數據中心,多朵公有云及邊緣,實現數據的全透明化管理和調度,業(yè)務感知和業(yè)務視角下的數據流動,數據存儲位置趨于透明,任意位置業(yè)務均可訪問任意位置數據;

其三,架構與云原生環(huán)境適配,全容器化部署和微服務化管理,實現跨混合多云和邊緣的極簡部署,可編排式、敏捷地在云和邊緣任意位置發(fā)放數據存儲/服務,并且可以自適應策略式調度數據流動,完善適配和支持云原生應用;

其四,基于全新一代分布式存儲引擎,實現對于新存儲介質和新興技術的完善支持,包括像適配SSD、SCM、NVMe-oF、RoCE等新介質或新技術,充分發(fā)揮這些新技術的能力,能適應海量數據存儲和分析以及生產核心業(yè)務的要求;

其五,具有更全面的數據視角,而不僅僅是存儲視角,通盤考量南向數據存儲和北向數據服務,可通過組合式疊加服務組件的方式向數據湖,湖倉一體平臺,混合多云數據平臺無縫演進。

“基于過去十多年來我們在分布式存儲,云計算等領域的工程經驗,總結今天軟件定義存儲所存在的普遍問題以及對未來企業(yè)和社會數字化轉型對數據基礎設施的需求的洞察,我們決定結合業(yè)界最新的技術成果,打造新一代SDS2.0分布式存儲引擎?!辈苡鹬型嘎兜馈?/p>

據悉,作為基于新一代分布式架構的數據基礎設施解決方案提供商,ExponTech(華瑞指數云科技)初始目標就是構建由北向湖倉一體的數據平臺和南向跨混合多云的下一代軟件定義存儲平臺組成的混合多云數據平臺,以致力于攻克大多數企業(yè)當前以及未來所面臨的數據挑戰(zhàn)。

未來可期

伴隨著企業(yè)和社會數字化轉型駛入快車道,數據基礎架構從傳統(tǒng)存儲到SDS1.0再到SDS2.0, 這樣的平滑演進讓企業(yè)客戶能夠快速應對“以數據為中心”的挑戰(zhàn),從而更加靈活高效的全局調度和使用業(yè)務數據,并從海量的數據中提取更多重要價值,為企業(yè)的業(yè)務創(chuàng)新和敏捷運營構建未來就緒的統(tǒng)一數據平臺……

不管你承認與否,在趨勢面前,順勢而為才是明智之舉。當軟件定義存儲步入2.0時代,你會如何選擇?答案不言自明。

免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2021-05-10
為什么軟件定義存儲走到十字路口?
對此,曹羽中表示:“軟件定義存儲的本質特征之一就是需要去適配復雜的環(huán)境,未來尤甚,包括多存儲層級、數據流動、全生命周期管理等,也包括對諸如NVMe SSD,SCM,RDMA等新興硬件和網絡技術的支持,

長按掃碼 閱讀全文