1、概述
阿里云原生數(shù)倉(cāng) AnalyticDB for PostgreSQL 與 AMD 新一代硬件深度優(yōu)化,結(jié)合全自研計(jì)算引擎及行列混合存儲(chǔ)實(shí)現(xiàn)性能升級(jí),綜合性能提升30%。結(jié)合豐富的企業(yè)級(jí)能力幫助企業(yè)構(gòu)建離在線一體、流批一體綜合數(shù)據(jù)分析平臺(tái),采用同一引擎即可滿足離線批處理、流式加工,交互式分析三種場(chǎng)景,在開(kāi)發(fā)運(yùn)維、時(shí)效性及成本上具備更高的性?xún)r(jià)比。
2、性能優(yōu)化路徑
2.1 硬件架構(gòu)優(yōu)化
2.1.1 芯片性能提升
AMD 和阿里云聯(lián)合打造的新一代硬件采用全新 CIPU 架構(gòu),處理器采用 AMD EPYC Genoa 處理器,可提供穩(wěn)定的算力輸出、更強(qiáng)勁的I/O引擎以及芯片級(jí)安全加固。
第四代 EPYC 較第三代 EPYC 性能提升顯著,針對(duì)分析型數(shù)據(jù)庫(kù)產(chǎn)品痛點(diǎn)在高算力、高內(nèi)存帶寬、低延遲等特點(diǎn)進(jìn)行優(yōu)化,可幫助企業(yè)用戶(hù)在數(shù)據(jù)倉(cāng)庫(kù)、在線分析場(chǎng)景中具備更好的性能。
2.1.2 計(jì)算能效提升
在性能功耗比方面,新一代服務(wù)器在相同核心數(shù)量下(對(duì)比搭載兩個(gè)64核AMD EPYC 9534和兩個(gè)64核的AMD EPYC 7763的服務(wù)器)整數(shù)性能提升約24%,浮點(diǎn)性提升約52%?？梢杂酶俚姆?wù)器來(lái)完成同樣的工作,或者用同樣數(shù)量的服務(wù)器在相同的時(shí)間內(nèi)完成更多的工作。
2.1.3 安全性和隔離性提升
第四代 AMD EPYC 支持安全內(nèi)存加密(SME)和安全加密虛擬化(SEV),將內(nèi)存與擁有他的線程相關(guān)聯(lián),從而幫助擊退旁路攻擊;增加了SEV中加密上下文的數(shù)量,可以容納更多的安全虛擬機(jī)。
通過(guò) AMD 安全加密狀態(tài)(SEV-ES)幫助保護(hù)虛擬機(jī)狀態(tài)不受惡意或受損管理程序影響;還增加AMD安全嵌套分頁(yè)(SEV-SNP)功能,以防止數(shù)據(jù)重放、內(nèi)存重映射等攻擊。
2.2 數(shù)據(jù)庫(kù)內(nèi)核優(yōu)化
2.2.1 全自研計(jì)算引擎
AnalyticDB for PostgreSQL 全自研計(jì)算引擎為數(shù)據(jù)處理和交互式分析加速。它通過(guò)以下技術(shù)實(shí)現(xiàn)性能提速:
● 應(yīng)用芯片向量化技術(shù)如 SIMD 指令集等把芯片的并行化計(jì)算能力利用到極致。
● 采用 LLVM JIT 即動(dòng)態(tài)編譯優(yōu)化,加速計(jì)算以提高數(shù)據(jù)處理效率。
● 自適應(yīng)內(nèi)存模型,根據(jù)計(jì)算模式動(dòng)態(tài)選擇行存/列存內(nèi)存模型。
● 針對(duì)典型場(chǎng)景提供加速方案,比如針對(duì) Runtime Filter 加速Join分析,字典特性加速低基數(shù)字段計(jì)算場(chǎng)景等。
2.2.2 全自研行列混存
一份存儲(chǔ)下即可支持實(shí)時(shí)高吞吐寫(xiě)入/更新和實(shí)時(shí)高聚合分析兩種場(chǎng)景。
寫(xiě)入方面利用 Write Optimized Part 高效承接批量/流式數(shù)據(jù)并通過(guò)內(nèi)部 Optimize 優(yōu)化,將數(shù)據(jù)轉(zhuǎn)化為更利于查詢(xún)的 Read Optimized Part,從而實(shí)現(xiàn)高效的查詢(xún)性能。利用 Metadata 實(shí)現(xiàn)高并發(fā) Update/Delete。
支持基于 Btree 索引的強(qiáng)主鍵模型,在寫(xiě)入數(shù)據(jù)時(shí)實(shí)現(xiàn)高效精準(zhǔn)去重。在實(shí)時(shí)寫(xiě)入場(chǎng)景中單 CPU Core 可達(dá)到10萬(wàn)行/秒的寫(xiě)入性能。
支持 Upsert 功能在產(chǎn)生主鍵沖突時(shí)用戶(hù)可根據(jù)實(shí)際業(yè)務(wù)需要靈活地選擇忽略更新、覆蓋更新或是條件更新模式。
在查詢(xún)方面存儲(chǔ)引擎無(wú)縫兼容多種索引類(lèi)型如 Btree , GIN , GIST 和 自研向量檢索索引,可以實(shí)現(xiàn)任意維度的高性能點(diǎn)查,全文檢索和向量檢索。
2.2.3 資源隔離增強(qiáng)
支持混合負(fù)載實(shí)現(xiàn)資源*大化利用,可同時(shí)承載流式寫(xiě)入,數(shù)據(jù)加工,交互式分析三類(lèi)任務(wù)。
引擎通過(guò)資源組實(shí)現(xiàn)資源管理,相對(duì)使用資源隊(duì)列更精細(xì)化、管理資源類(lèi)別更全面。
它支持對(duì)CPU、內(nèi)存按照業(yè)務(wù)優(yōu)先級(jí)設(shè)置資源隔離策略,支持動(dòng)態(tài)配置,配置即生效不需要重啟引擎,大大減輕運(yùn)維壓力。
2.2.4 安全能力增強(qiáng)
完善和增強(qiáng)安全能力:
● 網(wǎng)絡(luò)連接安全,支持 SSL TLS 1.1/1.2/1.3 加密算法,滿足*新的網(wǎng)絡(luò)安全要求。
● 存儲(chǔ)安全,支持云盤(pán)加密實(shí)現(xiàn)數(shù)據(jù)加密存儲(chǔ)。
● 加密算法,支持非對(duì)稱(chēng)加密和對(duì)稱(chēng)加密算法如 SM4。
● 支持行級(jí)和列級(jí)權(quán)限管控,做到*細(xì)權(quán)限粒度控制和*小化敏感數(shù)據(jù)訪問(wèn)。
● 動(dòng)態(tài)數(shù)據(jù)脫敏,引擎級(jí)支持對(duì)敏感字段設(shè)置脫敏規(guī)則,實(shí)現(xiàn)敏感信息過(guò)濾和保護(hù)。
● 支持 SQL 審計(jì)可對(duì) SQL 操作明細(xì)進(jìn)行審核。支持事件審計(jì)可實(shí)現(xiàn)對(duì)異常行為追溯。
3、測(cè)試結(jié)果
性能測(cè)試采用國(guó)際標(biāo)準(zhǔn) TPC-H 測(cè)試集進(jìn)行,實(shí)驗(yàn)組搭載 AMD EPYC Genoa 服務(wù)器 ,對(duì)照組集群搭載同等規(guī)格下的其它主流硬件。
3.1 測(cè)試資源
3.2 測(cè)試過(guò)程
3.3 測(cè)試總結(jié)
采用國(guó)際標(biāo)準(zhǔn) TPC-H 測(cè)試集以及在同等運(yùn)行環(huán)境下,AnalyticDB for PostgreSQL 采用 AMD EPY 服務(wù)器較比常規(guī)主流服務(wù)器平均性能提升 32.7%。
4、優(yōu)勢(shì)及應(yīng)用場(chǎng)景
4.1 離在線一體分析
AnalyticDB for PostgreSQL 在 AMD 硬件加持和全自研計(jì)算引擎及存儲(chǔ)助力下,可同時(shí)提供穩(wěn)定高效的離線批處理和高性能在線報(bào)表分析能力,具備高性?xún)r(jià)比:
● 數(shù)據(jù)加工后即可為下游報(bào)表工具或系統(tǒng)提供在線數(shù)據(jù)分析服務(wù),避免在多引擎中同步數(shù)據(jù)造成數(shù)據(jù)不一致和時(shí)效性低的問(wèn)題。
● 全自研引擎實(shí)現(xiàn)高性能交互式分析,行列混合存儲(chǔ)可實(shí)現(xiàn)高效的IO裁剪,加速多維組合分析。
● 支持實(shí)時(shí)物化視圖實(shí)現(xiàn)高并發(fā)報(bào)表查詢(xún)。
4.2 海外數(shù)倉(cāng)平滑遷移
SQL語(yǔ)法全覆蓋并且支持自定義函數(shù)和存儲(chǔ)過(guò)程。高度兼容 Greenplum/Redshift/Synapse/Snowflake 語(yǔ)法。
可覆蓋海外云數(shù)倉(cāng)產(chǎn)品企業(yè)級(jí)能力,在安全能力、資源隔離、容災(zāi)等方面實(shí)現(xiàn)加強(qiáng)。在實(shí)時(shí)分析、交互式分析能力上較比海外數(shù)倉(cāng)功能及性能更好,更具性?xún)r(jià)比。
4.3 流批一體實(shí)時(shí)數(shù)倉(cāng)
自研業(yè)界*流批一體引擎讓用戶(hù)在數(shù)倉(cāng)內(nèi)即可開(kāi)發(fā)流式任務(wù),支持對(duì)批和流任務(wù)進(jìn)行細(xì)粒度的資源隔離。
● 可消費(fèi) Kafka/Flink/DTS 實(shí)時(shí)數(shù)據(jù)源,支持高吞吐流式數(shù)據(jù)寫(xiě)入。
● 支持增量實(shí)時(shí)物化視圖同步和異步刷新,可實(shí)現(xiàn)實(shí)時(shí)多表關(guān)聯(lián)(支持左連接和右連接)、全量歷史數(shù)據(jù)回溯、流和批表關(guān)聯(lián)。
● 可支持實(shí)時(shí) Ad-hoc 查詢(xún),滿足實(shí)時(shí)報(bào)表分析和下游應(yīng)用系統(tǒng)高時(shí)效性數(shù)據(jù)需求。
5、開(kāi)啟方式
新購(gòu)實(shí)例優(yōu)先開(kāi)啟AMD形態(tài)。在選擇地域時(shí),建議用戶(hù)勾選“北京、上海、杭州、深圳”地域開(kāi)啟實(shí)例。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
