零售行業(yè)正在探索應(yīng)用 AI 升級客戶體驗，同時優(yōu)化內(nèi)部流程。面對多重應(yīng)用場景以及成本優(yōu)化壓力，團隊可采用成本相對可控的方案，來應(yīng)對多重場景的前期項目預(yù)演和落地，避免短期內(nèi)大規(guī)模投入造成的資源浪費。
客戶體驗 AI 場景的研究目前集中在 AI 客服，內(nèi)部流程主要是 AI 營銷、合同生成、合規(guī)審查和供應(yīng)鏈優(yōu)化等。在項目研究和前期預(yù)演階段，采用 NVIDIA RTX? 系列的高性能 GPU，進行本地化部署大模型，已經(jīng)可以經(jīng)濟又高效地應(yīng)對多數(shù)的 AI 場景開發(fā)。
1、AI 客服場景與適配算力
很多零售企業(yè)在轉(zhuǎn)型中開始基于 DeepSeek 搭建客服，客服場景以對話交互為主，輸入與輸出較短，對并發(fā)、首字延遲有一定需求。接下來列舉幾個常用模型場景，以及我們所測試的算力方案數(shù)據(jù)。
· 選擇模型 DeepSeek-R1 32B（FP16），采用4卡 NVIDIA RTX? 5000 Ada（單卡32GB顯存）的方案，可以支持約64個用戶同時進行簡單問答，來保障首字時延控制大約在1秒以內(nèi)；采用 8卡 NVIDIA RTX? 5000 Ada 則可以支持至120多個并發(fā)，首字時延保持在2秒以內(nèi)。
*測試數(shù)據(jù)來源：贊奇科技
*本表所列成本預(yù)估具有動態(tài)調(diào)整特性，如想及時了解最新價格可聯(lián)系文末小助手。
· 選擇模型 DeepSeek-R1 70B（FP16），采用 8卡 NVIDIA RTX? 5880 Ada（單卡48GB顯存） 的平臺方案，能夠應(yīng)對80多個并發(fā)，首字時延控制在3秒以內(nèi)。
*測試數(shù)據(jù)來源：贊奇科技
*本表所列成本預(yù)估具有動態(tài)調(diào)整特性，如想及時了解最新價格可聯(lián)系文末小助手。
· 通義千問 QWQ 32B 模型因其回答問題邏輯性強，逐漸被用戶所認(rèn)可，性能直逼 DeepSeek 滿血版，采用4卡 NVIDIA RTX? 5000 Ada （單卡32GB顯存）時，并發(fā)數(shù)在100以內(nèi)時，平均用戶吞吐率可以達(dá)到 14 tokens/s。
*測試數(shù)據(jù)來源：贊奇科技
*本表所列成本預(yù)估具有動態(tài)調(diào)整特性，如想及時了解最新價格可聯(lián)系文末小助手。
*數(shù)據(jù)測試環(huán)境：
4卡測試環(huán)境：CPU：Intel(R)Xeon(R) w5-3433，內(nèi)存：256GB DDR5，硬盤：1TB。
8卡測試環(huán)境：CPU：英特爾? 至強? Silver 4314，內(nèi)存：256GB DDR4，硬盤：3.84TB。
2、AI 營銷場景與適配算力
依托 DeepSeek 模型逐步開發(fā)企業(yè)自有的智能營銷工作流，可以極大地降本增效。該場景則以知識庫場景為主，需要流暢地對海量文檔、數(shù)據(jù)庫信息進行檢索和輸出內(nèi)容，長輸入長輸出場景居多，對于并發(fā)、時延、吞吐率都有一定要求。
對于小型團隊來說，采用4卡 NVIDIA RTX 5000 Ada 的機型方案，可以應(yīng)對基本的擴散模型訓(xùn)練、文生圖、文生視頻等生成式 AI 設(shè)計需求，也能應(yīng)對 AI 營銷文案制作、數(shù)據(jù)分析處理等應(yīng)用，可預(yù)期達(dá)到的性能效果如下：
· 采用 DeepSeek-R1 32B（FP16）模型，長輸入、長輸出的場景中，能夠支持64個并發(fā)，保證流暢地信息檢索和輸出；
· 采用通義千問 QWQ 32B （FP16）模型，長輸入長輸出的場景里，能夠較好地支持到80個并發(fā)。
*測試數(shù)據(jù)來源：贊奇科技
*本表所列成本預(yù)估具有動態(tài)調(diào)整特性，如想及時了解最新價格可聯(lián)系文末小助手。
對于大型項目或團隊來說，搭載 8卡 NVIDIA RTX 5880 Ada 并行計算，預(yù)期的性能效果如下：
· 采用 DeepSeek-R1 32B（FP16）模型，長輸入、長輸出的場景中，能夠很好地支持80個并發(fā)；
· 采用 DeepSeek-R1 70B（FP16）模型，長輸入、長輸出的場景中，可以較好地支持16個并發(fā)。
*測試數(shù)據(jù)來源：贊奇科技
*測試環(huán)境同上
*本表所列成本預(yù)估具有動態(tài)調(diào)整特性，如想及時了解最新價格可聯(lián)系文末小助手。
生成式 AI 設(shè)計項目中，ComfyUI 工作流可以較好地幫助企業(yè)快速地制作產(chǎn)品營銷圖/視頻，更快地迭代營銷方案。所涉及的模型如 SDXL，F(xiàn)lux 等，在高 batch size 情形下的訓(xùn)練和推理，GPU 顯存建議在24GB以上。我們測試了一些 batch size 模型訓(xùn)練和推理的場景數(shù)據(jù)，供大家在 GPU 選型時做參考：
*以上數(shù)據(jù)使用電商數(shù)據(jù)集進行測試，數(shù)據(jù)來源于贊奇科技
*數(shù)據(jù)測試環(huán)境：
GPU: NVIDIA RTX 5000 Ada (32GB) *1 / NVIDIA RTX 5880 Ada (48GB) *1
CPU: Intel i5-12600KF (3.7GHz) *1，
內(nèi)存：64GB，系統(tǒng)：win 11
在生成式 AI+三維可視化結(jié)合開發(fā)產(chǎn)品配置器、線上導(dǎo)購、數(shù)字人導(dǎo)購員等數(shù)字孿生場景中，NVIDIA RTX GPU 既可以進行 AI 訓(xùn)練推理，又因為其具有 RT core，也可以用于支持圖形可視化場景，這是其獨到的優(yōu)勢。這類數(shù)字孿生的營銷場景，需要由 NVIDIA RTX 5000 Ada 或 NVIDIA RTX 5880 Ada 來做助力，才能運行得起較為復(fù)雜的模型和高并發(fā)的場景。
3、其他 AI 應(yīng)用場景
其他 AI 應(yīng)用場景例如合同生成、合規(guī)審查、供應(yīng)鏈優(yōu)化、用戶行為分析等，需要實時處理大量數(shù)據(jù)，進行復(fù)雜的模型推理與分析，可采取四卡乃至八卡 NVIDIA RTX 5880 Ada 的方案，憑借高顯存與超強的并行計算能力來執(zhí)行較為復(fù)雜的 AI 任務(wù)。例如合同生成，同樣也是大語言模型推理中，主要涉及長輸入、長輸出的場景，數(shù)據(jù)可參考上方 AI 營銷場景的數(shù)據(jù)。
供應(yīng)鏈優(yōu)化、用戶行為分析等場景，需具體依據(jù)用戶的數(shù)據(jù)庫、系統(tǒng)等信息來做判斷，贊奇目前開放免費為用戶咨詢評估，具體可點擊下方鏈接登記。
https://rlzqlo1asm.feishu.cn/share/base/form/shrcnCbOVoltOXPQjFxveqrrIQb
以上數(shù)據(jù)均為測試得出，為用戶高效地選型提供參考。但涉及到用戶的多重場景和特殊需求，建議大家提前做機器測試，以調(diào)整至最優(yōu)方案。下面列出上方提到的兩個型號顯卡的具體參數(shù)。
這兩個型號均為 NVIDIA RTX Ada Lovelace 架構(gòu)的頂配顯卡，AI 能力與圖形性能都遠(yuǎn)遠(yuǎn)超過了上一代安培架構(gòu)“卡皇”——NVIDIA RTX? A6000。
NVIDIA RTX 系列高性能顯卡參數(shù)概覽
*與NVIDIA產(chǎn)品相關(guān)的圖片或視頻（完整或部分）的版權(quán)均歸NVIDIA Corporation所有。
技術(shù)支持
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
