優(yōu)刻得助力微車AI黑科技：老司機(jī)是如何養(yǎng)成的？

Hot-Standby是優(yōu)刻得開(kāi)發(fā)的一種高性價(jià)比的算力支持特性。它歸屬于優(yōu)刻得UAI-Inference在線服務(wù)平臺(tái)，當(dāng)用戶選擇使用算力獨(dú)占模式(GPU節(jié)點(diǎn))時(shí)，為減少獨(dú)占資源在用戶無(wú)訪問(wèn)時(shí)的資源浪費(fèi)，用降配資源支持服務(wù)待機(jī)的一種模式。

首先來(lái)問(wèn)在座的老司機(jī)一個(gè)問(wèn)題：你能快速說(shuō)出下面這張圖中每一個(gè)指示燈、告警標(biāo)志的準(zhǔn)確釋義嗎?

優(yōu)刻得 Hot-Standby

在生活中，我們經(jīng)常會(huì)遇到汽車儀表盤故障標(biāo)志亮起的情況，但很多人對(duì)此卻是茫然無(wú)措。面對(duì)突發(fā)的小狀況，大家通常會(huì)打電話求助身邊的朋友或是咨詢4S店。當(dāng)你急切的想得到答案時(shí)，又往往由于口述表達(dá)的不清晰、或?qū)Ψ讲涣私饩唧w情況，不能及時(shí)解決問(wèn)題。并且目前汽車上各種故障燈、提示燈種類繁多，有時(shí)甚至連各種老司機(jī)、4S店工作人員對(duì)某些故障燈的信息也不是非常明確。

這個(gè)時(shí)候，就需要用到了微車APP的黑科技——AI智能識(shí)別汽車故障。

微車AI黑科技：汽車故障識(shí)別功能

微車是一個(gè)一站式車主服務(wù)平臺(tái)，目前已經(jīng)擁有1.3億車主用戶，深度服務(wù)于中國(guó)億萬(wàn)車主和汽車生態(tài)圈。針對(duì)車主的痛點(diǎn)，微車新推出了AI智能識(shí)別汽車故障服務(wù)，車主只要用手機(jī)一掃，即可了解各種故障燈及解決方式。

圖：微車AI智能識(shí)別汽車故障應(yīng)用界面

基于1.3億注冊(cè)車輛，微車在服務(wù)車主的養(yǎng)車、用車過(guò)程中，積累了大量的數(shù)據(jù)和專家知識(shí)，通過(guò)識(shí)別車輛故障圖像中的每一個(gè)對(duì)象，將其分類、建立標(biāo)簽，依靠深度學(xué)習(xí)能力來(lái)識(shí)別圖中的信息，最終達(dá)到基于不同車輛的故障進(jìn)行智能識(shí)別的目的。故障識(shí)別產(chǎn)品是微車最新的AI產(chǎn)品，也是微車AI智能轉(zhuǎn)型的重要一步。

在此過(guò)程中，微車采用優(yōu)刻得提供的UAI-Inference在線服務(wù)平臺(tái)作為海量數(shù)據(jù)的平臺(tái)支撐，當(dāng)微車業(yè)務(wù)突增時(shí)也可實(shí)現(xiàn)算力的平滑拓展升級(jí)。除此之外，優(yōu)刻得UAI-Inference還幫助微車免去了搭建底層技術(shù)架構(gòu)和運(yùn)維的工作，技術(shù)人員只需專注于AI智能識(shí)別汽車故障業(yè)務(wù)的研發(fā)，大大提高了AI算法的開(kāi)發(fā)效率。

但同時(shí)，微車還提出了其他的業(yè)務(wù)痛點(diǎn)訴求。

微車的痛點(diǎn)：業(yè)務(wù)實(shí)時(shí)性與算力高投入的矛盾

微車開(kāi)發(fā)的汽車故障識(shí)別功能對(duì)于業(yè)務(wù)的實(shí)時(shí)性要求非常高，為了保證用戶每次都能有流暢迅速的使用體驗(yàn)，微車需要充足的GPU算力資源支撐，而業(yè)務(wù)的實(shí)時(shí)性需求則意味著GPU的高成本投入。

同時(shí)，該業(yè)務(wù)還有著非常典型的波峰波谷差異，如下圖，可以看到：在部分時(shí)間段服務(wù)QPS甚至趨于零點(diǎn)，那也就意味著這段時(shí)間內(nèi)GPU算力資源勢(shì)必會(huì)被浪費(fèi)。

圖：微車汽車故障識(shí)別功能監(jiān)控信息

起初為了控制成本，微車考慮過(guò)使用CPU資源進(jìn)行算力支撐，我們列出了優(yōu)刻得的GPU和CPU的價(jià)格及延時(shí)對(duì)比示意圖，供參考。

如上表，可以看到，CPU雖然在價(jià)格上具備更大的優(yōu)勢(shì)，但是在延時(shí)上的差距非常明顯，這是因?yàn)镚PU擁有更多的計(jì)算單元與更大的吞吐量環(huán)境。而微車要做的是對(duì)車輛信息大數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，深度學(xué)習(xí)的特點(diǎn)是需要大量并行的重復(fù)計(jì)算，從這一點(diǎn)來(lái)講，GPU能夠提供更加高效流暢的使用體驗(yàn)。

最終，微車選擇使用GPU算力資源優(yōu)先保障用戶的使用體驗(yàn)，同時(shí)高成本投入的難題也得到了解決。那么，微車是怎么做的呢?

Hot-Standby：微車實(shí)現(xiàn)高算力+低成本的定心丸

微車采用優(yōu)刻得UAI-Inference新增的的Hot-Standby功能，同時(shí)實(shí)現(xiàn)了高可靠GPU算力支持與超高性價(jià)比的雙重保障。

1、什么是Hot-Standby?

Hot-Standby是優(yōu)刻得開(kāi)發(fā)的一種高性價(jià)比的算力支持特性。它歸屬于UAI-Inference在線服務(wù)平臺(tái)，當(dāng)用戶選擇使用算力獨(dú)占模式(GPU節(jié)點(diǎn))時(shí)，為減少獨(dú)占資源在用戶無(wú)訪問(wèn)時(shí)的資源浪費(fèi)，用降配資源支持服務(wù)待機(jī)的一種模式。

開(kāi)啟Hot-Standby功能后，當(dāng)AI在線服務(wù)在30分鐘內(nèi)無(wú)任何請(qǐng)求時(shí)，系統(tǒng)會(huì)自動(dòng)將AI在線服務(wù)遷移至降配資源池，大幅減少費(fèi)用支出，但降配節(jié)點(diǎn)仍然保證為GPU節(jié)點(diǎn)算力。同時(shí)，一旦有用戶請(qǐng)求，就會(huì)立刻恢復(fù)GPU獨(dú)占節(jié)點(diǎn)模式。

2、Hot-Standby究竟能省多少錢?

同樣我們列出了Hot-Standby模式與GPU、CPU模式下的價(jià)格與延時(shí)對(duì)比數(shù)據(jù)。

接下來(lái)我們用一個(gè)簡(jiǎn)單的案例來(lái)算算Hot-Standby究竟能省多少錢?

某用戶新上線APP的AI在線服務(wù)功能還處于新產(chǎn)品推廣期間，用戶訪問(wèn)量不大，每天只有1個(gè)半小時(shí)的高峰集中請(qǐng)求，平時(shí)幾乎無(wú)請(qǐng)求。為了保證應(yīng)用的實(shí)時(shí)性，根據(jù)業(yè)務(wù)量大小，用戶選擇了1個(gè)P40 GPU節(jié)點(diǎn)作為算力支撐。問(wèn)題來(lái)了：使用一個(gè)月后，Hot-Standby功能可以為用戶省下多少錢?

A

* 不使用Hot-Standby：

(5.1/小時(shí)*節(jié)點(diǎn)*1節(jié)點(diǎn))*24小時(shí)/天*30天=3672元

* 使用Hot-Standby：

((0.99元/小時(shí)*1節(jié)點(diǎn))*22.5小時(shí)/天+(5.1元/小時(shí)*1節(jié)點(diǎn))*1.5小時(shí)/天)*30天=897.75元

* 可節(jié)省：

(3672-897.75)/3672=75%

可以看到，Hot-Standby功能開(kāi)啟后，單GPU節(jié)點(diǎn)下可為用戶節(jié)省75%的開(kāi)銷，微車正是應(yīng)用了該功能才解決了高成本投入的難題。

3、Hot-Standby如何在優(yōu)刻得控制臺(tái)上開(kāi)啟?

最后，我們?yōu)榇蠹曳钌螲ot-Standby的功能使用指南。

(1)確認(rèn)服務(wù)類型為算力獨(dú)占模式

UAI-Inference分為兩種模式，在彈性服務(wù)模式下，平臺(tái)本身已經(jīng)精確按量計(jì)費(fèi)，在用戶無(wú)請(qǐng)求時(shí)是不收取任何費(fèi)用的，無(wú)需再設(shè)置Hot-Standby模式。因此首先需要確認(rèn)服務(wù)類型為獨(dú)占模式。

(2)開(kāi)啟Hot-Standby功能

Hot-Standby被定義在自動(dòng)伸縮規(guī)則下，用戶需要進(jìn)入伸縮管理界面打開(kāi)Hot-Standby功能，由自動(dòng)伸縮引擎統(tǒng)一執(zhí)行調(diào)整算力到降配節(jié)點(diǎn)及恢復(fù)算力到獨(dú)占節(jié)點(diǎn)等步驟。

(3)Hot-Standby的觸發(fā)規(guī)則

Hot-Standby主要受QPS影響，當(dāng)QPS降為0且維持30分鐘后，此時(shí)自動(dòng)伸縮引擎會(huì)將當(dāng)前所有節(jié)點(diǎn)逐漸遷移到降配節(jié)點(diǎn)上，Hot-Standby特性被觸發(fā)。同時(shí)針對(duì)實(shí)際業(yè)務(wù)量大小，用戶可通過(guò)設(shè)置最小節(jié)點(diǎn)數(shù)量決定Hot-Standby降配的節(jié)點(diǎn)值。

最后我們來(lái)總結(jié)下， Hot-Standby功能適用于以下場(chǎng)景的用戶：

(1)業(yè)務(wù)本身對(duì)單節(jié)點(diǎn)算力要求高，需要使用獨(dú)占算力服務(wù)(GPU節(jié)點(diǎn));

(2)業(yè)務(wù)存在明顯的閑置期(無(wú)用戶訪問(wèn)時(shí)段)，但又需要隨時(shí)待命實(shí)時(shí)響應(yīng)需求。

目前，Hot-Standby功能已經(jīng)在優(yōu)刻得北京二和上海二地域提供，歡迎前來(lái)試用體驗(yàn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。