ChatGPT 到底有多火?它已成為史上最快傳播的應(yīng)用，發(fā)布兩個(gè)月后就有了 1 億用戶。實(shí)現(xiàn)同樣的用戶量，TikTok 需要近九個(gè)月，而 Instagram 用了兩年多。
未來(lái)幾年，微軟將繼續(xù)增加投資 ChatGPT 背后的公司 OpenAI 100 億美金，而 Google 也于近日投資了另外一個(gè)同類公司 Anthropic 將近 4 億美金，在硅谷科技圈和資本市場(chǎng)成為了 2023 年最令人興奮的科技進(jìn)展。微軟聯(lián)合創(chuàng)始人比爾蓋茨判斷，ChatGPT 的歷史意義重大，不亞于 PC 或互聯(lián)網(wǎng)誕生。
國(guó)內(nèi)在這次 AI 變革的浪潮中同樣反應(yīng)熱烈，其中就有國(guó)內(nèi)通用人工智能初創(chuàng)公司元語(yǔ)智能，推出國(guó)內(nèi)首個(gè)基于大模型的功能型對(duì)話產(chǎn)品 ChatYuan。
可登錄 www.clueai.cn/chat 網(wǎng)頁(yè)版體驗(yàn)
或搜索【元語(yǔ)智能】小程序體驗(yàn)
PromptCLUE 全中文任務(wù)零樣本學(xué)習(xí)模型
在正式介紹元語(yǔ)智能的功能型對(duì)話大模型ChatYuan 之前，我們先了解一下大規(guī)模多任務(wù) Prompt 預(yù)訓(xùn)練中文開源模型——PromptCLUE，它實(shí)現(xiàn)了中文上的三大統(tǒng)一：統(tǒng)一模型框架、統(tǒng)一任務(wù)形式和統(tǒng)一應(yīng)用方式。
PromptCLUE 在千億中文 token 上大規(guī)模預(yù)訓(xùn)練，累計(jì)學(xué)習(xí) 1.5 萬(wàn)億中文 token，在億級(jí)中文任務(wù)數(shù)據(jù)上完成訓(xùn)練，并訓(xùn)練數(shù)百種任務(wù)集。它具有更好的理解、生成和抽取能力，并且支持文本改寫、糾錯(cuò)、知識(shí)圖譜問答等。
PromptCLUE支持幾十個(gè)不同類型的任務(wù)，具有較好的零樣本學(xué)習(xí)能力和少樣本學(xué)習(xí)能力。針對(duì)理解類任務(wù)，如分類、情感分析、抽取等，可以自定義標(biāo)簽體系;針對(duì)生成任務(wù)，可以進(jìn)行采樣自由生成。
技術(shù)亮點(diǎn)
1.首個(gè)全中文任務(wù)支持的零樣本學(xué)習(xí)的開源模型;
2.自動(dòng)化高質(zhì)量數(shù)據(jù)處理算法，產(chǎn)出海量高質(zhì)量無(wú)監(jiān)督和有監(jiān)督數(shù)據(jù)用于訓(xùn)練;
3.基于高質(zhì)量數(shù)據(jù)構(gòu)建更加符合中文習(xí)慣的字典并從零訓(xùn)練中文大模型，模型性能效果更有保證;
4.融合多種訓(xùn)練策略訓(xùn)練大模型，具備在中文上強(qiáng)大的泛化、遷移和生成能力。
ChatYuan 功能對(duì)話開源大模型
就其功能而言，ChatYuan 可以用于問答、結(jié)合上下文做對(duì)話、做各種生成任務(wù)(包括創(chuàng)意性寫作)，也能回答一些像法律、醫(yī)療等領(lǐng)域問題。ChatYuan 線上服務(wù)是基于百億參數(shù)大模型，目前已開源了 7.7 億的參數(shù)模型，顯存 6G 左右，一張民用顯卡即可加載使用。后續(xù)會(huì)陸續(xù)開源更多、更大參數(shù)量的版本。
ChatYuan基于 PromptCLUE 結(jié)合數(shù)億條功能對(duì)話多輪對(duì)話數(shù)據(jù)進(jìn)一步訓(xùn)練得到，它去掉了文本理解、信息抽取類任務(wù)，加強(qiáng)了問答、對(duì)話和各種生成式任務(wù)的學(xué)習(xí)和訓(xùn)練;針對(duì)多輪對(duì)話容易受到上下文的干擾，加入了抗干擾數(shù)據(jù)使得模型可以在必要時(shí)忽略無(wú)關(guān)的上下文;加入了用戶反饋數(shù)據(jù)的學(xué)習(xí)，對(duì)齊人類意圖，使得模型不僅具有一定的通用語(yǔ)言理解能力、特定任務(wù)上的生成能力，也能更好地響應(yīng)用戶的意圖。
技術(shù)亮點(diǎn)
1.基于從零訓(xùn)練的全中文任務(wù)支持零樣本學(xué)習(xí)模型 PromptCLUE 進(jìn)一步迭代獲取。
2.在中文領(lǐng)域首創(chuàng)了功能對(duì)話形式支持全中文任務(wù)，支持自由輸入。
3.結(jié)合人類反饋的方法進(jìn)行學(xué)習(xí)，對(duì)齊人類意圖。
文本創(chuàng)作能力
上下文關(guān)聯(lián)能力
元語(yǔ)智能認(rèn)為目前公司發(fā)布的大模型中還有很多可以優(yōu)化的方向，比如在某些場(chǎng)景下效果不穩(wěn)定;在對(duì)齊人類意圖、復(fù)雜推理和代碼生成上還需要持續(xù)優(yōu)化。
在未來(lái)，元語(yǔ)智能將在多個(gè)方向上持續(xù)精進(jìn)，比如模型 size 上將推出千億級(jí)別參數(shù)模型、在對(duì)齊人類意圖層面實(shí)現(xiàn)關(guān)鍵突破，并且提升至少 50% 模型的覆蓋場(chǎng)景，并且今年在國(guó)內(nèi)實(shí)現(xiàn)行業(yè)通用人工智能的落地應(yīng)用。
通用人工智能(AGI)的堅(jiān)定信仰者 — 中國(guó) “Yuan”
元語(yǔ)智能是一家致力于提供通用人工智能技術(shù)(AGI)的初創(chuàng)公司，堅(jiān)定通用人工智能信仰，持續(xù)不斷在全球范圍內(nèi)，為實(shí)現(xiàn)可靠、有效、無(wú)害的通用人工智能貢獻(xiàn)中國(guó)力量，讓人類受益。目前元語(yǔ)智能已經(jīng)提供了支持功能型對(duì)話的開源中文大模型免費(fèi)下載及 API 服務(wù)，以及基于網(wǎng)頁(yè)、小程序的類「ChatGPT」的機(jī)器人交互產(chǎn)品等。
元語(yǔ)智能認(rèn)為，通用人工智能(AGI)是下一代計(jì)算機(jī)基礎(chǔ)設(shè)施，代表了人類未來(lái)主要人機(jī)交互和生活方式，并在不久的將來(lái)會(huì)使大部分行業(yè)廣泛受益。
元語(yǔ)智能核心成員來(lái)自于中文 NLP 開源社區(qū)「CLUE」及阿里達(dá)摩院、百度等互聯(lián)網(wǎng)企業(yè)，在這里不得不介紹下「神秘」的 CLUE 開源社區(qū)。
CLUE 開源社區(qū)
2019 年，隨著預(yù)訓(xùn)練模型成為主流的趨勢(shì)，國(guó)內(nèi)陸續(xù)產(chǎn)生了一些預(yù)訓(xùn)練模型?？墒菄?guó)內(nèi)沒有一個(gè)可以衡量大模型效果的綜合性中文基準(zhǔn)，而國(guó)外已經(jīng)有了 GLUE 這樣的通用預(yù)訓(xùn)練模型基準(zhǔn)。所以CLUE 的發(fā)起人聯(lián)合國(guó)內(nèi)外 30 多個(gè)產(chǎn)業(yè)界青年學(xué)者，一起共建了中文語(yǔ)言理解標(biāo)準(zhǔn)評(píng)價(jià)系統(tǒng)(CLUE)。CLUE 的定位是要更好的服務(wù)中文語(yǔ)言理解任務(wù)，作為通用語(yǔ)言模型測(cè)評(píng)的補(bǔ)充，通過搜集整理發(fā)布中文任務(wù)及標(biāo)準(zhǔn)化測(cè)評(píng)等方式完善基礎(chǔ)設(shè)施，最終促進(jìn)中文 NLP 和認(rèn)知領(lǐng)域的進(jìn)步和突破。
CLUE 是一組評(píng)估機(jī)器能夠像人類一樣理解和響應(yīng)中文文本的任務(wù)，上線于 3 年前，也是第一個(gè)大規(guī)模的中文語(yǔ)言評(píng)估基準(zhǔn)。在 CLUE 的官網(wǎng)上，有語(yǔ)料庫(kù)、排行榜、預(yù)訓(xùn)練模型和代表性的數(shù)據(jù)集等資料可供選擇，包括文本相似度、分類、上下文推理、閱讀理解、少樣本學(xué)習(xí)和知識(shí)圖譜等在內(nèi)的 17 項(xiàng)測(cè)評(píng)任務(wù)。自發(fā)布以來(lái)，獲得了人工智能行業(yè)的廣泛認(rèn)可，同時(shí)將成果發(fā)布在頂會(huì)論文。眾多頭部公司包括阿里、華為、百度、字節(jié)跳動(dòng)、美團(tuán)、網(wǎng)易、OPPO、招商銀行等都使用了 CLUE 基準(zhǔn)。
因此脫胎于 CLUE 社區(qū)的元語(yǔ)智能，在多方面具備大模型的先天優(yōu)勢(shì)，積累了包括大量高質(zhì)量數(shù)據(jù)、具備豐富的處理數(shù)據(jù)的算法和經(jīng)驗(yàn)、沉淀了強(qiáng)大的大模型研發(fā)能力，并且非常重要的是，積累了十分活躍的開發(fā)者開源社區(qū)。
CLUE 核心組織成員在 2022 年看到了大模型和生成模型的潛力，以及基于對(duì)通用人工智能(AGI)未來(lái)的堅(jiān)定判斷，進(jìn)行了近一年的技術(shù)孵化，之后創(chuàng)立元語(yǔ)智能。并且在 ChatGPT 發(fā)布半年之前就已經(jīng)在多任務(wù)大模型進(jìn)行深入探索和研發(fā)，積累了大量經(jīng)驗(yàn)。
團(tuán)隊(duì)進(jìn)展
截止目前，元語(yǔ)智能主要在以下方面取得了有效進(jìn)展：
2022 年 10 月 1 日發(fā)布 PromptCLUE1.0 模型 & API — 首個(gè)中文支持的零樣本開源模型。目前全平臺(tái)下載量：4.4W+，API 調(diào)用量：10w+/ 天。
2022 年 11 月發(fā)布 PromptCLUE1.5 模型 & API — 支持更多任務(wù)的零樣本開源模型。
2022 年 12 月 20 日發(fā)布 ChatYuan— 國(guó)內(nèi)首個(gè)基于百億參數(shù)大模型的功能對(duì)話產(chǎn)品，支持小程序和網(wǎng)頁(yè)。
2023 年 1 月 12 日發(fā)布 ChatYuan 大模型 — 首個(gè)功能對(duì)話開源模型供免費(fèi)下載，全平臺(tái)已有數(shù)萬(wàn)下載量。
2023 年 2 月 3 日發(fā)布 ChatYuan API— 可供 API 調(diào)用的功能對(duì)話模型。
國(guó)內(nèi) AGI 困境
其實(shí)包括元語(yǔ)智能在內(nèi)，國(guó)內(nèi)無(wú)論是大型科技公司還是創(chuàng)業(yè)公司，目前都面臨著各式各樣的挑戰(zhàn)，很難有像 OpenAI 的資源和人才密度。國(guó)內(nèi)創(chuàng)業(yè)公司或許在一段時(shí)間內(nèi)可以專心技術(shù)研發(fā)，但很快就會(huì)受到盈利壓力的挑戰(zhàn)，而不斷調(diào)整戰(zhàn)略方向。大型科技公司雖然看起來(lái)資源充足，但是很少能在未有落地成效的情況下，堅(jiān)定信念進(jìn)行長(zhǎng)期持續(xù)投入基礎(chǔ)設(shè)施建設(shè)。
在元語(yǔ)智能看來(lái)，國(guó)內(nèi)目前主要有以下多方面的問題：
人力、算力方面的資源瓶頸。國(guó)內(nèi)行業(yè)內(nèi)相對(duì)來(lái)說更缺乏耐心，在未見到明確收益前持續(xù)投入不足，資本也同時(shí)缺乏耐心。
中文高質(zhì)量的數(shù)據(jù)積累不足，國(guó)內(nèi)開源開放的生態(tài)相對(duì)薄弱。
對(duì) AI 未來(lái)趨勢(shì)的前瞻性判斷不足，缺少具有堅(jiān)定信仰的引領(lǐng)者。
行業(yè)對(duì) AGI 創(chuàng)業(yè)公司信心不足，對(duì)于 AGI 價(jià)值的共識(shí)不夠。
未來(lái)愿景
因此，元語(yǔ)智能作為國(guó)內(nèi)第一個(gè)勇敢前行的初創(chuàng)公司，并堅(jiān)定通用人工智能(AGI)將普惠人類的信仰，給了國(guó)內(nèi)通用人工智能行業(yè)從業(yè)者非常大的信心。
同時(shí)，元語(yǔ)智能強(qiáng)烈呼吁：國(guó)內(nèi)從事人工智能研究的同行、長(zhǎng)期關(guān)注科技行業(yè)的資本以及各行各業(yè)對(duì) AGI 感興趣的朋友，要共同有耐心、有信心的堅(jiān)持下去。他山之石，可以攻玉，但我山之石將會(huì)持之以恒。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
