摘要：經(jīng)過3個月的“隱蔽模式”研發(fā)，虎博科技很自豪的發(fā)布并開源自研的大模型TigerBot，在經(jīng)典公開NLP語料測試中，表現(xiàn)逼近OpenAI同等大小模型的96%，并在推理式問答等個別領(lǐng)域超越。這只是第一版MVP。
引言：2022年年底，ChatGPT的發(fā)布震撼了整個人工智能領(lǐng)域。這種震撼在虎博公司創(chuàng)始人陳燁心中，也是他在人工智能領(lǐng)域從業(yè)20年以來從未有過的。“此等一生難遇一次的大機遇，是吾輩之幸事!”
認知：與其說認知，陳燁更相信內(nèi)心深處的那種年少時的沖動;他認為，推進人類文明的技術(shù)變革往往源于本能，直覺和偶然性，基于自由的創(chuàng)新精神。這次大模型的突破，將會是顛覆式的長周期的;過早和過于理性的探討產(chǎn)品、應(yīng)用、場景和商業(yè)化或許是沒有必要的。大模型技術(shù)正如一門新興學(xué)科，未來的可能性超過我們每個人的想象，我們正處在洶涌創(chuàng)新的初期。而這種原創(chuàng)的突破，正是令陳燁和團隊最興奮的。
技術(shù)路徑：TigerBot 是一個多語言多任務(wù)的大規(guī)模語言模型(LLM)。根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動評測，TigerBot-7B 達到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%，并且這只是我們的 MVP。我們在 GPT和BLOOM 基礎(chǔ)上，在模型架構(gòu)和算法上做了如下優(yōu)化：
1. 指令完成監(jiān)督微調(diào)的創(chuàng)新算法以獲得更好的可學(xué)習型(learnability);
2. 運用 ensemble 和 probabilistic modeling 的方法實現(xiàn)更可控的事實性(factuality)和創(chuàng)造性(generativeness);
3. 在并行訓(xùn)練上，我們突破了 deep-speed 等主流框架中若干內(nèi)存和通信問題，使得在千卡環(huán)境下數(shù)月無間斷;
4. 對中文語言的更不規(guī)則的分布，從 tokenizer 到訓(xùn)練算法上做了更適合的算法優(yōu)化。
執(zhí)行：虎博團隊在大模型研發(fā)上致敬了硅谷90年代經(jīng)典的“車庫創(chuàng)業(yè)”模式，團隊開始只有5個人，coding & coke, day & night;而創(chuàng)始人本人正是 chief coder & chief scientist。我們擁抱開源，在公開文獻和全世界最優(yōu)秀的開源模型和代碼基礎(chǔ)上，用一個月時間實現(xiàn)了自研的全棧代碼，當時模型表現(xiàn)達到OpenAI可比模型的八成。這給了陳燁和團隊很大的信心，并開始在事實性、創(chuàng)造性和思維鏈這些底層研究上不斷突破，形成了算法，工程，數(shù)據(jù)的高效率迭代節(jié)奏;粗略統(tǒng)計，陳燁帶領(lǐng)團隊在過去3個月時間內(nèi)實驗次數(shù)超過3000次，也就是每天至少三次實驗。據(jù)悉，虎博內(nèi)部已經(jīng)迭代出同等大小表現(xiàn)優(yōu)于OpenAI的模型。
開源：我們擁抱開源，因為相信科學(xué)創(chuàng)新無國界無階層。雖然這次發(fā)布產(chǎn)品依然只是我們的MVP，我們很自豪將我們階段性成果開源給大模型社區(qū)：
1. 模型：TigerBot-7B-sft, TigerBot-7B-base (表現(xiàn)優(yōu)于同等可比的OpenAI和BLOOM)，TigerBot-180B-research (或是迄今最大的Chat LLM);
2. 代碼：基本訓(xùn)練和推理代碼，包括雙卡推理 180B 模型的量化和推理代碼;
3. 數(shù)據(jù)：預(yù)訓(xùn)練 100G(或是業(yè)內(nèi)最大質(zhì)量最優(yōu)之一的開源預(yù)訓(xùn)練數(shù)據(jù))， 監(jiān)督微調(diào) 1G 或 100 萬條數(shù)據(jù)。
想要使用Tigerbot開源模型的開發(fā)者可以登錄https://github.com/TigerResearch/TigerBot
生態(tài)：陳燁認為大模型是人工智能時代的基礎(chǔ)設(shè)施，而生態(tài)的發(fā)展能反哺大模型的能力。因此，虎博也發(fā)布開源大模型應(yīng)用開發(fā)的全套API ：
1. (chat, plugin, finetune) API’s, 讓用戶能在半小時內(nèi)無代碼的訓(xùn)練和使用專屬于自己的大模型和數(shù)據(jù);
2. 領(lǐng)域數(shù)據(jù)：涵蓋金融，法律，百科，廣邀大模型應(yīng)用開發(fā)者，一起打造中國的世界級的應(yīng)用。
產(chǎn)品體驗地址：https://www.tigerbot.com/chat ，登錄即可申請邀請碼 ，感受逼近OpenAI表現(xiàn)的國產(chǎn)大模型。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
