把Sora拉下神壇，首個(gè)國(guó)產(chǎn)開(kāi)源模型SkyReels-V1為短劇創(chuàng)作者披上“AI戰(zhàn)衣”

短劇作為熱度最高、用戶最廣的內(nèi)容形態(tài)之一，近年來(lái)進(jìn)入爆發(fā)階段。

不僅為影視創(chuàng)作者帶來(lái)豐厚的回報(bào)，也成為科普作者、品牌們競(jìng)爭(zhēng)追逐的形式，以更有創(chuàng)意的手段來(lái)觸達(dá)用戶。而AI技術(shù)，對(duì)于短劇創(chuàng)作模式的改變，以意想不到的速度發(fā)生了。

此前，Sora、Runway等視頻生成模型的誕生，能夠制作出質(zhì)量不算太差的AIGC視頻，提高了短劇的生產(chǎn)效率。但其主要是少數(shù)創(chuàng)作者的工具，廣大普通人很難解鎖。

2月18日，昆侖萬(wàn)維發(fā)布并開(kāi)源SkyReels-V1視頻大模型，并同步開(kāi)源了基于視頻基座模型的表情動(dòng)作可控算法SkyReels-A1。

作為中國(guó)首個(gè)面向AI短劇生成的開(kāi)源模型，SkyReels-V1讓每一個(gè)普通人都能披上“AI戰(zhàn)衣”，化身短劇創(chuàng)作的超級(jí)戰(zhàn)士。

當(dāng)千千萬(wàn)萬(wàn)普通人向短劇市場(chǎng)奔赴而來(lái)，那么AI短劇的新世界，也就被SkyReels-V1打開(kāi)了。

大模型和AIGC的視頻生成能力，賦予了短劇創(chuàng)作無(wú)限的生機(jī)。

理論上講，只要有創(chuàng)意，有靈感，其他如劇本、人物、鏡頭等，都可以通過(guò)生成來(lái)實(shí)現(xiàn)，極大地提升短劇的生產(chǎn)效率。

但現(xiàn)實(shí)中，此前視頻生成模型在短劇領(lǐng)域也存在不少桎梏，導(dǎo)致AI短劇未能爆發(fā)：

1.用不到。Sora閉源模型的技術(shù)壟斷，許多短劇創(chuàng)作者無(wú)法通過(guò)先進(jìn)模型來(lái)進(jìn)行創(chuàng)作，生產(chǎn)效率不高。

2.不好用。受限于模型能力，此前AI短劇的人物，大多都存在“恐怖谷效應(yīng)”，即表情或肢體僵硬不自然，很接近人類(lèi)又不夠逼真，讓觀眾無(wú)法代入。

比如我們希望某視頻生成模型讓林黛玉動(dòng)起來(lái)，但表情從憂愁到笑容的過(guò)渡不夠細(xì)膩，細(xì)微的表情變化沒(méi)有體現(xiàn)出來(lái)，手部活動(dòng)也顯得呆板，整體就不夠自然。

3.用不起。Sora等閉源模型的訂閱費(fèi)昂貴，ChatGPT Pro版高達(dá)200美元/月，而且調(diào)整畫(huà)面需要反復(fù)生成，tokens消耗巨大，成本和經(jīng)濟(jì)負(fù)擔(dān)也很高。

不難看到，AI短劇要爆發(fā)，第一步是國(guó)產(chǎn)化，在視頻生成模型打破Sora等海外模型的壟斷；第二步是擬人化，讓AI演員走出“恐怖谷”，表演更加生動(dòng)自然、惟妙惟肖，才能確保AI短劇有比較好的內(nèi)容質(zhì)量；第三步則是開(kāi)源，讓廣大普通人也能用得到、用得起。

中國(guó)首個(gè)面向AI短劇生成的開(kāi)源模型SkyReels-V1，便完成了一次“走出恐怖谷”的技術(shù)跋涉。

很多觀眾吐槽內(nèi)娛演員的是“人機(jī)式演技”，一個(gè)主要問(wèn)題就是演員的表情讓人出戲，要么缺乏變化，無(wú)論高興、害怕、憤怒，都只會(huì)面無(wú)表情地瞪大雙眼，看起來(lái)十分僵硬呆板，要么五官亂飛，在一些情緒激烈的表演中控制不好表情。

對(duì)于豎屏為主的短劇，人物一般是畫(huà)面的焦點(diǎn)與核心，情緒主要是由微表情和肢體動(dòng)作來(lái)渲染的，因此更考驗(yàn)演技。所以，模型生成的AI演員人物，必須像老戲骨一樣，能夠?qū)δ槻课⒈砬?，進(jìn)行精準(zhǔn)控制。

比如同樣是林黛玉，我們用SkyReels-V1生成的動(dòng)態(tài)視頻，表情更為豐富，過(guò)渡也更加自然，細(xì)節(jié)特征拉滿。

相比傳統(tǒng)視頻生成模型，SkyReels-V1能夠生成影帝級(jí)微表情，極大增強(qiáng)了視頻生成的可控性。進(jìn)一步深挖，會(huì)發(fā)現(xiàn)這得益于昆侖萬(wàn)維自研的表情動(dòng)作可控算法SkyReels-A1，讓AI演員的演技有了極大突破。

演好一個(gè)短劇角色，AI首先得有豐富的表達(dá)能力。SkyReels-A1可以實(shí)現(xiàn)11種人物表情理解，針對(duì)影視戲劇中的表情，如不屑、不耐煩、無(wú)助、厭惡等，能夠結(jié)合劇本情境做出各式各樣的表情。

接下來(lái)，算法還得驅(qū)動(dòng)人物面部，高度還原出類(lèi)似真人的微表情表演。相比runway act-one，SkyReels-A1實(shí)現(xiàn)了更大幅度的人物表情驅(qū)動(dòng)，讓人物表演看起來(lái)更有感染力，完成電影級(jí)的表現(xiàn)。

下面這個(gè)片段中，男主角看到敵人的皺眉、戰(zhàn)斗時(shí)堅(jiān)毅的眼神、最后奔跑時(shí)腎上腺素飆升的緊張感……這些細(xì)節(jié)都精細(xì)地體現(xiàn)了出來(lái)。

此外，好演員的“聲臺(tái)行表”缺一不可，表情、情緒與人物動(dòng)作都要相得益彰。這種動(dòng)態(tài)過(guò)程很容易丟失細(xì)節(jié)、前后不一致，導(dǎo)致觀眾出戲。SkyReels-A1能夠深度還原表情變化、皮膚肌理、身體動(dòng)作跟隨等多維度細(xì)節(jié)，并保持一致性。

下面女孩在手臂大幅度動(dòng)作時(shí)，面部的表情沒(méi)有失真，另一側(cè)身體幾乎沒(méi)有任何運(yùn)動(dòng)，看起來(lái)更像真人。

目前，SkyReels-A1已經(jīng)成為開(kāi)源生態(tài)中最佳的圖生視頻模型，生成效果超越了Runway等模型。

SkyReels-A1的算法突破，助力AI演員的演技實(shí)現(xiàn)突破，告別“人機(jī)式”演戲。

當(dāng)AI走出“恐怖谷”，不但能傳遞喜怒哀樂(lè)等主要情緒，還能更精準(zhǔn)地表達(dá)出困惑、嫉妒、艷羨、焦慮等更深層的情緒，無(wú)疑會(huì)讓AI短劇更具備感染力，內(nèi)容制作和消費(fèi)都更上一層樓。

有了影帝級(jí)演員，是不是一部劇的質(zhì)量就有了保證呢？顯然不是。

要拍出一部高質(zhì)量AI短劇，創(chuàng)作者一個(gè)人要成為一支隊(duì)伍，從劇本創(chuàng)作、鏡頭調(diào)度、劇情銜接、演員站位等，樣樣手到擒來(lái)。聽(tīng)起來(lái)很有挑戰(zhàn)，昆侖萬(wàn)維打造的中國(guó)首個(gè)面向短劇生成的模型SkyReels-V1，就像一件“全能戰(zhàn)衣”，可以賦予創(chuàng)作者強(qiáng)大的內(nèi)容戰(zhàn)力。具體來(lái)說(shuō)：

首先，補(bǔ)齊了能力短板。

普通人缺少的專(zhuān)業(yè)影像能力，就被SkyReels-V1補(bǔ)齊了。基于好萊塢級(jí)的高質(zhì)量影視數(shù)據(jù)訓(xùn)練而成，SkyReels-V1生成的每一幀畫(huà)面，在構(gòu)圖、演員站位、相機(jī)角度等都具備電影級(jí)的質(zhì)感，并帶有14種工業(yè)化標(biāo)準(zhǔn)運(yùn)鏡模板，覆蓋推拉搖移等專(zhuān)業(yè)拍攝技法，哪怕沒(méi)有編導(dǎo)經(jīng)驗(yàn)，普通人也可以借助模型中內(nèi)置的模版，輕松完成空鏡、特寫(xiě)、人物占位等畫(huà)面的生成與銜接，拍出爽感十足的劇情。

其次，拆除了制作門(mén)檻。

SkyReels-V1支持文生視頻、圖生視頻等多種模式，創(chuàng)作者只需要出創(chuàng)意，一些制作難度大的置景、服裝等，可以全由SkyReels-V1一鍵生成。

我們讓SkyReels生成了一個(gè)“絲綢朋克”風(fēng)格的科幻世界，只需提示詞We travel through a cyberpunk world that interweaves retro and future……一鍵AI生成的畫(huà)面中，蒸汽竹械塔樓纏繞著蠶絲光纜，紅燈籠映照著青瓷動(dòng)力爐，還自帶運(yùn)鏡，科幻大片也是叫咱拿捏了。

如果擔(dān)心文字描述得不夠清楚，或者希望AI參考具體圖片來(lái)創(chuàng)作，可以直接把圖片交給SkyReels-V1。

另外值得一提的是，SkyReels-V1有效解決了困擾創(chuàng)作者的成本難題。

此次SkyReels-V1模型的成本優(yōu)勢(shì)進(jìn)一步優(yōu)化，借助自研的推理優(yōu)化框架，SkyReels-V1可以在4090計(jì)算硬件上只用75秒，完成512P分辨率的推理，還支持分布式多卡并行，采取fp8 quantization以及parameter-level offload，可以滿足低顯存用戶級(jí)顯卡運(yùn)行需求，進(jìn)一步降低了對(duì)創(chuàng)作者的硬件要求。

實(shí)測(cè)下來(lái)，生成畫(huà)質(zhì)1080p視頻，常規(guī)配置的個(gè)人筆記本電腦就能輕松搞定。

目前，在同等分辨率下，SkyReels-V1的各項(xiàng)指標(biāo)達(dá)到SOTA級(jí)別，可以支撐AI短劇的工業(yè)級(jí)生產(chǎn)。

總體來(lái)說(shuō)，披上SkyReels-V1的AI戰(zhàn)衣，普通人的內(nèi)容戰(zhàn)力得到全方位加強(qiáng)，能夠打破AI短劇生產(chǎn)效率的桎梏，自由釋放創(chuàng)意，叱咤短劇宇宙。

AI短劇走出表演的“恐怖谷”，打破生產(chǎn)效率的桎梏，SkyReels-V1成為普通UGC用戶擁抱AI短劇的一條直達(dá)路。

更進(jìn)一步，我們發(fā)現(xiàn)在智能晨曦中探索的創(chuàng)作者，既有充沛的機(jī)遇和需求，也面臨大量的挑戰(zhàn)、困難與麻煩。接入昆侖萬(wàn)維的AI開(kāi)源生態(tài)，是距離最短、成本最低的選擇。

可以用三個(gè)詞，總結(jié)昆侖萬(wàn)維的開(kāi)源特點(diǎn)：

1.真開(kāi)源。與“僅放出模型，不開(kāi)源參數(shù)”等偽開(kāi)源不同，昆侖萬(wàn)維對(duì)底層模型、關(guān)鍵算法、工具包等，都進(jìn)行了開(kāi)源，切實(shí)普惠全球用戶和開(kāi)發(fā)者。目前SkyReels-V1模型與SkyReels-A1的技術(shù)paper已經(jīng)在github開(kāi)放。

2.最領(lǐng)先。昆侖萬(wàn)維的開(kāi)源模型生態(tài)，覆蓋多個(gè)模態(tài)、多種模型，除了此次開(kāi)源的面向AI短劇生成的SkyReels-V1模型，早在2022年12月，ChatGPT和LLM大模型尚未爆火，「昆侖天工」AIGC全系列算法與模型，就宣布了開(kāi)源。可以說(shuō)，昆侖萬(wàn)維是目前國(guó)內(nèi)AIGC領(lǐng)域最全面、先進(jìn)的開(kāi)源生態(tài)體系之一，降低了AIGC技術(shù)在各行各業(yè)的使用和學(xué)習(xí)門(mén)檻。

3.可持續(xù)。昆侖萬(wàn)維是國(guó)內(nèi)第一個(gè)全身心投入AIGC開(kāi)源社區(qū)的公司。從2022年底開(kāi)啟開(kāi)源，至2023年10月，昆侖萬(wàn)維宣布開(kāi)源百億級(jí)大語(yǔ)言模型「天工」Skywork-13B系列，并配套開(kāi)源了600GB、150B Tokens的超大高質(zhì)量開(kāi)源中文數(shù)據(jù)集。2024年開(kāi)始，公司陸續(xù)開(kāi)源了數(shù)字智能體全流程研發(fā)工具包AgentStudio、「天工大模型3.0」4000億參數(shù)MoE超級(jí)模型、2千億稀疏大模型Skywork-MoE、Skywork-o1-Open等模型。開(kāi)源策略可預(yù)期，產(chǎn)品迭代有保障，才能成為AI開(kāi)發(fā)者信任的伙伴，也讓昆侖萬(wàn)維的開(kāi)源生態(tài)持續(xù)壯大。

開(kāi)源精神的迷人之處，在于發(fā)揮“眾智”，這與昆侖萬(wàn)維的使命——“實(shí)現(xiàn)通用人工智能，讓每個(gè)人更好地塑造和表達(dá)自我”是高度一致的。昆侖萬(wàn)維董事長(zhǎng)兼CEO方漢曾公開(kāi)表示，堅(jiān)信開(kāi)源是推動(dòng)AIGC生態(tài)發(fā)展的土壤和重要力量。

當(dāng)大量開(kāi)發(fā)者和普通人，都能在昆侖萬(wàn)維的開(kāi)源生態(tài)中，以低門(mén)檻甚至零門(mén)檻來(lái)獲取最新AI技術(shù)，充分釋放靈感與想象力，創(chuàng)新自然噴薄而出，內(nèi)容也將豐富多元。最終體現(xiàn)在基于開(kāi)源的創(chuàng)新產(chǎn)品，在體量規(guī)模與質(zhì)量上，都遠(yuǎn)遠(yuǎn)超越了只能集中少數(shù)精英的閉源模式。同時(shí)，也推動(dòng)了全球的技術(shù)平權(quán)和文化平權(quán)。

所以說(shuō)，SkyReels-V1/SkyReels-V1-A1的開(kāi)源，就像是一個(gè)超級(jí)英雄故事的開(kāi)始，把強(qiáng)大的戰(zhàn)衣交給創(chuàng)作者，普通人也可以創(chuàng)造奇跡。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。