近日,百度CEO李彥宏稱“百度不做Sora”的演講被媒體曝光后,有關(guān)“中國版Sora到底值不值得做”的話題又在微博、小紅書等社交媒體引發(fā)眾多爭論。
李彥宏在內(nèi)部講話中稱,Sora這種視頻生成模型的投入周期太長,10年、20年都可能拿不到業(yè)務(wù)收益,無論多火爆,百度都不去做。
反對的聲音認(rèn)為,這屬于百度自身業(yè)務(wù)的問題。國內(nèi)目前在視頻生成模型上最有希望的公司是快手和字節(jié)跳動(dòng),二者的業(yè)務(wù)離視頻更近,待其視頻生成足夠優(yōu)秀之后會(huì)快速完成拉新,并帶動(dòng)用戶體驗(yàn)提升。
快手和字節(jié)跳動(dòng)是國內(nèi)互聯(lián)網(wǎng)大廠中積極布局視頻生成大模型的公司。Sora發(fā)布后,快手便推出文生視頻大模型“可靈”,其背后的技術(shù)原理和OpenAI的Sora類似,都是把常用于視頻生成人工智能的擴(kuò)散模型與Transformer架構(gòu)相結(jié)合,依托于快手短視頻平臺(tái),擁有大量可用于訓(xùn)練的視頻數(shù)據(jù)。“可靈”發(fā)布幾個(gè)月之后,字節(jié)跳動(dòng)旗下火山引擎發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型,面向企業(yè)市場開啟邀測。
除字節(jié)跳動(dòng)和快手之外,今年發(fā)布視頻生成模型的公司還包括阿里云、Minimax、生數(shù)科技、智譜AI等公司。
國內(nèi)視頻生成模型領(lǐng)域雖然看起來火熱,但確實(shí)面臨著非常嚴(yán)峻的挑戰(zhàn),李彥宏對視頻生成做出的判斷并非無稽之談。
界面新聞從一位負(fù)責(zé)視頻生成模型的技術(shù)人士處了解到,生成式AI技術(shù)正大幅降低視頻生成的門檻,導(dǎo)致視頻數(shù)據(jù)以20倍左右的速度增長,對計(jì)算成本和效率提出了嚴(yán)峻的挑戰(zhàn)。以Sora模型為例,其訓(xùn)練和推理所需的算力需求分別達(dá)到了GPT-4的4.5倍和近400倍。
中國銀河證券研究院的報(bào)告也顯示,Sora對算力需求呈指數(shù)級(jí)增長。其根據(jù)Sora參數(shù)規(guī)模推演出的訓(xùn)練單次算力需求或可達(dá)到2.6×10^24Flops,相當(dāng)于GPT-3175B的8.2倍。目前Sora還在初級(jí)階段,伴隨不斷迭代調(diào)優(yōu),其訓(xùn)練數(shù)據(jù)集規(guī)模將進(jìn)一步增大,未來算力需求也會(huì)大幅增加。
上述技術(shù)人士還表示,在編解碼層和框架層,視頻生成模型也面臨著諸多挑戰(zhàn)。一方面是效率的問題,另一方面是在計(jì)算需求日益增長的情況下,能否靈活處理越來越復(fù)雜的需求。
這些都對視頻生成模型形成巨大考驗(yàn),但其在商業(yè)化上的形勢仍然不夠明朗,一定程度上使訓(xùn)練和推理成本上的挑戰(zhàn)更為嚴(yán)峻。
據(jù)界面新聞了解,目前視頻生成模型的落地大多在影視制作、電商營銷等領(lǐng)域,處于概念多于實(shí)質(zhì)的階段。
快手曾高調(diào)推出由可靈深度參與制作的奇幻微短劇《山海奇鏡之劈波斬浪》,并于近日聯(lián)合李少紅、賈樟柯等9位知名導(dǎo)演,啟動(dòng)了完全依托視頻生成大模型制作電影短片“可靈AI”導(dǎo)演共創(chuàng)計(jì)劃,試圖以此來證明視頻生成大模型在影視制作領(lǐng)域的可用性。
但《山海奇鏡之劈波斬浪》整部影片并不是由AI一氣呵成,而是使用可靈大模型的文生圖和圖生視頻功能生成了很多時(shí)長5秒的分鏡頭,再由后期剪輯團(tuán)隊(duì)剪輯而成。其在成本上整體的降幅不超過四分之一,遠(yuǎn)不如外界預(yù)期的那么大。
從快手近期的一系列動(dòng)作來看,其仍然在為可靈AI的落地尋找更多應(yīng)用場景。比如,快手試圖通過資源和流量扶植的方式,讓品牌方、制作機(jī)構(gòu)、媒體等需求方能夠與AIGC創(chuàng)作者進(jìn)行商務(wù)合作,以支持使用可靈AI的創(chuàng)作者獲得變現(xiàn)機(jī)會(huì)。這在一定程度上反映了AIGC的變現(xiàn)并不像想象中的那么容易。
在這些挑戰(zhàn)之下,視頻生成模型領(lǐng)域的一個(gè)發(fā)展趨勢是降本。雖然很多公司依然在積極投入視頻生成模型,但盡可能降低訓(xùn)練和推理成本,已經(jīng)是很多公司都在探索的方向。
在預(yù)處理過程統(tǒng)一視頻的數(shù)據(jù)格式、提高數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、減少數(shù)據(jù)量以及處理標(biāo)注信息,則是其他一些公司降本的重點(diǎn)。抖音一位視頻架構(gòu)技術(shù)負(fù)責(zé)人表示,超大規(guī)模視頻訓(xùn)練數(shù)據(jù)集導(dǎo)致計(jì)算和處理成本激增、視頻樣本數(shù)據(jù)參差不齊,以及處理鏈路環(huán)節(jié)多、工程復(fù)雜等,都讓視頻生成模型訓(xùn)練和推理成本增加。同時(shí),對GPU、CPU、ARM等多種異構(gòu)算力資源的調(diào)度部署也是挑戰(zhàn)之一。
據(jù)界面新聞了解,豆包視頻生成模型自研了多媒體處理框架BMF來應(yīng)對模型訓(xùn)練的算力成本挑戰(zhàn),該方案可使用大量潮汐資源,為模型訓(xùn)練提供支撐。
除此之外,通過自研芯片在同等視頻壓縮效率下實(shí)現(xiàn)視頻大模型訓(xùn)練和推理成本降低,是部分互聯(lián)網(wǎng)大廠選擇的方向。而一些AIGC公司則在探索將低質(zhì)量視頻與高質(zhì)量圖像相結(jié)合,在保障視頻輸出畫質(zhì)的基礎(chǔ)上降低訓(xùn)練模型成本的方法。當(dāng)成本真的降下來,視頻生成模型的未來之路也會(huì)更加明晰。