亚洲一区二区三区无吗_中文视频一区_yw.尤物在线精品视频_亚洲一区中文在线

首頁 > 實用技巧 > 干貨教程 > 北大快手攻克復雜視頻生成難題!新框架輕松組合各種細節,將開源

北大快手攻克復雜視頻生成難題!新框架輕松組合各種細節,將開源

發布時間:2024-06-16 17:07:28

如何生成高難度、指令超復雜的視頻呢?

北大與快手AI有解了,他們提出新框架VideoTetris,就像拼俄羅斯方塊一樣,輕松組合各種細節~

在復雜視頻生成任務中,超過了Pika,Gen-2等一眾商用模型。

 

這個框架不僅能夠直接增強現有模型的組合生成,還能夠支持涵蓋多復雜指令、多場景變更等更高難度的長視頻生成。

首次定義組合視頻生成

文生圖領域,RPG、Omost等項目已經實現了復雜的組合式多物體多場景圖片生成。而在文生視頻領域,組合生成自然地擴展到時間和空間維度,這樣的場景還未被廣泛探索。

團隊首次定義了組合視頻生成任務,包括兩個子任務:
1、跟隨復雜組合指令的視頻生成。2、跟隨遞進的組合式多物體指令的長視頻生成。

目前經團隊測試發現,幾乎所有開源模型,包括商用模型在內都未能生成正確的視頻。

比如輸入“左邊一個可愛的棕色狗狗,右邊一只打盹的貓在陽光下小憩”,結果生成的都是融合了兩個物體信息的奇怪視頻。

 

而使用VideoTetris,生成出的視頻是這樣,成功保留了所有的位置信息和細節特征。

 

在長視頻生成中,目前的方法支持的可變指令目前還停留在“春夏秋冬”的轉化,或單物體從走到跑到騎馬的場景變化階段。

團隊輸入一個簡單的多指令:“從一只可愛的棕色松鼠在一堆榛子上過渡到一只可愛的棕色松鼠和一只可愛的白色松鼠在一堆榛子上”。

結果VideoTetris成功搞定,出現順序也與Prompt一致,最后兩只松鼠還在自然地交換食物。

干貨教程更多>>

工信部出手 新能源汽車如何駛向“技術與商業”雙軌共贏? 寶馬首推智能交互、操控和駕駛輔助協同整體性方案 35萬元以上純電市場,一個被高估的“偽命題”? 四部門下文:新能源車企自建的充電設施網絡 原則上應無差別開放 瑞幸咖啡進入美國市場,勁敵不是星巴克 索尼本田電動車還沒開賣,一年先虧掉26個小目標 “殺器來了”!搭激光雷達+華為智駕芯片,它比小米YU7便宜6萬多 從行李自由到行車平穩,瑤光 C-DM 重新定義家庭出行現購車優惠5萬 智界汽車全系OTA升級:智駕領航輔助支持過高速收費站,Pro版支持離車泊入輔助 沒有博士學位,也不是科班出身,他的跨界作業卻贏了圈內高贊 2025享界用戶星享之夜定檔7月8日 造車新勢力自建充電站數量盤點:蔚來超5千座 接近第2名二倍 百萬狂歡賽道見│比亞迪漢家族交付破百萬輛 市占率雙升、主力車型爆發!一汽-大眾憑何領跑? 新款標致308曝光,外觀內飾迎來大調整,純電車型更換大電池包 比亞迪巴西工廠首車下線,拉美新能源產業迎來中國力量 雷總誠不欺我,3.85萬元為期兩天的AMG駕駛學院確實爽 以智能化解生活瑣碎 豹8啟動第四次OTA升級 日產奇駿·榮譽煥新 限時11.98萬元起 價格進一步下探 一汽-大眾大眾品牌“中考成績”出爐,上半年賣出43.6萬輛新車! 智能平臺+新動力,這豪華SUV全新設計很驚艷! 最牛的同比增長224%!這些品牌賣車開掛了? 騰勢N9再發OTA升級 智駕輔助功能更強大 半年考之比亞迪:提前鎖定年銷200萬輛,可以被圍堵但很難被超越 海豹06 GT試駕體驗:天神之眼C有驚喜,好看好開“不像比亞迪” 2026款起亞賽圖斯上市 限時售價7.79萬元起 限時6.98-9.68萬元 2026款啟辰大V正式上市 訂單狂潮下的暗戰!小米YU7遭同行“定金補償”圍獵 安兔兔7月次旗艦手機性能排行榜:iQOO Z10 Turbo登頂 尚界汽車社交賬號上線,上汽華為“深度聯姻”駛入快車道
主站蜘蛛池模板: 双流县| 祁连县| 望都县| 武清区| 武邑县| 密云县| 景德镇市| 霍邱县| 广东省| 灵武市| 邯郸县| 探索| 金阳县| 库尔勒市| 琼结县| 土默特左旗| 和硕县| 青州市| 昌吉市| 章丘市| 海口市| 靖远县| 民勤县| 南召县| 金山区| 庄浪县| 富阳市| 原阳县| 林甸县| 新泰市| 理塘县| 南丰县| 盈江县| 洛宁县| 唐海县| 舞钢市| 土默特右旗| 扎囊县| 吴桥县| 景泰县| 余江县|