香港大學攜手快手可靈團隊,在AI視頻生成領域取得了突破性進展。雙方聯合發布了一項名為《以記憶為脈絡:基于記憶檢索的場景一致交互式長視頻生成》的研究成果,創新性地提出了“Context-as-Memory”方法,成功攻克了長視頻生成過程中場景連貫性的技術瓶頸。
該研究的核心亮點在于,將視頻生成過程中逐步累積的歷史上下文視作“記憶”,借助先進的context learning技術,視頻生成模型得以深入理解并模仿視頻數據的上下文條件,進而在長視頻的生成過程中實現前后場景的完美銜接。值得注意的是,這一過程中,模型能夠自行學習到視頻數據中的3D空間結構,而無需借助額外的3D建模步驟,這一發現與谷歌的Genie3項目有著異曲同工之妙。
為了應對歷史幀序列不斷增長帶來的計算挑戰,研究團隊巧妙地設計了一種基于相機視野(FOV)的記憶檢索機制。該機制能夠智能地從歷史幀中挑選出與當前生成視頻高度相關的幀,作為記憶條件進行參考,從而極大地提升了計算效率,降低了訓練成本。通過這一動態檢索策略,系統能夠根據相機軌跡的FOV重疊關系,精準判斷預測幀與歷史幀之間的關聯程度,有效減少了需要學習的上下文數量,實現了模型訓練和推理速度的顯著提升。
為了驗證這一技術的可行性,研究團隊利用Unreal Engine5精心構建了一個包含多樣化場景、且帶有精確相機軌跡標注的長視頻數據集。這一數據集為技術的深入測試提供了堅實的基礎。在實際應用中,用戶只需提供一張初始圖像,即可沿著預設的相機軌跡自由探索由AI生成的虛擬世界,體驗前所未有的沉浸式體驗。
實驗結果顯示,“Context-as-Memory”方法在長達幾十秒的視頻生成過程中,展現出了卓越的靜態場景記憶能力,并且在不同場景中均表現出良好的泛化性能。與當前最先進的SOTA方法相比,該技術在長視頻生成的場景記憶方面實現了顯著的性能提升,即使在未見過的開放域場景中,也能有效地保持記憶的連續性。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊銀華卓信成長精選混合A最新凈值公布,8月25日漲幅達3.87%銀華卓信成長精選混合A成立于2022年11月4日,業績比較基準為滬深300指數收益率×50%+中證港股通綜合指數(人民幣)收益率×30%+中債綜合指數(全價)收益率×20%。該基金成立以來收益-9.74%,…08-26石頭科技融資活躍:近三日獲融資買入1.7億,25日凈買入額居兩市632位8月25日,滬深兩融數據顯示,石頭科技獲融資買入額0.62億元,居兩市第632位,當日融資償還額0.76億元,凈賣出1360.14萬元。 最近三個交易日,21日-25日,石頭科技分別獲融資買入0.42億元、0…08-26
匯納科技布局江西,新設柔性穿戴技術公司,注冊資本高達千萬08-26
河南鄭西低空經濟新紀元!鄭西低空經濟發展公司注冊成立,資本雄厚達1.6億08-26
濱海泰達物流攜手多方,6100萬共設博正泰達私募基金08-26
哪吒2電影配音公司遭股東撤離,背后原因引人猜想08-26
霍爾果斯絲路融通基金成立,10億資金助力產業發展新篇章08-26
魏大勛與父親商業關系解綁,背后有何故事?08-26
瘦身鋼筋問題公司,歷史產品不合格遭處罰,質量隱患何時止?08-26
東方電氣旗下設計公司迎來新名稱,工程領域或將掀起新波瀾08-26
南通新企起航:易實精密等聯手成立機械零部件公司,注冊資本達500萬08-26
暑期文旅新熱點:主題樂園火爆,游樂園企業數量超40.7萬家08-26
文旅熱潮下,虛擬現實人才缺口大,沉浸式經濟企業已超3.8萬家!08-26
永茂泰跨界布局!新設機器人傳感技術公司,注冊資本高達1.5億08-26波蘭監管機構指控Netflix擅自漲價,將提起訴訟08-26點擊查看更多 +全站最新
探索宇宙奧秘新突破:超大射電望遠鏡動工,聆聽百億年前聲音
火星水手谷現神秘層理結構,科學家推測其曾遭洪水頻繁沖刷
韋布望遠鏡揭秘:宇宙最古老氧氣,重塑早期宇宙演化圖景
火星探測新突破:高濃度有機碳分子引發遠古生命遐想
火星甲烷之謎:地質活動還是生命暗流?
夜空:星辰信使與月之幽默,共繪宇宙溫柔畫卷熱門內容
匯納科技布局江西,新設柔性穿戴技術公司,注冊資本高達千萬
河南鄭西低空經濟新紀元!鄭西低空經濟發展公司注冊成立,資本雄厚達1.6億
濱海泰達物流攜手多方,6100萬共設博正泰達私募基金
哪吒2電影配音公司遭股東撤離,背后原因引人猜想
霍爾果斯絲路融通基金成立,10億資金助力產業發展新篇章
魏大勛與父親商業關系解綁,背后有何故事?
本文鏈接:http://www.yifxia.cn/showinfo-16-178943-0.html港大快手可靈團隊革新長視頻生成,"記憶載體"技術破解場景一致性難題
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com