記者 俞陶然
在日前舉行的中國首部AI動畫片《千秋詩頌》啟播暨中央廣播電視總臺人工智能工作室揭牌儀式上，上海人工智能實驗室研發(fā)的文生視頻大模型“書生·筑夢”亮相。這個AI模型已經(jīng)開源，授權(quán)用戶單位免費商用。它的參數(shù)量超過30億，可根據(jù)輸入的提示詞生成有故事性、含多鏡頭的分鐘級視頻，具有轉(zhuǎn)場流暢、故事連貫、畫質(zhì)高清等特點。
“由于數(shù)據(jù)、算力等資源限制，‘筑夢’在視頻生成能力、時長、質(zhì)量上與Sora還存在差距。”上海人工智能實驗室領(lǐng)軍科學家林達華說，“隨著同總臺的深度合作，實驗室研發(fā)的模型在對中華文化的理解表現(xiàn)，以及與媒體編創(chuàng)實際生產(chǎn)流程的融合上，逐漸顯露出特色優(yōu)勢。這類產(chǎn)研結(jié)合的新技術(shù)發(fā)展模式，將使我國AI技術(shù)發(fā)展走出差異化道路，并形成我們的文化特色。”
國內(nèi)首部文生視頻動畫問世
上海人工智能實驗室是我國人工智能領(lǐng)域的新型科研機構(gòu)，開展戰(zhàn)略性、原創(chuàng)性、前瞻性的科研和技術(shù)攻關(guān)，旨在突破人工智能的重要基礎(chǔ)理論和關(guān)鍵核心技術(shù)，支撐我國人工智能產(chǎn)業(yè)實現(xiàn)跨越式發(fā)展。目前，實驗室已聯(lián)合高校和企業(yè)，開發(fā)出“書生·浦語”“書生·浦語靈筆”“書生·浦語數(shù)學”等一系列大模型，并通過GitHub等平臺實現(xiàn)開源，并給予企業(yè)和開發(fā)者免費商用授權(quán)，打造大模型開源創(chuàng)新生態(tài)。
“書生·筑夢”是“書生”系列大模型之一，可賦能視頻創(chuàng)作。它與文生視頻框架AnimateDiff以及可控圖像生成、圖像驅(qū)動等技術(shù)結(jié)合，在動畫片等視頻領(lǐng)域有廣闊的應(yīng)用前景。其中，文生視頻框架AnimateDiff無需額外的數(shù)據(jù)收集和定制化訓(xùn)練，就能一次性、快速地為大多數(shù)個性化文本轉(zhuǎn)圖像模型提供動畫效果。用這個框架制作的AI視頻已亮相今年央視春晚，成為歌曲《枕著光的她》中溫馨的動畫背景。
去年，上海人工智能實驗室與中央廣播電視總臺開始合作。去年7月，雙方聯(lián)合發(fā)布“央視聽媒體大模型”。這是國內(nèi)首個專注于視聽媒體內(nèi)容生產(chǎn)的大模型，集聚了總臺的海量視聽數(shù)據(jù)和實驗室的原創(chuàng)先進算法、大模型訓(xùn)練基礎(chǔ)設(shè)施優(yōu)勢。
林達華介紹，“央視聽媒體大模型”包含新聞助手、數(shù)字人、文生視頻、動畫制作、場景渲染等功能板塊，融合了“書生·浦語”大語言模型、“書生·筑夢”文生視頻大模型等AI多模態(tài)產(chǎn)品。
如今，利用“書生·筑夢”等AI工具制作的系列動畫片《千秋詩頌》已完成，將從2月26日起在總臺綜合頻道（CCTV-1）播出。這一國內(nèi)首部AIGC（人工智能生成內(nèi)容）系列動畫片共26集，每集約7分鐘，其美術(shù)設(shè)計、動效生成和后期成片均由人工智能輔助制作，具有里程碑意義。
有望形成差異化國際競爭力
《千秋詩頌》聚焦國家統(tǒng)編語文教材里的200多首詩詞，依托“央視聽媒體大模型”，將這些詩詞轉(zhuǎn)化制作為國風動畫。節(jié)目首批推出《詠鵝》等6集詩詞動畫，再現(xiàn)古典詩詞中凝聚的家國情懷和人間真情，讓觀眾特別是青少年感受到中華文化的恒久魅力，在內(nèi)心厚植文化自信。
大模型是如何生成這部動畫片的？林達華展示了一些制作環(huán)節(jié)：在“央視聽媒體大模型·AIGC動畫制作”界面上，上傳一張?zhí)瞥嗄昴凶拥?ldquo;參考風格圖片”，隨后在“概念設(shè)計描述”文本框里輸入“中國風，唐朝，中年，清秀，男性，淡綠色衣服”，幾秒鐘后，一個符合這些提示詞的動畫人物形象就出現(xiàn)在屏幕上。
按照這個流程，動畫片里的各種唐朝人物很快誕生，節(jié)省了動畫人物美術(shù)設(shè)計的大量人力和時間成本。“中國風，唐朝，女孩，圓潤，粉白色裙子”“中國風，唐朝，軍官，年紀較大，男性，嚴肅”“中國風，唐朝，壯年，男性，灰色帽子和灰色服裝”……記者看到，大模型生成的人物形象都與提示詞相符，畫風也頗為精美。
據(jù)介紹，這些動畫人物的服飾都符合唐代服飾特點。不僅如此，動畫片里的建筑、器皿、擺件等道具也都有歷史依據(jù)，參考了博物館文物和相關(guān)圖片。如片中的熏香爐源自陜西歷史博物館的“透雕忍冬紋五足銀熏爐”；孟浩然桌上的茶具是由AI技術(shù)復(fù)原的唐代“七星盤”；城門則是在參考唐代丹鳳門的基礎(chǔ)上，用AI技術(shù)風格化處理后創(chuàng)作而成。
在訓(xùn)練“書生·筑夢”時，科研團隊和節(jié)目導(dǎo)演給它輸入了大量包含中國傳統(tǒng)文化的精準數(shù)據(jù)，讓它能生成有歷史依據(jù)的人物、場景等圖片，其美術(shù)風格具有中國水墨畫和工筆畫的特質(zhì)。
在場景和建筑美術(shù)設(shè)計環(huán)節(jié)，輸入“中國風，唐朝，官員宴客廳”等提示詞后，“書生·筑夢”即可再現(xiàn)大唐場景。在輔助動效生成環(huán)節(jié)，選取一張官員圖片，再輸入“唐朝，一個官員，哈哈大笑”，就生成了官員端起酒杯大笑的短視頻。
AIGC技術(shù)制作的動畫片質(zhì)量到底如何？近日播出后，將由觀眾評判。在林達華看來，這種科研機構(gòu)與傳媒機構(gòu)合作的技術(shù)發(fā)展模式，有望形成差異化的國際競爭力，實現(xiàn)科技和文化的協(xié)同創(chuàng)新。
