《今日不上朝》幕後花絮|乾隆逛故宮,被要門票:Veo 3.1 卡關,換 Seedance 2.5 才過
一支 60 秒 AI 短影音,從定裝照、兩版腳本、分鏡到真人影片的完整製作紀錄:同一份素材分別交給 Veo 3.1 和 Seedance 2.5,用了哪些工具、下了什麼 Prompt、卡在哪裡、花了多少
先講結論:這一集前置作業(角色、腳本、分鏡、第一格畫面)做得很漂亮,但交給 Google Veo 3.1 生成的真人影片撐不起前面的功夫,花了 US$12 換到一支「能看,但不夠好」的成片。同一份素材換成 Seedance 2.5(透過 Higgsfield)重拍,24 句中文台詞全部念對、不用重配音、沒有被安全檢查擋下,才做出想要的版本。
這篇把整個製作過程攤開:角色怎麼做、創意怎麼改、每一段用了哪個 AI 工具、下了什麼 Prompt、中間被卡住幾次、怎麼解,以及最後的真實評價。三個版本的成片(動畫版、Veo 版、Seedance 版)都放在文末附件。 創意:從「導覽」改成「反差」
一開始的題目很單純:乾隆皇帝回到台北故宮當導覽員,帶遊客看清宮舊藏文物,越講越開心。
第一版腳本照這個方向寫,乾隆一個人講六件文物的故事:汝窯水仙盆被他當成「狗碗」還刻了詩、《富春山居圖》假的那卷題了五十幾次字、真的那卷反而被他說是假的。故事都是真的,也有笑點,但做出來是一支「有趣的導覽片」,不是會讓人停下手指的短影音。
看完第一版的回饋是:反差不夠,要更風趣,要照短影音腳本的吸睛規則來寫。 以前:乾隆是導覽員,一個人從頭講到尾,笑點靠史實本身。 現在:乾隆是被現代規則管住的皇帝——自己家被要門票、想用敬老票、跟遊客一起排隊、被小朋友當場抓包、最後想在遊客手機殼上蓋章被保全擋下。
第二版《乾隆逛故宮,被要門票》的寫法: 前 3 秒鉤子:主人回家被要門票,「門票?裡面全是朕的東西!」 每 6~8 秒一個笑點:全部是「皇帝身分撞上現代日常」的反差。 雙反轉:「朕題了五十幾次字!」「那一定是真跡!」「……它是假的。」「那真的呢?」「被朕說是假的。」 結尾 CTA:「那留言總可以吧?你最想看哪一件國寶?」 角色:一張定裝照撐起整支片
角色是事先用 AI 生成的乾隆定裝照:一張正面半身,加一張多視圖(正、側、背全身+三個角度的臉部特寫)。
多視圖是這次最值錢的前置作業。後面每一個工具都拿它當角色參考:動畫版用它去背當「導覽員」,真人版用它讓 AI 生出每一鏡的第一格畫面。同一張臉、同一件龍袍、同一頂吉服冠,貫穿整支片。
製作分四個階段 腳本與分鏡。 用 Claude Code 寫腳本、排分鏡、查史實。第一版做成動畫分鏡(版面、字幕、配音時間軸全部對好),第二版改寫成 8 鏡真人分鏡,每一鏡寫好畫面、鏡頭、對白、音效和要給影片模型的英文提示詞。 第一格畫面。 用 Gemini 3 Pro Image,丟進「乾隆多視圖+真實故宮文物照片」,生出每一鏡的開場畫面。文物照片取自故宮開放資料,所以畫面裡的翠玉白菜、水仙盆、快雪時晴帖是真的,不是 AI 亂畫的。 影片生成。 先用 Google Veo 3.1 Fast(1080p、直式、含現場收音),以第一格畫面為起點,每鏡生 8 秒;後來用同一批第一格畫面,改在 Higgsfield 上用 Seedance 2.5 重拍。 配音、配樂、剪輯。 乾隆的台詞用 MiniMax 語音重配;配樂與音效用 ElevenLabs;字幕、貼紙、混音、輸出用 HyperFrames(HTML 寫成的影片合成框架)。
每個工具負責什麼
工具 這次負責的事 --- --- Claude Code 腳本、分鏡、史實查核、串接所有 API、剪輯合成、驗收 Gemini 3 Pro Image 8 鏡第一格寫實畫面(角色+真文物合成) Google Veo 3.1 Fast 第一輪:8 鏡真人影片,各 8 秒,1080p 直式 Seedance 2.5(Higgsfield) 第二輪重拍:7 段真人影片,其中一段 15 秒一次生成多鏡頭 MiniMax speech-02-hd 乾隆配音(「幽默長者」北方腔男聲)、補錄遊客台詞 ElevenLabs 宮廷風配樂、蓋章聲、遊客笑聲、烏鴉、唱片刮停、快門聲 Gemini 3.8 Flash 聽寫每一鏡的對白與時間,用來對字幕、抓念錯的字 HyperFrames 去背、字幕、貼紙動畫、配樂避開人聲、輸出 MP4 實際下的 Prompt
第一格畫面的共同前綴(每一鏡都帶,確保角色一致):
第 1 鏡的畫面描述:
Veo 的影片 Prompt(以第 1 鏡為例,中文台詞直接寫在引號裡):
配樂(ElevenLabs Music):
卡住的地方,和怎麼解 Veo 判定「像名人」,直接拒絕。 8 鏡裡有 2 鏡被擋,剛好都是乾隆的臉部特寫。確認定裝照是 AI 生成的原創角色後,把這兩鏡改成中景構圖(臉在畫面裡變小)重生,就過了。 Veo 一直回「音訊有問題」。 有 3 鏡卡了好幾次,都沒有扣錢。解法是把對白簡化:少一個說話的人、句子改短。 Veo 的中文台詞會念歪。 用 Gemini 聽寫後發現:「敬老票」變「金老廟」、「朕當年眼花」聽起來像「外公當年眼花」、「朕已閱」念不清楚。最後乾隆的台詞全部改用 MiniMax 重配,Veo 原聲在那幾秒靜音,代價是嘴型對不太上。 鏡頭推近後,乾隆的臉會變。 第 3 鏡他走近鏡頭時,五官明顯換了一個人,重生一次也沒有完全解決。 MiniMax 的配樂 API 不再開放給新用戶。 換成 ElevenLabs 生配樂和音效,第一次遇到系統忙碌,重試一次就成功。
注意:Veo 現在對寫實人臉、尤其臉部特寫的檢查很嚴。用真人或像真人的角色做中文對白短劇,請先留預算重生,也先想好被擋時的替代構圖。 換 Seedance 2.5 重拍:同一份素材的對照
Veo 版做完之後,換一個影片模型重拍同一份腳本:角色多視圖、8 張第一格畫面、台詞都不變,只把「影片生成」這一步換成 Higgsfield 上的 Seedance 2.5。先拿最難的兩段測:開場被要門票(8 秒),以及富春山居圖的雙反轉(15 秒,一次生成、讓模型自己切鏡頭)。
項目 Veo 3.1 Fast Seedance 2.5 --- --- --- 中文台詞 7 句只對 2 句,5 句要 MiniMax 重配 7 句全對,不用重配 嘴型 改配音後對不上 原聲,嘴型自然 乾隆的臉 鏡頭推近會變成另一個人 近景遠景都是同一個人 配角 每鏡換一批遊客 同一次生成裡遊客維持同一批 安全檢查 臉部特寫被判「像名人」擋下,另外重試 4 次 沒有被擋,近景特寫也過 生成方式 拆兩鏡、各 8 秒 一次 15 秒,模型自己切 3 個鏡頭
測試過關後全片重拍:新生 5 段、每段 8 秒,一次全部成功,沒有被擋、沒有重生。字幕、配樂、音效直接沿用 Veo 版的剪輯流程,只是不再需要 MiniMax 重配音。
雙反轉那段實際送出的 Prompt(起始畫面+兩張角色參考圖):
意思是:同一份分鏡、同一批第一格畫面,換掉影片模型就換掉了結果。前置素材做扎實,才有辦法換模型重拍、直接對照。 意外收穫 先生第一格畫面再生影片,是這次最對的決定:Gemini 生的第一格畫面寫實度很高、文物是真的、角色一致,花不到 US$2 就先把「長得像不像」確認完,失敗也不會浪費影片的錢。 用 AI 聽寫來驗收 AI 影片:Gemini 聽一遍就知道 Veo 念錯哪幾個字,比人工一格一格聽快很多,最後成片的 18 句對白也是這樣驗過的。 前置素材可以直接換模型重拍:Veo 版做不好,不用從頭來,第一格畫面、腳本、剪輯流程全部原封不動交給 Seedance,只重做「生影片」這一步。 動畫版沒有白做:第一版的去背角色、字幕系統、配樂混音流程,第二版直接沿用,而且動畫版本身也是一支完整的短片。 故宮開放資料很好用:文物高解析照片可以合法取用,讓 AI 畫面裡的國寶是真的。 成果與真實評價
Veo 版:58.1 秒、直式 1080×1920,18 句對白經過 AI 聽寫驗收,全部照腳本。費用:Veo 約 US$9、第一格畫面約 US$1.5、配音配樂與聽寫約 US$1,合計約 US$12。
自己的評價很直接:前置作業很好,但產出結果不好。 角色、腳本、分鏡、第一格畫面都達到想要的水準;問題出在影片生成這一段:中文台詞念不準、臉會飄、配角每鏡換人、改配音後嘴型對不上。這些都不是剪輯能補的。
Seedance 版:60.0 秒、直式 1080×1920,成片聽寫 24 句全部照腳本,不需要任何重配音。Higgsfield 點數:兩段測試 368 點、全片 640 點,共 1,008 點。
AI 短影音的瓶頸已經不在創意和分鏡,而在影片模型能不能穩定演出「同一個角色、講正確的中文」。這一集的答案是:Veo 3.1 做不到,Seedance 2.5 做到了。
三個版本的成片都在附件:Seedance 真人版、Veo 真人版,以及第一版動畫導覽版。