《今日不上朝》EP2 幕後花絮:讓乾隆從一張照片,變成會帶團的短影音主角(Codex+Higgsfield)
第一集 BTS|角色、多視圖、六段 Prompt、真人動態、字幕與中國襯樂的完整製作紀錄
讓乾隆在臺北故宮認出自己的收藏很容易想像;讓他在 55 秒裡被要求買票、被當成導覽老師,最後還得把印章收起來,才是《今日不上朝》第一集真正花心思的地方。 先看成果:皇帝出宮,結果上班了
《今日不上朝》是這次整理的系列名稱,第一集沿用成片的收尾:「今日不早朝,今日帶團。」文章附件收錄 55 秒、9:16 直式、720×1280 的中國襯樂完成版,以及 6 秒真人動態測試。這裡的「真人動態」指 AI 生成的寫實人物表演,並非找真人演員進故宮拍攝。
影片走過的路,比畫面裡皇帝的心情還曲折。最初交出的版本,是四張情境照片加上運鏡、字幕與聲音。使用者一句「為什麼是 4 張照片組成,不是一支真人影片?」讓製作方向重新對焦:真正要看的,是乾隆會轉頭、抬眉、指文物、說話,還會尷尬地收起印章。
這篇保留這個轉折,也公開實際保存的六段影片 Prompt。角色原始生圖指令沒有完整可核對紀錄的部分,會明確標成教學重建範本。 第一階段|先讓乾隆有一張可以延續的臉
最早的需求很直接:「給我一張真人版的乾隆皇帝,做成數字人數位資產。」接著又加上:「將照片做成多視圖人像數位資產。」製作過程留下了 AI 寫實形象與多視圖檔案,後來以使用者提供的 Gemini 多視圖附件,作為動態生成的共同角色參考。
角色辨識點包括細鬍子與下巴鬍、紅頂黑毛帽、黃色繡龍袍、深色毛領、藍金披肩與朝珠。這些細節一起構成觀眾眼中的「同一個人」。只要求「一位乾隆皇帝」,每次生成仍可能得到不同的臉與服裝。
這一階段使用了對話中的影像生成工具,以及使用者提供的 Gemini 參考圖。由於原始生圖 Prompt 未完整留存,以下是依需求整理的教學重建範本,並非當時逐字指令:
第二階段|多視圖是給下一個模型看的角色說明書
正面讓模型看清五官,側面補上鼻形、帽子與肩部輪廓,背面交代辮子和袍服,臉部特寫則幫助辨認鬍鬚與表情。這張圖在六段影片裡反覆使用,讓不同鏡頭有共同依據。
要特別說清楚:這裡完成的是 2D 角色參考資產,尚未建立 3D 模型、骨架、綁定或可操控的數位人。多視圖能提供外觀依據,但不能保證每次生成完全一致,仍要檢查。
若要重做這一步,可用以下教學範本;這也不是原圖的已知原始 Prompt:
意外收穫是:多視圖不只服務這一支影片,也成為後續集數的選角與服裝依據。系列化的起點,從這裡就開始了。 第三階段|把「介紹文物」改寫成「皇帝被迫營業」
最初的故事是乾隆逛故宮,看到以前皇宮裡的東西,越介紹越開心。這個設定有溫度,但短影音還需要一個能立刻抓住人的衝突。於是開場改成工作人員攔下皇帝:「先生,請買票。」乾隆愣住:「朕回自己家,也要買票?」
反差從身分展開:皇帝以為自己回家,現代人卻把他當遊客;他自認是當事人,別人卻以為他是入戲很深的導覽老師。笑點因此有了共同主軸,不必每一幕硬塞一句網路梗。
成片段落 故事與喜劇作用 --- --- 0–7 秒 買票攔人,立刻建立皇帝與現代規則的衝突。 7–17 秒 「這個朕認得!」看到轉心瓶,讓乾隆有真本事可展現。 17–27 秒 「您研究乾隆多久了?」「朕……當了一輩子。」身分誤會加深。 27–39 秒 工作人員叫住他,他以為終於被認出,結果只是擋到走道。 39–45 秒 「朕是皇帝……」下一秒聽到遊客催問,立刻開心繼續帶團。 45–55 秒 討五星、想亮印章,被提醒「五星可以,蓋章不行!」只好收起來。
轉心瓶的靈感來自故宮的「霽青描金游魚轉心瓶」:內外雙層結構,轉動時能從開光處觀賞魚紋變化。文物背景可見故宮官方介紹。片中文物與展廳是 AI 情境示意;買票、帶團及蓋章對話是穿越喜劇安排,不代表故宮實際事件或規章。 第四階段|先用 6 秒,確認人物真的會演
第一版使用 HyperFrames 組合圖片、運鏡、字幕,並以 Edge TTS 製作聲音。它能交出可播放的影片,卻沒有完成「人物實際表演」這個要求。這是整次製作最重要的修正:檔案格式是 MP4,不等於內容就符合預期。
改接 Higgsfield 後,先以同一份角色圖生成 6 秒測試,讓乾隆看見文物、轉頭、露出驚喜並說:「等等,這個朕認得!」測試片也放在附件,讀者可以直接比較它與靜態角色圖的差別。
正式製作使用 Higgsfield 連接的 Seedance 2.5,紀錄中的模型識別為 seedance25,模式為 omnireference,9:16、720p,並開啟音訊生成。先驗證一小段,再投入整支影片,讓角色、動作與中文對白能否成立這件事提早得到答案。
六段分別生成 7、10、10、12、6、10 秒,再組成 55 秒故事。分段的好處,是某一段不成功時可以單獨處理,也能清楚分配每段的笑點與表情。 第五階段|Prompt 要寫到動作、停頓與誰說哪一句
以下節錄自實際保存的生成指令,保留原文:
這一段先交代畫面形式與角色。尤其參考素材本身是多視圖拼圖,所以指令明寫「ONE living Qing Emperor Qianlong」,避免把參考圖的排列方式也照搬進影片。
接著指定聲音與後製分工:
最後才是每段的表演。結尾的實際指令包含:
好笑不只靠台詞,還靠「僵住、偷看、慢慢收印章」這段反應。Prompt 在這裡同時是分鏡、演員指示與聲音設計。秒數是給模型的節奏提示,生成後仍須依實際聲音重新對齊。附件另收錄完整六段原始 Prompt,已移除帳戶及工作識別碼。 第六階段|真正花工夫的地方:生成之後
六段並非一次全部順利完成。其中一段曾回傳模型辨識錯誤;確認模型後,只重新送出失敗的那一段,保留其餘成功素材。這是製作紀錄裡的服務錯誤,並不是換幾個形容詞就能解決的畫面問題。
剪輯以 Higgsedit 組合六段片段。正式版的角色對白隨影片生成,沒有沿用初版的 Edge TTS 配音。接著用 Whisper 系列語音辨識工具協助找出實際說話時間,再將已確認的繁體中文台詞對回去,最後形成 22 段字幕。
這裡有個很符合角色的麻煩:語音辨識可能把「朕」聽成「振」,也會混入簡體字。處理方式是讓劇本負責正確文字,辨識結果協助找時間,再用中文逐字對齊與人工抽查修正。不能把辨識稿直接當字幕交片,也不能假設生成角色完全按照 Prompt 的秒數開口。
第七階段|中國襯樂,要讓笑點有地方呼吸
使用者看過動態版後回覆:「影片 OK,要加上中國襯樂。」因此保留已確認的畫面,只處理音軌。最後使用 Kevin MacLeod 的 Shenyang,並非 AI 生成的音樂,也不是拿一首來源不明的「中國風 BGM」直接墊上去。
音樂節錄為 55 秒,調整音量與淡入淡出,並做對白避讓:有人說話時,背景音樂降低。另在約 28.72–31.10 秒、48.30–50.12 秒安排音樂停頓,讓工作人員的打斷與皇帝的反應更突出。配樂的功能包含刻意安靜。
配樂署名:Shenyang — Kevin MacLeod (incompetech.com)。依 Creative Commons BY 4.0 授權使用;本片作了節錄、音量調整、淡入淡出與對白避讓。曲目來源。轉貼或重新發布影片時,請一併保留署名、授權與修改說明。 工具分工:每一站解決不同問題
工具與素材 本次實際用途 --- --- 對話式 AI/Codex 整理需求、改寫故事、分鏡與 Prompt、串接生成及後製流程。 影像生成工具與 Gemini 參考圖 前期角色視覺探索;使用者提供的多視圖作為最終共同角色參考。 HyperFrames、Edge TTS 初版照片運鏡與語音原型,未達動態人物要求。 Higgsfield MCP、Seedance 2.5 6 秒動態測試及正式六段寫實人物表演、對白生成。 Higgsedit、Whisper 系列工具 分段組片、語音時間定位與字幕校正。 FFmpeg、ffprobe 音樂混音、媒體規格檢查及完整解碼驗證。 Shenyang 授權音樂 中國襯樂;既有音樂素材,不是 AI 音樂生成。 最後交出了什麼,又留下了什麼?
完成版為 55 秒、720×1280、9:16、25fps,H.264 影像與 AAC 音訊,檔案約 12.8 MB。製作紀錄確認通過完整解碼;字幕抽樣檢查過開頭、中段與結尾,加入配樂時也保留原本已確認的影像串流。使用者已接受影片並要求加上中國襯樂,後續再提出第二集的外國遊客情境。尚無觀看數、分享率或觀眾成效數據可報告。
這次留下的資產,除了成片,還有角色多視圖、六段原始片、逐段 Prompt、字幕與配樂署名。下一集可以沿用角色基礎,再把心力放在新的誤會與反轉;人物外觀與聲音仍要逐段驗收。
最大的意外收穫,是那句「為什麼是 4 張照片?」替整個流程訂出了真正的驗收標準。生成一個漂亮皇帝,是開始;讓這位皇帝在一句話、一個眼神、一個停頓裡成立,才是短影音製作的工作。
今天不上朝。皇上還有下一團要帶。 補充花絮|接上 Higgsfield 之前,HyperFrames 做出的是什麼?
這裡也保留最早的 45 秒 HyperFrames 靜態圖運鏡版,影片原檔已附在本文附件,檔名為「HyperFrames靜態圖運鏡原型45秒.mp4」。它是這次創作真實走過的一步,適合和 55 秒正式完成版一起觀看。
初版使用四張 AI 情境圖:乾隆抵達故宮、認出文物、向遊客講故事,以及開心邀請大家繼續看。HyperFrames 把這些圖片排成六個時間段,以推近與畫面位移製造鏡頭感,再加上標題、字幕及 Edge TTS 語音,輸出為 1080×1920、24fps 的直式影片。
觀看時,畫面會移動、字幕會出現,也能聽見說故事的聲音;但乾隆在單張圖裡的姿勢與表情仍然固定。觀眾看到的是鏡頭在照片上移動,沒有連續轉頭、抬手、開口說話或與遊客互動的表演。人物嘴型也不會因為配音而自動對上。