夢想音像系統 × TouchDesigner
亨利寶貝給美術的對照表

聲音怎麼 變成畫面

音像主控台會把現場聲音整理成 6 類訊號 送進 TouchDesigner(其中「拍速」類含兩路:連續 bpm 值 + 拍點事件)。這份說明告訴你:每種訊號是什麼、TD 能拿它驅動哪些素材、以及怎麼組合出效果。

現場聲音 / 控台──▶ 6 類訊號(OSC)──▶ TouchDesigner 算畫面──▶ 投影到 C 區牆面

先懂一件事:訊號有兩種「個性」

看懂這個,後面全部都直覺了。

🔁 連續訊號 · 持續送一個「量」

像旋鈕一樣一直給數字,平滑變化。適合驅動會持續改變的東西。

→ 大小、顏色、亮度、位置、速度
音量 rms、音高 pitch、拍速值 bpm 屬於這種
⚡ 事件訊號 · 瞬間「做一件事」

只在發生事情的那一刻送一次,平常安靜。適合觸發一次性的動作。

→ 爆發、閃光、切換、換字、跳段
打點 onset、拍點 beat、預排 cue、手動 trigger 屬於這種

6 類訊號

每張卡:這是什麼 · 什麼時候送 · 最適合拿來驅動什麼。

Onset 打點

⚡ 事件 · DAT

音樂裡「咚!」那一下被抓到的瞬間,還附帶這一下打多大力

每次目標音色(鼓、敲擊)被打出來那瞬間送一次;連打就連送一串,安靜或長音時完全沉默。

最適合驅動
瞬間爆發(粒子/火花)畫面閃一下每拍切換物件彈跳衝擊力道大→爆更大

BPM 拍速 + 拍點

🔁 連續 · CHOP ⚡ 事件 · DAT

節奏的速度格子——拍速=多快、拍點=每一拍。都從最近幾拍的節奏慣性推算,鎖成穩定的拍子。

兩路一起送:🔁 bpm 值(CHOP)持續回報拍速數字;⚡ 拍點(DAT)每一拍跳一下——鎖在拍速上、規律穩定,就算那一拍沒人實際打擊也會跳(和 onset 不同:onset 是真的有敲才有)。

🔁 bpm 值 → 持續驅動
動畫/律動流速頻閃 strobe 快慢循環素材速度整體節奏呼吸
⚡ 拍點 → 每拍觸發
每拍閃/切/脈動節拍器式律動穩定跟拍(沒打擊也跳)與拍對齊切換

Pitch 音高

🔁 連續 · CHOP

現在唱/彈到「多高的音」,像琴鍵從低到高的位置,持續回報。

偵測到音高就一直送,滑音、轉調都平滑跟著變;沒聲音或抓不到音時送「沒有音」。

最適合驅動
音高換顏色(低↔高色相)音高換高度形狀變形旋律線條配色盤滑動

RMS 音量

🔁 連續 · CHOP

現在「多大聲」,約 0(安靜)到 1(很大聲)的即時刻度。

一直送、不間斷,漸強慢慢升、漸弱慢慢降,是平滑曲線(另有更穩、更不抖的 env 版本可選)。

最適合驅動
整體氣勢濃烈度呼吸縮放亮度/發光濃淡浮現速度/能量

Cue 預排點

⚡ 事件 · DAT

事先在時間軸排好的劇本提示點,播放頭一跑到就自動觸發,不靠人手。

節目時間軸播到你預擺的時間點時自動送一次;另有 ramp 型可在一段時間連續送 0→1 做平滑過場。

最適合驅動
換場景/段落換素材配色編排好的轉場(ramp)可重現演出階段開關

Trigger 手動

⚡ 事件 · DAT

控台人員當下手按下去立刻送的事件,等於現場的手動開關/即興按鈕。

按按鍵那一刻立即送出,完全由人決定時機,跟音樂分析、時間軸都無關。

最適合驅動
保險補發爆閃即興加料放大絕手動切場救場重來/重置面板演奏

▶ 互動示範:看訊號真的在動

下面用「模擬聲音」即時驅動畫面,讓你直接感受每種訊號(非真實音訊,只是示意)。

模擬一段 120 BPM 旋律 + 鼓點;每 4 秒自動換一次場景(cue)。

🔁 音量 → 呼吸縮放 + 亮度

rms 0.00

越大聲,圓越脹、越亮。

🔁 音高 → 顏色 + 高度

音越高越往上、越暖;沒音時變灰。

⚡ 打點 → 爆發 + 閃白

onset ·

每記鼓點噴一團、閃一下;打越重噴越多。

🔁 拍速值 + ⚡ 拍點 → 速度/跟拍

bpm 120

擺臂=拍點(每拍跳一下),數字=連續 bpm 值;驅動速度與跟拍脈動。

⚡ 預排 → 換場景

scene 1

播放頭跑到旗標就整個換一套配色。

🔮 組合:樂團萬花筒(打點 × 音高 × 音量)

onset→粒子 · pitch→色 · rms→大小

鼓點炸出粒子、顏色由音高決定、整體大小隨音量膨脹,再對稱化成一朵不斷重組的光之花。

TD 能變化哪些素材

收到訊號後,TouchDesigner 可以即時控制這些素材的屬性。括號是建議用哪種訊號。

🖼️

2D 圖像 / 影像層

圖、透明 PNG、色塊、漸層當畫面元素。像即時版的 Photoshop 圖層 + After Effects。

大小縮放(音量)位置移動(音高/音量)旋轉顏色 Hue(音高)透明度淡入淡出模糊↔清晰(音量)拼貼萬花筒拖尾殘影 feedback波紋扭曲
🔤

文字 / 字體

歌名、歌詞、表演者名。換成哪幾個字必須用事件訊號;連續訊號只能改外觀。

換字內容(cue/手動)字級(音量)顏色透明度逐字浮現打字機抖動跳舞(打點)
🎞️

影片素材

預錄片段或 AI 影像即時控制。播放動作適合事件,速度這種連續變化適合連續訊號。

播放/暫停/重播(cue/手動)播放速度(音量/拍速)跳轉剪接(打點)多片段切換溶接混合套色/殘影再加工

粒子與大量複製

成千上萬個小點/小圖——煙火、星塵、花瓣、光點。最有戲劇張力的一類。

瞬間爆發一發(打點,力道控量)持續發射數量(音量)速度/力場粒子大小(音量)顏色(音高)壽命殘留大量複製密度
🧊

3D 立體形狀

真正的立體物件——球、地形、抽象雕塑、3D 文字。讓安靜物件活過來扭動、長刺、爆裂。

縮放心跳(音量)旋轉位移浮沉(音高)表面起伏長刺破碎炸開(打點)表面置換浮雕
💡

材質與光影

3D 物件的「皮膚」與「打光」——顏色、金屬感、自發光、燈光、相機運鏡。決定質感與氣氛。

材質顏色(音高)自發光(音量/打點爆閃)粗糙↔鏡面燈光強度顏色相機推拉(cue)景深對焦
🌫️

後製濾鏡層

整個畫面算完後再蓋上的「味道」——不改內容,只改最終呈現。最適合在高潮/事件點加重。

輝光 bloom(音量)故障 glitch(打點)全畫面拖尾色差 RGB 錯位像素化馬賽克全畫面波動扭曲
🌀

生成式程式圖像(shader)

用數學即時算出來的畫面(不是貼圖/影片)——流動噪波、自生長紋路、流場。聲音直接變成畫面生成的內在規則。需工程端先寫。

任意內部參數流場速度/密度(音量/拍速)有機紋路生長對稱片數配色盤位移(音高)波形直接入畫
📽️

輸出交接(到投影為止)

畫面算好後透過 Spout(同台電腦,近乎零延遲)送進 MadMapper,投到 C 區牆面。發想時意識到「最後會攤在多面牆上」——構圖、亮部、留白要想包覆感。

全廳同步爆/同步切全場氛圍亮度基調(音量)跨牆內容流動(音高高↑/低↓)

組合配方:訊號 × 素材 → 效果

從單訊號簡單對應,到多訊號層疊的大招。給你發想起點。

🫧 全場呼吸燈

rms 音量

大聲時整個畫面微微放大變亮像吸一口氣,安靜時縮回變暗。最穩、最不出錯的打底。

🌈 音階彩虹瀑布

pitch 音高

音越高光柱往上爬、偏暖紅紫;音越低沉到下方、轉冷藍綠。旋律一跑像一條會變色的瀑布上下游走。

🎆 鼓點火花爆

onset 打點

每一記鼓點,畫面中央瞬間噴出一團火花 + 極短一閃白光。打越密火花一團接一團炸開。最核心的節奏招式。

💓 心跳脈動圈

onsetrms

每個重拍從中心推出一圈擴散光波(打點觸發),波紋厚度與亮度跟著當下音量漲縮。像音樂打出一次次心跳。

🌊 歌聲色溫流體

pitchrms

唱高音流體染暖橘金、低音轉深藍紫(音高控色);唱越用力翻騰越劇烈越亮(音量控擾動)。一團隨歌聲變色翻滾的霧。

🔮 樂團萬花筒

onsetpitchrms

鼓點炸出粒子、粒子顏色由旋律決定、整團數量與輝光隨總音量膨脹,再萬花筒對稱化。整首歌是一朵不斷重組的對稱光之花。

📖 換頁・整場變天

cue 預排點

時間軸跑到預設點,整個視覺世界一次換掉——星空溶解成海洋、城市推成森林。觀眾像翻到下一頁,氣氛整個轉變。

🌅 控台大招・破曉爆閃

trigger 手動rms

副歌高潮控台按下按鍵,多面牆同時轟一發全屏光爆 + 放射光束 + 畫面震一下,之後餘燼隨當下音量持續燃燒。現場最炸的手動高潮。

🟦 全場跟拍脈衝

拍點bpm 拍速值

每個拍點整面光點脈一下、頻閃打一下,循環素材速度跟著 bpm 升降;整個畫面鎖在拍子上一起呼吸,沒人打擊也穩定跟拍。節奏感統一不散。

速查對應表

不確定某個訊號能幹嘛?查這張。

訊號個性典型拿來驅動
rms 音量🔁 連續大小縮放 · 亮度發光 · 透明度 · 整體氣勢 · 粒子生成量 · 輝光
pitch 音高🔁 連續顏色 Hue · 上下高度 · 形狀變形 · 配色盤位移 · 旋律線條
bpm 拍速值🔁 連續動畫流速 · 頻閃/循環快慢 · 整體節奏同步(估計值、會收斂)
onset 打點⚡ 事件粒子噴發 · 閃白爆閃 · 物件彈跳 · glitch · 逐字浮現(真的有敲才有,附力道值)
拍點 beat⚡ 事件每拍閃/切/脈動 · 節拍器式律動 · 與拍對齊切換(鎖在拍速上,沒打擊也跳)
cue 預排點⚡ 事件換場景 · 換素材配色 · 計時轉場(ramp 0→1) · 切機位 · 換字
trigger 手動⚡ 事件補發爆閃 · 即興加料 · 救場切畫面 · 重置清場 · 面板演奏
一條鐵律:事件訊號(onset / 拍點 / cue / trigger)不能拿去推「持續的量」——綁了只會閃一下就卡住。要持續變化請用音量音高拍速值。反過來,換字、切場、爆發、跟拍脈動這種「做一下」的動作,也不能用連續訊號驅動。
名詞小辭典(看不懂時點開)
連續訊號 / CHOP一直不間斷送的「量」(音量、音高),平滑滑動,推會持續變化的屬性。
事件訊號 / DAT只在「發生一件事」那刻送一次,平常沉默,觸發爆發/閃光/切換。
onset 打點抓到節奏/敲擊「咚」那一下的瞬間,還附帶打多大力。
rms 音量現在多大聲的即時數值,約 0(安靜)→1(很大聲)。
bpm 拍速值從最近幾拍的節奏慣性推算的當前速度(每分鐘幾拍),連續 CHOP、會收斂;驅動速度與同步。
拍點 beat推算的固定拍子網格,每一拍跳一下的事件(DAT),鎖在拍速上、規律穩定;沒實際打擊也會跳(對比 onset=真的有敲才有)。
env(包絡)音量的「平滑版」,比 rms 更不抖;不想忽大忽小時用它更穩。
pitch 音高現在的音多高(像琴鍵位置);沒聲音時回報「沒有音」。
cue 預排點事先在時間軸排好的提示點,播放頭一到自動觸發,像舞台燈光 cue list。
trigger 手動控台當場按按鈕立刻送的事件,給保險補強與即興。
feedback 拖尾畫面留下前幾幀殘影拖尾,做迷幻光流體。
shader 生成式圖像用數學即時算的畫面(非貼圖/影片),聲音可成為它生成的內在規則。
Spout同台電腦近乎零延遲把畫面傳給下一個軟體(這裡傳給 MadMapper 投影)。

現場小提醒

發想時先知道這幾件事,免得卡住。