Text: Ray Zuber Visualisierungen: KI-unterstützt
Am Anfang steht ein Geräusch. Ein Rauschen, ein kurzes Knacken, ein synthetisch erzeugtes Grain. Für sich genommen kaum bedeutend. Im Film kann daraus jedoch etwas entstehen, das weit mehr tut, als ein Bild akustisch zu begleiten.
Bei der Arbeit an Xües Film beschäftige ich mich gerade mit genau einem solchen Element. Im Bild tauchen Partikel auf. Zunächst vereinzelt und kaum wahrnehmbar, später sammeln sie sich, werden zu einem Schwarm und entwickeln eine enorme Präsenz. Einfach einen Partikelsound zu bauen, wäre mir zu wenig. Mich interessiert: Welche Eigenschaften besitzt dieser Klang? Wie verändert er sich? Und wann beginnen wir, ihn nicht mehr als einzelne Ereignisse, sondern als einen Klangkörper wahrzunehmen?
Genau darin liegt für mich ihr eigentlicher Wert: Dieselbe Skizze dient als Verständigungsmittel im Projekt – für die Regisseurin, die Wirkung und Funktion der Partikel selbst ausführlich beschrieben hat, ebenso wie für das VFX-Team in China, das die Bildwelt danach ausgestaltet. Kommunikation ist hier kein Nebenprodukt, sondern Teil der Gestaltung.
Im Bild entwickeln sich die Partikel von vereinzelten, kaum wahrnehmbaren Momenten zu einem Kollektiv mit eigener Präsenz – für den Ton eine Chance, mehr zu leisten als reine Illustration: Klang kann andeuten, was sich außerhalb des sichtbaren Bildausschnitts abspielt. Damit Bild und Klang dabei nicht erst am Ende aufeinandertreffen, sprechen wir schon während der Entwicklung darüber, wann aus einzelnen Elementen ein Schwarm wird. VFX und Sound benutzen dafür unterschiedliche Werkzeuge, beschreiben aber dasselbe Phänomen.
Was kennzeichnet ein einzelnes Partikel? Kurz oder lang, hell oder dunkel, tonal oder geräuschhaft, weich, körnig oder verzerrt. Das ist zunächst nur Material. Treffen viele dieser Ereignisse aufeinander, verändert sich unsere Wahrnehmung: Die Abstände werden kleiner, die Dichte nimmt zu, einzelne Bestandteile verschmelzen. Irgendwann hören wir nicht mehr viele einzelne Partikel. Wir hören einen Körper.
Makro bedeutet dabei nicht einfach: größer und lauter. Der Schwarm soll als Einheit wahrgenommen werden und trotzdem seine innere Struktur behalten – einzelne Elemente dürfen flackern, hervortreten, verschwinden, sich wieder sammeln. Daraus lassen sich Eigenschaften definieren, die für Bild und Klang gleichermaßen gelten: Größe – Dichte – Form – Textur – Spektrum – Bewegung – Tonhöhe – Dauer.
Am Ende dieser Entwicklung reicht ‚größer‘ allein nicht mehr. Der Klangkörper soll komplex, massiv und bedrohlich wirken – vollständig exponiert: kein Andeuten mehr, sondern Präsenz mit voller Wucht. Dafür schichte ich mehrere Ebenen übereinander: ein tiefes Sub-Grundrauschen als Basis und Masse, granulare Textur als Hauptmaterial, eine verzerrte, aggressive Schicht für Kante und Bedrohlichkeit, dazu eine langsame Modulationswelle, die wie Atmen oder Pulsieren wirkt. Erst im Zusammenspiel dieser Schichten entsteht ein Körper, der nicht nur groß klingt, sondern gefährlich.
Für die Ausarbeitung nutze ich unter anderem Arturia Pigments – weniger auf der Suche nach einem fertigen Preset, sondern nach einem Klangmodell, dessen Verhalten ich spielen kann. Granulare Strukturen entscheiden, ob Bestandteile wahrnehmbar bleiben oder zu einer Textur verschmelzen. Bitcrushing und Filter verändern Beschaffenheit und spektrale Präsenz. Kurze Delayzeiten mit Feedback erzeugen Bewegung im Klang selbst: Verändere ich die Delayzeit während des Spielens, beginnt der Klang in sich zu kippen und zu modulieren.
Das führt zu einer wichtigen Unterscheidung: Es gibt Bewegung im Klang – und Bewegung des Klanges im Raum. Ein Schwarm kann an derselben Stelle bleiben und trotzdem eine starke innere Bewegung besitzen. Umgekehrt kann ein statischer Klang später durch den Raum bewegt werden. Diese beiden Ebenen trenne ich schon beim Sounddesign.
Die Atmos-Mischung steht noch aus, auch der Picture Lock ist noch nicht abgeschlossen. Trotzdem beginnt das Denken über den Raum schon jetzt. Ein Klangkörper besitzt mehr Eigenschaften als links und rechts: vorne oder hinten, oben oder unten, nah oder fern, punktförmig oder ausgedehnt. Dabei gilt: Position ist nicht Größe. Größe ist nicht Dichte. Dichte ist nicht Entfernung. Ein kleiner, dichter Klangkörper kann über uns sein, ohne größer zu werden. Ein entfernter Klang kann sehr ausgedehnt sein. Erst das Zusammenspiel dieser Parameter definiert, wie der Klangkörper im Raum erlebt wird – und unser Partikelsound existiert dort nicht allein, sondern innerhalb einer Welt aus Dialog, Schritten, Wind und Atmosphäre.
Viele dieser Überlegungen beginnen unspektakulär auf Papier: Punkte, Kreise, Pfeile, ein paar Wörter: Grain, Move, Size, Density. Für mich schnell verständlich, für andere weniger. Hier hat KI eine interessante Funktion bekommen: Ich nutze sie, um Handskizzen in visuelle Form zu übersetzen – nicht als fertiges Design, sondern als Kommunikationsmittel.
In einer der Visualisierungen wurde ein Klangkörper dargestellt, der bei einer Bewegung nach oben gleichzeitig größer wurde. Grafisch plausibel, für meine Vorstellung aber nicht richtig – Höhe und Ausdehnung sollten unabhängig voneinander funktionieren. Ich musste also präziser beschreiben, was ich meinte. Daraus entstand eine Schleife: Idee → Beschreibung → Visualisierung → Beurteilung → Korrektur.
Die Maschine erzeugt schnell einen Vorschlag. Entscheidend bleibt die Fähigkeit zu erkennen, warum er richtig oder falsch ist. Gerade im Austausch der Gewerke hilft das: Die Regie muss keinen Synthesizer programmieren können, um über das Verhalten eines Klangkörpers zu sprechen. Eine visualisierte Idee schafft eine gemeinsame Fläche, auf die wir zeigen können.
Unser Partikelsound ist noch nicht fertig, auch das Bild entwickelt sich weiter. Erst nach dem Picture Lock zeigt sich, welche unserer Vorstellungen bestehen bleiben. Vielleicht beginnt räumliche Klanggestaltung deshalb nicht dort, wo ein Sound im Renderer positioniert wird, sondern viel früher: mit der Vorstellung davon, wie Klang sich verhalten soll.
Nachtrag aus der laufenden Produktion: Interessanterweise hat sich die für das Sounddesign entwickelte Sprache inzwischen auch auf die Kommunikation mit dem VFX-Team übertragen. Xüe beschreibt die Bewegung der visuellen Partikel nun über wenige grundlegende Parameter wie Größe, Position und Veränderungsgeschwindigkeit – ähnlich der Logik, mit der wir zuvor den Klang beschrieben haben. Aus einer Methode zur Kommunikation über Sound wird damit zunehmend eine gemeinsame Sprache für Bild und Klang.
Ray Zuber ist Sounddesigner und Tonmeister mit Erfahrung in Set-Ton, Sounddesign und Mischung für TV- und Internetformate. Er versteht Ton als integralen Teil der filmischen Gestaltung und arbeitet bevorzugt dort, wo klangliche Entscheidungen früh getroffen werden. Ray ist stellvertretender Leiter der VDT-Regionalgruppe Köln.