Wie bekommt man eine mehrkanalige immersive-Audio-Aufnahme übers Web zum Zuhörer? Eine gute Basis bietet der neue HOAST-Player (Higher-Order Ambisonics Streaming Platform), ein Tool, mit dem man bis zu 4th Order Ambisonics-Aufnahmen streamen kann. Für unseren Event haben es die Kollegen des IEM mit einem Headtracking kombiniert, das auf dem Rechner des Betrachters berechnet wird. Als Motion-Tracking der Kopfbewegungen wird die Webcam des eigenen Rechners verwendet.
Um das Headtracking zu nutzen, müssen Sie Ihre Webcam freigeben.
Die Kombination aus HOAST und dem Headtracker, zusammen mit den Competition-Produktionen der Student’s 3D Audio Production Competition 2020 hier bei VDT-Live stellt ein Experiment dar, mit dem wir die Vorteile des Headtrackings mit binauraler Wiedergabe übers Internet erfahrbar machen wollen.
Besuchen Sie auch die HOAST Library des IEM.
How can we deliver multi-channel immersive audio content across the web to the listener? A good basis has been established with the new Cat3DA player (camera-tracked 3D audio player), a tool that allows to stream channel-based 3D audio cotent that the local browser of the listener rendered to head-tracked headphone playback. The motion capture of the head rotations is done by the webcam of the listener's computer.
To make use of it, webcam use must be allowed in the browser tab running the cat3da player.
The combination of Cat3DA including head tracker, together with the competing productions of the Student’s 3D Audio Production Competition 2020 are experimental content of the VDT-Live event by which the advantages of headtracking to binaural playback over the web can be perceivably experienced. The programmers of Cat3DA recommends the following browsers for playback: Firefox, Opera, or Chrome.
The Real-time processing of the headtracking information and the audio processing that it controls pose a certain computational load, and altogether some initial pacience when loading. At the same time, sufficient bandwith to receive the multi-channel audio stream is required. We therefore recommend a good internet connection. If you consider following the stereo live stream of the S3DAPC finals ceremony and intend to change listening to the on-demand Cat3DA streams for their higher spatial-audio resolution while the submissions play back during the ceremony, maybe consider using two independent computers.