De Tempest audiochip in de PS5 biedt een echte 3D-ervaring

De Tempest Engine, die in de Playstation 5 draait op de dedicated audio-chip, gaat namelijk zorgen voor zogenaamde 3D-audio. Hoewel Sony dit presenteert als een revolutionaire feature, is 3D-audio bepaald geen nieuwe techniek. Sterker nog: het is in essentie een rebranding van binauraal geluid.

De eerste experimenten met het gebruik van deze techniek vonden al plaats aan het einde van de negentiende eeuw. Het duurde echter even - maar liefst twee wereldoorlogen en een summer of love - voordat deze techniek begin jaren ’70 dankzij het Duitse bedrijf Neumann zijn weg vond naar commerciële opnamestudio’s. Ook in games is in het verleden al geëxperimenteerd met driedimensionaal geluid. Capcom ontwikkelde games voor hun CP System I en II met daarin zogenaamde QSound. Deze versie van binauraal geluid is zelfs gebruikt op diverse popalbums zoals The Immaculate Collection (1990) van Madonna en The Soul Cages (1991) van Sting.

Inmiddels zijn we een stuk verder qua processorkracht en daarmee zijn de mogelijkheden voor het werken met 3D-audio toegenomen. Sony denkt daarom dat de tijd rijp is om 3D-audio nogmaals naar voren te schuiven - het kan immers een meerwaarde zijn voor games. Om te begrijpen hoe de Tempest Engine en diens 3D-audio er voor gaat zorgen dat je game-beleving een stuk intenser wordt, is het nodig om te kijken naar wat binauraal geluid precies inhoudt.

Kunsthoofd

Binauraal geluid heeft alles te maken met lokalisatie. Stel dat je je vrije middag voor de verandering niet gebruikt om killstreaks aan elkaar te rijgen in Overwatch, maar ervoor kiest een blokje om te gaan. Je staat bij het stoplicht en op het moment dat je over wilt steken hoor je het geluid van een ambulance. Het horen van de sirene zorgt ervoor dat je instinctief een kant op kijkt: de kant waar het geluid vandaan komt.

Het bepalen van de richting waaruit het geluid komt (lokalisatie), doet je brein door allerlei informatie uit het binnenkomende geluid te analyseren. Zo speelt de afstand tussen je beide oren een grote rol: stel dat de ambulance van rechts komt, zal het geluid bijvoorbeeld eerder bij je rechteroor dan bij je linkeroor terecht komen. Niet alleen de afstand, maar ook de vorm van je oorschelp en de vorm van je hoofd hebben invloed. Geluid weerkaatst namelijk op je oorschelp en je hoofd. Deze weerkaatsingen zorgen voor een verandering in de klank van de sirene. De van rechts komende sirene klinkt bijvoorbeeld doffer in je linkeroor, omdat je hoofd een obstakel vormt voor het geluid. Al deze informatie over lokalisatie wordt een zogenaamde head-related transfer function (HRTF) genoemd. Dankzij deze HRTF’s weet je brein binnen een paar milliseconden precies waar de ambulance zich bevindt.

Binauraal geluid is erop gericht om deze lokalisatie hoorbaar te maken door HRTF’s in geluidsopnames te verwerken. Het eerdergenoemde bedrijf Neumann hielp mee door een kunsthoofd te ontwikkelen met twee microfoons op de plek van de oren, zodat elke geluidsopname automatisch voorzien wordt van de juiste filtering. Inmiddels is het mogelijk om de klankveranderingen, die worden veroorzaakt door je oorschelpen en de afstanden tussen je oren, na te bootsen met software. Uiteraard zijn de HRTF’s van ieder mens anders, maar het is mogelijk om tot een aantal gemiddelden te komen wat voor een groot deel van de gebruikers erg effectief is.

Beleving

De eerdergenoemde sirene is natuurlijk een behoorlijk rigoureus voorbeeld; een loeiend stuk metaal wat op je afstormt is voor een brein een stuk makkelijker te lokaliseren dan het gesluip van een NPC. En hier komen de Tempest Engine en de dedicated audiochip van de PS5 om de hoek kijken. De Tempest Engine is Sony’s manier om deze HRTF’s in de audio van games te verwerken. Er is nog vrij weinig bekend over de mogelijkheden die Sony aan ontwikkelaars geeft, maar het feit dat er een aparte audiochip met een hoop rekenkracht in de PS5 zit, doet vermoeden dat er tot in minutieus detail gewerkt kan worden.

Natuurlijk draait dit alles maar om één ding: gamebeleving. Deze nieuwe techniek van Sony heeft veel potentie om die grondig te verbeteren. Stel je een tactische shooter voor. Je sluipt door een verlaten, donker huis, je 9mm met silencer gereed om vijandelijk gespuis subtiel doch volledig met virtueel lood te doorzeven. Je gaat de trap op en komt een overloop terecht, een gang in… ineens hoor je iets. Er zit iemand links, of nee, toch rechts? Ja, rechts voor je, achter die deur... Je bukt, sluipt vooruit, en precies op het moment dat je de deur opendoet… gaat de deur rechts áchter je open! Wanneer had je ook alweer voor het laatst je progressie opgeslagen?

Met de nieuwe 3D-audio kun je straks als het goed is een stuk preciezer horen waar NPC’s zich bevinden. Dat heeft in shooters tactische voordelen, maar stel je bijvoorbeeld eens een nieuwe Silent Hill voor die gebruikmaakt van deze techniek. Onverwacht van achteren beslopen worden zorgt dankzij 3D-audio dan ongetwijfeld voor controllers nat van het angstzweet.

Hoofdtelefoon

De chip in de PlayStation moet voorzien in de niet geringe rekenkracht die nodig is om al deze filters, tijds- en volumeverschillen tussen links en rechts in de praktijk te brengen. Voor Sony is het een prijzige, maar essentiële keuze om ervoor te zorgen dat er niet op andere aspecten van de game hoeft te worden ingeboet.

Er is nog wel een máár aan deze techniek: om lokalisatie gemaakt met HRTF’s goed te ervaren, is het essentieel om een hoofdtelefoon te gebruiken, óf een volledige surround sound-set te hebben die perfect is opgesteld en vervolgens plaats te nemen precies in de sweetspot. Dat tweede is niet voor iedereen weggelegd, maar een goede hoofdtelefoon hoeft tegenwoordig geen rib uit je lijf meer te kosten. De aankondiging van het gebruik van 3D-audio maakt ook de weg vrij voor hardware-ontwikkelaars om meer en gespecialiseerdere hoofdtelefoons te ontwikkelen. Het is dan ook te hopen dat de grote spelers op deze markt de aankondiging van Sony als een kans zien. Dan kan 3D-audio niet alleen resulteren in een flinke vooruitgang in onze gamebeleving, maar maakt het ook de weg vrij voor kwalitatief hoogstaande hoofdtelefoons die op gaming zijn toegespitst.

Geschreven door Sascha Meijer.