Achtergrond
ps5

De Tempest audiochip in de PS5 biedt een echte 3D-ervaring

Dedicated rekenkracht die de beleving vergroot en zelfs de gameplay kan verbeteren

Geschreven door Redactie Gamer.nl op
De PlayStation 5 komt eind dit jaar uit en brengt de nodige vernieuwingen en verbeteringen met zich mee. Er is al een hoop gezegd en geschreven over het uiterlijk, de prijs en de grafische pracht die de PS5 kan laten zien, maar over de nieuwe audiochip blijft het verrassend stil. Dat terwijl deze chip een hoop aan je game-ervaring toe kan voegen.

De Tempest Engine, die in de Playstation 5 draait op de dedicated audio-chip, gaat namelijk zorgen voor zogenaamde 3D-audio. Hoewel Sony dit presenteert als een revolutionaire feature, is 3D-audio bepaald geen nieuwe techniek. Sterker nog: het is in essentie een rebranding van binauraal geluid.

De eerste experimenten met het gebruik van deze techniek vonden al plaats aan het einde van de negentiende eeuw. Het duurde echter even - maar liefst twee wereldoorlogen en een summer of love - voordat deze techniek begin jaren ’70 dankzij het Duitse bedrijf Neumann zijn weg vond naar commerciële opnamestudio’s. Ook in games is in het verleden al geëxperimenteerd met driedimensionaal geluid. Capcom ontwikkelde games voor hun CP System I en II met daarin zogenaamde QSound. Deze versie van binauraal geluid is zelfs gebruikt op diverse popalbums zoals The Immaculate Collection (1990) van Madonna en The Soul Cages (1991) van Sting.

Inmiddels zijn we een stuk verder qua processorkracht en daarmee zijn de mogelijkheden voor het werken met 3D-audio toegenomen. Sony denkt daarom dat de tijd rijp is om 3D-audio nogmaals naar voren te schuiven - het kan immers een meerwaarde zijn voor games. Om te begrijpen hoe de Tempest Engine en diens 3D-audio er voor gaat zorgen dat je game-beleving een stuk intenser wordt, is het nodig om te kijken naar wat binauraal geluid precies inhoudt.

ps5

Kunsthoofd

Binauraal geluid heeft alles te maken met lokalisatie. Stel dat je je vrije middag voor de verandering niet gebruikt om killstreaks aan elkaar te rijgen in Overwatch, maar ervoor kiest een blokje om te gaan. Je staat bij het stoplicht en op het moment dat je over wilt steken hoor je het geluid van een ambulance. Het horen van de sirene zorgt ervoor dat je instinctief een kant op kijkt: de kant waar het geluid vandaan komt.

Het bepalen van de richting waaruit het geluid komt (lokalisatie), doet je brein door allerlei informatie uit het binnenkomende geluid te analyseren. Zo speelt de afstand tussen je beide oren een grote rol: stel dat de ambulance van rechts komt, zal het geluid bijvoorbeeld eerder bij je rechteroor dan bij je linkeroor terecht komen. Niet alleen de afstand, maar ook de vorm van je oorschelp en de vorm van je hoofd hebben invloed. Geluid weerkaatst namelijk op je oorschelp en je hoofd. Deze weerkaatsingen zorgen voor een verandering in de klank van de sirene. De van rechts komende sirene klinkt bijvoorbeeld doffer in je linkeroor, omdat je hoofd een obstakel vormt voor het geluid. Al deze informatie over lokalisatie wordt een zogenaamde head-related transfer function (HRTF) genoemd. Dankzij deze HRTF’s weet je brein binnen een paar milliseconden precies waar de ambulance zich bevindt.

Binauraal geluid is erop gericht om deze lokalisatie hoorbaar te maken door HRTF’s in geluidsopnames te verwerken. Het eerdergenoemde bedrijf Neumann hielp mee door een kunsthoofd te ontwikkelen met twee microfoons op de plek van de oren, zodat elke geluidsopname automatisch voorzien wordt van de juiste filtering. Inmiddels is het mogelijk om de klankveranderingen, die worden veroorzaakt door je oorschelpen en de afstanden tussen je oren, na te bootsen met software. Uiteraard zijn de HRTF’s van ieder mens anders, maar het is mogelijk om tot een aantal gemiddelden te komen wat voor een groot deel van de gebruikers erg effectief is.

ps5

Beleving

De eerdergenoemde sirene is natuurlijk een behoorlijk rigoureus voorbeeld; een loeiend stuk metaal wat op je afstormt is voor een brein een stuk makkelijker te lokaliseren dan het gesluip van een NPC. En hier komen de Tempest Engine en de dedicated audiochip van de PS5 om de hoek kijken. De Tempest Engine is Sony’s manier om deze HRTF’s in de audio van games te verwerken. Er is nog vrij weinig bekend over de mogelijkheden die Sony aan ontwikkelaars geeft, maar het feit dat er een aparte audiochip met een hoop rekenkracht in de PS5 zit, doet vermoeden dat er tot in minutieus detail gewerkt kan worden.

Natuurlijk draait dit alles maar om één ding: gamebeleving. Deze nieuwe techniek van Sony heeft veel potentie om die grondig te verbeteren. Stel je een tactische shooter voor. Je sluipt door een verlaten, donker huis, je 9mm met silencer gereed om vijandelijk gespuis subtiel doch volledig met virtueel lood te doorzeven. Je gaat de trap op en komt een overloop terecht, een gang in… ineens hoor je iets. Er zit iemand links, of nee, toch rechts? Ja, rechts voor je, achter die deur... Je bukt, sluipt vooruit, en precies op het moment dat je de deur opendoet… gaat de deur rechts áchter je open! Wanneer had je ook alweer voor het laatst je progressie opgeslagen?

Met de nieuwe 3D-audio kun je straks als het goed is een stuk preciezer horen waar NPC’s zich bevinden. Dat heeft in shooters tactische voordelen, maar stel je bijvoorbeeld eens een nieuwe Silent Hill voor die gebruikmaakt van deze techniek. Onverwacht van achteren beslopen worden zorgt dankzij 3D-audio dan ongetwijfeld voor controllers nat van het angstzweet.

ps5

Hoofdtelefoon

De chip in de PlayStation moet voorzien in de niet geringe rekenkracht die nodig is om al deze filters, tijds- en volumeverschillen tussen links en rechts in de praktijk te brengen. Voor Sony is het een prijzige, maar essentiële keuze om ervoor te zorgen dat er niet op andere aspecten van de game hoeft te worden ingeboet.

Er is nog wel een máár aan deze techniek: om lokalisatie gemaakt met HRTF’s goed te ervaren, is het essentieel om een hoofdtelefoon te gebruiken, óf een volledige surround sound-set te hebben die perfect is opgesteld en vervolgens plaats te nemen precies in de sweetspot. Dat tweede is niet voor iedereen weggelegd, maar een goede hoofdtelefoon hoeft tegenwoordig geen rib uit je lijf meer te kosten. De aankondiging van het gebruik van 3D-audio maakt ook de weg vrij voor hardware-ontwikkelaars om meer en gespecialiseerdere hoofdtelefoons te ontwikkelen. Het is dan ook te hopen dat de grote spelers op deze markt de aankondiging van Sony als een kans zien. Dan kan 3D-audio niet alleen resulteren in een flinke vooruitgang in onze gamebeleving, maar maakt het ook de weg vrij voor kwalitatief hoogstaande hoofdtelefoons die op gaming zijn toegespitst.

Geschreven door Sascha Meijer.

Dit artikel delen:

Lees meer

Phil Spencer praat over de prijzen van next-gen-games Dataminers ontdekken multiplayermaps in geheime Call of Duty-demo
19

Reacties op: De Tempest audiochip in de PS5 biedt een echte 3D-ervaring

  • Om te reageren moet je ingelogd zijn. Nog geen account? Registreer je dan en praat mee!
  • avatar

    Jumpman

    • 20 juli 2020 11:57
    Geluid is voor mij een belangrijk onderdeel van de beleving, zowel sound effects als muziek voor sfeer. Nu denk ik niet dat iedere ontwikkelaar hier vol op in gaat zetten, vooral Indië ontwikkelaars denk ik niet zozeer maar voor grote blockbuster games zoals the last of us of een cyberpunk zie ik hier wel meerwaarde in.

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • ebiker

    • 20 juli 2020 12:11
    I speel Fortnite met koptelefoon, ik vind de localisatie daar niet slecht…

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    gebakkenei

    • 20 juli 2020 12:11
    Is de "oudere" platinum headset van de ps4 hiervoor geschikt?

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • Tjepso

    • 20 juli 2020 16:00
    @gebakkenei Lijkt mij wel, het is geschikt voor iedere 2D headset, maar dan wel de softwarematige 'virtual surround sound / 3D audio' uitzetten.. Anders krijg je een surround verwerking boven op een andere surround verwerking, kan niet goed gaan lijkt mij. :)

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    Fordon_Greeman

    • 20 juli 2020 12:43
    Nog niet helemaal overtuigd. Dit lijkt op iets wat feitelijk al bestaat, surround sound, 5.1 7.1 etc.. Dit lijkt op een subtielere vorm te duiden, maar heeft nog iets weg van hol marketing geleuter zo van "we weten eigenlijk ook niet waar we de USP's moeten gaan halen."

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • tyberium

    • 20 juli 2020 13:00
    "Met de nieuwe 3D-audio kun je straks als het goed is een stuk preciezer horen waar NPC’s zich bevinden".

    Preciezer dan wat? Preciezer dan Dolby Atmos?

    "Stel je een tactische shooter voor. Je sluipt door een verlaten, donker huis, je 9mm met silencer gereed om vijandelijk gespuis subtiel doch volledig met virtueel lood te doorzeven".

    Zoals dat al gebeurd in de award winning COD Modern Warfare "Clean House" missie in Dolby Atmos?
    https://developer.dolby.com/blog/call-of-duty-modern-warfare/

    Wat een marketing gezwam.

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    denver

    • 20 juli 2020 14:35
    @tyberium Xbox heeft dit al. Je moet dan een betaalde app downloaden en je hebt 3D audio. Dit stuk is inderdaad een advertorial zonder dat het benoemd wordt.

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    hulstpower

    • 20 juli 2020 15:40
    @denver dolby atmos hebben ze al een tijd. En de concurrent er van is net toegevoegd als beta dacht ik. Maar inderdaad volgens mij moet 3d audio net zo klinken als atmos alleen hoeft Sony daar nu geen licentie kosten te betalen er voor.

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    LarsCornelis

    • 21 juli 2020 10:02
    @hulstpower Clean House met Dolby Atmos is zeker een hele toffe ervaring, ik heb die missie een flink aantal keren gespeeld toen ik mijn plafondspeakers eenmaal had geïnstalleerd. Maar daar heb je in theorie meteen het grote verschil met Sony's 3D audio: Voor Dolby Atmos heb je hoogtekanalen nodig (of dat nou plafondspeakers zijn, downwards firing of upwards firing, uiteindelijk heb je iets van een dedicated hoogtekanaal nodig). Sony's techniek beweert dat HRTF zo te gebruiken dat je met elke geluidsbron hoogte kunt simuleren, zelfs met de stereospeakers van je tv. Persoonlijk heb ik altijd maar matige ervaringen met elke vorm van gevirtualiseerd geluid (denk aan virtual dolby surround, maar ook Atmos als ik daar de speakers van m'n tv voor gebruik), dus ben erg benieuwd of Sony er wél wat van weet te maken… en anders hoop ik dat ik gewoon mijn hoogtespeakers kan gebruiken, die hangen er nu toch ;-)

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    hulstpower

    • 21 juli 2020 10:47
    @LarsCornelis Heb je ook de atmos app voor headphones gebruikt die doet beetje wat sonys 3daudio ook moet doen voor gewonne headphones.
    En DTS-X volgens mij heet het zo heb je nu ook als app voor headphones op xbox die je kan testen.
    Heb zelf een dolby vision/dolby atmos setup en had mooi gevonden als sony dit ook ondersteunde.
    Geeft toch een mooie ervaring met films kijken en gamen voor die paar games die het ondersteunen.

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • Tjepso

    • 20 juli 2020 15:56
    @tyberium De techniek (binauraal geluid) bestaat al een tijdje maar kan straks door de Tempest audiochip real time worden gegenereerd. De techniek simuleert alle vormen waarmee de mens geluiden kan lokaliseren (bron, afstand, verplaatsing, etc.) en dus niet allen bron en volume.

    Check even deze track (wel met een headset of simpele in ear dopjes) waarin de techniek is toegepast.

    https://youtu.be/O5ooPGEiXkg

    Met een (dure) 7.2.2. Dolby Atmos opstelling is een 3D ervaring prima te realiseren, maar met deze audiochip is het dan ook voor de minder rijke gamer mogelijk om te genieten van preciezer 3D geluid via een 2D weg (een headset of in ear oordopjes).

    Marketing gezwam? Nee, gewoon een verrijking van de audiobeleving. :)

    Ik ben overigens erg benieuwd of je straks kan kiezen om bijvoorbeeld een Dolby track origineel te horen of om de Tempest chip zelf de audio binauraal laat verwerken (en of er een echt verschil is)

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    kleinekoosjer

    • 20 juli 2020 16:43
    @Tjepso ik bleef maar achterom kijken om te checken of Billie Eilish daar liep .. wat een teleurstelling! ;-)

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    Omnikon

    • 20 juli 2020 21:00
    @Tjepso ik hoopte al dat iemand dit zou posten. Bestaat inderdaad al langer (zijn hele playlists voor te vinden op Spotify) maar is echt super interessant voor games!

    De gamers community is van kritisch naar sceptisch naar ronduit negatief gegaan terwijl we ons ook kunnen beseffen hoe tof dit kan worden :-)

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • tyberium

    • 21 juli 2020 10:00
    @Omnikon Als het al bestaat en toegepast word (Hellblade) maar gedaan word alsof het heel speciaal is, mag je kritisch zijn.

    https://developerkb.dolby.com/support/solutions/articles/16000099183-what-is-binaural-render-mode-and-how-do-the-settings-affect-my-mix-

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    Omnikon

    • 21 juli 2020 23:29
    @tyberium kritisch lijkt me uitstekend! Maar dat heb ik de afgelopen jaren hard zien veranderen (voornamelijk door youtube clickbait en napraters) in de richting die ik hierboven beschrijf.

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • tyberium

    • 21 juli 2020 09:55
    @Tjepso Het punt is dat ook dát al toegepast word. Denk bijvoorbeeld aan Hellblade. Daar is blijkbaar geen 3d chip voor nodig, alleen een speciale microfoon/opname techniek.

    https://www.youtube.com/watch?v=gFdPXCzxMg8

    https://developerkb.dolby.com/support/solutions/articles/16000099183-what-is-binaural-render-mode-and-how-do-the-settings-affect-my-mix-

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • avatar

    Improv

    • 20 juli 2020 15:16
    hmm, qua geluid denk ik dat vooral de cpu usage een grote win gaat zijn. Hogere resolutie geluidssamples, dus meer ruimtelijk en kwalitatief beter geluid. Betere engines voor galm etc. En dat gaat vast iets goeds doen voor de plaatsing. Maar dat is zeker niet alleen playstation eigen, xbox doet dat ook

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • tyberium

    • 22 juli 2020 08:02
    @Improv "dus meer ruimtelijk en kwalitatief beter geluid"

    ook niet:

    https://wccftech.com/dolby-atmos-can-also-support-hundreds-of-objects-like-ps5s-tempest-says-dolby/

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.
  • PlagueVeritas

    • 2 augustus 2020 09:50
    Tja. Sinds mijn geboorte heb ik 'slechts' één werkend oor. Ik hoor dus mono. Al die ontwikkelingen op het gebied van geluid zijn aan mij dus niet besteed. Ik heb zelfs geen idee waar mensen over praten als ze het hebben over '3D geluid'. Voor mij bestaat zoiets simpelweg niet. Elk apparaat wat geluid produceert gaat in mijn huis standaard op de mono stand want stereo (of beter) zorgt er bij mij enkel voor dat ik geluid mis, wanneer ik een koptelefoon draag :P

    Tevens ook een belangrijke reden waarom competitief shooters spelen tegenwoordig voor mij weinig zinvol meer is. Iedereen die zichzelf serieus neemt speelt ook op basis van het geluid. Tja, dan leg ik het altijd af :P

    Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.

 

Wanneer je een reactie plaatst ga je akoord met onze voorwaarden voor reacties.