Ontmoet de wetenschapper die data omzet in muziek en luister naar het geluid van een neutronenster

Artistieke weergave van een neutronenster die gaat ontploffen.

NASA / Dana Berry

Ontmoet de wetenschapper die data omzet in muziek en luister naar het geluid van een neutronenster

Door Giorgia GuglielmiJul. 21, 2017, 15:30 uur

Van voorraadtrends tot veranderingen in de temperatuur van de aarde, gegevens die in de loop van de tijd variëren, worden meestal weergegeven in grafieken en diagrammen. Wat saai! Wat als je in plaats daarvan zou kunnen luisteren naar de plotselinge daling van een aandelenkoers of de gestage stijging van de mondiale temperaturen? Voer sonificatie in, het proces waarbij platte gegevens worden omgezet in zachte geluidsgolven.

Mark Ballora, een expert op het gebied van muziektechnologie aan de Pennsylvania State University in State College, gebruikt sonificatie om symfonieën te maken op basis van wetenschappelijke gegevens. Opgegroeid in de jaren zestig net buiten San Francisco, Californië, door een architect en een pianist, leefde en ademde Ballora muziek, speelde piano, luisterde naar Beatles-platen en ging naar Grateful Dead-optredens. De afgelopen 20 jaar heeft hij samengewerkt met tientallen wetenschappers om allerlei gegevens om te zetten in muziek, van de energie die wordt uitgestraald door een neutronenster tot de lichaamstemperatuurcyclus van arctische eekhoorns. In juni ontving Ballora twee beurzen van $ 50.000 van het National Academies Keck Futures Initiative om mariene biologen te helpen bij het vertalen van gegevens uit de diepe oceaan naar geluid.

Hij praatte met Science om te bespreken hoe en waarom hij data omzet in muziek. Dit interview is bewerkt voor duidelijkheid en lengte.

Vraag: Hoe ben je begonnen met het omzetten van gegevens in geluid?

A: Het was heel serieus. Tijdens het eerste jaar van mijn promotie vroeg een fysioloog me of ik interesse had om geluid te maken uit gegevens over de hartslagvariabiliteit. Ik wist niet waar hij het over had, maar het klonk geweldig. [Hier is het geluid van een gezond hart. Hier is het geluid van een hart dat het bloed niet zo goed pompt als het zou moeten.]

Vraag: Hoe bepaalt u het type geluid dat u voor een specifieke gegevensset wilt gebruiken?

A: Dat is het artistieke gedeelte van mijn werk. De eerste stap is om vertrouwd te raken met de gegevens en te begrijpen wat het betekent, wat eigenlijk heel interessant is: ik ontmoet al deze wetenschappers en leer wat ze doen. De tweede stap is om erachter te komen welk geluid bij de gegevens past. Toen ik aan zonnewind werkte [geladen deeltjes werpen van de zon af die aurora borealis creëren wanneer ze de atmosfeer van de aarde raken], creëerde ik een verschuivend, glinsterend geluid. [Luister hieronder naar zonnewind.] Voor tropische stormen had ik een wervelend geluid nodig dat zou klinken als een tornado.

Vraag: Aan welk project was het leukste om te werken?

A: Het was geweldig om samen te werken met [voormalige Grateful Dead-percussionist] Mickey Hart op Rhythms of the Universe, de film die hij maakte met George Smoot, die een Nobelprijs is voor winnende kosmoloog. Ik moest voor hen allerlei gegevens omzetten in muziek: zonnewind, zonnebevingen, elektromagnetische resonanties van de aarde [elektromagnetische golven die zich vormen tussen het aardoppervlak en de bovenste atmosfeer]. Er was ook een weergave van de beweging van de planeten in het zonnestelsel, het signaal van een roterende neutronenster, zwaartekrachtsgolven die de ruimtetijd uitrekken. Het was gewoon een geweldige variëteit om mee te werken, een zeer kleurrijke dataset. [Luister naar het geluid van een roterende neutronenster.]

Vraag: Wat is het meest interessante deel van je werk?

A: Als ik sonificaties voor mensen speel, zouden ze kunnen zeggen: "Wauw, dit geeft me een heel ander idee van deze datasets." Het is net als wanneer je soundtrack toevoegt aan een film: het neemt je mee naar die wereld en het maakt het een veel meer visceraal fenomeen. Het zou voor ons niet ongebruikelijk moeten zijn om naar gegevens te luisteren. Ik denk dat we moeten proberen educatieve programma's samen te stellen zodat jonge mensen opgroeien en de wetenschap beschouwen als iets waar je naar luistert, maar ook als iets waar je naar op zoek bent Als mensen reageren we allemaal op muziek: als we dat kunnen benutten met de wetenschap, is er een reële kans om studenten een veel intuïtiever begrip van het materiaal te geven dan ze alleen van een visuele presentatie zouden krijgen.

Muziektechnologie-expert Mark Ballora vertaalt getallen in geluiden.

Patrick Mansell / Penn State

Vraag: Waar ga je de Keck Futures-beurzen voor gebruiken?

A: Volgend jaar werk ik samen met Karen Wishner, een marien bioloog aan de Universiteit van Rhode Island [in Narragansett], die wat gegevens heeft over zuurstof en temperatuur in milieugevoelige gebieden van de oceaan. Eén groep van haar studenten krijgt alleen de visuals en een andere groep krijgt zowel de audio als de visuals. Vervolgens zullen experts in het wetenschappelijk onderwijs de verschillen beoordelen in wat de studenten er uit kunnen halen. Onder water is er zoveel dat we niet weten, en de kwaliteit van onze oceanen is zo'n urgent probleem voor de gezondheid van de planeet. Als het publiek deze kwestie goed begrijpt, zullen ze een gewetensvolle beleidsvorming ondersteunen.

Vraag: Gebruiken wetenschappers sonificatie om inzicht te krijgen in hun gegevens?

A: Het is nog geen algemene praktijk, en dat is waar ik aan werk. Ik praat veel over het omzetten van gegevens in muziek voor outreach-doeleinden, maar er is meer aan de hand. Wanda Diaz Merced is bijvoorbeeld een astrofysicus bij het Zuid-Afrikaanse astronomische observatorium in Kaapstad, die, na haar gezichtsvermogen te hebben verloren, samen met programmeurs een manier bedacht om naar haar gegevens te luisteren. Ze is nu in staat om op hetzelfde niveau te werken als toen ze werd waargenomen, en ze ontdekte eigenlijk de aanwezigheid van elektromagnetische golven die worden geproduceerd door de uitwisseling van energie tussen deeltjes tijdens hoog-energetische stellaire explosies, iets dat niemand had ontdekt door te kijken alleen bij grafieken. Het blijkt dat veel van haar ziende collega's nu [sonificatie] -software gebruiken omdat er vaak patronen zijn die ze gemakkelijker kunnen horen dan ze kunnen zien.

Vraag: Geef je concerten met je sonificaties?

A: Nog niet, maar ooit zal ik dat waarschijnlijk doen. Allereerst wil ik laten zien dat studenten goed leren met sonificatie en dat wetenschappers er goed mee werken. Als ik deze zaak eenmaal heb aangevoerd, kan ik meer als een componist denken en concerten geven. Ik heb zoveel muziek uit de gegevens gehaald waarmee ik heb gewerkt. Dus misschien werk ik daar in mijn jaren '60 en '70 aan.