Lydens utseende: Fra usynlig til gjenkjennelig på skjermer vi alle går rundt med

Har du noen gang tenkt på hvordan en lyd ser ut? Og hvilken betydning det har? Kan man «lese» lyder? Eller berøre?

Av Bjørnar Sandvik,
stipendiat ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse (IMV), Universitetet i Oslo

Mennesker har lenge tenkt på og forstått lyd som vibrasjoner gjennom luften. Mot slutten av 1700-tallet begynte oppfinnere å forsøke å fange hvordan lydbølger faktisk ser ut – eller snarere hvordan effekten av lyders vibrasjoner ser ut. Å se på en visualisering av lyd er som å se på et løvtre på en vindfull dag: du ser bladene bevege seg på grunn av vinden, men du ser ikke vinden selv, bare dens effekt.

Bjørnar Sandvik skriver doktorgradavhandling om visuell fremstilling av lydbølger – fra den første fonautografen rundt 1860 til dagens TikTok-bidle av lydopptak. (Foto: privat)

Når historiens første lydopptak ble gjort av den franske oppfinneren Édouard-Léon Scott de Martinville rundt år 1860, fikk han aldri høre opptakene selv. Lyden ble kun lagret visuelt. Ved hjelp av en såkalt fonautograf ble den lagret ved å la vibrasjonene fra lydbølgene bevege en stylus som så avtegnet svingningene i en grafisk fremstilling på et lag med sot på et papir eller en glassflate – omtrent som en seismograf.

Detalj fra et fonautografopptak fra 1857. (Foto: Patrick Feaster, FirstSounds.org)

Det skulle imidlertid ta flere år før Thomas Edison reverserte dette prinsippet og konverterte inskripsjoner av lydbølger tilbake til hørbar lyd igjen. For Scott de Martinville virket det umulig å høre lydene maskinen hans lagret. Istedenfor så han for seg at mennesker en dag ville lese lydbølgeformer som et nytt språk, og dermed høre lydenes kvaliteter i hodet, eller med «sinnets ører» som han beskrev det. I dag, mer enn 150 år senere, kan det virke som at forestillingen hans om at mennesker en dag skulle lese visuelle representasjoner av lyd som et slags eget språk har blitt virkelighet.

Digitale lydbølgeformer
I dagens mediehverdag oppleves idéen om å se og tenke på en lyd nesten like naturlig som å høre den, og den todimensjonale lydbølgeformen har blitt den aller vanligste måten å representere innspilt lyd på. I ulike musikk- og medieproduksjonskontekster brukes de også til å representere lyder man kan navigere i eller redigere, inkludert i flere sosiale medier som SoundCloud og TikTok. I spesialiserte musikkprogramvarer er det å interagere med lyd representert som todimensjonale lydbølgeformer blitt synonymt med å komponere og interagere med musikalsk lyd på skjerm i mange ulike kontekster og sjangere. Det finnes til og med flere selskaper som lever av å selge det de kaller «soundwave art» (lydbølgekunst). De selger innrammede bilder av forstørrede innspillinger av alt fra folks favorittlåter, kjente sitater, ekteskapsløfter til babyers hjerteslag. Om vi skal dømme etter denne utstrakte bruken av lydbølgerepresentasjoner aksepterer de fleste av oss at det er slik lyder ser ut. Etter hvert som lydbølgeformen er å finne overalt i dagens skjermkultur, blir dette visuelle mediet for lyd mer og mer tatt for gitt i den forstand at vi ikke lenger forholder oss kritisk til hvordan det påvirker oss.

Et lydopptak vist visuelt i TikTok-appen. (Foto: Skjermbilde TikTok)

Medieforskningen minner oss om at mediene og verktøyene vi bruker har størst betydning når det virker som om de ikke betyr noe i det hele tatt – altså når de beveger seg fra å være nye og i vår bevissthet til å være en integrert og vanemessig del av hverdagen. Men selv om vi over tid har blitt vant til å interagere med lyder som visuelle bølgeformer – og ikke legger merke til hvordan de påvirker oss – har de likevel stor innflytelse på hvordan vi tenker på og samhandler med innspilt lyd.

Manipulering av tidsaksen
Vi er selvsagt ikke i stand til å høre lyder kun ved å se på visuelle representasjoner av dem. Men et trent øye kan innhente svært mye informasjon bare fra å se på slike lydbølgeformer – også informasjon som er mindre tilgjengelig ved en lytteropplevelse. Den mest basale opplevelsen i menneskelig eksistens er at tiden renner ustanselig. Vi kan aldri skru tiden tilbake. Men innspillingsteknologi tilbyr å transformere tid til rom. Tid blir operativ gjennom det den tyske medietenkeren Friederich Kittler identifiserte som tekniske mediers evne til å (1) lagre tid, og (2) manipulere tidsaksen.

Vi forholder oss ikke lenger kritisk til hvordan det påvirker oss.

Den todimensjonale lydbølgeformen på skjermen – lyd fryst i tid – muliggjør manipulasjon og kontroll over tidsdimensjonen på et vis som ikke er mulig i sanntid. Lydbølgeformer forenkler og gjengir utvalgte dimensjoner av komplekse lyder (tid, tonehøyder, volum) på en flat overflate, noe som gjør de enklere å håndtere. Man kan se de både som individuelle lyder og i sammenheng med andre lyder. Lyder representert på skjermen til en lyddesigner eller musikkprodusent kan kuttes opp ellervkopieres, strekkes ut eller krympes, og kombineres på ulike måter før de kan spilles av i sin nye form. De kan, med andre ord, kontrolleres på en annen måte, og med større nøyaktighet, enn hørt lyd. Ved å bli en form for bildeprosessering omgjør den grafiske organiseringen av lyd tidsdomenet til det romlige domenet. Tidsaksen lar seg først manipulere dersom den ikke lenger er en tidsakse, men har blitt overført til en tidslinje i rom. Tidslinjen i et innspillingsprogram viser lydbølgeformer som en form for notasjon langs en horisontal akse fra venstre mot høyre, og selv de aller minste endringer i hvordan hendelsene ser ut grafisk på skjermen endrer også hvordan de vil høres ut når de avspilles på ny.

Synlig stillhet
De fleste grafiske notasjonssystemer har tidsangivelser for både lyder og pauser. Dette betyr at lyder og fravær av lyd er behandlet likt i henhold til
den horisontale tidsaksen, noe som inviterer eksperimentering med plassering av enkeltlyder og utforskning av ulike rytmiske mønstre. Ved å gjøre stillhet (eller fravær av lyd) operativ, oppmuntres dermed manipulasjon langs den synlige tidsaksen. Noe av det samme skjer i skriving: Når vi prater kommer lydene etter
hverandre i tid, men når vi skriver ned ordene transformeres denne suksessive eksistensen til en romlig sameksistens hvor ordene ordnes i setninger som kan endres på ulike måter. Dette at man kan se både lyder og stillhet sammen i digitale innspillingsprogrammer minner slik sett mer om tradisjonell skriving enn praksiser fra analoge studioer, hvor innspillingene lagres på kontinuerlige tapebånd på ruller. Digitaliseringens synliggjøring av distinkte lyder langs en grafisk tidsakse har dermed gitt oss flere muligheter for manipulasjon av tid ved å bygge på den samme logikken som tradisjonelle former for skriving.

Skjermdump fra innspillingsprogrammet Avid Pro Tools. (Foto: Reverb.com)

Å produsere lyd ved berøring
Siden introduksjonen av flerberøringsskjermer på smarttelefoner og nettbrett det siste tiåra har nye måter å forholde seg til innspilt lyd på etablert seg. Denne raske utviklingen i vanene våre har gjort det stadig mer intuitivt å samhandle med og produsere lyder ved å «berøre» den grafiske representasjon på skjermen. iPad-appen SamplR eksemplifiserer et grensesnitt som benytter seg av den todimensjonale visuelle lydbølgeformen slik vi kjenner den fra før, men samtidig utfordrer vårt forhold til den som en passiv representasjon på skjermen, fryst i tid. Muligheten til å spille av lyder (eller deler av lyder) ved direkte berøring av lydbølgeformen på skjermen skaper nye teknikker for å kontrollere og eksperimentere med innspilt lyd i sanntid.

Fra representasjon til produksjon
Å organisere, strekke, og til og med berøre todimensjonale lydbølgeformer er i dag av mange ansett å være blant de mest intuitive måtene å interagere med innspilt lyd på. Dette forteller oss hvor etablert denne måten å representere og interagere med lyd på skjermer har blitt. Satt på spissen er vi blitt så vant til å interagere med lyd representert som lydbølgeformer på skjerm at vi ikke legger merke til hvordan disse representasjonene skaper forestillinger om hva lyd er og hva vi kan gjøre med dem.

Dagens debatt om den «digitale skolen» henger ofte igjen i en diskusjon om det er best å lese lange tekster på skjerm eller papir, i stedet for å sette søkelys på de nye mulighetene man kan utnytte. I musikkundervisningen blir bruken av nettbrett stadig mer populært, og nyere forskning viser at musikkfaget kan ha mye å vinne på dette. Her diskuteres ikke bare skjermtid lenger, men også implementering: hva kan og bør bruk av skjermer tilføre? Etter min mening er det her fremdeles for mye fokus på det appellerende ved fargerike virtuelle instrumenter eller morsomme lyder på en iPad. Mens det er lett å skjønne hvorfor både elever og lærere liker disse aspektene, er det også et behov for å forstå hvordan nye grafiske formater endrer vårt forhold til innspilt lyd på et mer grunnleggende nivå.

I dag har vi nærmest overgått Scott de Martinvilles visjon om å «lese» og fortolke lydbølgeformer: vi tenker med dem også. De representerer ikke bare innspilte lyder, de muliggjør også produksjonen av nye lyder og uttrykk. Ved å transportere lyd fra tidsdomenet til det romlige domenet omstruktureres forholdet vårt til tid, noe som igjen fordrer nye tilnærminger til bearbeiding og eksperimentering med lyd. På et mer overordnet nivå kan man si at de mange skjermene på datamaskiner og mobile enheter i vår digitale tidsalder gjør mer enn bare å formidle informasjon – de strukturerer vårt forhold til data gjennom grafiske formater. Vi bør derfor lære oss og den oppvoksende generasjonen den viktige ferdigheten det er å kunne tolke hvordan disse visuelle formene ikke bare presenterer, men også produserer kunnskap og artistiske uttrykk.

Red. anm.: En del av siste avsnitt i dette innlegget ble borte da det skulle publiseres. Det er skrevet inn tirsdag morgen.