Går god for metode

I høringsrunden etter Direktoratet for forvaltning og IKTs (Difi) rapport om Rikskonsertenes virksomhet har Norsk kulturråd og Organisasjonen for folkemusikk og folkedans uttrykt seg kritisk til Difis metodevalg og datainnsamling.
Ballade har bedt Per Mangset, professor i kulturstudier ved Høgskolen i Telemark og kulturforsker, se på den metodiske kvaliteten og datagrunnlaget.
I sitt høringssvar har Norsk kulturråd blant annet stilt seg kritisk til at Difi har benyttet seg av Rikskonsertenes egne spørreskjemaundersøkelser fra 2006, 2007 og 2008. Mangset synes det ikke er noe merkverdig ved dette, så lenge disse foreligger.
— Her er dessuten undersøkelsene ganske ferske, noe som selvsagt er bra. Svakheten her er imidlertid at det er vanskelig å vurdere kvaliteten på dette materialet, etter som det ikke skrives noe om den metodiske gjennomføringen jamfør utvalgsmåte, bortfall, og så videre, sier Mangset.
— For øvrig virker det ikke på meg som om disse spørreskjemaundersøkelsene har vært noe sentralt grunnlag for resten av rapporten.
Mangset mener det virker som om de kvalitative intervjuene, og til dels tilgjengelig statistikk fra Rikskonsertene som omtales som dokumentstudier, danner det metodiske hovedgrunnlaget for rapporten.
Folkemusikkorganisasjonen mener at Difi har gjort for få intervjuer med eksterne aktører. Kulturrådet mener dette igjen betyr at man ikke har et tilfredsstillende grunnlag for en gjennomgang av de kunstfaglige sidene ved Rikskonsertenes relasjon til kunstnerne.
Mangset mener derimot at rapporten bygger på et ganske omfattende intervjumateriale, og at informantvalget er ganske variert.
— Men Kulturrådet kan ha rett i at man har intervjuet litt for få informanter blant utøvere og utøverorganisasjoner, sier Mangset.
Han gir Kulturrådet også rett i at svarprosenten på de skriftlige intervjuene som er gjort via e-post er svært lav, men at det ikke er uvanlig med lav svarprosent på denne type undersøkelser.
— Jeg er enig at evaluator tar litt lett på den lave svarprosenten her, men det virker heller ikke som om dette på noen måte er det viktigste datagrunnlaget for rapporten. Det framstår som supplerende materiale, mener Mangset.
I sitt høringssvar mener Kulturrådet at det hersker uklarhet om Rikskonsertene er gitt anledning til å påvirke resultatet av gjennomgangen. Årsaken til det forklarer Kulturrådet på denne måten:
”Inntrykk og spissformulerte påstander som framkom i datamateriale fra den kvalitative intervjurunden, ble lagt fram for nøkkelpersoner i Rikskonsertene på et arbeidsseminar for å få innspill og supplement til datagrunnlaget for gjennomgangen.”
— Det kan selvsagt diskuteres om dette er problematisk, men forutsatt at utrederne har tilstrekkelig kritisk og metodisk beredskap kan jeg imidlertid også tenke meg at dette kan være en fruktbar framgangsmåte.
— Jeg har selv hatt betydelige faglige gevinster av å gjøre noe tilsvarende med rapporter i sluttfasen av utredningsarbeid. Men det fordrer at man greier å stå oppreist og eventuelt ta imot kjeft, og at forskernes uavhengighet og selvstendighet er klarlagt. Altså at man ikke lar de utforskete gå inn å sensurere faglig basert tekst og analyser.
Mangset understreker at han bare har forholdt seg til kapittel 2.3, Datagrunnlag, og ikke til kvaliteten på rapporten som helhet.
Les Difi-rapporten, og høringsuttalelsene.