Stadig bedre: Del 2. Metodikk for evaluering og kvalitetsutvikling

INNHOLD

• Spørreundersøkelser
• Vurderinger i forkant av en spørreundersøkelse
• Tegn som tyder på kvalitet: ”Kvalitetsfaktorer” og ”kvalitetsindikatorer”
• Utforming av spørreundersøkelser
• Gjennomføring av undersøkelsen
• Personvern
• Analyse og videre bruk av resultatene for kvalitetsutvikling

SPØRREUNDERSØKELSER

Spørreundersøkelser er kanskje et av de nyttigste verktøyene i evaluering av den utadrettede virksomheten.

I en undersøkelse svarer om lag 20 prosent av undervisningsansatte i kirken at det å få lite tilbakemeldinger på arbeidet er en av de viktigste slitasjefaktorene i arbeidet (Gresaker 2011). Spørreundersøkelser er en måte å få tilbakemeldinger. Erfaringer viser også at mange får bedre resultater enn de forventer, slik at de ansvarlige får positive tilbakemeldinger og opplevelsen av å lykkes.

Arbeid med spørreundersøkelser innebærer:

• Utforming av undersøkelsen
• Gjennomføring av undersøkelsen
• Analyse av resultatene
• Oppfølging av resultatene: Endring på grunnlag av kunnskap = kvalitetsutvikling

Utformingen av spørreundersøkelser kan være både god og dårlig, de kan gi resultater som enkelt kan brukes i videre evaluering og kvalitetsutvikling, eller de er ikke er nyttige i det hele tatt. Det er mange fallgruver, men også enkelt å lære seg metodikk som gir enkle, gode og hensiktsmessige undersøkelser.

Det kritiske punktet

Det er særlig 3 faktorer som avgjør om arbeid med evaluering og kvalitetsutvikling lykkes:

• Arbeidet er forankret i ledelse og stab
• Den største delen av arbeidet legges ned i analyse, vurdering og oppfølging av resultatene
• Staben samarbeider godt i prosessen etter at resultatene er samlet inn

Å analysere resultatene og faktisk bruke dem i en kvalitetsutvikling er altså den viktigste – men kanskje vanskeligste – delen av arbeidet. Husk: En undersøkelse uten analyse og oppfølging av resultatene gir ingen læring eller kvalitetsutvikling.

Begrensninger

Spørreundersøkelser av ulike typer har klare begrensninger, blant annet:

• De gir svar på deltakernes subjektive oppfatning
• Gruppedynamikken kan påvirke hvordan gruppen som helhet svarer
• Undersøkelsene kan aldri fange opp alt
• Det er flere faktorer enn deltakernes oppfatning som påvirker kvaliteten på arbeidet

VURDERINGER I FORKANT AV EN SPØRREUNDERSØKELSE

Hva skal undersøkes - og hvorfor? Det kan synes selvsagt, men er ofte verdt å reflektere over. Vi må ville noe med undersøkelsen, og nytten vi har av den skal være verdt det arbeidet vi nedlegger i undersøkelsen. Blant annet må vi vurdere om vi er mest interessert i deltakernes tilfredshet eller måloppnåelse i forhold til planene. Ideelt sett inngår undersøkelsen i en helhetlig tenkning om kvalitetsutvikling, men ofte gjøres undersøkelser i en mindre sammenheng. Uansett er det nødvendig å reflektere over hvorfor vi gjør det vi gjør.

Hvordan skal resultatene brukes videre? Dette bør gjennomtenkes før undersøkelsen utformes og gjennomføres. Blir ikke resultatene brukt til noe er undersøkelsen bortkastede ressurser. Hvordan analysen og videre bruk er tenkt har betydning for hvordan undersøkelsen utformes.

Hva er det mulig å ”måle”? Det er ikke alt vi ønsker å vite som er mulig å få svar på ved hjelp av et spørreskjema.

Hvem skal svare? Foreldre eller barn? Alle eller bare et utvalg av deltakerne/brukerne? Der det er mange deltakere kan det bli mye arbeid i å telle og analysere svarene, særlig hvis undersøkelsen gjøres med papirskjemaer. Kanskje vil informasjon fra en mindre gruppe av deltakerne gi oss den veiledningen vi trenger i kvalitetsutviklingsarbeidet? I dette tilfellet må vi være bevisste på at det gir begrensninger for hvordan vi kan forstå og bruke materialet.

Bør undersøkelsen gjennomføres i det hele tatt? Der det er personkonflikter eller andre utfordringer internt i staben, bør en være forsiktig med å gjennomføre undersøkelser der resultatene kan bidra til å eskalere konflikten.

Vær oppmerksom på at spørreundersøkelser kan omfattes av bestemmelser om personvern.
(Mer om personvern)

TEGN SOM TYDER PÅ KVALITET:
"KVALITETSFAKTORER" OG "KVALITETSINDIKATORER"

Det er strengt tatt umulig å måle kvaliteten på arbeidet i en virksomhet. Det vi må gjøre er å finne tegn som tyder på kvalitet – her kaller vi det ”kvalitetsindikatorer”. Det er viktig at disse indikatorene er gode og faktisk kan si oss noe om arbeidets kvalitet. For å finne fram til gode kvalitetsindikatorer må arbeidsområdet analyseres.
Man bør begynne med å dele opp arbeidsområdet i temaområder for å få det håndterbart. Da blir det mulig å identifisere hva vi egentlig vil måle, og hva vi faktisk måler. Det er ulike ting som påvirker kvaliteten på et arbeid - en ”tjeneste”, og ulikt hva en vil vektlegge. Det vesentlige her er å gjøre bevisste valg.

Temaområder, som vi her kaller kvalitetsfaktorer, er overordnede perspektiver og temaer som vi mener er viktig for kvaliteten. Eksempler kan være trivsel, læring, informasjon, tilgjengelighet og måloppnåelse i forhold til planene. Til hver kvalitetsfaktor utvikler vi flere konkrete spørsmål som fungerer som indikatorer på kvaliteten på det aktuelle området. Spørsmålene skal altså ikke dekke alle deler av arbeidet, men fungerer som en slags ”stikkprøver” som indikerer kvaliteten på et område. Når vi har flere spørsmål/indikatorer på hvert temaområde, vil de til sammen gi et bilde av kvaliteten på området, selv om vi ikke spør om ”alt”.

Vi bygger spørreskjemaene opp slik av flere grunner. For det første ville et skjema som dekker ”alt” bli alt for langt. Det er også mye mer interessant å studere mer overordnede temaer enn enkeltsider ved arbeidet. Arbeidet med å finne kvalitetsfaktorer hjelper oss å tenke helhetlig og se arbeidet fra ulike vinkler.

Det kan være fristende å lage generelle spørsmål direkte til kvalitetsfaktorene. Slike generelle spørsmål kan imidlertid forstås ulikt av de forskjellige respondentene og svarene vil gjelde ulike ting. Når spørsmålene er konkrete vil svarene være sammenlignbare. For eksempel kan et temaområde være trivsel. Spørsmålet ”Trives du…?” kan innebære ulike ting for ulike respondenter og er vanskeligere å svare på enn ”Har du venner…?”. Hvor mange som har venner i klubben/leiren e.l gir ikke nødvendigvis avgjørende informasjon i seg selv, men spørsmålet, sammen med andre spørsmål, indikerer om deltakerne trives.

Når resultatene analyseres er det viktig å være bevisst på hvordan skjemaet er bygget opp. Indikatorene til hver kvalitetsfaktor må ses samlet, og gir til sammen et bilde av området. Hvis det vi måler på er ment som stikkprøver kan utviklingen bli skjev hvis en senere fokuserer på resultatene på det enkelte spørsmålet uten å se helheten.

Hvilke kvalitetsfaktorer vi velger å måle handler om hvilken grunnforståelse vi har av fagområdet og av kirkens visjoner, og ikke minst på hvilken måte vi mener deltakernes tilbakemeldinger kan og bør påvirke arbeidet.

Det kan være en fordel at ulike aktiviteter måles etter de samme kvalitetsfaktorene. Det gir også (en viss) mulighet til å sammenlikne kvaliteten på ulike aktiviteter.

Spørreskjemaer til deltakerne vil aldri gi et nøyaktig bilde av arbeidet og må suppleres med andre opplysninger. For eksempel måles ”oppslutning” oftest bedre med statistikk enn med spørsmål til deltakerne.

UTFORMING AV SPØRREUNDERSØKELSER

Når vi skal utforme spørreundersøkelser er det lurt å være lur. Undersøkelsen må utformes slik at resultatene kan brukes videre i evaluering og kvalitetsutvikling. Da må vi for eksempel være sikker på at spørsmålene fanger opp det vi vil vite og at respondentene har forstått spørsmålene likt.
I ”Stadig bedre” har vi laget ferdige spørreskjemaer som enkelt kan brukes i evalueringsarbeid av trosopplæringen og av diakonalt arbeid. Skjemaene i ”Stadig bedre” er grundig gjennomtenkt for å være praktisk brukbare i arbeid med kvalitetsutvikling.

Analyse av arbeidsområdet – valg av kvalitetsfaktorer

Bruk tid på analysen av det arbeidsområdet som skal evalueres. Det er mange ulike vinklinger som kan være viktige for kvaliteten på arbeidet.

• Der hovedfokuset er på måloppnåelse vil de viktigste kvalitetsfaktorene være for eksempel innhold, læring og oppslutning.
• Deltakernes tilfredshet måles blant annet av kvalitetsfaktorene trivsel og oppslutning.
• Viktige faktorer for foreldrenes tilfredshet kan være informasjon, tilgjengelighet og ”service”.

Få, men lure, spørsmål

• Behold fokuset på de overordnede temaene når spørsmålene utformes. Husk at spørsmålene er indikatorer på kvaliteten. Det er ofte ikke nødvendig med mer en noen få spørsmål til hver kvalitetsfaktor.  
• Det er mye som kan være morsomt å vite, men hva trenger vi egentlig? Hva har vi planer og ressurser til å følge opp? Vær realistisk!
• Unngå å spørre om noe ”for sikkerhetsskyld”. Innsamlet informasjon som ikke blir fulgt opp er verdiløs. Husk at spørreskjemaer skaper forventning om endring.

Utforming av spørsmålene

• Spørreskjemaer det er enkelt å svare på gir gjerne mer pålitelige resultater.
• Spør bare om ting respondentene faktisk kan vite.
• Bruk forståelig språk, tilpasset respondentene. Test gjerne ut spørsmålene på noen få deltakere, hvis det er praktisk mulig.
• Korte og enkle spørsmål er best.
• Unngå generelle spørsmål. Hvis spørsmålene ikke er presise, kan respondentene forstå spørsmålene litt ulikt og svare på ulike ting. Dermed blir resultatet verdiløst.
• Skal respondenten eller vi vurdere? Respondentenes vurdering og vår vurdering gir svar på ulike ting. Ofte er det beste å la respondentene svare på konkrete spørsmål og selv gjøre vurderingene.
• Det er vanskelig å fange opp årsaker i spørsmålene, blant annet fordi det er vanskelig å lage spørsmål forstås likt av alle. Respondentenes oppfatning av årsaker trenger ikke samsvare med virkeligheten, og er ikke alltid nyttige. Årsakssammenhenger bør oftest analyseres fram i etterkant, men da må spørsmålene utformes slik at det er mulig.

Svarkategorier

• Gode svarkategorier er avgjørende! Gode spørsmål er verdiløse om svarkategoriene ikke er gode.
• Gode svarkategorier er:
  • Ikke overlappende
  • Dekkende
  • Ballanserte og nøytrale
  • Gjensidig utelukkende
  • Har relevant målestokk
  • Har konsistent bruk av skalaer
• Ha et bevisst forhold til antall kategorier. Vær konsistent.
• Ha et bevisst forhold til bruk av ”Vet ikke”-kategorien. Ved bruk av ”vet ikke” risikerer man at mange bruker denne kategorien selv om de egentlig kunne gitt gode svar. Mange ”vet ikke”-svar gjør resultatene på undersøkelsen mer usikre. Hvis man ikke bruker ”vet ikke” risikerer man at de som virkelig ikke vet svarer tilfeldig. Også dette kan gjøre resultatene usikre.
• Vær forsiktig med å ”snu” skalaene ved bruk av spørsmål der respondentene skal svare på en skala ut fra enighet eller tilfredshet. Hvis kryss lengst til venstre betyr at noe er bra i det ene spørsmålet mens det neste spørsmålet er utformet slik at kryss på samme side av arket betyr at noe er negativt kan respondentene fort krysse motsatt av det de mener på en del av spørsmålene.
• Det kan være lettere å svare på et skjema der alle spørsmålene har samme oppbygning.

I de ferdige spørreskjemaene i ”Stadig bedre” er alle spørsmål formulert som en påstand som respondenten skal si seg ”enig”, ”litt enig”, ”litt uenig” eller ”helt uenig” i. Dette er et eksempel på en utforming som gjør det enkelt å fylle ut skjemaet for respondenten og enkelt å sammenlikne spørsmål og ulike undersøkelser for de som bearbeider undersøkelsen.
I større forskningsarbeider anbefales det ofte å lage kontrollspørsmål, dvs spørsmål som i praksis spør om det samme, men er litt ulikt utformet. Tanken er at hvis respondenten svarer helt ulikt på de to spørsmålene kan denne respondentens svar regnes som useriøs eller tilfeldig, og lukes ut av undersøkelsen. I små undersøkelser for kvalitetsutvikling vil vi ikke anbefale dette. Det gir unødig mange spørsmål og respondenter kan oppleve slike spørsmål forvirrende eller irriterende.

Kritiske vurderinger når spørreskjemaet er laget

• Vil spørsmålene gi svar på det vi ønsker å få svar på?
• Er spørsmålene forståelige?
• Er svarkategoriene gode?

GJENNOMFØRING AV UNDERSØKELSEN

Personvern
Vær sikker på at personvernbestemmelsene er ivaretatt.

Følgebrev
Et følgebrev bør være kort. Ta bare med relevant informasjon, men den praktiske informasjonen må være komplett og korrekt, inkludert informasjon om personvern.

Elektronisk eller papir?
Dette er både et praktisk spørsmål og et spørsmål om å oppnå best mulig svarprosent.

Ved gjennomføring med elektroniske tilbakemeldingstjenester blir svarene automatisk summert og det er enkelt å ta ut samlerapporter og statistikker. Dette er en stor fordel, særlig hvis det er mange respondenter.

Elektronisk gjennomføring gjør det også lettere å nå for eksempel foreldre eller andre som man sjelden treffer. En undersøkelse som krever innsending av papirskjemaer pr post gir gjerne lav svarprosent.

For grupper man møter samlet kan imidlertid papirskjemaer gi større svarprosent, fordi man kan sette av tid sammen for å fylle ut skjemaene.

KA har en avtale med Questback om bruk av deres evalueringsverktøy til redusert pris for medlemmer. Les mer om Questback.

PERSONVERN

Innsamling og oppbevaring av personlige opplysninger er i norsk lov regulert gjennom særskilt lovgivning (Lov om behandling av personopplysninger). Generelt forstås spørsmål knyttet til religion som sensitive og innsamling av denne type data er i utgangspunktet regulert gjennom en egen lovgivning om personvern (jf. personopplysningsloven § 2 nr.8). Loven fastsetter at det skal innhentes samtykke fra foreldre dersom det skal innhentes opplysninger fra barn under 15 år dersom respondentene er identifiserbare. Slike undersøkelser skal også være godkjent av Norsk samfunnsvitenskaplig datatjeneste (NSD).

Spørreskjemaene som hører med til kvalitetsverktøyet Stadig bedre inneholder spørsmål som omfatter personlige forhold. Noen av dem retter seg også mot barnunder 15 år. Alle slike undersøkelser må håndteres innenfor de rammer som loven setter.

Stadig bedre har utviklet ferdige spørreskjemaer til bruk i evaluering og kvalitetsutvikling av menighetsdiakoni og trosopplæring. Bruk av de ferdige spørreskjemaene i Stadig bedre kan gjøres uten godkjenning fra NSD under forutsetning av at respondentene ikke er identifiserbare; med andre ord at kravet om anonymitet blir sikret. Det bør ikke bes om nærmere informasjon om den enkelte respondent (bosted, nøyaktig alder etc). Det formelle krav om foreldresamtykke bortfaller ved oppfyllelse av anonymitetskravet. Undersøkelser bør imidlertid baseres på stor respekt for foreldrenes mandat på dette området. Skjemaene for barn og foreldre skal adresseres til foreldrene. Det må også understrekes at å besvare skjemaer av denne karakter er frivillig. Det er med andre ord ikke anledning til å pålegge for eksempel konfirmanter å utfylle spørreskjemaene.

Personvern når tilbakemeldingsverktøyet Questback blir brukt:
Datatilsynet har opplyst at vilkåret for å benytte Questback uten å komme i strid med personvernlovens bestemmelser er følgende: Spørreskjemaer som besvares anonymt og frivillig, omfattes ikke av lovens bestemmelser ettersom de opplysninger som fremkommer ikke vil være knyttet til identifiserbare personer og dermed ikke vil være å betrakte som personopplysninger.
Questback har funksjoner som sikrer skjult identitet, dvs. at respondenten ikke kan spores. Dersom disse funksjonene brukes korrekt, skal vilkåret være ivaretatt.

 

ANALYSE OG VIDERE BRUK AV RESULTATENE FOR KVALITETSVURDERING

Allerede før undersøkelsen gjennomføres bør det være klart hvem som har ansvaret for å systematisere og analysere spørreskjemaene, og det må settes av tid til dette arbeidet.

Spørreskjemaene bør gjennomgås med tanke på om det finnes klare eller mindre klare trender, spesielle ting man må være oppmerksom på og hvordan man skal vurdere det som foreligger. Er signalene tydelige? Hva oppleves positivt? Hvor er forbedringspotensialet?

Analysen må ta hensyn til hvordan skjemaene er bygget opp. Er skjemaene bygget opp med kvalitetsfaktorer og indikatorer, må analysen fokusere på kvalitetsfaktorene og ikke på de enkelte spørsmålene.

Det er et lederansvar å sørge for at resultatene gjennomgås i staben og å legge opp den videre prosessen. Alle involverte bør være til stede når resultatene presenteres og vurderes. Erfaring fra kommunale etater viser at oppfølging i form av felles gjennomgang og vurdering i staben er avgjørende for å få til den kvalitetsutviklingen man ønsker.

Det er en forutsetning at ledelsen legger til rette for et arbeidsmiljø som kan fungere som et positivt læringsmiljø med toleranse for feil. Det er lett at noen føler seg truet og går i forsvar. Det er et særlig lederansvar å håndtere resultater som oppleves problematiske for de ansatte, eventuelt frivillige. Den lokale kirken er en liten arbeidsplass og ofte må ansatte ta seg av oppgaver de egentlig ikke ønsker, er motivert for eller kvalifisert til. Det kan for eksempel gjenspeiles i brukerundersøkelser knyttet til et bestemt alderstrinn.

Det er menighetsrådets ansvar å utarbeide og vedta de lokale planene, og dermed å gjøre eventuelle endringer i lokale målsettinger. Derfor kan det være nyttig om menighetsrådsleder er tilstede ved en resultatgjennomgang og i arbeidet med å utforme nye målsettinger.

En felles gjennomgang og drøfting i staben skal resultere i konkrete beslutninger og en plan for det videre arbeidet. En god kvalitetsutviklingsprosess forutsetter et felles ansvar der man ikke overlater til ledelsen eller den ansvarlige medarbeideren å gjøre de konkrete valgene.

• Det må gjøres tydelige prioriteringer for utviklingsarbeidet: Hvilke områder er det viktigst å forbedre? Det er nyttig å arbeide med prioriteringer ut fra de kvalitetsfaktorene man har valgt. Igjen kan det være lett å se seg blind på resultatet av enkeltspørsmål i stedet for å se på helheten av arbeidet.
   
• Hvordan kan de prioriterte områdene forbedres? Hvilke konkrete grep skal tas? Hvordan vil dette påvirke planer og målsetninger?
   
• Det er dette kvalitetsutvikling handler om. Det skal gjøres endringer knyttet til det som ikke er så bra. Uten gode og konkrete endringer blir det ingen kvalitetsutvikling. Med en åpen og kreativ prosess i staben er mulighetene gode for å ta de beste grepene for en konstruktiv forandring og fornyelse.
   
• Her må det tas hensyn til tilgjengelige ressurser og medarbeidernes kompetanse. Man skal være realistisk. Kanskje er en endret ressursbruk eller kompetanseutvikling på bestemte områder noen av de grepene som vil bedre kvaliteten på arbeidet?
   
• Det må avklares hvem som har ansvaret for de ulike oppgavene i videre oppfølging og endring, med en klar tidsplan.
   
• Det må også avklares hvordan staben skal arbeider videre med nye drøftinger og legges en plan for når nye undersøkelser skal gjennomføres.