Denne artikkelen tar sikte på å beskrive hvilken plass evaluering har i NKIs fjernundervisning, teoretisk forankring og hvordan praksis er og har vært. Vekten er lagt på undervisningsevaluering, både i mikro- og makroperspektiv. Studentevaluering tas bare opp i den grad den har betydning for evaluering av undervisning og kvalitetssikring. Det er lagt vekt på å beskrive praksis og erfaringer, og mer vekt på å beskrive vår tenkning om evaluering, metoder og erfaringer enn å presentere spesifikke resultater fra ulike undersøkelser.
I og med at eksperimentelle undersøkelser har hatt en relativt stor plass i NKIs evalueringspraksis, vil vi drøfte problemer knyttet til eksperimentet som metode noe mer i detalj.
NKI ser på undervisningsevaluering som en nødvendig og integrert del av den pedagogiske praksis, og prinsipielt en kontinuerlig prosess i virksomheten, ikke en aktivitet som sporadisk settes i gang for å å belyse eller løse spesifikke problemer.
Skole- og undervisningsevaluering er i dag et sentralt tema. I den forbindelse kan vi vise til f. eks. evalueringsguiden som er utarbeidet av Sentralorganet for fjernundervisning på universitets- og høgskolenivå (SOFF 1991) og til NAVFs prosjekt med sikte på nasjonal evaluering (Jordell 1992). NAVFs prosjekt er igangsatt bl. a. som resultat av anbefalinger i utredningen fra "Studiekvalitetsutvalget" (1990). Vi kan vise til at undervisningsevaluering har stått sentralt i NKIs virksomhet helt siden begynnelsen av 70-tallet. I en viss grad har NKI hatt samme tradisjon som er kjent fra de åpne universitetene som i samme periode er etablert i en rekke land, der egne enheter for evaluering og forskning har vært et typisk trekk i organisasjonen (Schuemer 1990). Dette som har vært begrunnet med at fjernundervisning på mange måter representerer en nyskaping i pedagogisk virksomhet (Thorpe 1988). Evalueringsvirksomheten ved NKI startet med en kartlegging av rekruttering, frafall og fullføring blant fjernstudenter, samt et forsøk på å analysere sammenhenger mellom bakgrunn og forutsetninger og studiefremgang. Undersøkelsen ga et ikke altfor lyst bilde av situasjonen, spesielt mht. frafall. Resultatene ga støtet til en omfattende organisasjonsvurdering med sikte på kvalitetsutvikling i alle ledd, samt etablering av en enhet for forskning og evaluering med sikte på kvalitetskontroll og kvalitetsutvikling og med hovedvekt på utvikling av fjernundervisningen ved NKI.
NKI er en selvstendig ideell stiftelse. NKI har fire virksomhetsområder:
NKI Ingeniørhøgskolen er Norges største ingeniørhøgskole. Skolen tilbyr forkurs pluss 3-årig ingeniørutdanning, der studentene kan ta de to første studieår ved 18 forskjellige steder, og avsluttende spesialisering i Oslo, Bergen eller Trondheim.
Datahøgskolen tilbyr et to-årig fulltidsstudium innen administrativ databehandling og systemutvikling pluss et tredjeårs diplomstudium.
Deler av studiene ved Ingeniørhøgskolen og Datahøgskolen kan tas som deltidsstudium og/eller fjernundervisning.
***Merk: Siden dette ble skrevet i 1993 er NKI Ingeniørhøgskolen og NHI Datahøgskolen fusjonert under navnet "Den Polytekniske Høgskolen"***
NKI Fjernundervisningen tilbyr studier innen yrkesopplæring, tekniske fag, organisasjon og ledelse samt økonomiske fag både på vidergående skoles nivå og som godkjente høgskolestudier. Fjernundervisningen rekrutterer 10-15.000 studenter hvert år. Disse representerer 30-50.000 kurspåmeldinger.
NKI Forlaget utvikler læremidler for NKIs egne tilbud og for det offentlige skoleverk.
Helt siden tidlig på 70-tallet har NKI hatt en egen Forsknings- og utviklingsavdeling i stab som har bistått virksomhetsommrådene med pedagogisk forskning, evaluering og utviklingsarbeid. Denne artikkelen beskriver i hovedsak evalueringsforskning utført eller ledet av NKIs forsknings- og utviklingsavdeling.
NKI har i en viss grad vært påvirket av ideer og prinsipper fra undervisningsteknologi og systemtenkning når det gjelder utvikling og gjennomføring av undervisning. I generelle modeller for utdanning og undervisning spiller evaluering en sentral rolle. Evaluering er et nødvendig element for tilbakekopling og tilpassing av prosessen, enten denne dreier seg om utvikling eller gjennomføring av undervisning. På hvert trinn i utviklingen av et undervisningsopplegg blir resultatene formelt eller uformelt, subjektivt eller objektivt vurdert, med eventuelt etterfølgende tiltak. Ideelt sett bør et nytt undervisningsopplegg tilbys i en pilotversjon til en mindre gruppe før det slippes ut på markedet i full skala. Dette gjøres i en del tilfeller ved NKI, noen ganger med relativt store ressurser for gjennomføring av evalueringen. I andre tilfeller slippes et nytt tilbud ut på markedet i ferdigutviklet versjon, mens suksessiv evaluering med revisjoner og forbedringer blir gjennomført over tid.
Enkeltkurs og kursmateriell blir alltid evaluert før det tilbys til studenter. Ofte blir kurset tilbudt i en foreløpig versjon før endelig produksjon og distribusjon.
Ifølge undervisningsteknologisk teori representerer evaluering en objektiv prosess, der læringsresultater blir målt og sammenliknet med klart definerte læringsmål (se. f. eks. Popham 1981). Etter vår oppfatning kunne dette kanskje ses på som en ideell virkelighet, men i praksis ved NKI, og sannsynligvis ved andre fjernundervisningsinstitusjoner, er målene som blir definert i forbindelse med utviklingen av kurset sjelden eller aldri i en form som muliggjør objektiv kontroll i en rendyrket målrelatert evaluering. Dermed blir evalueringsformene mer åpne og subjektive enn det rendyrkede ideal i systemtenkningen ville foreskrive. Mens tester med klar referanse til definerte prestasjonsmål opprinnelig ble presentert som lovende verktøy for å sikre måloppnåelse i utdanningssystemer, og dermed representere et enkelt og rimelig hjelpemiddel for beslutningstakere, har praksis vist at idealteorien ikke har levd opp til forventningene. Målrelatert evaluering er bl. a. disktutert av Burton (1977) og Glass (1977).
Spørsmålet om hvem som bør gjennomføre evaluering av undervisning for å sikre objektivitet og brukbarhet av resultatene, har vært sentralt i den pedagogiske debatt, også ved NKI (se f. eks. Scriven (1975)). Etter vår oppfatning er spørsmålet mer sentralt i sammenhenger der eksterne organer har ansvar for godkjenning av institusjoner og studietilbud på basis av definerte krav, eller i situasjoner der organer som gir økonomisk støtte har behov for å evaluere effekten av økonomiske tilskudd, enn når evaluering først og fremst er et ledd i institusjonens eget kvalitetssikringsarbeid. Ifølge Scriven (1975) er det ikke enkelt å finne en løsning på spørsmålet om objektivitet i undervisningsevaluering. Det er umulig å garantere at eksterne bedømmere er objektive, samtidig som det er sannsynlig at de ikke har mulighet til å gå tilstrekkelig i dybden mht. problemstillinger ved den enkelte institusjon eller undervisningsopplegg til å kunne gjennomføre et brukbart evalueringsopplegg og få tak i den virkelig betydningsfulle informasjonen for vurderingen og for videre utvikling.
Evalueringen kan gjennomføres av en eller flere av de som er ansvarlige for undervisningsopplegget, av andre i samme enhet i organisasjonen, av andre enheter i organisasjonen, av eksterne bedømmere engasjert av undervisningsinstitusjonen eller av eksterne bedømmere engasjert av eksternt kontrollorgan eller ekstern finansieringskilde (eller av en evalueringsgruppe der to eller flere av disse er representert). Ved NKI har vi erfaring med mange ulike modeller. Vi skal gi noen eksempler:
Norge var faktisk det første land i verden som valgte å styre og kontrollere brevundervisning med basis i en egen lov, "Lov om brevskular" av 1948. Ifølge loven skulle alle brevskoler og hvert enkelt kurs godkjennes av Departementet. Helt til utgangen av 1991 ble evalueringen administrert av Brevskolerådet.
I likhet med kontrollen av andre brevskoler, har Brevskolerådet gjennomført regelmessige, og til dels omfattende vurderinger av hele NKIs fjernundervisningssystem, administrative systemer, markedsførings- og økonomisystemer, samt pedagogisk opplegg, undervisnings- og veiledningsrutiner og kvalifikasjonsvurderinger av administrativ stab og undervisningspersonell. Brevskolerådet utarbeidet omfattende rapporter til skolene og til Departementet.
Det er neppe tvil om at skolene gjennom disse vurderingene har fått "ny" og verdifull innsikt.
Brevskolerådet ble nedlagt ved utgangen av 1991. I denne forbindelse er det foreslått nye løsninger for evaluering og kvalitetskontroll som i større grad er basert på samarbeid i bransjen og etablering av rutiner for kvalitetskontroll i skolenes egen regi. Denne omleggingen er nok i samsvar med nyere synspunkter på undervisningsevaluering, som blant annet forutsetter at egenevaluering er en naturlig del av enhver undervisningsinstitusjons aktiviteter, og en nødvendig forutsetning for kontinuerlig kvalitetsutvikling (Thorpe 1988).
Mens ordningen med ekstern evaluering administrert av Brevskolerådet var hensiktsmessig i en periode, er det klart at ordningen hadde en del svakheter, og disse kan ha blitt mer iøynefallende enn fordelene, se bl. a. Holmberg (1989). For å belyse ekstern evaluering, skal vi kort se på noen av disse ulempene.
For det første, for at konsulentene skulle kunne aksepteres som objektive, ble de rekruttert fra institusjoner som ikke selv var engasjert i fjernundervisning. Det betyr på mange måter at de hadde mangelfulle forutsetninger for å evaluere fjernundervisning. De hadde ikke alltid innsikt i hva fjernundervisning innebærer, mht. integrasjonen av spesielt utviklet læremateriell for selvstudier, og undervisnings- og veiledningssystemer som deler av undervisningssystemet. Ofte ville de kunne betrakte læremateriellet isolert og sammenlikne det med ordinære lærebøker som benyttes i helt andre situasjoner.
For det andre viser erfaringene at enkelte i utgangspunktet har grunnleggende negative innstillinger til fjernundervisning, som gir seg uttrykk i oppfatninger som - "mitt fagområde kan ikke undervises på denne måten".
For det tredje, mens evaluerere fra andre institusjoner tidligere ble oppfattet som "objektive", viser det seg at det på langt nær alltid er tilfelle. Grunnen kan være at bedømmerne er rekruttert fra institusjoner som - med rette eller ikke - kan være kritisert for ikke å tilpasse seg dagens krav fra myndighetene eller markedet om å tilby mer fleksible og åpne studietilbud. I andre tilfelle, oppleves konkurranse i markedet, og fjernundervisning kan oppfattes som en trussel. Begge situasjoner kan føre til negative holdninger og kan påvirke konklusjonene.
For det fjerde risikerer man at evaluererne møter fjernundervisningen med en lærer-/forelesningssentrert mer enn en elev-/læringssentrert holdning som kan gjøre det problematisk å gi en rettferdig vurdering av undervisningsformen.
Som et femte punkt kan vi nevne at det alltid er en viss fare for at eksistensen av ekstern evaluering får kursutviklere og forfattere til å arbeide mer for å tilfredsstille bedømmerne enn elevene. Enkelte ganger blir dette tydelig - når den eksterne konsulenten krever endringer som utviklingsgruppen basert på egen innsikt i faget og i fjernundervisning ser på som kvalitetsforringende.
Mens Brevskolerådet la hovedvekten på vurdering av institusjonen og det enkelte kurs, har vi på universitets- og høgskolenivå erfaringer med ekstern evaluering av fullstendige studieopplegg. I dag er det Nasjonalt koordinerende utvalg (NKU) som på vegne av Departementet og Universitetsrådet vurderer studier på høgre nivå, og dermed avgjør om et studietilbud kan gi fritak ved opptak til andre institusjoner og inngå i en cand. mag. grad. I denne forbindelse blir også NKIs tilbud på høgere nivå eksternt evaluert. Denne prosessen omfatter vurdering av fagplaner, valgte lærebøker, reglementer og eksamener, lærerkrefter og sensorer på basis av kriterier definert av universitetene.
NKI har som nevnt hatt en egen internavdeling for forskning og evaluering. Mens ekstern evaluering kan ha positiv virkning på kvaliteten av undervisningstilbudene, fungerer den først og fremst summativt. Som de fleste andre fjernundervisningsinstitusjoner er NKI primært opptatt av formativ evaluering som redskap i en kontinuerlig utviklingsprosess (Scriven 1981).
Intern evaluering gjennomføres av forsknings- og utviklingsavdelingen, dels på eget initiativ og dels på "bestilling" fra fjernundervisningen. Vi er enig med Scriven (1975) at evalueringsresultatene skal rapporteres både til dem som er direkte ansvarlige for det tilbud som evalueres og til overordnede instanser. Resultatene fra NKIs interne evalueringer blir publisert i full bredde internt.
Evaluering blir ved NKI også initiert og gjennomført av de som er ansvarlige for det enkelte studietilbud. NKI har "kvalitetsgrupper" som er ansvarlig for utvikling, administrasjon og revisjon av det enkelte studietilbud. Disse gruppene tar initiativ til revisjon og videreutvikling innen sine områder. I denne forbindelse benyttes bl. a. enkle spørreskjemaer eller telefonintervju med elever og lærere. Evalueringen er normalt ganske uformell når det gjelder opplegg, instrumenter og rapportering. Fra tid til annen gir Forsknings- og utviklingsavdelingen konsulentbistand til disse prosjektene.
Etter vår erfaring gir mer omfattende formativ evaluering mest nyttbare resultater når den gjennomføres av en intern "spesialist" i samarbeid med personellet som er direkte involvert i studietilbudet. Slike evalueringer bør likevel suppleres med de mer kontinuerlige og rutinemessige evalueringer som gjennomføres av det undervisningsansvarlige personell - fordi undervisningsevaluering nettopp må betraktes som en integrert del av det pedagogisk/administrative arbeidet.
Elevene ved NKIs fjernundervisning blir kontinuerlig evaluert gjennom hele studiet ved veiledning, kommentering og formell karaktersetting gjennom de enkelte innsendinger. De fleste kursene avsluttes med eksamen. I en viss utstrekning blir eksamensresultater benyttet i kursevaluering. Erfaringsmessig er likevel tilbakemeldinger fra elever og lærere i andre former enn karakterer bedre grunnlag for å vurdere hvordan kurset fungerer. Likevel, fra tid til annen foretas sammenlikninger av resultater mellom fulltids-, deltids- og fjernstudenter som tar samme kurs. Slike sammenlikninger kan gi holdepunkter for kvalitetsvurderinger eller gi grunnlag for videre undersøkelser. Generelt er vi ikke tilhengere av å legge for stor vekt på komparative undersøkelser, bl. a. fordi en må ta i betraktning "selvseleksjon" til ulike studietilbud og generelt større frafall i deltidsstudier. (De rene tall synes å vise at fjernstudenter oppnår bedre resultater enn andre deltidsstudenter (se. f.eks. Paulsen & Rekkedal (1990)).
Elevevaluering er tatt med i denne artikkelen bare fordi den også benyttes i systemevalueringen. Når det gjelder systemevaluering, foregår denne på ulike nivåer.
Som nevnt, blir hele organisasjonen underlagt ekstern evaluering som ledd i Departementets ordinære godkjenningsprosedyrer. Det er likevel klart at det primært er den interne organisasjonsevaluering som sikrer ønskelig og nødvendig utvikling i henhold til eksterne og interne krav.
På fjernundervisningsfeltet har NKI gjennomført omfattende undersøkelser for å se om organisasjonen fungerer i henhold til egne mål. Rekrutterings- og frafallsundersøkelser har vært sett på som meget viktige. Gjennom rekrutteringsundersøkelser får vi informasjon om i hvilken grad NKI rekrutterer sine elever i henhold til nasjonale og institusjonaliserte målsettinger om at NKI skal representere et supplement til andre offentlige og private institusjoner om å gi utdanningsmuligheter uavhengig av sosial, geografisk eller kunnskapsmessig bakgrunn.
Vi har gjennomført frafallsundersøkelser for å vurdere om frafallprosenter er akseptable i forhold til interne og eksterne kriterier. Undersøkelsene har også blitt lagt opp med sikte på å finne fram til årsaker til frafall og sammenhenger mellom situasjonsrelaterte (studiesituasjon, sosial situasjon eller arbeidssituasjon), og personrelaterte (motivasjon, kunnskapsforutsetninger etc.) faktorer og frafall. NKI har fastlagt definerte mål om økning av gjennomsnittlig fullføring på de enkelte kurs innen bestemte frister for institusjonen som helhet.
Fjernundervisningsinstitusjoner har tradisjonelt lagt stor vekt på å kartlegge frafall og fullføring. Hensiktsmessigheten av dette har vært diskutert i disse miljøene, bl.a. fordi det har ført til en misforståelse i andre miljøer om at frafall er et større problem i fjernundervisning enn i andre former for deltidsstudier. Vi tror på ingen måte at dette er riktig. Selv om det er vanskelig å foreta sammenlikninger, tyder de undersøkelser som er gjort på feltet at en ikke kan konkludere at frafall er et større problem i fjernundervisning enn i andre former for deltidsundervisning (se Nilsen (1974)). Ved NKI ser vi på frafalls-/fullføringsstatistikk som en verdifull indikator på kvalitet - selv om vi på ingen måte ser på ethvert frafall som tegn på mangler i systemet.
En annen dimensjon i NKIs interne institusjonsevaluering er strategisk planlegging som gjentas hvert år i en kontinuerlig og tilbakevendende prosess. I forbindelse med langtidsplanleggingen foretas en overordnet vurdering av svake og sterke sider med sikte på fastsetting av kort- og langsiktige mål for videreutvikling.
Selv om studieplaner og studietilbud blir underlagt ekstern evaluering, så må den enkelte institusjon ta intern formativ evaluering på alvor. Når NKI lanserer et nytt studietilbud, blir det normalt fulgt av et evalueringsopplegg. Et eksempel er det intensive og kontinuerlige evalueringsprosjektet av de to første gjennomføringene av kurstilbudet i "Administrasjon og ledelse" på høgskolenivå" (Peersen 1991, 1992). Dette er beskrevet i nærmere detalj i den følgende artikkelen. I denne sammenheng engasjerte NKI en ekstern evaluerer som fulgte studenter, lærere og administrativt personale gjennom hele studiet.
Trykt studiemateriell og toveis kommunikasjon med fjernlærer er basis for NKIs fjernundervisningstilbud. Kvaliteten på det trykte materiell blir dermed av vesentlig betydning for at totalsystemet skal fungere tilfredsstillende. Kvaliteten av kursmateriellet blir vurdert på ulike måter i utviklingsfasen.
Kursutviklingsgruppen vil kunne ha en fagpedagog som medlem. Vedkommende vurderer materiellet underveis, og kan i en viss grad fungere som en slags "surrogatelev" og gi tilbakemelding på pedagogisk tilrettelegging og læringsaktivitetene i kurset og foreslå endringer. Materiellet blir vurdert av en ekstern fagspesialist for å finne eventuelle faglige mangler. Før trykking er materiellet til nå blitt vurdert av Brevskolerådets konsulent. Ofte blir materiellet produsert i en foreløpig versjon. Ved hjelp av spørreskjemaer, telefonintervju blir elevenes vurderinger samlet inn før endelig produksjon. Brevskolelærernes synspunkter på elevenes vanskeligheter, trykkfeil, oppgavekvalitet osv. blir rutinemessig samlet inn. Ofte fungerer forfatteren som lærer på kurset i den første perioden, med sikte på evaluering av foreløpig versjon.
I løpet av det siste 10 år har vi gjennomført en rekke spesifikke undersøkelser med sikte på vurdering av andre medier, som telefon, personlig datamaskin (inkludert datakonferanser), videoprogrammer og lydkassetter, lokal-TV og satellittdistribusjon og telefax. I disse undersøkelsen har vi vurdert både pedagogiske, tekniske, administrative og økonomiske forhold knyttet til ny teknologi.
Fjernlæreren representerer elevenes viktigste kontakt i løpet av studiene. Kvaliteten på lærernes arbeid er derfor av særlig stor betydning. I mer enn 20 år har NKI gjennomført systematisk kontroll og vurdering av lærernes arbeid med tilbakemelding i form av veiledning av den enkelte lærer. NKI gjennomfører et opplæringsprogram for lærerne der prospektive lærere blir vurdert med sikte på å fastslå om de har faglige og kommunikative evner til å fungere som lærere (se Bååth & Wångdahl 1976).
Institusjons- og undervisningskvalitet kan bedømmes ut fra ulike kriterier.
Rekrutteringsmønster er ett kriterium for å avgjøre om institusjonen, det enkelte studietilbud eller enkeltkurs tilfredsstiller definerte krav. Studiefremgang, frafall og fullføring representerer også mål som kan benyttes som kriterium. NKI har gjennomført flere større kartleggingsundersøkelser for å vurdere disse forhold (Rekkedal 1971, 1973, 1976, 1978).
På den annen side har vi ikke sett på karakterer som et spesielt godt egnet evalueringskriterium. Karakterene er ofte subjektive og mer benyttet som del av veiledning gjennom studiet enn som forsøk på objektiv vurdering av kunnskapsnivå. Eksamenskarakterer gir bedre holdepunkter, men sammenlikninger med sikte på å bestemme studiekvalitet er problematisk, som nevnt ovenfor, bl a. på grunn av selvseleksjon til ulike studieformer, ulikt frafallsmønster etc.
Videre benyttes subjektive synspunkter fra elever, lærere og ulike typer "eksperter" for å bestemme kvaliteten på ulike evalueringsobjekter - læremateriell, undervisningsprosesser, elevoppfølging, veiledningstjenester og administrative systemer.
Vi har ved NKI i en viss grad uformelt skilt mellom "pedagogisk forskning", "forskningsbasert evaluering" og "uformell evaluering" (evaluering gjennomført av personell uten spesiell kompetanse i forsknings- og evlueringsmetodikk). Det er likevel klart at de prosjekter vi har definert som forskningsprosjekter, nettopp har vært benyttet med sikte på evaluering av sentrale forhold i fjernundervisningen ved NKI, der praktisk nytteverdi i det pedagogiske utviklingsarbeidet har vært sett på som viktigere enn å verifisere teori gjennom generaliserbare resultater.
NKI vurderer at forskningsprosjekter i form av eksperimenter, forsøk og kartleggingsundersøkelser, såvel som forskningsbasert evaluering, uformelle evalueringprosjekter og kontinuerlige kvalitetsvurderinger har sin plass i det totale evaluerings- og kvalitetssikringssystemet. I tråd med disse synspunktene mener vi også at både kvantitative og kvalitative analyseinstrumenter og metoder bør benyttes. Ifølge våre erfaringer synes det klart at når vi ønsker å gå i dybden på et enkelt produkt, en undervisningspakke eller et fullstendig undervisningstilbud, med sikte på revisjon, er intensive metoder, som f. eks. intervju - ansikt til ansikt eller over telefon - bedre egnet enn spørreundersøkelser i stor skala med sikte på statistisk bearbeiding og kvantitative analyser.
Fjernundervisning egner seg på mange måter som et laboratorium for eksperimentell undersøkelse av ulike gjennomføringsformer med klart definerte variabler, tilfeldig utvalgte grupper og målbare resultater, spesielt når det gjelder studiefremgang, frafall og fullføring. Ved NKI har vi gjennom årene gjennomført en rekke eksperimentelle undersøkelser av ulike aspekter i fjernundervisningen.
Eksperimentet som metode i pedagogisk forskning kan ha både fordeler og ulemper. Et eksperimentelt undersøkelsesopplegg med statistisk signifikanstesting er nødvendig for "påvise" årsaks-virkningsforhold. Dersom en ønsker å undersøke om en måte å gjennomføre et undervisningsopplegg på er "bedre" enn en annen kan en velge tilfeldig to grupper gjennomføre undervisningen og holde kontroll med eventuelle feilkilder. Dersom eksperimentalgruppen presterer så mye bedre enn kontrollgruppen at forskjellen er statistisk signifikant (større enn det som kan oppstå som resultat av tilfeldige variasjoner), kan vi gå ut fra at den eksperimentelle variabelen har hatt en positiv effekt. På den annen side, kan det tenkes at en administrator med behov for et rasjonelt beslutningsgrunnlag i en aktuell situasjon, vil handle på grunnlag av data som ikke er statistisk signifikante, på lik linje med annen tilgjengelig informasjon.
Vi har ved NKI hatt positive erfaringer ved at resultater fra eksperimentelle undersøkelser har vært oppfattet som gyldige, i den forstand at medarbeidere i stor grad synes å legge stor vekt på å følge opp metoder og gjennomføringsformer med positive resultater som har vært eksperimentelt påvist.
Det er likevel klart at eksperimentelle undersøkelser har en del ulemper. Det er mange forhold som ikke lett lar seg undersøke eksperimentelt. Når en først har laget et eksperimentelt opplegg, blir det viktig å gjennomføre undersøkelsen under kontrollerte betingelser. Det vil si at det er umulig å gjøre endringer underveis, selv om det skulle vise seg ønskelig. Det kan derfor i mange sammenhenger være mer interessant å legge vekt på prosessen, å kunne reagere på prosessen med sikte på forbedringer og endringer. Eksperimentet kan altså hindre rasjonelle og ønskelige tilpasninger for de elevene som er tatt ut i forsøket. Derfor kan det i mange sammenhenger være mer hensiktsmessig å gjennomføre forsøk uten eksperimentell kontroll.
Alle undersøkelser som er gjennomført eksperimentelt ved NKI har vært fulgt av spørreundersøkelser for å vurdere andre resultater enn de som rent statistisk lar seg måle gjennom studieprestasjoner, studiefremgang og frafall. Således har vi lagt vekt på å skaffe til veie et mest mulig dekkende datagrunnlag for eventuelle beslutninger om videre utvikling og endringer i studietilbudene.
Eksperimentene ved NKI har generelt vært gjennomført etter følgende design:
R : E X1 O1
R : K X2 O2
R betyr at elevene er fordelt tilfeldig ("random")
E er eksperimentalgruppe
K er kontrollgruppe
X1 står for den variabel som undersøkes, mens
X2 star for kontrollgruppens behandling
O1 og O2 står for resultatmål i form av elevprestasjoner/studiefremgang
Det forutsettes at gruppene får identiske tilbud utover det/de variabler som er gjenstand for undersøkelsen.
Følgende undersøkelser har vært gjennomført eksperimentelt ved NKI:
Omløpstiden er den tid det tar fra elevene sender sine besvarelser til skolen til de får dem tilbake fra lærer. Ved inngrep i den naturlige omløpsprosessen for brevbesvarelser kunne vi redusere omløpstiden for eksperimentalgruppen i forhold til en kontrollgruppe - uten at læreren kunne se hvilke elever som hørte til hvilken gruppe. Ifølge elevenes opplysninger på et spørreskjema ble den opplevde tid redusert fra en medianomløpstid på 8,3 dager i kontrollgruppen til 5,6 dager i eksperimentalgruppen. Opplegget førte til en økning i fullføring på det undersøkte kurs fra 69% til 91%. Forskjellen var statistisk signifikant på .001 nivå. Kritisk skille mellom kort og lang tid ble vurdert til ca. en uke, en konklusjon som er blitt bekreftet i andre undersøkelser (Rekkedal 1972a, 1983). NKIs forskningsprosjekt på omløpstid har vært gjort til gjenstand for etterprøving/replikasjon i et internasjonalt samarbeidsprosjekt organisert av ICDEs forskningskomite (se Taylor et al. 1986).
I en undersøkelse prøvde vi å påvise effekten av å sende en sekvens av motiverende postkort og veiledningsbrev til passive elever med én måneds intervaller for å oppmuntre dem til å gjenoppta studiene. Sekvensen ble startet automatisk når en elev ikke hadde sendt inn noen besvarelser i løpet av en kalendermåned, og stanset når eleven tok noen form for kontakt med veiledere eller begynte å sende inn besvaerelser igjen. Vi målte forskjeller i studieaktivitet mellom rundt 240 elever i hver av en tilfeldig utvalgt eksperimental- og kontrollgruppe. Vi fant klare og statistisk signifikante forskjeller mellom gruppene etter tre måneder. Eksempelvis var det i løpet av 3. måned 46% i eksperimentalgruppen og 31% i kontrollgruppen som var aktive i studiene eller hadde kontakt med veileder (Rekkedal 1972b).
Ovenevnte eksperiment ga støtet til en undersøkelse for å vurdere effekten av innføringskurs i studieteknikk og oppfølging av elever i startfasen av studiet. Den ble gjennomført med 4 grupper, en som fikk tilbud om kurs i studieteknikk og systematisk oppfølging, en som bare fikk systematisk oppfølging, en som bare fikk undervisning i studieteknikk og en kontrollgruppe som startet direkte på fagkurset uten spesiell oppfølging i startfasen. Eksperimentet konkluderte med at kurs i studieteknikk sammen med systematisk oppfølging i startfasen bidrar til å redusere antall elever som faller fra i starten av kurset (i den tiden frafallsproblemene erfaringsmessig er størst i fjernundervisning) (Rekkedal & Hallem 1975).
Vi har også gjennomført eksperimentelle undersøkelser på bruk av preproduserte lærerkommentarer og mønsterløsninger(i samarbeid med NKS, Forsøksrådet for skoleverket og Brevskolerådet (Rekkedal & Ljoså 1974) og medieanvendelser, som telefonundervisning og veiledning (Rekkedal 1989) og bruk av telefax (Rekkedal 1992).
I en undersøkelse vurderte vi effekten av en totalomlegging av undervisningssystemet basert på gjennomføring av undervisningen ved en personlig individuell lærer/rådgiver, der vi integrerte administrative forhold, rådgivning og undervisning. I gjennomføringen var hele 10 forhold i fjernundervisningen endret, slik at vi vurderte resultatet av en totalomlegging av undervisningsopplegget i forhold til tradisjonell brevundervisning - i stedet for effekten av ett enkelt definert tiltak.
Det fører selvfølgelig til at det blir vanskelighere å avgjøre om det er enkelte forhold eller totaliteten som frembringer et eventuelt resultat. På den annen side var vi først og fremst interessert i å avgjøre om en "helt annen organiserings- og gjennomføringsform" ville kunne gi bedre resultater. De forholdene som inngikk i eksperimentet var:
| Aspekt | Eksperimental gruppe | Kontroll gruppe |
| 1. Lærer | Samme lærer i løpet av de 3-11 første kurs | Forskjellige lærere i forskjellige kurs |
| 2. Ansettelse | Fast ansatt/full kontortid på skolen | Deltidsansatt/arbeider hjemme/betalt pr. besvarelse |
| 3. Undervisning/Veiledning/rådgivning | Samme person ansvarlig for all elevkontakt | Ansvarlig for skriftlige besvarelser/separate rådgivere |
| 4. Omløpstid | Besvarelser returnert samme dag fra skolen | Besvarelser sendes om lærers hjemmeadresse |
| 5. Studieteknikk | Samme lærer underviser i studieteknikk | Egen deltidslærer i studieteknikk |
| 6. Begynneroppfølging | Lærer kontakter alle ved personlig brev/telefon | Automatiserte rutiner med standardbrev |
| 7. Generell oppfølging | Lærer kontakter alle ved personlig brev/telefon | Automatisert sekvens av trykte brev |
| 8. Telefonundervisning | Elevene kan ringe læreren/Lærer ringer ved behov | Ingen systematisk bruk av telefonundervisning |
| 9. Lærerpresentasjon | Personlig presentasjon med bilde og telefonnummer sendes sammen med studiemateriellet | Presentasjon av hver lærer returneres sammen med første besvarelse fra læreren i hvert kurs |
| 10. Preproduserte lærerkommentarer | Utviklet for alle kurs/benyttes ved behov | Kan være benyttet av noen lærere |
Resultatene fra eksperimentet viste at eksperimentalgruppen presterte signifikan bedre enn kontrollgruppen både når det gjaldt fullføring/frafall, antall fullførte kurs og antall fullførte studieenheter. Eksperimentalgruppen var også signifikant mer positiv til sentrale deler av fjernundervisningsopplegget enn kontrollgruppen, f. eks. når det gjaldt lærernes arbeid, oppfølging og veiledning gjennom studiet (Rekkedal 1985).
Den første større kartleggingsundersøkelsen ved NKI gjaldt rekruttering, fullføring og frafall for et helt årskull elever ved NKIs fjernundervisning (Rekkedal (1971). Undersøkelsen ble fulgt opp med to nye større undersøkelser. Den første analyserte i noe mindre dybde tre årskull, for å vurdere eventuelle endringer i rekrutterings- og frafallsforhold. En annen undersøkelse vurderte rekruttering og frafall ved fjernundervisning og fulltids ingeniørutdanning, og fulgte elevene gjennom 4 år. Denne siste longitudinelle (og i en viss grad komparative) undersøkelsen ga innsikt i forskjeller mht. elevenes planer og forventninger, deres erfaringer og holdninger ved frafall eller etter fullføring (Rekkedal 1973, 1976, 1978).
Qvist-Eriksen (1979a, 1979b) gjennomførte en storskala undersøkelse med sikte på evaluering av NKIs kombinerte studietilbud. Spørreskjemaer om kvalitet på læremateriell, generelle forhold, NKIs service, lokale læreres undervisning etc. ble distribuert til mer enn 700 elever og rundt 150 lærere. Resultatene ble benyttet i en totalvurdering og revisjon av undervisningsoppleggene, administrative rutiner og kursmateriell.
Med utviklingsprosjekter mener vi undersøkelser som gjennomføres med sikte på metode, medie og/eller undervisningsutvikling. NKI definerer EKKO-prosjektet, arbeidet med utvikling elektronisk fjernundervisning (datamaskinbasert undervisning) som et slikt utviklingsprosjekt. EKKO-prosjektet har arbeidet med utvikling av et datamaskinbasert konferansesystem for fjernundervisning. Innføring av datakonferanser i fjernundervisning fører normalt til en rekke endringer også i andre forhold i systemet (se f. eks. diskusjonen om datakonferanser som en ny "3. eller 4. generasjons fjernundervisning" eller et "paradigmeskifte" i fjernundervisningen (Garrison 1986, Lauzon & Moore 1989, Holmberg 1990).
I løpet av de siste 3 til 4 år har vi kontinuerlig arbeidet med utprøving og utvikling av konferansesystemet og administrative systemer, samt gjennomføring av datamaskinbasert fjernundervisning i ulike fag med ulike metodiske opplegg. Prosjektet har omfattet systematisk innsamling av informasjon, analyse og rapportering. Metodene har inkludert kontinuerlig registrering av aktivitet i systemet, spørreundersøkelser blant studenter, prospektive studenter og lærere, samt analyse av resultater - også sammenlikninger mellom brevstudenter, vanlige deltidsstudenter og studenter i elektronisk fjernundervisning. Resultatene er kontinuerlig publisert i rapporter og artikler (se f. eks. Paulsen & Rekkedal 1990).
Artikkelen om evaluering av "Administrasjon og ledelse" kan stå som eksempel på et utviklingsprosjekt der hele studietilbudet blir underlagt evaluering med sikte på endringer underveis i forsøksprosjektene, samtidig som evalueringensresultatene danner utgangspunkt for revisjoner før lansering i større målestokk.
NKI har i likhet med en del andre institusjoner deltatt i feltundersøkelser av spesielle medier og teknologier i samarbeid med Teledirektoratets forskningsavdeling. EKKO-prosjektet har vært del av Teledirektoratets forsøk med nye medier. Vårt forsøk med bruk av telefax i fjernundervisningen har også vært gjennomført som ledd i Teledirektoratets forsøk med ny teknologi i fjernundervisning.
I samarbeid med Teledirektoratet har vi også gjennomført en større evalueringsundersøkelse av "videokonferanser som del av undervisningsopplegg i fjernundervisning". Undersøkelsen ble gjennomført ved hjelp av observasjon og intensivintervjuer av lærere og deltakere i en gruppe som tok teknikkerutdanning gjennom brevstudier og videokonferanser (Holden 1992). Evaluering av videokonferanser fortsetter i 1992/93 med bl. a. oppfølging av et større prosjekt der Teledirektoratet i samarbeid med NKI benytter multipunkts videokonferanser i et tilsvarende studieopplegg.
Vi har i denne artikkelen forsøkt å redegjøre for hvordan NKI ser på evaluering, vår praksis og erfaringer. Vi har ikke sagt mye om resultater. Det har ikke vært mulig å gå inn i detaljerte resultater fordi de ulike kartlegginger, eksperimenter og evalueringsprosjektene dekker for mange dimensjoner og områder i NKIs fjernundervisning. Vi har lyst å poengtere at systematisk innsamling av informasjon, statistiske analyser - og rapportering - etter vår oppfatning representerer den grunnleggende forutsetning for "varige" endringer og kvalitetsutvikling.
Vi har ofte erfart at gode ideer blir prøvd ut og fører til positive endringer. Men - hvis vi ikke bruker tid og ressurser på å dokumentere virkningen gjennom metoder som medarbeiderne har tillit til, viser det seg ofte at endringene blir kortvarige. Dette er et resultat av at medarbeidere kontinuerlig vurderer hvordan undervisningstilbudene skal administreres og gjennomføres. I slike sammenhenger kommer naturlig nok også kostnadsbetraktninger inn. I en slik kontinuerlig utviklings- og endringsprosess må vi ta vare på positive trekk og fjerne eller endre negative trekk. Prosessen får en bedre styring når positive forhold i organisering, medier og metoder er dokumentert gjennom systematiske evlueringsundersøkelser.
Når medarbeidere i systemet er aktivt involvert i utviklingsarbeidet, og utviklingsarbeidet dokumenteres gjennom aksepterte evalueringsmetoder, blir utviklingen fulgt opp av engasjerte medarbeidere - og endringene får en mer varig karakter.
Burton, N. W. (1977): Performance Standards. Occasional papers series, 11. Evaluation Center, College of Education, Western Michigan University, Kalamazoo.
Bååth, J. A. & Wångdahl, A. (1976): The tutor as an agent of motivation in correspondence education. Pedagogical reports 8. University of Lund, Lund.
Franke-Wikberg, S. & Lundgren, U. P. (ed.) (1981): Att utvärdera utbilding. Del 1. Stockholm.
Garrison, D. R. (1986): Multifunction microcomputer enhanced audio teleconferencing: Moving into the third generation of distance education. Int. J. of Innovative. High. Ed. 3:1, pp. 26-29.
Glass, G. V. (1977): Standards and Criteria. Occasional Papers series, 10. Evaluation Center, College of Education, Western Michigan University, Kalamazoo.
Holden, G. (1992): Videokonferanser som del av undervisningsopplegg i fjernundervisning. Bekkestua, SEFU.
Holmberg, B. (1989): Theory and Practice of distance Education. London, Routledge.
Holmberg, B. (1990): A Paradigm Shift in Distance Education? Mythology in the Making. ICDE Bulletin 22, pp. 51-55.
Jordell, K. Ø. (1992): Nasjonal evaluering av økonomisk-administrativ utdanning. Premisser og prosess. NAVF Rapport 3/92. Oslo. NAVF.
Lauzon, A. C. & Moore, G. A. B. (1989): A fourth generation distance education system: Integrating computer-assisted learning and computer conferencing. The Am. J. of Dist. Ed., 3:1, pp. 38-49.
Nilsen, E. (1974): Brevundervisning på universitetsnivå. København/Oslo.
Paulsen, M. F. & Rekkedal, T. (1990): Den elektroniske høgskolen. EKKO-prosjektet, Del III. NKI/SEFU, Bekkestua.
Peersen, V. S. (1991): Evaluering i praksis og teori. To innfallsvinkler til evaluering av lederutvikling. Universitetet i Oslo.
Peersen, V. S. (1992): Evaluering høgskolestudiet - Ledelse og administrasjon for helse- og sosialsektoren. Rapport 4: Sluttrapport. NKI/SEFU, Bekkestua.
Popham, W. J. (1981): Målbaserade administrative strategier för omfattande pedagogiska system. In Franke-Wikberg, S. & Lundgren, U. P. (ed.) (1981): Att utvärdera utbilding. Del 2. Stockholm.
Qvist-Eriksen, S. (1979a): Kombinert undervisning. Delrapport 1. Hvorledes klasselærerne vurderer NKI-skolens kombinerte undervisningstilbud. NKI, Stabekk.
Qvist-Eriksen, S. (1979b): Kombinert undervisning. Delrapport 2. Hvorledes elevene vurderer NKI-skolens kombinerte undervisningstilbud. NKI, Stabekk.
Rekkedal, T. (1971): Korrespondansestudier. Rekruttering, prestasjon og frafall. Hovedoppgave. Pedagogisk forskningsinstitutt, UIO.
Rekkedal. T (1972a): Innsendingsoppgavene i brevundervisningen. Hvilken betydning har det å redusere omløpstiden? NKI, Oslo.
Rekkedal, T. (1972b): Systematisk elevoppfølging. NKI, Oslo.
Rekkedal, T. (1973): Tre årskull brevskoleelever. NKI, Oslo.
Rekkedal, T. (1976): Tekniske studier. Korrespondanseundervisning og klasseundervisning. NKI, Oslo.
Rekkedal, T. (1978): Tekniske studier. Korrespondanseundervisning og klasseundervisning. Delrapport 2. NKI, Stabekk.
Rekkedal, T. (1983): The written assignments in correspondence education. Effects of reducing turn-around time. An experimental study. Distance education, 1983:2, pp. 231-251.
Rekkedal, T. (1985): Introducing the personal tutor/counsellor in distance education. NKI, Stabekk.
Rekkedal, T. (1989): The telephone as a medium for instruction and guidance in distance education. NKI/SEFU, Bekkestua.
Rekkedal, T. (1992): Telefax som medium for toveis kommunikasjon i individuell fjernundervisning. NKI/SEFU, Bekkestua.
Rekkedal, T. & Hallem, S. A. (1975): Begynneroppfølging av brevskoleelever. NKI, Stabekk.
Rekkedal, T. & Ljoså, E. (1974): Preproduserte lærerkommentarer i brevundervisningen. En eksperimentell undersøkelse av bruk av preproduserte lærerkommentarer i tillegg til lærerens håndskrevne kommentarer til elevenes besvarelser på innsendingsoppgavene.
Schuemer, R. (ed.) (1990): Evaluation Concepts and Practice in selected Distance Education Institutions. ZIFF, Fernuniversität.
Scriven, M. (1975): Evaluation Bias and Its Control. Occasional papers series, 4. Evaluation Center, College of Education, Western Michigan University, Kalamazoo.
Scriven, M. (1981): Fördelar och nackdelar med målfri utvärdering. In Franke-Wikberg, S. & Lundgren, U. P. (ed.) Att utvärdera utbilding. Del 2. Stockholm.
SOFF (1991): Evalueringsbilder. En veiledning ved evaluering av fjernundervisning.
Studiekvalitetsutvalget (1990): Studiekvalitet. KUF.
Taylor, J. C. et al. (1986): Student Persistence in Distance Education. A Cross-cultural Multi-Institutional Perspective. ICDE Bulletin, 12, Sept. 86).
Thorpe, M. (1988): Evaluating Opnen and Distance Learning. Longman.