Delprojekt 6

Delprojekt 6: Afprøvning af digitale undervisningsmaterialer, tests og effektmåling

Delprojekt 6 er projektets egentlige afprøvningsfase.

fase 6

Formålet med delprojekt 6 er at afprøve om modellerne for undervisningsmateriale, læreruddannelse samt tests og de konkrete materialer leder til de ønskede resultater. Eller om der ud fra erfaringerne fra de gennemførte forløb er behov for kræver korrektioner og tilpasning.

Den gennemføres som undervisning i de udvalgte kursusmål med de udviklede undervisnings-materialer af undervisere, der har gennemført den digitale læreruddannelse samt af undervisere er blevet vejledet/coachet af kollegaer, der har deltaget i den digitale læreruddannelse.

På hver deltagende skole er det en projektleder/leder har ansvaret for, at der gennemføres digital undervisning i helt eller delvist digitalt tilrettelagte kursusforløb

De forventede effekter af delprojekt 6

  • Øget brug af digital læring i AMU.
  • Dokumentation for kursisternes læringsudbytte og effekten heraf fra 1000 kursister.
  • Øget tilfredshed fra kursister og virksomheder i forhold til traditionel holdundervisning.
  • Virksomheder og kursister får mere fleksibel og målrettet kompetenceudvikling med højt læringsudbytte, som de har behov for.

De foreløbige resultater

Erfaringer fra undervisere og dokumentation af læringsudbytte via test og effektmåling var planlagt opsamlet via resultatopgørelser fra AMUONLINE.dk, VisEffekt og en survey til undervisere og kursister på de kurser der afvikles. Der er udviklet spørgeskemaer, som er lagt ind i alle tilpassede kurser på AMUONLINE.dk til kursisterne og til underviserne.

Grundet forsinkelsen af projektet er der kun få kurser og kun få kursister, der har afprøvet de udviklede kurser og det er dermed fortsat begrænset, hvor meget validt data der er at hente fra kursister og undervisere, der har anvendt det udviklede materiale.
Der er i det følgende en række overvejelser om forløbet og hvorfor delprojekt 6 ikke er afsluttet indenfor projektperioden. Der er den forbindelse derfor anført en række læringspunkter.

Årsagen til de mindre antal udbudte kurser

Helt overordnet er årsagen til det mindre antal udbudte kurser den generelle forsinkelse af projektet.

Der blev fortsat i 3. kvartal 2016 arbejdet med tilpasning og testmateriale på adskillige kurser, som derfor ikke har været klar til udbud.

De ansvarlige på skolerne havde en række overvejelse som spiller ind på udbuddet af kurser:

  • Overvejelser om skolernes kunder i efteråret 2016 - om de kan have gavn af digital læring?• Hensyn til planlægning i skolernes årshjul, - hvor det forventes, at nogle skoler vil udbyde flere i 2017.
  • Forbehold / overvejelser om længden af kurser (afviklingstiden er oplevet som for kort, kursisterne blev ikke færdig indenfor det aftalte forløb (et eksempel var at kun 2/3 af kurset blev afviklet inden for den afsatte tid).
  • Vanskeligt at integrere testværkstøjerne, herunder ikke mindst i relation til Vis-Effekt/kvalitet.
  • De testede kurser er gennemført af såvel undervisere, der har været en del af udviklings-projektet, som af undervisere, der ikke har været en del af projektet og som derfor ikke nødvendigvis har haft nogen forkundskab til digital læring.

Udbudt og afviklede kurser og antal kursister i afprøvningen

  • Der er aktuelt 67-70 færdigudviklede kurser der er klar til anvendelse ved projektet afslutning. (se bilag)
  • Hver skole har budt ind på en række kurser, som de hver især har ønsket at udbyde og teste og der er indgået aftale med hver af skolerne (se bilag).
  • Det er pt. ikke muligt at opgøre, hvor mange kurser skolerne hver for sig og tilsammen har udbudt pr. medio november 2016.
  • Hovedparten af de digitale kurser er udbudt som en del af andre, længere forløb eller som del af en åben værksstedsmodel.
  • Der er ingen af de udbudte kurser, der er udbudt som ren-online og ingen af de udbudte kurser, der er udbudt som IDV.
  • Alle de udbudte og afviklede kurser er tilpasset både ift. en ren online udgave og af de skoler der har anvendt dem.
  • Der er ikke foretaget nogle nævneværdige tilpasninger ud fra hvilke målgruppe, der har anvendt kurset.
  • De digitale kurser, der udbydes og gennemføres i regi af TUP2014 er i overvejende grad søgt afviklet via AMU-online.
  • Det er kun, hvis de udviklede kurser afvikles via AMUONLINE.dk, at de deltagende skoler kan dokumentere deres indsats og hvor alle relevante parter kan se, hvad der er af aktiviteter samt få et indblik i konkrete erfaringer.
  • Der er enkelte skoler, der har afviklet digital læring udviklet i projektet fra egen platform. Kurser afviklet i skolernes på deres egen platfomr kan ikke dokumenteres og indgår ikke i resultatopgørelsen fra projektet. De indgår derfor ikke i denne rapport, da der ikke foreligger data om forløbene.
  • Det er pt ikke muligt at opgøre hvor mange af de udviklede kurser skolerne har afviklet og hvor mange kursister, der har deltaget i afprøvningen.
  • Der var medio november 567 brugere af AMU-online, hvoraf ca. 450 er kursister.

Læringskontekst og målgrupper

Skolerne har /planlægger at anvende de tilpassede kurser til ”blended learning forløb” i meget forskellige former og omfang, samt også ofte i en ”åben værkstedsmodel”.

Der er en klar forventning hos skolerne om, at der er en efterspørgsel ”derude” for digital læring. Det gælder især som ”blended learning forløb” og på specielle områder i form af ”rene on-line udbud”.

Der er forskellige vurderinger af, hvilke kursister, der kan have bedst nytte af at anvende digital læring.

Generelt forventes det, at være de beskæftigede - formidlet via virksomhederne - der er den primære målgruppe.

De ledige er for nogle af skolerne traditionelt generelt en betydelig AMU målgruppe, men samspillet med Jobcenter fungerer ikke altid optimalt. Det er derfor pt. usikkert, hvorledes digital læring kan indgå i ft tilbud til de ledige som målgruppe.

Der er dog flere eksempler på anvendelsen af ”åben værksteds-model”, hvor der indgår både beskæftigede og ledige – og hvor digital læring er en del af tilbuddet.

Forskellige opfattelser af kursernes anvendelighed

Der er (som forventet) forskel i opfattelsen af anvendeligheden af de udviklede kurser.

Der er en del kurser, der generelt vurderes at være så anvendelige, at skolerne har/vil tilpasse indholdet til udvalgte målgrupper og en specifik kontekst. Der er således ingen tvivl om, at de ca. 70 kurser der er en del af TUP2014 udgør en omfattende materialesamling, som matcher de intentioner, der har været med projektet.

Der er dog også nogle skoler, der har den holdning, at nogle af online kurser ikke den anvende-lighed, som gør, at man vil ofre tid og ressourcer på at tilpasse dem til specifikke målgrupper eller til en specifik kontekst. En del kurser ligger et sted i mellem disse to positioner.

Læringspunkter

Der var forskel på, hvordan skolerne har levet op til krav og forventninger i projektet og det har haft indflydelse på resultatet. Der er forskellige forklaringer på situationen.

Det er tydeligt, at skoler, hvor der har været en god ledelsesmæssig opbakning til projektet, er resultatet generelt bedst. I praksis betyder det bl.a., at man på den enkelte skole har tilstræbt at give udviklerne mere tid end der er tildelt oprindeligt. Dvs. at skolen har valgt selv at investeret i digital læring.

Der er tydeligvis også en del udviklere, der har lagt ”interessetid” i projektet. Der er som oftest udarbejdet gode kurser af interesserede udviklere og undervisere på skoler med en god ledelsesmæssig opbakning.

Det var tilsyneladende et problem, at der i en del tilfælde ikke har været en tilstrækkelig informa-tion fra skolernes ledelse/uddannelsesansvarlige til undervisere /tilpassere om, hvorfor de skulle deltage i tilpasningskurserne.

Der har således været skoler, hvor den ledelsesmæssige opbakning til projektet af mange forskellige årsager - primært skolernes rammevilkår - har påvirket projektets resultater. Det kan henføres til forhold som:

  • Udskiftning af projektets lokale kontaktperson/skoleleder.
  • Problemer med at allokere undervisere til tilpasning og videre forløb,
  • Skolens generelle økonomiske situation med behov for tilpasning af medarbejdere
  • Usikkerhed om fremtidigt udbud af AMU o.a.

Generelt viser erfaringerne fra projektet, at hvis der skal opnås den ønskede kvalitet i online kurser, så kræver det væsentlige nyinvesteringer, ledelsesmæssig opmærksomhed og en ambition om at gøre digital læring til en central del af det samlede AMU udbud.

Man kan til parallelt hermed overveje om projektet har haft for store ambitionen ift de midler der er lagt i projektet. En større fokus på færre kurser, hvor det enkelte udviklingsarbejde blev tildelt flere timer, havde nok skabt muligheder for et bedre resultat rent kvalitetsmæssigt.

Et sidste læringspunkt kan være, at udvælgelsen af udviklere og tilpassere fremover bør være mere fokuseret. Alternativet vil være, at modellen med at lade lærerne udvikle må forlades, således at det er ”professionelle” udviklere, der ansættes til at udvikle.

Usikkerhed om vurdering af kursernes effekt

Der er pr. medio november - som allerede nævnt - kun få kurser, der er afviklet og der er derfor også kun indrapporterede erfaringer baseret på få tilbagemeldinger fra kursister og undervisere.

Det er grundet det begrænsede antal gennemførte kurser og de relativt få kursister der har medvirket i testfasen, der også har svaret på et vedlagt spørgeskema ikke muligt pt. at give en valid beskrivelse endsige solid analyse af det samle udbud af udviklede og tilpassede kurser.

Da der ifølge AMUonline.dk aktuelt, som nævnt, er lidt over 450 kursister tilmeldt, men som endnu ikke har gennemført kurser og da der fortsat forventes tilmeldt nye kursister, er der en mulighed for, at der i løbet af de næste 3 til 6 måneder kan være et bedre datagrundlag for at foretage en reel vurdering af afprøvningsforløbene fra TUP2014.

Der er baseret på det foreliggende grundlag, suppleret med kvalitative interviews med projekt-ansvarlige, leverandører og undervisere/udviklere dog nogle foreløbige observationer, der forekommer relevante for projektets afrapportering.

Foreløbige observationer

  • Det er en generel vurdering, at det er muligt at anvende langt de fleste dele af et givent kursus også selvom der skal ske tilpasninger afhængig af kontekst og kursist-målgruppe.
  • Nogle kurser indgår som en større eller mindre supplerende del af traditionel klasserums undervisning.
  • En del undervisere og uddannelsesansvarlige bemærker, at kurserne i deres nuværende form ikke umiddelbart er egnet til deres kursistmålgruppe og/eller at det vil tage tid at gøre det.
  • Enkelte undervisere vurderer, at kursisterne som helhed - ud fra deres vurdering af det netop gennemførte kursus - har opnået et bedre/højere læringstilvækst sammenlignet med traditionel kursusafvikling.
  • Andre mener dog ikke det er tilfældet eller kan ikke give en valid vurdering af om det er tilfældet.

Alt i alt er der noget der tyder på, atdDet er ikke altid lige let at foretage de fornødne tilpasninger til målgruppe og kontekst.

Foreløbig vurdering af effekt

Undervisere og kursister

Der er ud fra en foreløbig vurdering en forskel i undervisernes vurdering af effekten af at anvende de udviklede og tilpassede kurser. Der er både nogle undervisere der er fuldt tilfredse, nogle der hverken er tilfredse eller det modsatte og så enkelte, der er direkte utilfredse med forløbet.

Der er en del positive tilbagemeldinger fra erfarne undervisere og kursister, der selv vurdere at de har en tilstrækkelig IT kompetence.
Der er undervisere, der ser betydelige fordele og potentialer i digital læring – ikke mindst fordi det give fleksibilitet og nye mulighed for tilpassede kurser.

Der er eksempler på, at selv erfarne undervisere har haft udfordringer ved - som underviser - at anvende digital læring. Der er f.eks. peget på, at der er en del forberedelse og fremfinding af opgaver til erstatning for det, som ikke virkede på klassen.

Et konkret forslag fra en underviser illustrerer flere sammenhængende problematikker, nemlig graden af standardisering/ frihed til at tilrette og oplevede kvalitetsproblemer i visse kurser:

”Man skal nok overveje i hvilken grad man vil tillade de enkelte skoler at rette i materialet. Og så skal der nogen korrektur på. Både med hensyn til indhold og med hensyn til fejl. Vi har eksempelvis fundet et HR kursus, hvor alle filmhenvisninger ikke virkede”

En mulig forklaring på det nævnte problem kan være, at materialet er afviklet på en anden platform end AMU-online. Hvis ikke platformen har en video-plugin, så kan der ikke afspilles videoer.

Eksemplet viser hen til en mere principiel problemstilling: Det er vigtigt, at der er en vis standardisering af de platforme kurserne afvikles på. I det omfang skolerne etablerer egne platforme, kan det ikke forventes, at alle materialer udviklet i projektet kan afvikles uden problemer, med mindre der altså er etableres fælles standarder.

Baseret på de pt. få testede kurser er det en forsigtig vurdering, at kursisterne har en tilsvarende fordeling - om end også er mere kritiske overfor udbyttet af digital læring end underviserne.

Der er enkelte eksempler på nogle få kursister, der gerne vil have rene online forløb og som vil anbefale digital læring til kollegaer.

Graden af tilfredshed varierer tilsyneladende ikke entydigt ift den kontekst og de målgrupper, der har anvendt kurserne. Der er eksempler på, at selv IT kyndige kursister, der har anvendt et IT digital kursus, som en del af et samlet længere forløb, i overvejende grad er utilfredse med forløbet. Der var her et flertal af kursister, der ikke ville anbefale online kurset til kollegaer og som ikke mente, at de havde fået et bedre udbytte. Det skal dog bemærkes, at et mindretal af kursisterne havde en mere positiv vurdering.

Der er konstateret en del frustration hos både kursister og undervisere over tekniske problemer, og at VisEffekt er for besværlig.

Problemer med at udbyde "rene- online kurser"

Det var et af projektets formål, at kompetenceudvikle skolernes undervisere til selvstændigt at kunne udarbejde ”rene-online” kurser, bl.a. fordi det er vurderingen, at der er et behov blandt virksomhederne for netop denne afviklingsform.

Det har ikke været muligt at gennemføre nogle af de udviklede kurser som rene-online kurser.

Observationer og overvejelser

Det er formelt set aktuelt ikke muligt, at udbyde kurserne som” rene-online kurser” og samtidig fastholde godtgørelse. Det er et forhold, som projektet har været opmærksom på fra starten og er altså ikke en forudsætning for projektets resultater.

Skolerne beklager imidlertid, at det ikke som del af projektet, har været muligt at teste om det giver mening at gennemføre ”rene-online kurser”. Der er således ikke registreret nogen IDV aktivitet i projektet omfattende rene-onlinekurser.

Det har således ikke været muligt for projektet at afprøve denne centrale dimension i digital læring. Det er derfor ikke muligt at komme med nogen solid vurdering af om de udviklede og tilpassede kurser har den for virksomhederne ønskede kvalitet, hvis de afvikles som ren online.

Markedsføring - forskellig takt i udrulning

En forudsætning for delprojekt 6 om afprøvning af udviklede og tilpassede kurser var, at skolerne inkluderede kurserne i deres udbud og markedsføring for 2016.

Projektets forsinkelse har gjort at markedsføringen kom sent i gang og ikke har været rullet ud i samme takt.

De kurser der har været udbudt er udbudt som del af traditionelle forløb og som åbent værksted.

Observationer og overvejelser

Kurserne indgår i en del af skolernes udbud og markedsføring for 2016, men generelt først i slutningen af 3. kvartal 2016.

Det fremgik af en besøgsrunde til skolerne ultimo 2015, at de fleste skoler gerne vil udbyde de udviklede kurser i 2016, hvis det var muligt at udbyde kurser, der efter en tilpasning til målgruppe og kontekst, blev vurderet til at være af tilstrækkelig høj kvalitet.

Det var ikke alle skoler, der har hurtigt ude med planlægningen af markedsføringen. Enkelte skoler var er i gang omkring årsskifte 2015/16 - ”Årshjulet ruller”, som det blev bemærket.

Oversigten over kurser, der er klar til markedsføring, er blevet opdateret løbende og har været tilgængelig og udsendt til skolerne.

Som udgangspunkt skulle skolerne udbyde og afprøve de kurser de selv havde tilpasset. Projektet har, som nævnt, derudover givet mulighed for at skolerne kan udbyde kurser udviklet af andre projektdeltagere. Det er der enkelte skoler der har benyttet sig af.

Der har som forventet været en betydelig usikkerhed om, hvordan de tilpassede kurser kan og må anvendes af andre skoler. Her var det op til et konstruktivt samarbejde mellem de deltagende skoler.

Parterne i projektets styregruppe har tilkendegivet at de meget gerne bidrager til den generelle markedsføring og skolerne kan godt se mulighederne at inddrage ”gode cases”. Denne mulighed er kun blevet udnyttet i begrænset omfang.

Skolerne er blevet opfordret til at melde konkrete cases ind til projektgruppen til brug i en fælles markedsføring i takt med at der kommer relevante cases.

Lokal administrator og administratorkursus

Der var som en del af projektet behov for at afvikle administrationskurser for ansatte på skolerne, der bl.a. skulle stå for at downloade udviklede kurser fra AMU-online til skolernes egne platformer og for integrationen med EASY.

Der blev derfor udviklet og afholdt en række administratorkurser.

Observationer og overvejelser

Det var fra starten af projektet, som en del af udviklingen af et marked, muligt for skolerne at udbyde alle de udviklede kurser - også kurser som skolen ikke har budt ind på endnu eller som man ikke selv været med i udviklingen af.

Det er netop her, at synergien i projektet skulle udnyttes til at øge aktiviteten.

Det er i denne sammenhæng muligt for lokale administratorer at styre download af kurserne til skolernes egne dele af projektet.

Der er i projektregi gennemført administratorkurser i perioden fra maj til september 2016.

12 skoler har afholdt administratorkurset, der (oftest) blev afholdt på skolen.

Det faktum, at der var mange skoler der først kom sent i gang med administratorkurset vurderes at have været en medvirkende årsag til at udbuddet af kurser til afprøvningen i delprojekt 6 kom langsomt fra start.