Opettajankouluttaja Moodlen oppimisanalytiikkaa testaamassa

Oppimisanalytiikkaa kehitetään kiihtyvällä vauhdilla ja sen on tarkoitus tukea niin opettajan kuin opiskelijankin työtä. Moodlen analytiikkatyökaluja testattiin opettajankoulutuksen kontekstissa keväällä 2020. Oppimisanalytiikan avulla opettaja voi saada tietoa opiskelijoiden toiminnasta esimerkiksi opiskelijoiden ohjauksen tueksi. Laadullinen arviointi ja yhteisöllisen toiminnan muodot pitäisi saada paremmin esille analytiikkatyökalujen avulla.

Johdanto

Verkkoon sijoittuvien oppimisympäristöjen myötä opettajalla on käytössään yhä enemmän välineitä opetuksensa suunnitteluun ja toteutukseen. Lisäksi ympäristöt tarjoavat mahdollisuuden tarkastella oppijoiden toimintaa aiempaa systemaattisemmin valmiiden järjestelmien kautta. Toimiessaan erilaisissa virtuaalisissa oppimisympäristöissä, oppijat jättävät itsestään ”digitaalisia jälkiä”, joita on mahdollista tarkastella ja analysoida erilaisin menetelmin (Siemens, 2013).

Opettajan näkökulmasta on oleellista tulla tietoiseksi oppimisanalytiikan mahdollisuuksista. Parhaimmillaan erilaiset analytiikkatyökalut voivat tukea opettajaa oppimisprosessin edetessä antaen tietoa opiskelijoiden toiminnasta oppimisympäristössä. Vaikka oppimisanalytiikkaan liittyvä keskustelu sekä erilaiset hankkeet ja tutkimukset ovat lisääntyneet viime vuosien aikana, saattaa käytännön sovellutusten hyödyntäminen ja hyöty olla opettajalle epäselvää.

Tämän tarkastelun tarkoituksena on selvittää Moodle-oppimisympäristön oppimisanalytiikkatyökalujen soveltamista käytännössä sekä niiden hyötyä opiskelijoiden ohjauksessa yhden tietyn moduulin aikana. Tarkastelun kohteena on, mitä oppimisanalytiikalla saatu tieto voi kertoa opiskelijoiden toiminnasta ja mitä opettaja voi sillä tiedolla tehdä. Artikkeli on osa APOA-hankkeessa (Oppimisanalytiikka – avain parempaan oppimiseen AMKeissa) toteutettavaa tutkimustoimintaa, jossa pilotoidaan erilaisia oppimisanalytiikkaratkaisuja ammattikorkeakoulukontekstissa. Hankkeen tarkoituksena on tarkastella oppimisanalytiikkaa erityisesti ammattikorkeakoulupedagogiikan näkökulmasta. APOA-hankkeessa jo toteutetun selvityksen mukaan ammattikorkeakouluopettajat kokevat verkkoon painottuneen opetuksen myötä uusia haasteita esimerkiksi opiskelijoiden tukemisessa, jolloin oppimisanalytiikkatyökalut voivat toimia tärkeinä välineinä opintojen seuraamisessa ja visualisoinnissa (Kurttila & Aalto, 2020). Tämä näkökulma on mukana artikkelissamme.

Oppimisanalytiikka ja sen hyödyntämisen mahdollisuudet

Oppimisanalytiikka on määritelty ”oppijoita ja heidän kontekstiaan koskevan tiedon mittaamiseksi, keräämiseksi, analysoinniksi ja raportoinniksi, minkä avulla voidaan ymmärtää ja optimoida oppimista sekä oppimisympäristöjä” (ks. Siemens, 2013, s. 1382). Suomessa oppimisanalytiikkaan liittyviä tutkimuksia on tehty vielä vähän, mutta erilaisten hankkeiden ja koulutuksenjärjestäjien toimien myötä oppimisanalytiikan edistämisessä edetään nopeasti (Järvinen ym., 2018). Esimerkiksi ammattikorkeakouluopetuksen asiantuntijoilta kerätyn tiedon mukaan oppimisanalytiikalle nähdään tarve muun muassa opiskelijoiden osallisuuden ja valmiuksien kehittymisessä, muovautuvien oppimisympäristöjen rakentamisessa, ohjausmetodien kehittämisessä, suunnittelussa ja oppimisen edistymisen seurannassa. Oppimisanalytiikka tarjoaa myös mahdollisuuden edistää yhteistyötä, itsesäätelyä ja jatkuvaa oppimista. Erityisen tärkeää oppimisanalytiikan hyödyntämisessä on kiinnittää huomiota pedagogiseen suunnitteluun, jottei analytiikan käyttö pelkisty vain tekniseksi välineeksi. (Kleimola, 2019)

Oppimisanalytiikkaa tarkastelevissa tutkimuksissa on löydetty yhteyksiä esimerkiksi opiskelijoiden oppimisen lähestymistapojen sekä verkossa tapahtuvan toiminnan väliltä; syväsuuntautuneet opiskelijat ovat toimineet (esim. erilaisten materiaalien tai tehtävien tarkastelu) verkkoympäristössä useammin kuin pintasuuntautuneisuutta ilmaisseet opiskelijat (Ellis ym., 2017). Syväsuuntautuneessa lähestymistavassa korostuvat pohdintaan, ymmärrykseen ja kokonaisuuksien hahmottamiseen tähtäävä oppiminen, kun taas pintasuuntautuneisuudessa painottuu yksittäisten tietojen muistaminen (ks. Lindblom-Ylänne ym., 2019). Myös oppimisympäristössä toimimisen sekä opinnoista suoriutumisen välillä on löydetty yhteyksiä siten, että oppimisympäristössä erilaisten toimintojen parissa enemmän toimineet ovat saaneet parempia kurssiarvosanoja kuin vähemmän toimineet. Näin ollen ympäristössä tapahtuvan toiminnan tarkkailun myötä opinnoista suoriutumista voisi olla olennaista arvioida ja ennakoida opetuksen edetessä (Ellis ym., 2017; Romero-Zaldivar ym., 2012).

On kuitenkin otettava huomioon, että oppimisanalytiikan yhteyksiä esimerkiksi oppimisen lähestymistapoihin on tutkittu vasta vähän ja tutkimustulokset ovat osittain ristiriitaisia. Erityisen olennaista on, että oppimisanalytiikkaan liittyvissä tutkimuksissa yhdistetään erilaisia tiedonkeruuntapoja, jotta tuloksia voidaan arvioida monipuolisesti ja oppimiseen liittyvää toimintaa voidaan ymmärtää paremmin (Ellis ym., 2017; Tempelaar ym., 2017). Korkeakoulutuksen kontekstissa on myös esitetty kritiikkiä siitä, että oppimisanalytiikan tarjoamia mahdollisuuksia ei ole hyödynnetty koulutuksen käytännöissä, vaikka hyöty oppimisen ja opetuksen kehittämisessä on jo tunnistettu. Oppijoiden näkökulman huomioiminen ja pedagogisen tiedon hyödyntäminen tutkimusasetelmissa on olennaista. (Viberg ym., 2018, s.108)

Artikkelimme kontekstissa tarkastelu pohjaa opettajan tekemiin havaintoihin oman opetuksensa aikana, näkökulmana erityisesti analytiikkatyökalujen käytännön testaus. Tavoitteena on, että artikkelin myötä opettaja, jolla ei ole kokemusta Moodlen analytiikkatyökalujen käytöstä, voi saada tietoa niiden käyttöönottamisen tueksi ja niiden hyödyntämisestä ohjauksen näkökulmasta.

Tutkimuskysymykset, menetelmät ja aineisto

Artikkelissa etsitään vastauksia seuraaviin kysymyksiin kirjoittajien havaintojen pohjalta:

1. Millaista Moodlen oppimisanalytiikkaa opettajankouluttaja voi hyödyntää?
2. Mitä hyötyä Moodlen analytiikasta on opettajankouluttajalle oppimisprosessin ohjauksen tukena?

Lähtökohtana tässä artikkelissa on tutkivan opettajuuden näkökulma (teacher inquiry), jossa tarkastelu kontekstoituu osaksi käytännön opetustyötä ja tähtää toimivien lähestymistapojen ja ratkaisujen löytämiseen (ks. Sergis & Sampson, 2017). Aineisto koostuu Moodle-oppimisympäristössä tapahtuvasta toiminnasta osana ammatillisen opettajakorkeakoulun verkko-opetusmoduulia. Artikkelin ensimmäinen kirjoittaja on tarkastellut oppimisanalytiikkatyökalujen hyödyntämistä osana opetustaan. Artikkelia lukiessa on otettava huomioon, että kyseessä on jo kokenut verkko-opettaja. Opintoja on ohjattu ja tuettu edellisten moduulien aikana esimerkiksi reaaliaikaisten istuntojen, kirjallisten ohjausviestien, tehtäväpalautteiden, koontitaulukoiden, puheluiden ja sähköpostien muodossa.

Artikkelissa tarkastellaan Moodlen oppimisanalytiikkaa ammatillisen opettajankouluttajan työn näkökulmasta yhden moduulin (opetus-, ohjaus- ja arviointiosaaminen, 18 op) aikana, joka sisältyi 16 kuukauden verkkototeutukseen. Moodlessa on monia erilaisia analytiikkatyökaluja, joista käytännössä kaikkia testattiin APOA-pilottimoduulin aikana keväällä 2020. Opiskelijoilta (19 henkilöä) pyydettiin suostumus tutkimukseen osallistumisesta.

Tarkastelun kohteena olevan moduulin oppimistehtävät ovat kaikki laadullisia ja myös moniportaisia. Ne myös tehdään yleensä sekä yksilöllisesti että yhteistoiminnallisesti opintopiireittäin. Tyypillinen rakenne tehtävässä on seuraavanlainen: esim. a) perehdy materiaaliin, b) suunnittele aineistoa hyödyntäen vaikkapa opetustuokio c) toteuta se opintopiirissänne ja d) antakaa opintopiireittäin vertaispalautetta kunkin jäsenen tuotoksesta jne.

Tässä artikkelissa on esitelty yllä mainitussa moduulissa testattuja analytiikkatyökaluja niiden hyödyllisyyden näkökulmasta ohjauksen tukena. Havainnot eivät ole yleispäteviä, mutta pitänevät paikkansa samantyyppisten tehtävien ollessa kyseessä.

Havaintoja Moodlen oppimisanalytiikkatyökaluista opettajankouluttajan työssä

Taulukkoon 1 on koottu tiivistetysti havaintoja eri työkalujen käyttömahdollisuuksista tarkasteltavana olleen moduulin osalta. On otettava huomioon, että oppimistehtävien luonteesta riippuu, mitkä työkalut ovat kussakin tapauksessa hyödyllisiä. Tässä työkalujen hyötyä arvioitiin meneillään olleen moduulin aikaisen seurannan sekä jälkikäteen tapahtuvan kehittämisen näkökulmasta. Osa työkaluista hyödyttää opettajaa heti. Osa työkaluista on sellaisia, että hyöty ilmenee vasta jälkikäteen (esim. seuraavien päivien aikana), kun voidaan nähdä, mitä tapahtui esim. opettajan intervention jälkeen. Jotkut työkalut sopivat molempiin tilanteisiin.

Työkalun nimi	Oppimisprosessin seurannan ja ohjauksen näkökulma	Oppimisprosessin kehittämisen näkökulma
Aktiivisuuden jakaantuminen	x	x
Aktiivisten opiskelijoiden lkm		x
Aktiviteettiraportti		x
Aktiviteettien suoritus	x
Arvioinnit keskustelualueella	?	?
Arviointikirja	x	x
Arvosanakaavio	x
Course dedication	x
Edistymisen seuranta	x
Juuri nyt	x
Kuumakartta	x	x
Lokitiedot	x
Materiaalien avaukset	x
Tilastot ja kaaviot		x
Työtilan suoritus	?	?
Työtilaosallistuminen	x

Oppimisprosessin seurannan ja ohjauksen näkökulma

Jos opettaja haluaa tietoa siitä, miten usein hänen opiskelijansa ovat käyneet tai kuinka paljon he ovat viettäneet aikaa työtilassa, siihen on käytettävissä useita työkaluja. Tähän tarkoitukseen työkaluista sopivat mm. aktiivisuuden jakaantuminen, aktiivisten opiskelijoiden lukumäärä, aktiviteettiraportti, aktiviteettien suoritus, course dedication, juuri nyt, kuumakartta ja työtilaosallistuminen. Opettaja voi valita seurantatarkoitukseensa sopivan työkalun, jos hän on esimerkiksi ollut havaitsevinaan, että opiskelija ei juuri käy työtilassa. Hän pystyy silloin tekniikan avulla helposti varmistumaan asiasta. Toisin sanoen: opettaja saa hyvinkin tarkasti selville sen, kuinka aktiivisesti opiskelija on työtilassa esim. avannut materiaalikansioita ja kuinka tiheästi hän on siellä ylipäänsä käynyt.

Yllä mainittujen työkalujen antama muu informaatio on kuitenkin vain rajallisesti hyödynnettävissä, jos arviointi on laadullista. Jos opiskelijoille annetut tehtävät edellyttävät esimerkiksi esseetyyppistä tuotosta, niin on todennäköistä, että opiskelija ei tee tehtäviä oppimisalustalla, vaan hän kopioi tehtäväksiannon ja materiaalilinkit ja ryhtyy työstämään tuotostaan tekstinkäsittelyllä. Voi olla, että hän on viettänyt oppimisalustalla vain muutaman minuutin ja sen jälkeen työstänyt tuotostaan useita tunteja, mutta jossain muualla kuin oppimisalustalla. Tällöin analytiikkatyökalujen antama informaatio voi olla jopa harhaanjohtavaa. Oleellista on valmiin tuotoksen sisältö ja laatu, mutta sitä edellä mainitut analytiikkatyökalut eivät pysty toistaiseksi arvioimaan.

Havaintojen pohjalta näyttää siltä, että muutamasta Moodlen analytiikkatyökalusta on hyötyä, jos arviointi on laadullista. Esimerkiksi arviointikirjaa opettaja voi käyttää ryhmänsä kokonaistilanteen hahmottamiseen, kun on ensin antanut merkinnät tarkoituksenmukaisilla työkaluilla. Arviointikirjasta opettaja näkee myös yksittäisten opiskelijoiden kaikkien arvioitujen tehtävien suoritustilanteen. Tämä onkin toistaiseksi ehkä paras työkalu laadullisen arvioinnin ollessa kyseessä. Kuviossa 1 on kuvakaappaus arviointikirjasta. Kuviosta luonnollisesti puuttuvat opiskelijoiden nimet, jotka todellisuudessa näkyvät vasemmassa laidassa.

Moodlen analytiikkatyökalujen testauksen tuloksena voitiin todeta, että analytiikkatyökaluista olisi eniten hyötyä, jos arviointi olisi numeerista. Silloin useammalle analytiikkatyökalulle voitaisiin määrittää ehtoja, joiden perusteella esimerkiksi analytiikan muodostamat kaaviot olisivat käyttökelpoisia. HAMKin ammatillisessa opettajankoulutuksessa arviointi on laadullista ja asteikkona on täydennettävä/hyväksytty, jolloin ehtojen soveltaminen ei enää olekaan mielekästä monen työkalun kohdalla.

Jos oppimistehtävä on monivaiheinen esim. a) perehdy materiaaliin, b) työstä aineistosta essee c) palauta tuotoksesi keskustelualueelle d) anna opintopiirisi jäsenille vertaispalautetta jne., jokaisesta vaiheesta on tehtävä Moodlessa oma tehtäväksianto, jotta tilanne voisi näkyä edistymisen seuranta -työkalun avulla. Tämä on tietysti mahdollista, mutta melko työlästä ja vaikeuttaa oppimistehtävän kokonaisuuden hahmottamista. Verkkototeutuksissamme oppimistehtävissä on vääjäämättä useampia vaiheita, jotta prosessi etenee suunnitellusti. Yksittäisen opiskelijan tilanteen hahmottaminen kaaviosta käy hankalaksi, jos pitää etsiä monia ”vaiheita” tai niistä useissa on puutteita.

Opetuksen kehittämisen näkökulma

Joitakin analytiikkatyökaluja opettaja voi käyttää moduulinsa kehittämiseen. Esimerkiksi se, että useat opiskelijat eivät paneudu johonkin tiettyyn materiaaliin, kielii jostakin. Syy voi tietysti olla esimerkiksi ohjauksessa, itse materiaalissa tai opiskelijoiden motivaatiossa. Analytiikkatyökalujen avulla opettajan on mahdollista pyrkiä siihen, että kaikki materiaalit olisivat mahdollisimman kiinnostavia ja houkuttelevia opiskelijoiden kannalta. Opettaja pystyy saamaan selville, kuinka moni on esimerkiksi avannut tietyn materiaalikansion ja kuinka paljon sen parissa on vietetty aikaa.

Tilastot ja kaaviot ovat kiinnostavia myös muun muassa siksi, että joistakin niistä opettaja näkee oman toimintansa vaikutuksia; kaavioista on selkeästi havaittavissa, että yleensä opettajan interventioiden jälkeen myös opiskelijat aktivoituvat. Näin ollen analytiikka tuo näkyväksi opettajalle hänen omaa toimintaansa oppimisprosessin aikana ja mahdollisuuden edistää oppimisprosessia omilla ohjausteoillaan.

Kaiken kaikkiaan on hyvin vaikeaa tai lähes mahdotonta tehdä tarkkaa rajausta siitä, mikä työkalu sopii esimerkiksi opintojen edistymisen seurantaan ja mikä taas opettajan oman toiminnan ja opintokokonaisuuden kehittämiseen. Riippuu täysin oppimistehtävistä ja koko oppimisprosessista, millaiset työkalut kulloinkin ovat merkityksellisiä. Monet analytiikkatyökaluista soveltuvat molempiin tarkoituksiin tai sitten niistä ei ole erityistä hyötyä, kun kyseessä ovat yhteisölliset tehtävät ja laadullinen arviointi.

Yhteenveto

Oppimisanalytiikka on vielä toistaiseksi melko vähän hyödynnetty asia digitaalisilla oppimisalustoilla ja se on vasta kehityksensä alussa. Toisaalta Moodle-analytiikka tarjoaa jo laajan valikoiman erilaisia analytiikkatyökaluja, joita opettajien on mahdollista hyödyntää omassa opetuksessaan. Työkalut painottuvat verkkoympäristössä tapahtuvan aktiivisuuden ja edistymisen seurannan kuvauksiin.

Analytiikkatyökalujen avulla opettaja voi saada tukea opetusprosessin aikaiseen ohjaukseen seuraamalla opiskelijoiden aktiivisuutta. Opettaja voi myös saada vahvistusta oman toimintansa vaikutuksista verkko-opetusympäristössä; visuaalinen analytiikka tekee näkyväksi opettajan roolia oppimisprosessin aikana. Tällaisen tiedon avulla opettaja voi myös suunnitella ja kehittää omaa toimintaansa esimerkiksi kohdentamalla sisältöjä tiettyihin ajankohtiin.

Jos koulutus perustuu yhteisöllisiin oppimistehtäviin ja -prosesseihin, niin analytiikka ei vielä tässä tarkastelussa tehtyjen havaintojen pohjalta tarjoa suurta hyötyä oppimisprosessin aikaiseen seurantaan tai kehittämistarkoitukseen. Myös Kleimola ja Leppisaari (2020) ovat korostaneet yhteisöllisen tiedonrakentamisen ja siihen liittyvien prosessien merkitystä korkeakoulupedagogiikan kentällä, johon oppimisanalytiikka ei vielä tarjoa hyvin saatavilla olevaa tukea. Sitä todennäköisesti kehitetään tulevaisuudessa, mutta toistaiseksi työkalut ovat puutteellisia. Toistaiseksi näyttäisi siltä, että analytiikkatyökalut toimivat parhaiten sellaisten massakurssien tukena, joissa tehtäviin on olemassa tarkoin määritellyt vastaukset ja arviointi on numeerista. Laadullinen arviointi ja yhteisöllisen toiminnan muodot pitäisi saada paremmin esille analytiikkatyökalujen avulla, jotta niistä olisi enemmän hyötyä. Esimerkiksi työkalujen kehittyessä niin, että ne alkavat ymmärtää suomen kieltä, muuttunee työkalujen ehtojen säätäminen paljon nykyistä tarkoituksenmukaisemmaksi.

Tämän kokeilun aikana opiskelijoilta tuli palautetta, että he eivät enää tiedä, mitä suorituksia heiltä puuttuu. Eräs opiskelija vetosi aiemmassa moduulissa käytettyyn Excel-taulukkoon, jonka avulla hän oli tilanteen tasalla. Excel-taulukkoa on ennen tätä kokeilua hyödynnetty moduulien oppimistehtävien suoritustilanteen kuvaamisessa. Tämän tarkastelun pohjalta Excel-taulukko on toistaiseksi toiminut nopeammin ja varmemmin kuin Moodlen analytiikkatyökalujen hyödyntäminen samassa tarkoituksessa. Tämä tuo esiin tarpeen ottaa huomioon niin opettajien ohjauskäytäntöjen tukemisen kuin opiskelijoiden saaman hyödyn työkalujen kehittämisessä.

Ehkä suurin puute Moodlen oppimisanalytiikassa onkin se, että lähinnä vain opettaja näkee analytiikkatyökalujen tulokset. Opiskelija näkee ainoastaan edistymisen seuranta -työkalun. Opiskelijaa todennäköisesti motivoisi se, että hän pystyisi seuraamaan omaa toimintaansa myös muiden työkalujen avulla. Tulevaisuudessa tulee todennäköisesti yhä tärkeämmäksi kehittää oppimisanalytiikkaratkaisuja, joiden avulla opiskelijat saavat tukea esimerkiksi oppimisen itsesäätelyyn.

Oppimisanalytiikan ollessa vielä nuori tutkimusalue liittyy sen toteuttamiseen uusia ja osittain haasteellisia kysymyksiä. Tutkimuksissa oppimisanalytiikan rajoitteiksi on usein kuvattu laajojen datamäärien aiheuttama haaste sekä eettiset kysymykset, jotka liittyvät erityisesti yksityisyyden suojaan sekä aineistojen omistajuuteen (Leitner ym., 2017). Samanlaiset kysymykset koskevat myös oppimisanalytiikan käyttöä opetustyössä (ks. Hannula, 2017), ja näistä käytännön toimijoiden tulee olla myös tietoisia.

Oppimisanalytiikkaa kannattaa kuitenkin jokaisen opettajan, joka hyödyntää oppimisalustatyyppisiä digitaalisia ympäristöjä, kokeilla omassa opetuksessaan. Se, miten hyvin analytiikkatyökalut toimivat, riippuu tehtävien luonteesta ja siitä, miten opiskelijoiden oppimisprosessi on rakennettu. Työkaluja varmasti kehitetään nopeasti ja se, mikä nyt tuntuu kömpelöltä ja ehkä turhanpäiväiseltäkin, voi vuoden kuluttua olla jo aivan käyttökelpoinen ja hyödyllinen. Oppimisanalytiikka on varmasti myös opettajankouluttajan työväline tulevaisuudessa.

Analytiikkatyökaluja on tarpeen kehittää eteenpäin yhteistyössä opettajien kanssa, jotta niistä voitaisiin saada hyötyä laadulliseen arviointiin ja yhteisölliseen työskentelyyn nojaavassa koulutuksessa. Toisaalta myös opiskelijoiden rooli oppimisanalytiikan kehittämisessä tulisi huomioida. Vielä käynnissä olevassa APOA-hankkeessa kehitetään myös oppimisanalytiikkaratkaisuja ja toteutetaan suosituksia korkeakouluille oppimisanalytiikan tehokkaasta käytöstä. Näiden kehittämisessä käytännön toimijoiden kokemukset ja pedagogisten prosessien huomioiminen nousevat keskeisiksi.