Kokemuksia vaikuttavuusarviointiin valmistautumisesta kansainvälisessä ympäristössä

Vaikuttavuusarvioinnin merkitys kansainvälisissä kehityshankkeissa korostuu, kun tavoitteena on varmistaa pitkäkestoinen hyöty kohderyhmälle sekä arvioida hankkeen vaikuttavuutta erilaisissa ympäristöissä. Miten selvittää, muuttavatko uudet oppimismenetelmät aidosti koulutusjärjestelmän käytänteitä? Entä kuinka turvataan, että saavutukset kestävät hankkeen päättymisen jälkeen? Tällaiset kysymykset ovat erityisen ajankohtaisia Tansaniassa, missä koulutusteknologiayritys 3Dbear ja Hämeen ammattikorkeakoulu (HAMK) pilotoivat virtuaalisten oppimateriaalien käyttöä ammatillisen koulutuksen kehittämisessä.

Vaikuttavuusarvioinnilla pyritään mittaamaan hankkeen tuloksia, tunnistamaan mahdolliset haasteet ja vahvistamaan onnistuneiden toimintamallien juurtumista. Tansanialaisissa oppilaitoksissa, joissa virtuaalisten oppimisympäristöjen käyttö on uutta, arvioinnilla on keskeinen rooli. Sillä pyritään selvittämään virtuaalisten oppimisympäristöjen käytettävyyttä tansanialaisessa ammattikouluksessa sekä sitä, kykenevätkö opettajat luomaan virtuaalisiin oppimisympäristöihin sisältöjä itsenäisesti hankkeen päättymisen jälkeen. Ennen varsinaisia arviointeja toteuttajat kohtaavat kuitenkin haasteita: kulttuuriset erot, kielimuuri ja teknologiset rajoitteet haastavat arvioijia sekä vaativat luovuutta ja joustavuutta suunnitteluun.

HAMK vastaa arvioinnin toteuttamisesta, ja valmistauduimme tehtävään tekemällä arviointisuunnitelman rungon. Suunnitelman runko rakentui viidestä pääkohdasta:

• kohderyhmien identifiointi
• vaikuttavuusulottuvuudet
• indikaattorit
• tietojenkeruumenetelmät
• analyysi ja raportointi.

Myös eettiset näkökohdat kirjattiin suunnitelmaan.

Tärkeä osa valmisteluja on kysymysten testaus. Sen päämääränä on selvittää, millaisilla kysymyksillä arvioijat pystyvät keräämään tarvittavat tiedot tansanialaisessa kontekstissa kulttuurisensitiivisesti ja niin, että ne ovat luotettavasti analysoitavissa.

Kysymysten testaus tehtiin kirjoitustyöpajassa, missä opettajat valmistivat pilotoitavien oppimisympäristöjen käsikirjoitukset aiemmin valituista taidoista. Taidot oli identifioitu oppimisympäristöjen aiheiksi aiemmin järjestetyssä tarvearviotyöpajassa.

Haasteet kyselyissä

Kysymyksiä muotoillessa arvioinnin vetäjät hyödynsivät aiempaa kokemustaan toimimisesta itäafrikkalaisessa kulttuurisessa ja kielellisessä kontekstissa. Tiedossa oli, että vastaajat saattavat antaa kokemuksiaan positiivisempia vastauksia ja välttää suoraa kritiikkiä, koska eivät halua loukata kysyjää. Tämä vääristää arviointia. Monivalintakysymyksillä voi lieventää ilmiötä, mutta ne eivät anna laadullista tietoa, ja siksi tarvitaan hyvin muotoiltuja avoimia kysymyksiä.

Myös osallistujien aiempi kokemus osallistavista menetelmistä voi vaikuttaa kyselyn vastauksiin. Tansanian koulutusjärjestelmä on hierarkkinen, eivätkä osallistavat menetelmät ole tuttuja, joten osallistujat eivät välttämättä tunne siihen liittyvää termistöä. Kieli asettaa muutoinkin haasteita. Kysymykset, jotka ovat selkeitä suomalaisille, voivat olla epäselviä tansanialaisille. Siksi kysymysten testaaminen on tärkeä osa laajempaa tietojenkeruuta.

Lisäksi teknologian odotettiin aiheuttavan haasteita, vaikka tiedossa oli, että kaikki valitut oppilaitokset ovat alueilla, missä on tarvittava verkkokattavuus. Verkkokattavuutta pystyttiin kokeilemaan toteuttamalla testikysely verkkokyselynä, mutta niin että arvioijat ovat itse paikalla. Näin mahdolliset teknologiset haasteet pystytään selvittämään ja niihin voidaan varautua ennen varsinaisia kyselytutkimuksia.

Kysymysten testaus

Huolimatta siitä, että arvioinnin vetäjät olivat tietoisia yllä esitetyistä haasteista, paljasti testikysely silti useita ongelmia.

Avoimen kysymyksen muotoilu epäonnistui, koska osallistujat eivät tunnistaneet käytettyä termiä osallistavista menetelmistä (What was your experince of participating in the learning environment creation?). Osallistujilla ei ollut aiempaa kokemusta osallistavista menetelmistä, ja vaikka menetelmä selitettiin jokaisen työpajan alussa, kysymys jäi silti osallistujille epäselväksi. Viidessä eri koulussa järjestetyissä työpajoissa fasilitaattorina toimi kolme eri henkilöä, joista jokainen selitti osallistavan menetelmän konseptin omin sanoin. Kyselyssä osallistujat eivät osanneet yhdistää käytettyä sanamuotoa, jonka avulla he olivat juuri tuottaneet sisällöt virtuaaliympäristöihin tuotettaviin digitaalisiin oppimateriaaleihin. Vain noin neljännes 38 vastauksesta vastasi kysymykseen. Loput vastauksista paljasti kirjon tulkintoja, joista saattoi päätellä, että konsepti oppimisympäristön luomisesta ”learning environment creation” oli ymmärretty väärin.

Kysely toteutettiin sähköisenä ja avattiin älypuhelimilla QR-koodin avulla. Osalla osallistujista ei ollut QR-koodin lukijaa puhelimessa, ja heille järjestäjät lainasivat omia puhelimiaan. Noin 95 prosenttia osallistujista ei ollut käyttänyt puhelinta QR-koodin avaamiseen aiemmin ja tarvitsi tukea tehdessään sen ensimmäisen kerran. Suurin tekninen ongelma oli kuitenkin oppilaitosten puutteelliset nettiyhteydet. Vaikka kaikissa oppilaitoksissa oli tarvittavat fasiliteetit nettiyhteydelle, korkean hinnan takia se oli käytössä vain yhdessä oppilaitoksessa. Kaikilla osallistujilla oli kuitenkin käytössään henkilökohtainen älypuhelin. Kun osallistujia neuvottiin QR-koodin käytössä kyselyn avaamisen yhteydessä, huomattiin, että kenenkään puhelimessa nettiyhteys ei ollut päällä, vaikka heillä sellainen puhelimissaan oli. Kysyttäessä asiasta he kertoivat, että yhteyden käyttö on kallista. Jos yhteys on katkottomasti auki, kaista hupenee nopeasti, joten he aukaisevat yhteyden ainoastaan silloin kun tarvitsevat sitä. Koska osallistujilta ei voi odottaa, että heidän täytyisi panostaa rahallistumisesti osallistuakseen, tämä kirjattiin testauksen tuloksiin ratkaistavana asiana.

Johtopäätökset

Kokemukset Tansaniasta opettivat, että on tarpeellista tuntea kohderyhmä. Siksi testikysely on tärkeä lopputuloksen luotettavuuden kannalta. Testikysely paljastaa suurimmat kulttuuriset ja teknologiset erityispiirteet, mitkä voivat vaikuttaa lopputulemaan negatiivisesti, mutta joihin voi varautua huolellisella valmistautumisella. Teknologiaan liittyvät ongelmat selviävät vain, jos arvioijat ovat itse paikan päällä.

Ennen koulutuksia hankehenkilöstön tulee tarkistaa, että he käyttävät yhtenäistä kieltä läpi hankkeen esitellessään uusia metodeja ja konsepteja. Näin pystytään varmistamaan vastausten luotettavuus. Kielen yhtenäistämistä edistävät yhteiset suunnittelupalaverit ja palautekeskustelut toimintojen jälkeen. Yhtenäinen sanasto hankkeen toiminnoista tukee sitä, että vastaajat ymmärtävät vaikuttavuusarvion sanastot samalla tavalla, ja näin vastauksia voidaan analysoida luotettavasti.

Ulkomailla kyselyjen tekijöiden tulee pitää huolta siitä, että kyselyn tekemiseen on tarjolla ilmainen verkkoyhteys. Osallistujille kuluttoman verkkoyhteyden voi tarjota hankkimalla esimerkiksi paikallisen SIM-kortin, jonka kautta verkkoyhteys voidaan jakaa kyselyn ajaksi. Järjestäjien pitää myös varautua siihen, että osa vastaajista voi tarvita kyselyihin järjestäjien laitteilta, jos heidän omat laitteensa eivät toimi toivotusti. Näin kaikilla on halutessaan mahdollisuus antaa palautetta. Kyselyn tekijöiden tulee valmistautua auttamaan kyselyn avaamisessa, jos osallistujat eivät ole käyttäneet valittua digitaalista työkalua aikaisemmin, mutta niin, että vastaajien anonymiteetti ei vaarannu. Online-kysely on edelleen parempi vaihtoehto kuin paperikysely anonymiteetin varmistamisen ja tietojen käsittelyn kannalta, ja siksi huolellinen valmistelu ja tekniset tukitoimet edesauttavat onnistumisen varmistusta. Paperikyselylomakkeet kannattaa valmistaa varotoimena, jos mahdolliset ongelmat kasaantuvat, eikä verkkokyselyä voi teknisistä syistä toteuttaa.

Vaikuttavuusarviointiin valmistautuminen ja kysymysten testaus Tansaniassa osoittivat, kuinka tärkeää on ymmärtää paikalliset kulttuuriset ja teknologiset olosuhteet. Testikyselyjen avulla hankeessa pystyttiin tunnistamaan ja ratkaisemaan arvioinnin onnistumisen kannalta kriittisiä haasteita, kuten kielelliset eroavaisuudet ja tekniset esteet. Kokemuksen perusteella voidaan todeta, että huolellinen suunnittelu, yhtenäinen viestintä ja osallistujien tukeminen ovat keskeisiä tekijöitä, joiden avulla voidaan varmistaa sekä luotettavat että vaikuttavat arviointitulokset.

---

Hankkeen taustaa

HAMK ja suomalainen koulutusteknologiayritys 3DBear toteuttavat yhdessä VR/AR-opetusteknologioiden pilotointi Tansaniassa STC – yhteistyössä -hanketta, jossa pilotoidaan virtuaalisten oppimateriaalien kehittämistä ammatillisen koulutuksen tarpeisiin Tansaniassa. Hanke toteutetaan yhteistyössä paikallisten kumppaneiden kanssa, joita ovat Tansanian opetusministeriön ammatillisen koulutuksen osasto, neljä ammattikoulua, yksi ammattikorkeakoulu ja kolme paikallista järjestöä. Hanketta rahoittaa Finnpartnership.

Opettajat, opiskelijat ja työelämän edustajat ovat yhdessä tunnistaneet työelämässä tarvittavat taidot, joista virtuaaliopetusmateriaalit valmistetaan. Tansanialaiset opettajat kirjoittavat oppimateriaalit, 3DBear vastaa materiaalien kuvaamisesta ja editoinnista ja HAMK kouluttaa opettajat materiaalien käytössä. Hankkeella pyritään erityisesti ratkaisemaan koulunkäynnin esteitä, kuten pitkät etäisyydet ja taloudelliset vaikeudet sekä tukemaan tyttöjä, jotka ovat vaarassa jäädä koulutuksen ulkopuolelle.