Konenäöllä rakkulat haltuun

Oletko miettinyt mitä kaikkea konenäön avulla voidaan tunnistaa? Voisiko se auttaa sinua jotenkin? Rakennusalalla kestävän rakennusmateriaalin löytäminen kohteisiin on elinehto. Jos talon katto ei kestä vuoden aikojen tuomia rasituksia, niin sen käyttöikä jää lyhyeksi. Oikea hinta-laatusuhde ja käyttöikä ovat meille jokaiselle tärkeitä asioita.

Hauhon ja Rengon säästöpankkisäätiöiden rahoittama Uudet elinkaarikestävät ekologiset materiaaliratkaisut eli Unelmat-hanke sisälsi tutkimuksen konenäön yhdistämisestä materiaalien ulkotutkimukseen (HAMK, n.d). Tutkimukseen valittiin ulkotestauksessa olleita pinnoitettuja ohutmetallilevyjä, joissa oli näkyvissä erilaisia pintamuutoksia ja erityisesti näytteiden rakkuloitumista eli maalin osittaista irtoamista.

Konenäön avulla on mahdollista saada nopeasti tarkka analyysi ulkotestauksen tuloksista, ja näiden tuloksien avulla voidaan tehdä eri materiaalien vertailuja. Rakennusala oli tämän tutkimuksen ykköskohde, ja saadut tulokset ovat tärkeää tietoa tulevaisuuden tuotekehitykseen.

Pitkäaikaiskestävyyden ulkotestaus ja näytteiden rakkuloituminen

Hämeen ammattikorkeakoulun HAMK Tech -tutkimusyksikössä tehdään materiaalien pitkäaikaiskestävyyden tutkimusta. Materiaalien tutkimusta toteutetaan muun muassa ulkotestikentillä, joilta saadut tulokset ovat arvokasta tietoa esimerkiksi rakennusmateriaalien valmistajille. Kuvassa 1 on tyypillinen ulkotestikentän testiteline, johon tutkittavat näytteet asetetaan altistumaan ympäristön rasituksille. Kuvassa olevat näytteet ovat maalipinnoitteisia metallisia ohutlevyjä. Testikentillä oleviin näytteisiin vaikuttavat muun muassa korroosio, auringonvalon säteily, lämpötilavaihtelut, kosteus, ilman epäpuhtaudet, mekaaniset rasitukset ja kemialliset altistukset. Näytteiden materiaalien muutoksia tutkitaan mittaamalla pinnassa tapahtuvia väri- ja kiiltomuutoksia, arvioimalla niissä tapahtuvia visuaalisia muutoksia sekä lujuuskokeilla ja muilla mekaanisilla testeillä. Kokeiden ensimmäisten vuosien aikana muutokset tapahtuvat pääosin pinnoitteissa, ja mittaukset kertovat niiden kestävyydestä. Pinnoitteen rakkuloituminen on osa visuaalista arviointia. Sen arvioinnissa käytetään standardia SFS-EN ISO 4628-2 (SFS-EN ISO 4628-2:2016).

Rakkuloitumisessa metallisen ohutlevyn pintaan syntyy poikkeama, jossa pinnoite on osittain irti alla olevasta metallipinnasta (kuva 2). Tällöin levyn pinnassa näkyy rakkulan muotoinen pullistuma. Pinnoite on rakkuloituneesta kohdasta usein normaalia hauraampi ja hajoaa helposti, mikä aiheuttaa alla olevan levyn ruostumisen.

Ulkokenttätestauksessa rakkuloitumista havaitaan tyypillisesti alueilla, joissa säärasitus on rankkaa, esimerkiksi aurinkoisilla, meren läheisyydessä olevilla alueilla. HAMK Techillä on yritystoimeksiantona tutkimustyö, jossa tutkitaan tällaisella ulkokentällä altistettuja näytteitä. Näytteiden visuaalinen arviointi tehdään tällä hetkellä käsityönä, ja yhden levyn arviointiin menee keskimäärin 2–5 minuuttia aikaa. Arviointiin kuuluvat muun muassa värin ja kiillon mittaukset, reunairtoaman mittaus, arvio visuaalisesta kunnosta, rakkuloitumisesta ja ruostumisasteesta sekä muiden poikkeamien kirjaaminen. Arvioitavia levyjä saattaa olla useampi sata, jolloin työaikaa menee jo kohtalaisen paljon. Konenäön avulla toivottiin saatavan nopeampi ja toistettavampi keino tehdä arviointityö.

Konenäkö ja rakkulan tunnistus

Konenäköä käytetään paljon erilaisiin tunnistus-, laskenta- ja laadunvalvontatehtäviin. Sitä voidaan hyödyntää myös monimutkaisissa tunnistustehtävissä. Unelmat-projektin yhtenä pilottitutkimuksena kehitettiin konenäkösovellus, jonka avulla voidaan tunnistaa metallilevyjen rakkuloitumista. Vaikka rakkuloitumisen tunnistaminen saattaa kuulostaa yksinkertaiselta, se sisältää useita haasteita, jotka tekevät tehtävästä monimutkaisen.

Rakkuloitumisen tunnistukseen rakennettiin koodi, jolla konenäkö määrittää rakkuloiden koon ja määrän näytteestä otetusta valokuvasta. Sovelluksen konenäköelementit on toteutettu käyttäen Python-ohjelmointikielen OpenCV-kirjastoa. OpenCV:n avulla voidaan erotella kuvasta taustat ja tunnistaa kuvaan liittyvät ongelmakohdat, jotka eivät ole oleellisia rakkuloitumisen tunnistamisessa. Sovelluksen toiminta jakautuu useisiin vaiheisiin, jotka yhdessä muodostavat prosessin rakkuloitumisen havaitsemiseksi ja luokittelemiseksi.

Prosessi alkaa kuvan esikäsittelyllä. Sen tarkoituksena on rajata alue, jota konenäöllä tarkastellaan, sekä muodostaa valokuvasta konenäölle soveltuva kuvamateriaali. Tässä prosessissa poistetaan tausta reunantunnistuksen avulla. Tämän jälkeen korjataan värivaihteluita valaistuksen tasapainottamiseksi, mikä on tärkeää tarkan analyysin kannalta. Lopuksi kuvamateriaali muunnetaan harmaasävykuvaksi, mikä parantaa rakkuloitumisen havaitsemisen tarkkuutta (Moradi ym., 2022).

Seuraavassa vaiheessa siirrytään varsinaiseen rakkuloitumisen tunnistamiseen. Tässä vaiheessa alueet erotellaan koon ja värin mukaan joko rakkuloitumiseksi tai likaantumiseksi. Isot ja pienet rakkulat erotellaan toisistaan, ja lähekkäin sijaitsevat rakkularyppäät yhdistetään suuremmiksi kokonaisuuksiksi analyysin helpottamiseksi. Automaattisen kuvantunnistuksen optimoimiseksi kehitettiin siis prosessi, jossa analysoitavasta kuvasta rajataan pois epäolennaiset alueet: tausta, levyn reunat sekä korroosio- ja maalinirtoamistestejä varten tehdyt viillot ympäristöineen (kuva 3). Tämä mahdollistaa tehokkaan rakkuloitumisen arvioinnin relevanteilla alueilla.

Kuten insinöörien tarkastelussa, myös konenäön luokitusvaiheessa hyödynnetään SFS-EN ISO 4628-2 standardia (SFS-EN ISO 4628-2:2016). Näiden tietojen pohjalta jokainen havaittu rakkuloitumisesiintymä luokitellaan standardin mukaisesti.

Rakkuloiden tunnistaminen konenäöllä sisältää seuraavat vaiheet:

1. Valokuvan esikäsittely
   • Valokuvasta poistetaan tausta reunantunnistuksen avulla
   • Värivaihtelut korjataan valaistuksen tasapainottamiseksi
   • Kuvamateriaali muunnetaan harmaasävykuvaksi tarkkuuden parantamiseksi
2. Rakkuloitumisen tunnistaminen
   • Alueet erotellaan koon ja värin mukaan rakkuloitumiseksi tai likaantumiseksi
   • Isot ja pienet rakkuloitumiset erotellaan
   • Rakkuloitumisryppäät yhdistetään suuremmiksi kokonaisuuksiksi
3. Luokitus
   • SFS-EN ISO 4628-2 standardin hyödyntäminen ja luokittelun määrittely:
     • Rakkuloitumisen kohteiden säteiden laskeminen kokokriteerin määrittämiseksi
     • Suurimpien ympyröiden keskimääräisen säteen käyttö sädeluokan rajana
     • Jokaisen rakkuloitumisenesiintymän luokittelu standardin mukaisesti levyn alueelta <tiheys>s<koko>

Vertailukoe

Rakkuloiden konenäön tutkimuksessa tehtiin vertailu konenäön kanssa, johon osallistuivat neljä insinööriä HAMK Tech -tutkimusyksiköstä. Insinöörien kokemusvuodet rakkuloiden arvioinnissa ovat nähtävissä taulukossa 1. Vertailuun valittiin 20 edustavaa näytelevyä ulkotestauksesta. Näytteitä oli eri värisiä, ja niissä oli rakkuloita erilaisia määriä. Insinöörit ja konenäkö analysoivat levyjen rakkuloitumista tietämättä toistensa tuloksia.

Taulukko 1. Insinöörien kokemusvuodet rakkuloiden arvioinnissa.

Tarkastaja	Kokemusvuodet
Insinööri 1	3
Insinööri 2	4
Insinööri 3	3
Insinööri 4	20

Tulokset ovat nähtävissä taulukossa 2. Rakkuloitumisen tuloksen ensimmäinen numero on rakkulan esiintymistiheys (arviointiasteikko 0–5) ja toinen numero s-kirjaimen jälkeen on rakkulan koko (arviointiasteikko 0–5). 1s1 on siis hyvin vähän pieniä rakkuloita ja 5s5 hyvin paljon isoja rakkuloita. Kun verrattiin insinöörien ja konenäön vertailukokeen tuloksia keskenään, käytettiin arvioinnissa arvostelua: ”hyvä” on sama tulos, ”melkein” on lähellä samaa tulosta ja ”huono” on kaukana samasta tuloksesta (taulukko 2).

Taulukko 2. Konenäön ja insinöörien välisen vertailukokeen tulokset.

Nro	Väri	Insinööri 1	Insinööri 2	Insinööri 3	Insinööri 4	Konenäkö
1	Tumman harmaa	3s5	2s4	2s4	3s4	4s3 (melkein)
2	Harmaa	4s5	3s5	4s5	3s5	4s3 (melkein)
3	Ruskea	3s4	3s3	3s4	4s3	4s4 (melkein)
4	Harmaa	3s5	2s4	2s5	2s5	3s4 (melkein)
5	Punainen	2s3	2s2	2s3	2s2	3s2 (melkein)
6	Musta	1s5	2s3	1s4	1s5	4s3 (huono)
7	Valkoinen	2s3 (hyvä)	3s3	2s3 (hyvä)	3s2	2s3 (hyvä)
8	Sininen	1s3	1s2 (hyvä)	1s3	1s2 (hyvä)	1s2 (hyvä)
9	Musta	3s4	3s4	3s4	3s3	4s3 (melkein)
10	Punainen	1s3	1s2	1s3	1s3	3s2 (huono)
11	Keltainen	1s3	1s3	1s4	1s3	0s0 (huono)
12	Musta	3s4	2s4	3s4	3s4	4s3 (melkein)
13	Valkoinen	0 (hyvä)	0 (hyvä)	0 (hyvä)	0 (hyvä)	0s0 (hyvä)
14	Harmaa	1s5	2s4 (hyvä)	1s5	1s4	2s4 (hyvä)
15	Punainen	3s3 (hyvä)	4s3	3s3 (hyvä)	4s2	3s3 (hyvä)
16	Harmaa	2s3	2s3	2s3	2s2	3s2 (melkein)
17	Valkoinen	3s4	3s3 (hyvä)	3s4	3s2	3s3 (hyvä)
18	Ruskea	2s4	2s4	1s4	1s4	4s3 (melkein)
19	Ruskea	2s5	3s4	2s5	2s4	4s3 (melkein)
20	Punainen	5s3	4s3 (hyvä)	5s3	5s2	4s3 (hyvä)

Vain yhdellä näytteellä oli kaikilla viidellä arvioijalla sama tulos. Tämä näyte on numero 13 (valkoinen levy), jossa ei ollut rakkuloita. Myös näytteissä 7 (valkoinen), 8 (sininen) ja 15 (punainen) oli kolmella arvioijalla sama tulos. Näytteissä 14 (harmaa), 17 (valkoinen) ja 20 (punainen) oli kahdella arvioijalla sama tulos. Tämän testin perusteella väreistä haastavimpia ovat musta ja keltainen. Kuitenkin vielä enemmän kyse on yksittäisten näytteiden haastavuudesta. Joissakin levyissä rakkulat ovat hyvin selvästi nähtävissä, toisissa levyissä ne saattavat jo muodon puolesta olla vaikeasti nähtävissä.

Tulokset ja johtopäätökset

Vertailukokeen tuloksista on havaittavissa, että konenäön tulos on usein hyvin lähellä insinöörien tulosta. Insinöörien kesken tuloksissa on hieman poikkeamia, mutta tulokset ovat kuitenkin melko lähellä toisiaan. Insinöörien kokemusvuodet eivät näytä vaikuttavan merkittävästi tuloksiin. Hyvien (sama tulos) osumien osuus on 7/20 (35 %), melkein-osumia oli (hyvin lähellä samaa tulosta) 10/20 (50 %) ja huonojen osuus (kaukana samasta tuloksesta) 3/20 (15 %). Tulosvertailun haasteena oli arvioitavan alueen rajaaminen, jossa viiltokohtia ja reunakohtia ei oteta huomioon arvioinnissa.

Väriryhmittäin tarkasteltuna (taulukko 3) valkoinen ja sininen saavuttivat parhaat tulokset (95 %, yht. 4 kpl), vaikka sinisen otanta oli vähäinen (1 kpl). Punaisen värin tulokset ovat hyvät (85 %, 4 kpl) ja erityisesti koon määrittelyssä (91 %). Harmaa osoitti tasaista suorituskykyä (81 %, 5 kpl) sekä koon (79 %) että tiheyden (82 %) määrittelyssä. Keltainen jäi heikoimmaksi (58 %, 1 kpl), mutta pienen otannan vuoksi tulos ei ole yleistettävissä.

Taulukko 3. Vertailukokeen tulokset väriryhmittäin.

Väri	Näytteiden määrä	Tarkkuus %	Koon määrittelyn tarkkuus %	Tiheyden määrittelyn tarkkuus %
Harmaa	5	81 %	79 %	82 %
Punainen	4	85 %	91 %	79 %
Musta	3	73 %	80 %	67 %
Ruskea	3	73 %	80 %	67 %
Valkoinen	3	95 %	93 %	97 %
Keltainen	1	58 %	35 %	80 %
Sininen	1	95 %	90 %	100 %

Rakkuloitumisen luokittelussa (taulukko 4) parhaat tulokset saavutettiin luokassa 0s0 (100 %, 1 kpl). Keskitason luokat 3s3 ja 4s3 suoriutuivat erinomaisesti (93 %, 3 kpl). Haasteellisimmiksi osoittautuivat luokat 1s4 (60 %, 1 kpl) ja 2s4 (65 %, 1 kpl). Korkeamman rakkuloitumisasteen luokat 3s3–5s3 osoittivat johdonmukaisesti hyvää tarkkuutta (80–93 %, 9 kpl).

Taulukko 4. Vertailukokeen tulokset luokittelun mukaisesti.

Luokittelu	Näytteiden määrä	Tarkkuus %	Koon määrittelyn tarkkuus %	Tiheyden määrittelyn tarkkuus %
0s0	1	100 %	100 %	100 %
1s3	3	75 %	70 %	80 %
1s4	1	60 %	75 %	45 %
1s5	1	88 %	90 %	85 %
2s3	2	84 %	88 %	80 %
2s4	1	65 %	80 %	50 %
2s5	2	76 %	78 %	75 %
3s3	2	93 %	90 %	95 %
3s4	4	80 %	83 %	78 %
4s3	1	93 %	95 %	90 %
4s5	1	75 %	60 %	90 %
5s3	1	90 %	95 %	85 %

Järjestelmä onnistui erityisesti vaaleiden sävyjen analysoinnissa ja korkeamman rakkuloitumisasteen tunnistamisessa. Kehityskohteiksi nousivat keltaisen värin analysointi ja tiheyden määrittely pienissä luokissa. Tulevaisuudessa otannan laajentaminen on tarpeen, sillä erityisesti vähäisen näytemäärän väriryhmissä tarvitaan luotettavampia tuloksia luokittelun näkökulmasta.

Konenäön tuloksista tehtiin myös tarkkuusanalyysi, joka kertoo, miten lähellä saadut tulokset ovat oikeaa tulosta. Tässä tutkimuksessa oikeana tuloksena pidettiin insinöörien arvioimaa tulosta. Järjestelmän tarkkuuden arvioinnissa hyödynnettiin yhteensä 172 kuvan aineistoa. Tarkkuuden laskennassa käytettiin absoluuttista virhelaskentaa, joka perustuu kahteen metriikkaan: tiheys (asteikolla 0–5) ja koko (asteikolla 0–5).

Absoluuttinen virhe laskettiin kaavalla:

missä x kuvaa yksittäisen rakkulan kokoa, y rakkuloiden esiintymistiheyttä, alaindeksi k konenäköjärjestelmää ja i insinöörin arviota.

Järjestelmän tarkkuus määritettiin kaavalla:

Analyysin tulokset osoittivat järjestelmän kokonaistarkkuudeksi 68 prosenttia (172 kpl).

Konenäöllä oikean rajauksen tekeminen arviointialueelle vaatii vielä hiomista. Toinen haaste ovat muut kuin rakkulavirheet levyn pinnassa. Levyn pinnalla esiintyvät kontaminaatiot ja ympäristötekijöistä johtuvat muutokset voivat vaikeuttaa todellisen rakkuloitumisen tunnistamista. Konenäköalgoritmien kehittäminen näiden häiriötekijöiden suodattamiseksi on haastavaa pintamuutosten monimuotoisuuden vuoksi. Tutkimukset osoittavat, että vaihtelevat valaistusolosuhteet ja pinnan epäpuhtaudet voivat merkittävästi heikentää konenäköjärjestelmien luotettavuutta (Chen ym., 2021). Analysoitavien kuvien laatu on myös tärkeä asia. Joskus analysoitavia kuvia joudutaan ottamaan ulkona esimerkiksi sateella. Tällöin kuvanlaatu ei ole kovin hyvä, ja näytteiden pinnoilla saattaa näkyä sadepisaroita, jotka vääristävät varsinaista rakkuloiden arviointia. Kuvan laadun tulee olla myös korkea, sillä liian rakeinen tai epätarkka kuva tuottaa väärän tuloksen konenäön analyysissa.

Konenäköjärjestelmän keskeinen haaste on erottaa rakkuloituminen muista pinnalla esiintyvistä virheistä, kuten naarmuista. Vaikka syväoppimiseen perustuvat algoritmit ovat kehittyneet huomattavasti viime vuosina (Gao ym., 2022), luotettava muotojen luokittelu ja analysointi vaatii edelleen ihmisen asiantuntemusta validoinnissa. Konenäön tuottamien tulosten vertailu standardoituihin arviointikriteereihin perustuu edelleen asiantuntijan tulkintaan.

Ihmisen ja koneen kognitiivinen ero Ihmisaivojen kehittynyt hahmontunnistuskyky mahdollistaa virheellisten muotojen ja ei-rakkuloitumisen nopean poissulkemisen. Konenäköjärjestelmät, huolimatta kehittyneistä koneoppimismalleista, eivät vielä saavuta ihmisen kognitiivista joustavuutta monimutkaisten pintavirheiden tulkinnassa (Zheng ym., 2021).

Konenäön avulla on kuitenkin mahdollista tulevaisuudessa nopeuttaa visuaalisen arvioinnin tekemistä, ja tulosvarmuuden kasvaessa menetelmä tulee varmasti käyttöön HAMK Tech -tutkimusyksikössä. Konenäön tulos perustuu laskennalliseen arvioon, eikä pelkkään visuaaliseen näkemykseen. Tämän ansiosta konenäön tulos on toistettavampi. Tällä hetkellä on kehitteillä oma sovellusohjelma, jolla voidaan havaita pintavirheet ja manuaalisesti muuttaa niitä. Tämä nopeuttaa tehtävää levyjen tarkastusta huomattavasti.

---

Uudet elinkaarikestävät ekologiset materiaaliratkaisut (UNELMAT) -hankkeen, tavoitteena oli käynnistää uutta materiaalien elinkaareen liittyvää tutkimustoimintaa ja laajentaa biopohjaisten materiaalien tutkimusta. Hanke kesti 1.9.2022–31.12.2024, ja sitä tukivat Hauhon ja Rengon säästöpankkisäätiöt 300 000 euron budjetilla. Projektiin osallistuivat kaikki HAMKin tutkimusyksiköt: HAMK Bio, HAMK Edu ja HAMK Tech.

Tärkeimmät tutkimusalueet olivat materiaaliosaaminen, materiaalidatapankki ja elinvoimaisen ekosysteemin edistäminen. Tämä yhteistyöhanke pyrki edistämään kestäviä materiaaliratkaisuja ja ekologista innovaatiota. Lisätietoja hankkeesta löytyy UNELMAT-projektisivulta.