Professoriluento | Tapio Pahikkala

Koneoppimiseen perustuvia tekoälyjä kuvataan usein seuraavasti. Ne 
pystyvät suorittamaan monimutkaisia tehtäviä vaikkei niitä ole 
erityisesti ohjemoitu niitä tekemään. Kyseisiä tehtäviä voivat olla 
esimerkiksi ihmisen kanssa sulavasti keskustelemaan kykenevät 
ohjelmistot tai vaikka auton ajaminen ilman ihmiskuljettajaa. Näiden 
sovellusten ohjelmoiminen on ihmisille työlästä mutta oppivilla 
tekoälyillä on saavutettu merkittävää edistystä.

Oppivat tekoälyt parantavat suorituskykyään esimerkkien ja palautteen perusteella. Palaute perustuu arvioon kuinka hyvin tekoälyn senhetkinen toiminta on linjassa tehtävän tavoitteiden kanssa. Arvion voi tuottaa esimerkiksi ihminen, toimintaympäristö, tekoälyyn valmiiksi 
sisäänrakennettu suorituskykymittari tai jopa toinen tekoäly. 
Suorituskyvyn arvionnilla siis ohjataan tekoälyä parantamaan 
suoritustaan kohti tavoiteltua, mitä havainnollistaa sanonta: "Mitä ei 
voi mitata, sitä ei voi myöskään parantaa".

Sanonnalla on myös kääntöpuolensa: "Sitä saa mitä mittaa". Vaikka 
oppivia tekoälyjä ei suoranaisesti ohjelmoida saavuttamaan tehtävien 
tavoitteita, arviointimenetelmä sisältää itsessään jonkinlaisen 
käsityksen kyseisistä tavoitteista. Jos tämä käsitys on liian 
pinnallinen tai se ei ole tarpeeksi hyvin linjassa tavoitteiden kanssa, 
voi tekoälyjä opetettaessa kirjaimellisesti saada sitä mitä mittaa 
muttei välttämättä sitä mitä oikeasti tavoitellaan.

Esimerkiksi roskapostia suodattavan tekoälyn voisi ajatella olevan sitä 
parempi mitä suuremman osan roskaposteista se tuhoaa. Jos suodatuskykyä mitataan pelkästään näin, myös kaikki sähköpostit varmuuden vuoksi tuhoava tekoäly toimisi täydellisesti. Kyseisen mittarin onkin tarpeen sisältää jonkinlainen kompromissi tuhottavien roskapostien ja hyödyllisten sähköpostien säilymisen välillä.

Tekoälyjen oppiminen muistuttaa perinteistä tieteellistä menetelmää, 
jossa tutkittavasta ilmiöstä kerätään havaintoja, ja sen jälkeen 
valitaan havainnot parhaiten selittävä hypoteesi. Perimmäisenä 
tavoitteena on yleistäminen tai ennustuskyky eli valitun hypoteesin kyky selittää myös tulevat havainnot, sellaiset joita ei ole hypoteesin 
valinnassa käytetty. Jos vaihtoehtoisia selityksiä on kuitenkin liikaa, 
voidaan törmätä klassista induktio-ongelmaa havainnollistavaan Goodmanin paradoksiin. Paradoksissa päätellään smaragdien värejä niistä tehtyjen havaintojen perusteella, jotka siis ovat vihreitä. Yhden hypoteesin mukaan kaikki smaragdit ovat vihreitä. Toisen vaihtoehdon mukaan kaikki smaragdit ovat sinisiä paitsi ne, jotka tähän mennessä on nähty. Molemmat vaihtoehdot selittävät täydellisesti kaikki havainnot mutta jälkimmäinen on kuitenkin täysin arkijärjen vastainen. Arvioinnin pitäisi siis havaintojen selityskyvyn lisäksi rajata pois järjettömiä selityksiä.

Esiintyykö tällaista absurdiuteen asti venytettyä paradokseja myös 
tekoälyn käytännön sovelluksissa? Palautetaan mieleen vuonna 2015 
alkanut diesel-autojen päästöhuijausskandaali. Lähtökohtana oli 
autonvalmistajien kykenemättömyys yhdistää tehokas ajaminen alhaisiin päästötasoihin. Valmistajat ratkaisivat ongelman auton ajotietokoneeseen asennetulla ohjelmalla, joka tunnistaa päästöjen mittaustilanteen ja sen havaitessaan alentaa moottorin tehoja alle normaalin, jolloin myös typpioksidipäästöt pienenevät. Normaalissa ajossa tehorajoite kytkeytyy pois päältä, jolloin autojen todelliset päästöt ovat jopa 40 kertaa ilmoitettuja suuremmat. Mittausten mukaan tavoite on täydellisesti saavutettu mutta todellisuus on täysin päinvastainen ja olemme siis kohdanneet Goodmanin paradoksin kaltaisen tilanteen ilmielävänä. Tässä tapauksessa tekoälyjärjestelmän oppivan osan muodostivat ne insinöörit, jotka kyseisen päästömittauksissa huijaavan ajotietokoneen suunnittelivat. Joka tapauksessa ei ole mitään syytä odottaa etteivätkö automaattisesti oppivat tekoälyt päätyisi sopivissa olosuhteissa 
samankaltaiseen ratkaisuun.

Palautteesta oppivat tekoälyt ovatkin erityisen hyviä mukautumaan 
mittareihin, joihin niiden toimintaa ohjaava palaute perustuu, sekä 
hyvässä että pahassa. Ilmiötä voidaan hyvin verrata mittareihin ja 
kannustimiin esimerkiksi taloustieteessä. Hyvää tarkoittavat kannustimet voivat aiheuttaa todellisten tavoitteiden unohtumisen ja korvautumisen vajavaisilla mittareillaan. Niin kutsutut kierot kannustimet voivat jopa aiheuttaa odottamattomia negatiivisia sivuvaikutuksia, joita historia tuntee useitakin. Esimerkiksi siirtomaakauden Intiassa myrkyllisten kobrien tuhoamispalkkiot johtivat kobrien määrän räjähdysmäiseen lisääntymiseen, koska niitä alettiin kasvattaa lisäpalkkioiden toivossa. Vanhan vitsin mukaan mikään ei lisää ohjelmointivirheiden määrää niin paljon kuin ohjelmoijien palkitseminen niiden löytämisestä ja korjaamisesta. Ilmiöstä on kansankielessä useitakin nimityksiä. Puhutaan esimerkiksi Goodhartin laista, jonka mukaan mittari menettää 
merkityksensä, kun siitä tulee tavoite.

Yleistyskykyä arvioivien mittareiden suunnittelua voidaan verrata 
tenttikysymysten suunnitteluun yliopistokurssille. Kysymysten ei tulisi 
toistaa kurssin sisältöä sellaisenaan, sillä muuten niihin vastaamiseen 
riittäisi pelkkä sisällön ulkoa opettelu ilman syvällisempää ymmärrystä 
opeteltavasta aiheesta. Pakkaa voivat toisaalta sekoittaa myös liian 
lyhytnäköiset kannustimet kurssinjärjestäjälle. Jos järjestäjää 
palkittaisiin pelkästään kurssin läpäisseiden määrän perusteella, 
järjestäjällä olisi kannustin tehdä tentistä niin helppo, että kuka 
tahansa läpäisisi sen vaikkei oppisikaan kurssin tavoitteista mitään.

Koska tekoälyn tarkoituksena on nimenomaan yleistää oppimaansa uusiin tilanteisiin, joita se ei vielä ole kohdannut, eräs tärkeimmistä 
arviointimenetelmien suunnitteluperiaatteista on saatavilla olevien 
esimerkkijoukon jakaminen osiin siten, että yksi osa käytetään tekoälyn opettamiseen ja toinen opetukselta piilotettu osa varmistamaan, että oppiminen menee tavoiteltuun suuntaan. Näin vältetään niin kutsuttu "voittajan kirous", jonka mukaan vertailussa parhaiten menestyvä näyttää lähes aina todellista paremmalta. Kun tähän varmistusvaiheeseen liittyvä palaute perustuu uuteen opetusvaiheessa kohtaamattomaan dataan, mittari 
ikään kuin muuttaa muotoaan niin, ettei tekoäly ole päässyt mukautumaan siihen liikaa. Tämä periaate löytyykin sellaisenaan lähes jokaisesta tekoälyn ja koneoppimisen oppikirjasta.

Pelkkä satunnainen jako osiin ei kuitenkaan välttämättä riitä. 
Esimerkiksi tekoäly, jonka tavoitteena oli keuhkokuumeen automaattinen tunnistaminen röntgen-kuvista, oppikin tunnistamaan potilaita, koska samoista potilaista oli useita kuvia ja niitä päätyi molempiin osiin. Tässä tapauksessa kuvat olisikin pitänyt jakaa kahteen osaan niin, että samasta potilaasta otetut kuvat päätyvät vain yhteen osaan.

Mittaria voidaan myös muuttaa jatkuvasti, jos se pohjautuu toisen 
tekoälyn antamaan palautteeseen. Esimerkiksi jos yhden tekoälyn on 
tarkoitus luoda realistisia kuvia ja toinen taas pyrkii erottamaan 
automaattisesti luodut kuvat aidoista, tekoälyt valmentavat toinen 
toisiaan ja joutuvat mukautumaan yhä vaikeampiin mittareihin.

Uusimmat tekoälysovellukset luovat automaattisesti kuvia, ohjelmakoodia tai kirjoittavat tekstiä niille annetun kirjallisen kuvauksen mukaisesti. Näiden opettamisen haasteet ovat samankaltaisia. Esimerkiksi jos tekoälyn tarkoituksena on antaa vastauksia sille annettuihin kysymyksiin, tekoäly voikin oppia antamaan pikemminkin vakuuttavia kuin totuudenmukaisia vastauksia.

Luonnollisella kielellä annettua tehtäväkuvausta käytetään ohjaamaan 
tekoälyn suoritusta kohti tavoiteltua lopputulosta aivan kuten edellä 
mainittuja mittareitakin ja kuvausten suunnittelu voidaankin ajatella 
saman haasteen uusimpana ilmentymänä. Jos tehtävän muotoilu on kovin suurpiirteinen, voidaan silti saada hyvä tulos tekoälyn arvatessa 
käyttäjän haluavan jotain samankaltaista kuin mitä aiemmatkin käyttäjät ovat halunneet. Jos käyttäjä kuitenkin haluaa jotain täysin uutta ja erilaista, tehtävä on vaikeampi ja voidaan tarvita huomattavasti tarkempi kuvaus sen tavoitteista. Vaikeimpien tehtävien ratkaiseminen muistuttaa niitä haasteita, joita suurten ohjelmistoprojektien toteuttaminen on kohdannut. Jotta projektit onnistuisivat, niiden tilaajien on onnistuttava vaatimusten kuvauksissa niin hyvin, että voisivat melkeinpä toteuttaa kyseiset ohjelmistot itsekin.

Tekoälytekniikan kehitys voimakkaammaksi ja taitavammaksi on tehnyt myös arviointihaasteista monimutkaisempia. Tekoälyn ohjaaminen on muuttanut muotoaan alkeellisista teknisistä mittareista luonnollisella kielellä annettuihin yksityiskohtaisiin tehtäväkuvauksiin. Suorituskyvyn 
arviointi käytännöllisissä tehtävissä on keskeisessä asemassa 
tekoälytekniikan tutkimuksessa ja kehityksessä. Miten arvioimisen 
haasteisiin sitten voidaan vastata? Nojaan jälleen vanhaan sanontaan: "Mikään ei ole käytännöllisempää kuin hyvä teoria".

Arviointimenetelmien itsensä tutkimuksella on pitkät perinteet ja vankka teoreettinen tausta, jonka nojalla voidaan päätellä minkälaiset arviointimenetelmät ovat linjassa todellisten tavoitteiden kanssa ja mitkä eivät.