TurkuNLP:n ja SiloGen-yrityksen yhteiskehittämä Poro-kielimalli etenee vauhdilla
Turun yliopiston TurkuNLP-tutkimusryhmä ja tekoäly-yhtiö Silo AI:n kielimalleihin keskittyvän tytäryhtiö SiloGenin yhteisessä hankkeessa on ensimmäisenä askeleena kehitetty Poro-kielimallia. Poro-mallia koulutetaan kaiken kaikkiaan noin biljoonan sanan edestä, ja koulutusprosessi on nyt puolessa välissä.
Elokuussa 2023 TurkuNLP-tutkimusryhmä ja SiloGen kertoivat käynnistävänsä yhteistyöhankkeen, jonka päämääränä on kehittää maailman suurin avoin kielimalli, joka pystyy käsittelemään kaikkia eurooppalaisia kieliä. Hankkeen tavoitteena on vahvistaa Euroopan digitaalista itsenäisyyttä ja parantaa kielimallien saavutettavuutta. TurkuNLP osallistuu hankkeeseen osana työtään High Performance Language Technologies (HPLT) -projektissa, joka kehittää resursseja eurooppalaiselle kieliteknologialle.
Hankkeessa on kehitetty 34:n miljardin parametrin Poro - kielimallia, jota koulutetaan datalla, joka sisältää tekstiä suomen ja englannin kielillä sekä laajalla joukolla ohjelmointikieliä. Läpinäkyvyyden ja avoimuuden varmistamiseksi osana Poro Research Checkpoint -ohjelmaa, hanke on nyt julkaissut mallin 50%:n tarkistuspisteen, joka on saavuttanut luokkansa parhaat tulokset suomen kielellä. Seuraavana askeleena hankkeessa tullaan kouluttamaan malleja pohjoismaisille kielille (ml. ruotsi, norja, tanska ja islanti) ja lopulta kaikille eurooppalaisille kielille.
- Olen ylpeä Poro-mallilla saavuttamistamme tuloksista. Jo tässä vaiheessa voidaan sanoa, että Poro on paras avoimesti saatavilla oleva suomenkielinen malli. On hienoa nähdä, miten olemme pystyneet hyödyntämään sitä osaamista ja teknologiaa jota olemme kehittäneet kouluttaessamme aikaisempia FinGPT- ja BLUUMI-malleja. Odotamme saavamme tämän ensimmäisen Poro-mallin koulutuksen valmiiksi tulevien viikkojen aikana, sanoo Turun yliopiston data-analytiikan yliopistotutkija Sampo Pyysalo.
TurkuNLP ja Silo AI ovat lisäksi laajentamassa tähän asti tekstipohjaisiin malleihin keskittynyttä yhteistyötään malleihin, jotka pystyvät myös käsittelemään kuvamateriaalia. Näitä malleja tullaan kehittämään yhdessä LAION-tutkimusorganisaation kanssa. LAION on kehittänyt lukuisia johtavia avoimia aineistoja generatiivisten tekoälymenetelmien kehittämiseen.
- Tavoitteenamme on kattaa kaikki eurooppalaiset kielet, ja laajentaminen pohjoismaisiin kieliin on luonnollinen seuraava askel. On myös luonnollista laajentaa Poroa kuvien käsittelyyn. Yhteistyössä LAIONin kanssa luodut multimodaaliset mallit tulevat laajentamaan mallien käyttötapoja ja arvonluontimahdollisuuksia. Nämä mallit pystyvät tulkitsemaan, tiivistämään ja kuvaamaan tekstiä ja kuvia sisältäviä asiakirjoja. Näemme multimodaalisilla malleilla olevan yhä suurempia mahdollisuuksia suurien tietomäärien yhdistämiseen, sanoo Peter Sarlin, Silon AI:n toimitusjohtaja ja toinen perustaja.
Yhteistyö LAIONin kanssa yhdistää alan osaamisen ja kokemuksen, vahvan ja tiukan akateemisen tutkimuksen sekä avoimen lähdekoodin filosofian.
