Konekuuntelu tai äänen analysointi täydentää konenäköä

Konenäkö tai kuvan koneellinen analysoiminen on monelle jo tuttua. Hiotun tuottamilla eri konenäön sovelluksilla esimerkiksi tarkkaillaan ja varmistetaan laatua valmistavassa teollisuudessa.

Ääntä voi analysoida ihan kuten kuvaakin, eikä se teknisesti itse asiassa paljoa eroa konenäöstä. Jos äänite on pitkä lista numeroita, muodostaa kuva kaksiulotteisena ja monikanavaisena elementtinä taulukon numeroita.

– Neuroverkkomielessä tai matemaattisen algoritmirakentamisen kannalta perusperiaate on äänen analysoimisessa sama kuin kuvankin analysoimisessa, joitain teknisiä yksityiskohtia lukuunottamatta, Hiotun neuroverkkoasiantuntija Jonne Tamminen kertoo. 

Tällaisia ovat esimerkiksi ääninauhoituksessa useat samaan aikaan kuuluvat äänet. Ne saattavat aiheuttaa häiriöitä toistensa kanssa joskus voimistaen, joskus vaimentaen toisiaan. Se voi vaikeuttaa äänen tulkintaa ja erottelua.

Ääni eroaa kuvasta myös ajallisesti. Kuvassa aika on jähmettynyt tiettyyn hetkeen, kun taas ääni ja aika ovat hyvinkin liitoksissa toisiinsa.

– Tämä pitää ennemmin tai myöhemmin jollain tapaa ottaa huomioon ääntä analysoitaessa. Kuvassa sen sijaan sen voi useimmiten jättää huomioimatta, Jonne kertoo.

Sovelluksia puheentunnistuksesta teollisuuteen

Kaikkein tutuimpia konekuuntelun sovelluksia on puheentunnistus. Puhetta voidaan koneellisesti muuntaa tekstiksi tai siitä voidaan tunnistaa sellaisia puhujan ominaispiirteitä kuten ikä, sukupuoli tai murre. Puheesta on myös mahdollista erottaa tunteita. 

Tekoälyn avulla voidaan myös tuottaa autenttisen kuuloista puhetta. Tällaista tekoälymallia hyödyntää esimerkiksi YouTube-kanava Presidents Play, jossa aidolta kuulostavat presidentit Barack Obama, Donald Trump ja Joe Biden pelaavat eri videopelejä yhdessä ja solvaavat “pelin” tuiskeessa toisiaan minkä ehtivät.

– Ääninäytteiden avulla tekoälymalli voi nykyään tuottaa kenen tahansa puheääntä. Ihan heti en keksi millä lailla sovellusta voisi hyödyntää teollisuudessa, ja herättäähän tämä myös keskustelua tekoälyn käytön eettisyydestä, Jonne pohtii. 

Raskaamman sarjan sovelluksia löytyy teollisuuden parista, jossa ääntä analysoimalla voidaan löytää poikkeavuuksia esimerkiksi moottorin käyntiäänestä. Tällöin käynnissä olevan moottorin ääntä äänitetään ja nauhoitteesta pyritään löytämään epäsäännöllisyyksiä normaaliin käyntiääneen verrattuna, konenäköasiantuntija Peetu Rytkönen avaa. 

– Jos vaikka kuusimäntäisen moottorin yksi mäntä ei laukea, syntyy erilainen ääni kuin silloin jos kaikki männät toimisivat normaalisti.

Teknisesti poikkeavuuksien löytäminen tapahtuu opettamalla neuroverkolle erilaisia käyntiäänimalleja. Käyntiäänet luokitellaan sen mukaan, onko äänitteessä kyseessä viallisen moottorin käyntiäänestä tai normaalista käyntiäänestä. Viallinen ääni luokitellaan vian mukaan. 

– Sitten neuroverkon voi asettaa tarvittavaan tilaan kuuntelemaan ja päättelemään mikä moottorin tila kulloinkin on. 

Laadunvarmistuksen apu

Yksi potentiaalisista käyttökohteista äänianalyysille onkin laadunvarmistuksessa. Usein moottoreita joudutaan koeajamaan tietty tuntimäärä ennen käyttöönottoa.

– Käyntiääntä seuraamalla voidaan esimerkiksi luopua sensoreiden käytöstä, joita muutoin joutuisi testitilanteessa upottamaan sinne tänne moottoria, Peetu sanoo. Se säästää työaikaa sekä kustannuksia.

Konenäköä ja -kuuntelua yhdistämällä voidaan myös saada synergiaetuja. Ääni yhdistettynä kuvaan antaa tarkempaa tietoa ympäristöstämme. Jos esimerkiksi kuvaa on jostain syystä vaikeaa tulkita, ääni saattaa auttaa tulkitsemaan sitä. 

Monipuolisempi ja rikkaampi tulkinta ympäristöstä auttaa myös kehittämään parempia autonomisia järjestelmiä, jotka hyödyntävät äänen ja kuvan yhdistelmää päätöksenteossa ja toiminnan optimoimisessa. Tällaisia sovelluksia ovat esimerkiksi itseohjautuvat ajoneuvot.

Pohjolan Rakennusvalvonnan yhdessä Hiotun kanssa kehittämä Laatuketju varmistaa rakentamisen laatua

Pohjolan Rakennusvalvonta (PRV) tarjoaa rakentamisen valvontatehtäviin liittyviä palveluita rakennuttajille ja rakennusliikkeille sekä yksityishenkilöille. Palvelun keskiössä on PRV:n konseptoima ja Hiotun tuottama Laatuketjuksi kutsuttu digitaalinen toiminnanohjaustyökalu. 

Tai oikeastaan meidän pitäisi puhua toiminta-alustasta, yhtiön toimitusjohtaja Vesa Hyrkäs kertoo. Laatuketjulla nimittäin varmistetaan PRV:n kaikki projektinhallinta, resursointi ja dokumentointi – tekijöitä, jotka vaikuttavat projektien jouhevaan sujumiseen.

Tärkeää on ollut myös varmistaa PRV:n tarjoaman palvelun laatu.

– Laatuketjun avulla asiakas voi kätevästi seurata projektin etenemistä ja kommentoida prosessia, Hyrkäs sanoo. – Kaikki projektin tiedot, dokumentit ja luvat säilyvät Laatuketjussa vielä projektin päätyttyäkin.

Tuloshakuinen kumppani hakusessa

Vesa Hyrkäs Pohjolan Rakennusvalvonnasta
Vesa Hyrkäs Pohjolan Rakennusvalvonnasta

Kun Laatuketjua ryhdyttiin rakentamaan, hankekumppania haettiin ensin tuttujen palveluntarjoajien parista. 

– Kävimme alkuun keskusteluja sellaisten toimijoiden kanssa, joiden kanssa olen aiemmin kehittänyt vähän samankaltaisia tuotannonohjausjärjestelmiä, Hyrkäs kertoo. – Halusimme kuitenkin Pohjolan Rakennusvalvonnalle kumppaniksemme toimijan, joka ei olisi liian jäykkä tai kaavoihin kangistunut. 

Ennen hankkeen aloittamista vertailtiin myös kustannuksia.

– Haimme tuloshakuisia tekijöitä, joiden kanssa olisi helppo tehdä tällaista kehittämishanketta, Hyrkäs sanoo. – Näin kumppaniksi valikoitui Hiottu.

Rakentavaa ja toimivaa yhteistoimintaa

Ensimmäinen vaihe hankkeesta on saatu päätökseen ja Laatuketju palvelee Pohjolan Rakennusvalvonnan asiakkaita. Toista vaihetta valmistellaan ja sille haetaan parhaillaan rahoitusta.

– Olemme vasta päässeet alkuun, Hyrkäs sanoo ja vertaa Laatuketjua rakennuksen kivijalkaan. – Tästä pitäisi alkaa rakentaa taloa kivijalan päälle.

Hyrkäksen mielestä yhteistyön pitää olla rakentavaa ja yhdessätekemisen alku on Hiotun kanssa ollut lupaavaa.

– Nythän olisi mahdollista katsoa toista kumppania, kun hankkeen kakkosvaihe alkaa. Mutta koska kokemuksemme Hiotusta olivat niin hyviä, nyt ei malta vaihtaa, Hyrkäs nauraa.

Hyvää kokemusta on pohjustanut muun muassa ennakkoon sovitut tiedonvälittämistavat.

– Olemme saaneet tarvittavat tiedot hankkeen etenemisestä, ja luonnollisesti Laatuketjuun ne toiminnot mitä olemme vaatineet. Ja kun kustannuksetkin ovat pysyneet suurin piirtein siinä mitä budjetointiin lähtötilanteessa, voin sanoa, että Hiottu on meille ollut se kaikista paras yhteistyökumppani. 

Hiottu testiautomaatio – näin sen teet!

Testiautomaatio on viime vuosina rynninyt ohjelmistokehitykseen, ja syystä. Aika on rahaa: manuaalitestaukseen verrattuna automaatiolla säästetään paljon, kun ihmiset voivat keskittyä toisiin asioihin. Kuulostaa ihmiskunnan ja yritysten unelmalta: jälleen yksi tarkkuutta vaativa, työläs, toisteinen ja aikaa vievä vaihe voidaan jättää tietokoneiden huoleksi. Vaan onkohan tuo ihan niin yksinkertaista?

“Testausta tehdään monella tasolla”, huomauttaa Kari Lapinlampi. “Koodaritasolla tehdään yksikkötestejä tietyn ominaisuuden tarkistamiseksi. Automaatiossa sen sijaan testataan koko järjestelmää päästä päähän, ja pidetään sekä vanhat että uudet ominaisuudet koko ajan mukana kuviossa.”
Automaatiolla saadaan helposti ajettua myös aiemmat testit nopeasti ja täsmälleen samalla tavalla. Näin varmistetaan, etteivät uudet muutokset aiheuta uusia ongelmia. Jos esimerkiksi testataan verkkosivustoa, automaatiotestaus voidaan ajoittaa yöajalle, ja katsoa tulokset seuraavana päivänä. Koodin laatu säilyy hyvänä – ja samalla koko lopputuotteen.

“Pintapuolisella käyttäjätestauksella ei mitenkään päästä samaan laadunvarmistustasoon kuin automaattitestauksella”, sanoo Kari Lapinlampi. “Isossa projektissa olisi ylipäätään mahdotonta, että ihminen tekisi kaiken. Toki ihmistyötäkin tarvitaan kokeilevaan testaamiseen.”

“Ja määrittelyyn”, lisää Jarmo Pylkkö. “Testien määrittelyä ei voi automatisoida: siihen tarvitaan joku, joka osaa kuvata, millaisia käyttötapauksia tiettyyn ominaisuuteen liittyy.”

Kun kehitys – runko, rakenne ja käyttöliittymä – ovat riittävän pitkällä, testit kirjoitetaan toteutettaviksi käyttöliittymää vasten. Kooditason testausta toki tehdään alusta pitäen, esimerkiksi tietokannan käyttötapoja.

Testeillä ei tutkita vain toiminnallisuuksia, vaan myös suorituskykyä. Onko vaste riittävän nopea? Kestääkö järjestelmä kuormitusta? Miten häiriötilanne syntyy? Millaisia häiriöt ovat? Kehityksessä tulee päivittäin vastaan tilanteita, joissa on riskinä, että aiemmin tehty paikkaus lakkaa toimimasta. Ilman testausta ja koodinmuutoksia asiakas saattaa esimerkiksi saada virheellisen kuvan jonkin prosessin toiminnasta. Väärää dataa tarjoava, mutta oikealta näyttävä toiminto on vaarallisempi skenaario kuin se, ettei mitään tapahdu.

Kertakorjauksesta ikivihreisiin

Ohjelmistokehityksen tahti on muuttunut olennaisesti viime vuosina. “Nykyään uusia ohjelmistoversioita tulee melkein viikon välein”, sanoo Kari Lapinlampi. Ohjelmistoista on tullut ikivihreitä, evergreenejä: koko ajan julkaistaan pieniä parannuksia. “Uusienkin versioiden pitää silti olla testattuja. Versioiden julkaisukäytännöt ovat muuttuneet perusteellisesti: jatkuvan ohjelmistokehityksen CI/CD-putkessa uuden version julkaisu voi tapahtua nappia painamalla.”

Testi kertoo, onko mahdollista edetä. Koodari kehittää yksikkötestit, ja ne yhdistetään pääkehityshaaraan. Hiotulla testiautomaatiosofta Jenkins huomaa tämän, hakee uuden koodin ja ajaa testit. Jenkins on integroituna versionhallintaan. Jenkinsin kaverina käytössä on Python-pohjainen Robot Framework.

Ohjelmistoja on tarjolla paljon. “Jenkins valikoitui meidän käyttöömme, koska se on avointa lähdekoodia, ollut pitkään olemassa, hyvin tuettu ja taipuu mihin käyttöön tahansa”, toteaa Jarmo Pylkkö.

Vaikka asioita kuinka automatisoitaisiin, perusasiat pysyvät.
“Viestintä on todella tärkeää”, korostaa Kari Lapinlampi. “Kehittäjän ja testaajan välisen kommunikaation täytyy pelata.”

“Niin se tahtoo mennä, että ensin kehittäjä vie iloisena muutokset pilveen”, Jarmo Pylkkö nauraa. “Sitten testaaja lähestyy koodaria ja vetää tämän alas: lopetapa juhliminen ja palaa jäljittämään ja korjaamaan.”

(Kuvan piirteli parhaan ymmärryksensä mukaan Crayion-tekoäly. Emme ostaisi siltä käytettyä polkupyörää.)