Bildebasert tolkning av ikke-verbale uttrykk

Det finnes en rekke mennesker som har problemer med å kommunisere verbalt. Dette kan skyldes nedsatt funksjonsevne på viktige område som har med tenking, oppmerksomhet, hukommelse, læring og språkforståelse å gjøre.  Sensomotoriske problemer kan i tillegg føre til ukontrollerte bevegelser. 

For å øke livskvaliteten til personen det gjelder, og bidra til å lette kommunikasjonen med omsorgspersoner, er det et behov for en løsning som kan oversette ikke-verbale uttrykk. Det Kongsberg baserte selskapet Lifetools AS har utviklet og leverer et nettbrett-basert kommunikasjonssystem (KnowMe https://www.knowme.no/) som fungerer som en uttrykksbank der kunnskap og erfaring om uttrykksformer, rutiner og aktiviteter for hver enkelt kan lagres. Hensikten er nå å ta dette videre til en ny løsning som også kan tolke uttrykk gjennom å utnytte maskinlæring. 

Mer umiddelbar respons

Gjennom Norges Forskningsråd har firmaet fått støtte til prosjektet KnowMeAI (2020-2023) for å se på utvikling av en løsning for dette. Prosjektet har som mål å utvikle et system som registrerer lyd, ansiktsuttrykk og kroppsbevegelser og bruke maskinlæring for å tolke det sammensatte uttrykket, slik at respons fra omsorgspersonen kan komme mer umiddelbart og mer som i vanlig kommunikasjon. 

Norsk Regnesentral bidrar inn i dette prosjektet med utvikling av metoder for bildeanalyse og maskinlæring for automatisk tolkning av uttrykk. Det er mange utfordringer knyttet til denne analysen. Blant annet forventer vi at det kan være såpass store forskjeller mellom ulike individers uttrykk, at det må være egne modeller for hvert individ. Det betyr at det er behov for å utvikle metoder og løsninger som kan læres opp fra en begrenset mengde data. Det er også behov for metoder som i størst mulig grad er robuste for støy og variasjon i omgivelser.