Skarpere satellittbilder med dyp læring (SuperAI)

SuperAI utvikler avanserte metoder innen dyp læring for å forbedre oppløsningen i jordobservasjonsdata. Ved å kombinere superoppløsningsteknikker med bildefusjon er målet å styrke de romlige detaljene i Sentinel-2 bilder, noe som gjør det mulig å utføre mer presise analyser av jordoverflaten. Forbedringene åpner for nye anvendelsesområder innen landbruk, klima og miljø, samt byplanlegging.

Satellittbilde av snødekket landmasse omrunget av vann — *Satellittbilde av et arktisk område. Selv om det ikke er hentet fra Sentinel-2-data, illustrerer det et område innen jordobservasjon som SuperAI-prosjektet tar sikte på å forbedre.* Bilde: USGS/Unsplash.

Deteksjon av småskala forandringer med dyp læring

Satellitter som Sentinel-2 bidrar allerede med verdifull informasjon om jordas overflate, men mesteparten av dataene som samles har moderat romlig oppløsning. Dette begrenser muligheten til å oppdage små endringer i landskap, økosystemer og infrastruktur.

I SuperAI utvikler vi en helt ny hybrid tilnærming for å møte denne utfordringen. I stedet for å bygge nye satellitter eller sensorer bruker vi dyp læring for å forbedre eksisterende Sentinel-2-bilder. Dette gjøres ved å øke den romlige oppløsningen til 2,5 meter i alle 12 spektralbåndene.

Denne prosessen, kjent som superoppløsning, genererer skarpere, mer detaljrike bilder og gjør satellittdata enda mer anvendelig og tilpasningsdyktig enn tidligere.

Vil du vite mer om dette prosjektet?

Ta kontakt:

Arnt-Børre Salberg

Sjefsforsker

Prosjekt: SuperAI

Finansiering: Den europeiske romfartsorganisasjon (ESA)

Periode: 2023-2025

Trener kunstig intelligens til å forbedre satellittbilder

Vi bruker diffusjonsmodeller for å gjøre bildene skarpere. Slike modeller brukes for å generere realistiske bilder.

SuperAI trener modellen på et stort og fritt tilgjengelig datasett av flyfoto fra det amerikanske National Agriculture Imagery Program (NAIP), og den lærer å generere høyoppløselige bilder basert på bilder med lavere kvalitet.

Flyfoto og satellittbilder har imidlertid ulike egenskaper i form av oppløsning, sensortype og hvordan de avbilder jordoverflaten.

For å løse dette har vi utviklet en metode som simulerer NAIP-bilder slik at de ligner mer på Sentinel-2-data. Denne prosessen, bildeforringelse og harmonisering, gjør at modellen lærer mønstre som senere kan anvendes på Sentinel-2-bilder med pålitelige og presise resultater.

Sammenligning av metoder for skarpere Sentinel-2-bilder. Radene viser atmosfærisk, naturfarge- og falsk fargevisning. Kolonnene viser originalbildet, GS-panskarping og resultatet fra nevralt nettverk, der AI-metoden fremstår skarpere og klarere uten fargeforvrengninger. — Sammenligning av ulike metoder for skjerping av Sentinel-2-bilder. Øverste rad viser et atmosfærisk bånd med 60 m oppløsning, midterste rad en naturfargevisning, og nederste rad en falsk fargekompositt. Hver kolonne viser (fra venstre mot høyre): originalinndata med lav oppløsning, en tradisjonell skjerpingsmetode (GS-panskjerping), og resultatet fra vårt nevrale nettverk. Den KI-baserte metoden gir skarpere bilder som bevarer struktur og detaljer, særlig i ensartede områder som åpent land eller vann, og unngår fargeforvrengninger som ofte oppstår ved tradisjonelle teknikker. Figur: NR.

Forbedring av alle Sentinel-2 bånd med KI-basert bildefusjon

En viktig komponent i modellen er at den forbedrer alle de 12 spektralbåndene i Sentinel-2-bilder, ikke bare RGB-båndene (rødt, grønt, blått) som de fleste tidligere tilnærminger har fokusert på.

For å oppnå dette bruker vi en fusjonsprosess basert på nevrale nettverk, der det skarpere RGB-bildet fungerer som veiledning for å forbedre oppløsningen i de øvrige spektralbåndene. Resultatet er en langt tydeligere og mer detaljert versjon av hele 12-bånds bildet.

Fusjonsmodellen trenes gjennom selvstyrt læring. Det betyr at den ikke trenger høyoppløselige referansebilder. I stedet lærer den ved å simulere bilder fra Sentinel-2 som har lavere oppløsning og rekonstruerer deretter originalen. Denne tilnærmingen støtter seg på Wald-protokollen, et veletablert sett med kriterier for å evaluere superoppløsningsmodeller.

Hvorfor bedre oppløsning er viktig

SuperAI forbedrer multispektrale data slik at de blir skarpere og mer detaljrike. Dette åpner for et bredt spekter av anvendelser, fra presisjonslandbruk og arealkartlegging til klimaovervåkning og byplanlegging, der tilgang til pålitelig satellittinformasjon med høy oppløsning er avgjørende.