Prosjektnummer
901277
Arts- og størrelsessortering av fisk ved bruk av bildeteknologi
Viktig bidrag til verdiskaping og HMS i flåten gjennom system for automatisk sortering ombord
• Nøyaktighet på artssortering på 99,5 %.
• Både hodekappet og hel bløgget fisk lar seg kjenne igjen.
• Torsk, hyse, sei, uer og flere arter lar seg kjenne igjen.
• Kapasitet på 1 fisk/sek.
• Singulering av fisk er nødvendig for å oppnå et godt resultat.
• Både hodekappet og hel bløgget fisk lar seg kjenne igjen.
• Torsk, hyse, sei, uer og flere arter lar seg kjenne igjen.
• Kapasitet på 1 fisk/sek.
• Singulering av fisk er nødvendig for å oppnå et godt resultat.
Sammendrag av resultater fra prosjektets faglige sluttrapport
Utgangspunktet var at systemet skulle gjenkjenne minst 98 % av torsk, hyse og sei. Det har vist seg at det er mulig å gjennomføre med god margin. Resultatet i selve kameramodulen har en meget høy treffprosent, mens det i sorteringen til bingene er noe lavere. Kameramodulen registrerer singulerte fiske med treffprosent på 99,5–99,9 %. Datagrunnlaget er veldokumentert da man har over 95.000 bilder av fisk. Grunnen til at en ikke har så høy sortering i bingen er stort sett at noen fisker ikke kommer singulert. Dette er delvis fordi operatøren kan ha problemer med å hodekappe eller bløgge fisken i jevnt nok tempo slik at fisker ligger oppå hverandre. Dette problemet kommer til å bli bedre med erfaring hos operatøren. Gode rutiner med vasking av linse/skanner og god skjerming påvirker resultatene positivt. Kapasiteten på systemet er 1 fisk/sek. ved fisk opp til 800 mm lengde. Ved større fisk går kapasiteten noe ned.
Det er også blitt mulig å identifisere utkast som lever, rogn, fragmenter etc. I tillegg til dette
har en også klart å identifisere flere arter med god treffprosent. Gjennom erfaring, prøving og feiling
har man kommet frem til et oppsett med et kompakt og fleksibelt system for artsgjenkjenning. Det
har vist seg å fungere like bra på både hodekappet fisk som på hel bløgget fisk.
Gjennom en lang erfaring med både ekstern og intern kompetanse på maskinlæring har Optimar selv skaffet full
kontroll på hele prosessen. Dette har gitt prosjektet en mer smidig gjennomføring der en raskt
kan rette opp i feil, og hjelpe kunden på en effektiv måte med problemer som kan oppstå.
Nytteverdien for dette produktet er stor da det kan erstatte dyrere løsninger som krever flere
operatører. Man ser også muligheten for å bruke data fra artsortering til å føre statistikk og
oversikt over fangsten på fartøyet, samt kobling til fangstområde.
Prosjektet har innfridd målsettingene om å sortere fisk på art og størrelse. I tillegg til tråleren M/S Granit som har installert prototypen er det levert 2 kommersielle system til nye havfiskefartøy. Systemet bidrar til et skritt mot målet om helautomatisering av fangsthåndtering i fiskefartøy.
-
Faktaark: Optimar Vision Grader (Automatisk arts- og størrelsessortering av fisk)
Optimar AS. Juni 2020. Av Eivind Storøy.
-
Populærformidling: Optimar Vision Grader (Automatisk arts- og størrelsessortering av fisk)
Optimar AS. Populærvitenskapelig artikkel. Juni 2020. Av Eivind Storøy.
-
Sluttrapport: Arts- og størrelsessortering av fisk ved bruk av bildeteknologi
Optimar AS. 30. juni 2020. Av Eivind Storøy.
For å få god utnyttelse av filétmaskinen må maskinen stilles inn for hver størrelse. På større båter løses dette ved å ha flere maskiner der hver maskin er innstilt til en størrelse. På mindre båter må maskinene stilles om for hver størrelse. For å få en effektiv produksjon blir hver enkelt størrelse og art sortert før maskinene. Sorteringen gjøres i binger på ca. 2 m³ hvor fisken holdes kjølig. Denne sorteringen foregår i dag i hovedsak ved bruk av innretninger som såkalte rullegraderer (med naturlig fall og med valser som har regulerbar åpning, der størrelsen på åpningen mellom valsene styrer sorteringsintervallet i kilo) eller vektgraderer (automatisk vekt for veiing og summering av enkeltfisk). Dersom det brukes en rullegraderer blir det en veldig grov sortering, uten mulighet for å sortere på art. “Feil” art plukkes i de tilfellene ut av operatøren av filétmaskinen, og må sendes til en mellomlagringsbinge. Dette går utover effektiviteten til operatøren.
Dersom det benyttes en marin vektgraderer må denne mates av to operatører. De tilrettelegger fisken i matesystemet, og bestemmer arten ved å legge fisken i korrekt matelomme. Deretter tar styresystemet til graderen over. Fisken blir fraktet over en vekt og informasjon om vekt og art benyttes til å sende fisken til ønsket lagringsbinge. Sorteringen av fisken skjer ved at det sendes en og en fisk ut på et transportbånd som ligger over lagringsbingene. Hver lagringsbinge har sin egen port hvor fisken kan slippes ned. På grunn av blant annet plassproblemer og ønsket om størst mulig binger om bord i båtene, blir dette båndet plassert helt opp under taket. Systemet er kostbart og krever to operatører.
Det er stor interesse blant norske redere til å få utvikle et system som både kan gjenkjenne arten og bestemme størrelsen på fisken. Det vil da være mulig å spare de to operatørene som i dag betjener sorteringssystemet. Rederiet K. Halstensen AS ønsker å få ny teknologi om bord i sin nye M/S Granit, som er under bygging i Tyrkia. De kan derfor tenke seg å være samarbeidende kunde i dette utviklingsprosjektet. M/S Granit V skal overleveres til rederiet i april 2017.
Prosjektet er forankret i FHFs utlysning for Fartøyteknologi 2016 innenfor og inngår i FHFs “Prosjekt i bedrift”-ordning.
Dersom det benyttes en marin vektgraderer må denne mates av to operatører. De tilrettelegger fisken i matesystemet, og bestemmer arten ved å legge fisken i korrekt matelomme. Deretter tar styresystemet til graderen over. Fisken blir fraktet over en vekt og informasjon om vekt og art benyttes til å sende fisken til ønsket lagringsbinge. Sorteringen av fisken skjer ved at det sendes en og en fisk ut på et transportbånd som ligger over lagringsbingene. Hver lagringsbinge har sin egen port hvor fisken kan slippes ned. På grunn av blant annet plassproblemer og ønsket om størst mulig binger om bord i båtene, blir dette båndet plassert helt opp under taket. Systemet er kostbart og krever to operatører.
Det er stor interesse blant norske redere til å få utvikle et system som både kan gjenkjenne arten og bestemme størrelsen på fisken. Det vil da være mulig å spare de to operatørene som i dag betjener sorteringssystemet. Rederiet K. Halstensen AS ønsker å få ny teknologi om bord i sin nye M/S Granit, som er under bygging i Tyrkia. De kan derfor tenke seg å være samarbeidende kunde i dette utviklingsprosjektet. M/S Granit V skal overleveres til rederiet i april 2017.
Prosjektet er forankret i FHFs utlysning for Fartøyteknologi 2016 innenfor og inngår i FHFs “Prosjekt i bedrift”-ordning.
Å gjenkjenne og sortere hvitfisk (torsk, hyse og sei) på art og størrelse ved bruk av billedbehandlingsteknologi. De ulike sorteringene skal transporteres til egne binger.
Delmål
• Å utvikle programvare som setter sammen flere bilder av en fisk, tatt sekvensielt mens fisken transporteres forbi, til å bli et nytt bilde.
• Å foreta singulering av fisk slik at fisk leveres enkeltvis inn til bildebehandlingen.
• Å gjenkjenne fiskeart basert på bilde.
• Å fastsette størrelse basert på bilde.
• Å sortere fisken ned på binger basert på informasjonen fra bildebehandlingssystemet.
Delmål
• Å utvikle programvare som setter sammen flere bilder av en fisk, tatt sekvensielt mens fisken transporteres forbi, til å bli et nytt bilde.
• Å foreta singulering av fisk slik at fisk leveres enkeltvis inn til bildebehandlingen.
• Å gjenkjenne fiskeart basert på bilde.
• Å fastsette størrelse basert på bilde.
• Å sortere fisken ned på binger basert på informasjonen fra bildebehandlingssystemet.
Systemet vil erstatte dagens vektbaserte løsning og investeringen blir på samme nivå eller lavere. Fordelen med artsgjenkjenningssystemet er at man slipper to operatører ombord til å mate gradereren. Produktet gir dermed økt verdi for samme investering, og gir dermed svært kort inntjeningstid etter at det er ferdig utviklet.
Produktet vil kunne fjerne to monotone arbeidsplasser, og det forventes dermed å ha en positiv HMS-effekt.
Systemet vil ha en kapasitet på linje med dagens vektbaserte systemer, og kunne sortere inntil en fisk i sekundet. Fiskens størrelse vil påvirke kapasiteten i antall, men det forventes at antall kilo som kjøres gjennom vil kunne være konstant. Dette er på linje med det nye automatiske bløggesystemet som er under utvikling.
Produktet vil kunne fjerne to monotone arbeidsplasser, og det forventes dermed å ha en positiv HMS-effekt.
Systemet vil ha en kapasitet på linje med dagens vektbaserte systemer, og kunne sortere inntil en fisk i sekundet. Fiskens størrelse vil påvirke kapasiteten i antall, men det forventes at antall kilo som kjøres gjennom vil kunne være konstant. Dette er på linje med det nye automatiske bløggesystemet som er under utvikling.
Bildebehandling
Utvikling av bildeteknologi og gjenkjenningsprogrammer er kommet langt. Man vil utnytte denne teknologien for å bestemme arten til fisken. Dette krever videreutvikling med påfølgende testing og utprøving om bord. En ser det som en fordel at sorteringstransportøren beholdes i den posisjonen den er i dag (oppe under dekk.) Dette gir en utfordring for kameraet som skal ta bilde av en hel fisk. Kameraet kommer ikke langt nok fra fisken til å kunne ta bilde av hele fisken. Bruk av spesiallinser vil vanskeligjøre gjenkjenningen, og man mener derfor at det må utvikles programvare for å sette sammen flere del-bilder til ett nytt bilde av en fisk. Dette bildet skal så sendes til programvare som sammenligner opp til 150 trekk for å finne sannsynligheten for hver art.
Det samme bildet kan videre benyttes for å finne fiskens størrelse nøyaktig nok for videre bearbeiding. Systemet vil gi fiskens lengde, bredde og flatetrykk, som igjen brukes til å størrelsesbestemme fisken.
For å kunne foreta sorteringen må det komme en og en fisk ut på et transportbånd. Fisken vil komme fra en blødetank i små batcher, og må deretter ordnes til å komme en og en ut på transportbåndet som sorterer fisken ned på lagringsbinger. Systemet må fungere med både store og små fisker om hverandre. Det er en utfordring å få til dette uten å bruke for mye areal eller lengde på båten.
Utviklingen av artsgjenkjenningen vil utføres av prosjektets samarbeidspartner Roboconcept AS, mens OptimarStette AS og M/S Granit vil bidra med kunnskap om forholdene om bord i båt. Videre vil OptimarStette ta seg av logistikken, ved å utvikle en singuleringsdel, og å bruke informasjonen fra bildebehandlingen til å få de respektive fiskene til rett binge.
Første steget blir å lage en algoritme som kan sette sammen bilder tatt av deler av fisken liggende på et transportbånd. Det vil her være viktig å få kontroll på omgivelsene så som lysforhold, avstand til transportbånd, og selve transportbåndet. Programmet må eliminere uønskede elementer og sette sammen nye bilder av komplette fisker. Dette må foregå direktesendt (“live”), og sendes videre for behandling i gjenkjenningsmodulen i løpet av brøkdeler av et sekund. Arbeidet vil foregå under kontrollerte forhold hvor man har kontroll på alle faktorer. Trolig på mottaket til Fjordlaks, med utstyr levert av OptimarStette og Roboconcept.
Utvikling av bildeteknologi og gjenkjenningsprogrammer er kommet langt. Man vil utnytte denne teknologien for å bestemme arten til fisken. Dette krever videreutvikling med påfølgende testing og utprøving om bord. En ser det som en fordel at sorteringstransportøren beholdes i den posisjonen den er i dag (oppe under dekk.) Dette gir en utfordring for kameraet som skal ta bilde av en hel fisk. Kameraet kommer ikke langt nok fra fisken til å kunne ta bilde av hele fisken. Bruk av spesiallinser vil vanskeligjøre gjenkjenningen, og man mener derfor at det må utvikles programvare for å sette sammen flere del-bilder til ett nytt bilde av en fisk. Dette bildet skal så sendes til programvare som sammenligner opp til 150 trekk for å finne sannsynligheten for hver art.
Det samme bildet kan videre benyttes for å finne fiskens størrelse nøyaktig nok for videre bearbeiding. Systemet vil gi fiskens lengde, bredde og flatetrykk, som igjen brukes til å størrelsesbestemme fisken.
For å kunne foreta sorteringen må det komme en og en fisk ut på et transportbånd. Fisken vil komme fra en blødetank i små batcher, og må deretter ordnes til å komme en og en ut på transportbåndet som sorterer fisken ned på lagringsbinger. Systemet må fungere med både store og små fisker om hverandre. Det er en utfordring å få til dette uten å bruke for mye areal eller lengde på båten.
Utviklingen av artsgjenkjenningen vil utføres av prosjektets samarbeidspartner Roboconcept AS, mens OptimarStette AS og M/S Granit vil bidra med kunnskap om forholdene om bord i båt. Videre vil OptimarStette ta seg av logistikken, ved å utvikle en singuleringsdel, og å bruke informasjonen fra bildebehandlingen til å få de respektive fiskene til rett binge.
Første steget blir å lage en algoritme som kan sette sammen bilder tatt av deler av fisken liggende på et transportbånd. Det vil her være viktig å få kontroll på omgivelsene så som lysforhold, avstand til transportbånd, og selve transportbåndet. Programmet må eliminere uønskede elementer og sette sammen nye bilder av komplette fisker. Dette må foregå direktesendt (“live”), og sendes videre for behandling i gjenkjenningsmodulen i løpet av brøkdeler av et sekund. Arbeidet vil foregå under kontrollerte forhold hvor man har kontroll på alle faktorer. Trolig på mottaket til Fjordlaks, med utstyr levert av OptimarStette og Roboconcept.
Gjenkjenningsmodul
Det er planer om å bruke en programvare som finner mellom 100 og 150 karakteristika. Dette vil være fasong, struktur, finner, farger osv. Ut fra dette vil det gjøres en likhetsberegning for hver av artene. Dersom likheten er innenfor de grenser som velges vil fisken klassifiseres som den valgte arten eller den gjenkjennes ikke. Det forventes å kunne gjenkjenne 98 %.
Det er planer om å bruke en programvare som finner mellom 100 og 150 karakteristika. Dette vil være fasong, struktur, finner, farger osv. Ut fra dette vil det gjøres en likhetsberegning for hver av artene. Dersom likheten er innenfor de grenser som velges vil fisken klassifiseres som den valgte arten eller den gjenkjennes ikke. Det forventes å kunne gjenkjenne 98 %.
Størrelsesgruppering
For videre bearbeiding i fabrikken er det også ønskelig å sortere fisken etter størrelse. man vil bruke billedmateriale til å finne fiskens lengde og flatetrykk, og etter ønske kan en av disse benyttes til å bestemme hvilken størrelsessortering fisken klassifiseres som.
For videre bearbeiding i fabrikken er det også ønskelig å sortere fisken etter størrelse. man vil bruke billedmateriale til å finne fiskens lengde og flatetrykk, og etter ønske kan en av disse benyttes til å bestemme hvilken størrelsessortering fisken klassifiseres som.
Bildetakingsenhet
Det vil lages en enhet hvor alt utstyret kan monteres og kalibreres. Design og produksjon av denne modulen vil utføres av OptimarStette.
Det vil lages en enhet hvor alt utstyret kan monteres og kalibreres. Design og produksjon av denne modulen vil utføres av OptimarStette.
Konsept test av programvare og bilde
Det vil lages en testmodul før systemet monteres ombord. Den skal settes opp på en egnet plass og samle bilder som bearbeides og artsgjenkjenner. Basert på innsamlet materiale vil det foretas justeringer og avstemminger for et best mulig utgangspunkt.
Det vil lages en testmodul før systemet monteres ombord. Den skal settes opp på en egnet plass og samle bilder som bearbeides og artsgjenkjenner. Basert på innsamlet materiale vil det foretas justeringer og avstemminger for et best mulig utgangspunkt.
Singulering
Utgangspunktet for å få et bilde av en fisk og å kunne sortere den ned på binger er at fisken mates inn en og en i systemet. Det vil derfor være nødvendig å lage en modul som singulerer fisken. OptimarStette vil samarbeide med rederi om å utvikle denne.
Sortering på binger
Basert på klassifiseringen som er gjort i bildebehandlingen vil fisken fraktes til sine respektive binger. OptimarStette vil utvikle og styre denne sortereren med innspill fra rederi.
Utgangspunktet for å få et bilde av en fisk og å kunne sortere den ned på binger er at fisken mates inn en og en i systemet. Det vil derfor være nødvendig å lage en modul som singulerer fisken. OptimarStette vil samarbeide med rederi om å utvikle denne.
Sortering på binger
Basert på klassifiseringen som er gjort i bildebehandlingen vil fisken fraktes til sine respektive binger. OptimarStette vil utvikle og styre denne sortereren med innspill fra rederi.
Følgende formidling planlegges:
• presentasjon på FHF samlinger
• presentasjon på nettsidene til OptimarStette
• presentasjon på messer hvor OptimarStette er til stede
• pressemeldinger til fagtidsskrift / nettsteder
• presentasjon på FHF samlinger
• presentasjon på nettsidene til OptimarStette
• presentasjon på messer hvor OptimarStette er til stede
• pressemeldinger til fagtidsskrift / nettsteder
-
Sluttrapport: Arts- og størrelsessortering av fisk ved bruk av bildeteknologi
Optimar AS. 30. juni 2020. Av Eivind Storøy.