Prosjektnummer
900556
Automatisk sortering av klippfisk ved hjelp av maskinsyn: Forprosjekt
Sammendrag fra prosjektets faglige sluttrapport
Muligheten for automatisert kvalitetssortering av klippfisk er vurdert. Et parti klippfisk ble klassifisert av en erfaren vraker og resultatene ble sammenliknet med resultatene fra det samme partiet fisk analysert ved bruk av 2D og 3D maskinsyn. Selv om maskinsyn trolig kan bidra til å kunne sortere med hensyn på de fleste kvalitetsparametrene, viste det seg nødvendig å benytte røntgen i tillegg for å kunne detektere lengden av ryggbeinet (viktig kvalitetsparameter). Prosjektet ble derfor utvidet og finansiert av andre midler for å kunne vurdere bruk av røntgen på klippfisk. En enkel algoritme er utviklet for klassifisering etter lengden på ryggbeinet. I prinsippet viste det seg at en kan bruke eksisterende røntgen on-line maskiner til dette formålet. Dersom en legger alle vanlige kvalitetskriterier til grunn for klassifisering, er det nødvendig å kombinere flere deteksjonsteknologier for å kunne erstatte den manuelle kvalitetssorteringen slik den forgår i klippfiskindustrien i dag. Disse teknologiene er baserte på 2D/3D maskinsyn, røntgen, og nær-infrarød spektroskopi for måling av vanninnhold (sistnevnte metode ble ikke evaluert her).
Muligheten for automatisert kvalitetssortering av klippfisk er vurdert. Et parti klippfisk ble klassifisert av en erfaren vraker og resultatene ble sammenliknet med resultatene fra det samme partiet fisk analysert ved bruk av 2D og 3D maskinsyn. Selv om maskinsyn trolig kan bidra til å kunne sortere med hensyn på de fleste kvalitetsparametrene, viste det seg nødvendig å benytte røntgen i tillegg for å kunne detektere lengden av ryggbeinet (viktig kvalitetsparameter). Prosjektet ble derfor utvidet og finansiert av andre midler for å kunne vurdere bruk av røntgen på klippfisk. En enkel algoritme er utviklet for klassifisering etter lengden på ryggbeinet. I prinsippet viste det seg at en kan bruke eksisterende røntgen on-line maskiner til dette formålet. Dersom en legger alle vanlige kvalitetskriterier til grunn for klassifisering, er det nødvendig å kombinere flere deteksjonsteknologier for å kunne erstatte den manuelle kvalitetssorteringen slik den forgår i klippfiskindustrien i dag. Disse teknologiene er baserte på 2D/3D maskinsyn, røntgen, og nær-infrarød spektroskopi for måling av vanninnhold (sistnevnte metode ble ikke evaluert her).
-
Faktaark: Maskiner kan overta vraking i klippfisknæringen
FHF. Faktaark, s. 4–5. November 2011.
-
Presentasjon: Automatisk sortering av klippfisk ved hjelp av maskinsyn: Forprosjekt (FHF)
SINTEF. 2011. Foredrag. Av Ulf Erikson, Ekrem Misimi og John A. Fossum.
-
Sluttrapport: Automatisk sortering av klippfisk ved hjelp av maskinsyn: Forprosjekt
SINTEF. Rapport A20153/2011. Av Ulf Erikson, Ekrem Misimi og John A. Fossum.
I klippfiskindustrien er det et ønske om å gå over til automatisk sortering av klippfisk før pakking. Denne operasjonen krever trenet personell som bedriften er helt avhengig av over tid. Imidlertid er det i dagens situasjon ikke alltid enkelt å finne personer som er villige til å ta nødvendig opplæring for et langvarig arbeidsforhold.
Innføring av et robust system for automatisk kvalitetssortering vil kunne bidra til å løse denne utfordingen. Dessuten vil bedriftenes lønnsomhet kunne øke fordi et automatisert system kan erstatte flere av personene som er involvert i den manuelle kvalitetssorteringen.
Innføring av et robust system for automatisk kvalitetssortering vil kunne bidra til å løse denne utfordingen. Dessuten vil bedriftenes lønnsomhet kunne øke fordi et automatisert system kan erstatte flere av personene som er involvert i den manuelle kvalitetssorteringen.
Det er tidligere utviklet kommersielt tilgjengelig utstyr (Q-vision) for automatisert måling av vanninnhold i klippfisk. I tillegg er det som kjent flere parametre enn vanninnhold og farge som er viktige for kvaliteten av klippfisk. Dette er parametre som ofte er forbundet med det visuelle inntrykket av produktet (’det øyet kan se’). For full automatisering er det derfor nødvendig med et system som raskt kan analysere og klassifisere bilder av klippfisken som passerer en målestasjon på prosesslinjen. Maskinsyn er et egnet system for å kunne gjennomføre en slik oppgave.
I korthet består et slikt system av et kamera som tar bilder on-line under kontrollert belysing, samt algoritmer for gjenkjenning og klassifisering. Signalet overføres til en enhet lenger bak i prosesslinjen som sorterer fisken i ulike klasser. Dersom denne oppgaven løses, vil instrumentet for automatisk analyse av vanninnhold bli meget aktuelt å integrere i et automatisert system.
Temaet automatisert kvalitetessortering representerer også et kortsiktig, prioritert satsningsområde i FHF sin handlingsplan for FoU (2010–2013).
I korthet består et slikt system av et kamera som tar bilder on-line under kontrollert belysing, samt algoritmer for gjenkjenning og klassifisering. Signalet overføres til en enhet lenger bak i prosesslinjen som sorterer fisken i ulike klasser. Dersom denne oppgaven løses, vil instrumentet for automatisk analyse av vanninnhold bli meget aktuelt å integrere i et automatisert system.
Temaet automatisert kvalitetessortering representerer også et kortsiktig, prioritert satsningsområde i FHF sin handlingsplan for FoU (2010–2013).
• Å vurdere om bruk av maskinsyn gjør det mulig å erstatte manuell kvalitetssortering av klippfisk.
• Å foreta en enkel test i industrien (forprosjekt) der resultatet skal tjene som beslutningsgrunnlag for å vurdere om videre utvikling av et slikt system er praktisk mulig.
• Å foreta en enkel test i industrien (forprosjekt) der resultatet skal tjene som beslutningsgrunnlag for å vurdere om videre utvikling av et slikt system er praktisk mulig.
Dersom maskinsyn kan anvendes til automatisk kvalitetssortering av klippfisk vil dette bidra til:
• Bedre lønnsomhet for den enkelte bedrift (mindre manuelt arbeid)
• Behovet og avhengigheten av rekruttering og opplæring av kvalitetssortere forsvinner
• Bedre lønnsomhet for den enkelte bedrift (mindre manuelt arbeid)
• Behovet og avhengigheten av rekruttering og opplæring av kvalitetssortere forsvinner
Bildetaking av fisk at-line
Arbeidet skal utføres under ordinær produksjon. I løpet av en arbeidsdag skal det tas bilder at-line av omlag 50–100 klippfisk som passerer prosesslinjen og som går til pakking. I tillegg, har bedriften på forhånd sortert ut et utvalg klippfisk som har ulike former for typiske kvalitetsfeil.
Det skal også tas bilde av disse fiskene slik at en er sikker på at hele spekteret av typiske kvalitetsfeil blir dokumentert ved bruk av maskinsyn. All fisk som det tas bilde av skal plukkes ut og bedømmes i samarbeid med en erfaren kvalitetskontrollør fra bedriften. På denne måten vil man få et grunnlag for å klassifisere kvalitet basert på bildebehandling.
I dette forprosjektet vil utstyret settes opp at-line der bildene blir tatt i et “lystelt” hvor en har kontrollert belysning. Dersom det skulle vise seg at metoden fungerer tilfredsstillende, er målsetningen naturligvis at målingen skal foregå on-line med kameraet plassert over prosesslinjen/transportbåndet.
Det skal også tas bilde av disse fiskene slik at en er sikker på at hele spekteret av typiske kvalitetsfeil blir dokumentert ved bruk av maskinsyn. All fisk som det tas bilde av skal plukkes ut og bedømmes i samarbeid med en erfaren kvalitetskontrollør fra bedriften. På denne måten vil man få et grunnlag for å klassifisere kvalitet basert på bildebehandling.
I dette forprosjektet vil utstyret settes opp at-line der bildene blir tatt i et “lystelt” hvor en har kontrollert belysning. Dersom det skulle vise seg at metoden fungerer tilfredsstillende, er målsetningen naturligvis at målingen skal foregå on-line med kameraet plassert over prosesslinjen/transportbåndet.
Utvikling av algoritmer for kvalitetssortering og klassifisering
Ved hjelp av det innsamlede datamaterialet skal behandles med bildebehandlingsalgoritmer for kvalitetssortering og klassifisering. SINTEF har tidligere laget algoritmer for kvalitetssortering av hel fisk og filet av laks og torsk (fersk fisk). Disse skal modifiseres til å kunne behandle datameterialet av denne typen. Stikkord her er: farge, tekstur, og kvalitetsdefekter som sårskader, skjelltap, fasong (hel fisk), og spaltning og blodflekker (filet). Dette betyr at en kan ta utgangspunkt i eksisterende algoritmer, noe som forenkler arbeidet i stor grad.
En utfordring med hensyn til sorteringen er om den kan tilfredsstille kravene til Norsk bransjestandard for fisk: Saltfisk- og klippfiskprodukter (Bransjestandard nr. NBS 20-1, 1998). I denne er det gitt en rekke detaljerte kriterier i forhold til kvalitet. Tre klasser er gitt: (1) Imperial/Superior, (2) Universal, og (3) Popular. Det er verd å merke seg at karakteristika for hver klasse er beskrevet med ord, og ikke kvantitativt ved tall/score, noe som kan vanskeliggjøre eksakt klassifisering. Imidlertid må sies at dersom maskinsyn kan klassifisere klippfisken i tråd med det som gjøres manuelt, så vil metoden likevel være meget relevant.
I tillegg til at man skal sortere på kvalitetsfeil som feks knekte ørebein, områder med misfarging, restblod, leverflekker, rifter, sprekker (gaping), rundspor etc, kan en med metoden også få et kvantitativt mål (CIE L*a*b*) på klippfiskens farge, enten i bestemte soner eller integrert opp for hele produktet. Dette kan f.eks. være grunnfarge, lyshet, gulhet, etc. Man vil også se på om disse parametrene eventuelt kan egne seg for en mer kvantitativ sortering.
Rapporten skal vektlegge hvor nøyaktig maskinsyn kan sortere i forhold til det som ble bestemt av kvalitetssortererne ved bedriften (= fasit).
Ved hjelp av det innsamlede datamaterialet skal behandles med bildebehandlingsalgoritmer for kvalitetssortering og klassifisering. SINTEF har tidligere laget algoritmer for kvalitetssortering av hel fisk og filet av laks og torsk (fersk fisk). Disse skal modifiseres til å kunne behandle datameterialet av denne typen. Stikkord her er: farge, tekstur, og kvalitetsdefekter som sårskader, skjelltap, fasong (hel fisk), og spaltning og blodflekker (filet). Dette betyr at en kan ta utgangspunkt i eksisterende algoritmer, noe som forenkler arbeidet i stor grad.
En utfordring med hensyn til sorteringen er om den kan tilfredsstille kravene til Norsk bransjestandard for fisk: Saltfisk- og klippfiskprodukter (Bransjestandard nr. NBS 20-1, 1998). I denne er det gitt en rekke detaljerte kriterier i forhold til kvalitet. Tre klasser er gitt: (1) Imperial/Superior, (2) Universal, og (3) Popular. Det er verd å merke seg at karakteristika for hver klasse er beskrevet med ord, og ikke kvantitativt ved tall/score, noe som kan vanskeliggjøre eksakt klassifisering. Imidlertid må sies at dersom maskinsyn kan klassifisere klippfisken i tråd med det som gjøres manuelt, så vil metoden likevel være meget relevant.
I tillegg til at man skal sortere på kvalitetsfeil som feks knekte ørebein, områder med misfarging, restblod, leverflekker, rifter, sprekker (gaping), rundspor etc, kan en med metoden også få et kvantitativt mål (CIE L*a*b*) på klippfiskens farge, enten i bestemte soner eller integrert opp for hele produktet. Dette kan f.eks. være grunnfarge, lyshet, gulhet, etc. Man vil også se på om disse parametrene eventuelt kan egne seg for en mer kvantitativ sortering.
Rapporten skal vektlegge hvor nøyaktig maskinsyn kan sortere i forhold til det som ble bestemt av kvalitetssortererne ved bedriften (= fasit).
En dags møte eller seminar relatert til presentasjon av prosjektet (Ålesund), muligens i mai 2011.
-
Sluttrapport: Automatisk sortering av klippfisk ved hjelp av maskinsyn: Forprosjekt
SINTEF. Rapport A20153/2011. Av Ulf Erikson, Ekrem Misimi og John A. Fossum.