Sistem strojnega vida, ki je sposoben poiskati in identificirati cvetove jabolčnega kralja znotraj grozdov cvetov na drevesih v sadovnjakih, so zasnovali raziskovalci Penn State – kritičen zgodnji korak v razvoju robotskega sistema opraševanja – v prvi študiji te vrste .
Jablanovi cvetovi rastejo v skupinah po štiri do šest cvetov, pritrjenih na veje, sredinski cvet pa je znan kot kraljeva roža. Ta cvet se najprej odpre v grozdu in običajno zraste največji plod. Torej je to ključna tarča robotskega sistema opraševanja, pravi raziskovalec Long He, docent za kmetijstvo in biološki inženiring.
Opraševanje z žuželkami se tradicionalno zanaša na produktivnost jabolk. Vendar pa dokazi kažejo, da storitve opraševanja, tako udomačenih medonosnih čebel kot divjih opraševalcev, ne ustrezajo naraščajočim zahtevam, je opozoril. Zaradi motnja propada koloniječebele po vsem svetu umirajo z zaskrbljujočo hitrostjo. Zato pridelovalci potrebujejo alternativne metode opraševanja.
Ta študija je zadnja, ki jo je izvedla Heova raziskovalna skupina na Visoki šoli za kmetijske znanosti, ki se posveča razvoju robotskih sistemov za opravljanje delovno intenzivnih kmetijskih nalog, kot je nabiranje gob, obrezovanje jablan in redčenje zelenih sadežev. Primarni cilj tega projekta, je pojasnil, je bil razviti sistem vida, ki temelji na globokem učenju, ki bi lahko natančno identificiral in lociral kraljeve rože v drevesnih krošnjah.
"Menimo, da bo ta rezultat zagotovil osnovne informacije za robotski sistem opraševanja, ki bi vodil do učinkovitega in ponovljivega opraševanja jabolk, da bi povečali donos visokokakovostnega sadja," je dejal. "V Pensilvaniji se še vedno lahko zanašamo na čebele pri opraševanju pridelkov jabolk, toda v drugih regijah, kjer je odmiranje čebel hujše, pridelovalci morda potrebujejo to tehnologijo prej kot slej."
Xinyang Mu, doktorski študent na Oddelku za kmetijsko biološko tehniko, je vodil študijo kraljeve rože. Mu je uporabil Mask R-CNN - priljubljen računalniški program za globoko učenje, ki izvaja segmentacijo na ravni slikovnih pik za odkrivanje predmetov, ki so delno zakriti z drugimi predmeti - za prepoznavanje in lociranje kraljevih cvetov v sistemu strojnega vida.
Za izgradnjo modela zaznavanja, ki temelji na Mask R-CNN, je posnel na stotine fotografij jablanovih cvetov. Nato je razvil algoritem segmentacije kraljevih cvetov za prepoznavanje in lociranje kraljevih cvetov iz tega neobdelanega nabora podatkov slik jabolčnih cvetov. Raziskava je bila izvedena v Penn State Fruit Research and Extension Center, Biglerville.
Gala in Honeycrisp jabolko za teste so bile izbrane sorte. Testna drevesa so bila posajena leta 2014 z razmikom med drevesi približno 5 čevljev (Gala) in 6 1/2 čevljev (Honeycrisp). Ta drevesa so bila vzgojena v arhitekturi visoke vretenaste krošnje, s povprečno višino približno 13 čevljev. Sistem za zajemanje slike s kamero je bil nameščen na komunalnem vozilu, ki je manevriralo med drevesnimi vrstami.
Usposabljanje sistema strojnega vida za lociranje kraljevih cvetov je bilo zahtevno, je poudaril Mu, ker so enake velikosti, barve in oblike kot stranski cvetovi v grozdih, kraljeve cvetove pa običajno zakrijejo okoliški cvetovi zaradi njihovega osrednjega položaja.
Da bi izpolnili zahteve prenosnega učenja za modelno usposabljanje Mask R-CNN, so bile neobdelane slike označene v dveh vnaprej določenih razredih: posamezni cvetovi in okludirani cvetovi. Da bi povečali natančnost, je bil nabor podatkov o usposabljanju štirikrat povečan z uporabo pristopov za povečanje podatkov, je pojasnil Mu.
"Da bi ločili kraljevske cvetove od stranskih cvetov, je bila usmerjena ali lokalizirana najbolj osrednja roža znotraj vsakega cvetnega grozda," je dejal. »Sistem vida je samodejno ločeno lociral grozde cvetov na podlagi pristopa dvodimenzionalnega kartiranja gostote cvetov. Znotraj vsakega zaznanega cvetnega grozda je bila roža – ali maska – na najbolj osrednjem položaju določena kot ciljna kraljeva roža.«
V nedavno objavljenih ugotovitvah v Pametna kmetijska tehnologija, so raziskovalci poročali o visoki stopnji natančnosti zaznavanja kraljevega cvetja, ki je posledica Mujevega algoritma. V primerjavi z meritvami, ki so jih ročno izvedli raziskovalci, ki so kraljeve rože identificirali na oko – raziskovalci so jih imenovali meritve resnice na tleh – je natančnost zaznavanja kraljevih cvetov strojnega vida nihala od 98.7 % do 65.6 %.