In the past few years we have been devoted to create new methods for computer vision in horti- and agriculture. By using convolutional neural networks (Deep Learning), we can analyse the class and quality of plants, fruit and vegetables in the greenhouse or on the field on a per-pixel level.
Specifically, in the past few months we accomplished the feature of recognising individual plant parts. Using this method, we can localise with high certainty where the stem, fruit and leafs are positioned. This enables us to create a local geometry of the plant. Until now this level of detail could not be realised robustly, but Deep Learning now enables us to perform this analysis on a large scale and speed.
For applications one primarily must think in the direction of harvest robotics. This next generation mechanisation requires exact localisation of plant parts in order to position the end-effector (the grabbing and cutting tool) successfully at the fruit.
But also for phenotyping, extensively used in plant breeding to obtain plant features, this new technique will become a valuable tool. Currently, properties of the plants are measured by hand. However, with Deep Learning these features will be able to obtained automatically in the near future.
A third application is the detection of diseases. Currently already measuring systems navigate the greenhouse and the field. With advanced computer vision on hyperspctral images we can now determine on a per-pixel level if diseases or plagues are present in the crop.
The research of this new technique does require some computing power. Therefore we acquired GPU accelerated computers. Also a lot of data is needed to train the neural networks. Because this is manually annotated, we furthermore are researched methods to partially automate this part.
This project received funding in the Horizon 2020 program for research and innovation from the European Commission under contract number 644313.
Beeldherkenning op basis van Deep Learning
De afgelopen jaren is breed ingezet om de nieuwste methoden voor beeldherkenning uit te rollen in de glastuinbouw en open teelt. Met behulp van convolutionele neurale netwerken (Deep Learning) kunnen planten, vruchten en groenten in de kas of op het veld tot op pixel niveau worden geanalyseerd op klasse en kwaliteit.
De afgelopen maanden is er specifiek vooruitgang geboekt in het onderscheiden van individuele plantendelen. Zo kan bijvoorbeeld met grote zekerheid worden vastgesteld waar de stam, vruchten en bladeren van een plant in een beeld gepositioneerd zijn. Dit maakt het mogelijk om de lokale geometrie inzichtelijk te maken. Tot op heden was deze onderverdeling niet of nauwelijks robuust te realiseren, echter maakt Deep Learning dit nu op grote schaal en snelheid mogelijk.
Voor toepassingen moet men in eerste instantie denken aan oogstrobots. Deze nieuwe generatie mechinisatie heeft exacte localisatie van plant onderdelen nodig hebben om succesvol de grijper te positioneren voor het afsnijden.
Maar ook voor fenotypering in bijvoorbeeld plantveredeling is deze nieuwe techniek waardevol. Het beoordelen van de planteigenschappen is nu nog vaak mensenwerk, echter met onze techniek kunnen veel planteigenschappen in de nabije toekomst geautomatiseerd worden.
Een derde toepassing is het detecteren van ziektes. Op dit moment rijden er al meetsystemen over het veld of door de kas. Met Deep Learning op basis van hyperspectrale beelden kunnen we snel op pixel niveau bepalen of er een ziekte of plaag aanwezig is op de plant.
Het onderzoek naar deze nieuwe techniek vereist echter wel het nodige (computer) rekenwerk. Hiervoor zijn meerdere GPU geaccelereerde rekencomputers aangeschaft. Ook is er veel data nodig om de neurale netwerken te trainen. Omdat dit vooralsnog vooral handmatig werk is, doen wij ook onderzoek om dit deels te automatiseren.
Dit project heeft subsidie ontvangen van het Horizon 2020 programma voor onderzoek en innovatie van de Europese Unie onder contract No 644313.
Species
