imaging und intelligente sensorsysteme

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 1

Quelle: “Semiconductor Devices: Basic Principles“, J.Singh, John Wily & Sons, 2001

Dies ist eine Überschrift, zentral

Imaging und intelligente Sensorsysteme

Schlüsseltechnologien innovativer Landtechnik

Arno Ruckelshausen

Hochschule Osnabrück / Fakultät für Ingenieurwissenschaften und Informatik

COALA - Competence in Applied Agricultural Engineering

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 2

2

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 3

Landwirtschaft 2015+

Quellen: UN World Population Prospects, May 2011; : http://www.aces.edu/pubs/ systemsview.wordpress.com , MSClipArt (2011)

Globale Relevanz:

Ernährung

Energie

Ressourcen

Landschaftspflege

Herausforderungen:

Steigerung der Produktion

Schonung der Umwelt

Ressourceneinsparung

Verteilung von Ressourcen

Sozialverträglichkeit

2011: 7,0 Billion people2050: 9,3 Billion people

Too many peoplemaking too many problems.

Genesis, Land of Confusion, 1986

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 4

Übersicht

Von Pflanzen und Sensoren draußen auf dem FeldKann doch alles nicht so schwer sein … !?

Schlüsseltechnologien: Sensorik – Simulation - Feldrobotikxxs Agriculture – die wollen doch nur spielen ?

Blick in die Zukunft – Schlüsseltechnologien treffen ProzesseEinzelpflanzenlandwirtschaft , Remote Farming , … ?

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 5

Übersicht

Von Pflanzen und Sensoren draußen auf dem FeldKann doch alles nicht so schwer sein … !?

Schlüsseltechnologien: Sensorik – Simulation - Feldrobotikxxs Agriculture – die wollen doch nur spielen ?

Blick in die Zukunft – Schlüsseltechnologien treffen ProzesseEinzelpflanzenlandwirtschaft , Remote Farming , … ?

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 6

Quelle: John Deere, Bruchsal

Beispiel: AutoTrac/StarFire RTK (John Deere)

Noch immer Sensor in der Landwirtschaft: GPS

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 7

Quelle: Autoscan (2008) und NIR-Moisture Sensor (2013/2014) ; Maschinenfabrik Bernard Krone, Hochschule Osnabrück

Sensoren für Erntegut (Beispiele)

NIR / FeuchteNIR-VIS / Reifegrad

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 8

1969

Woodstock Mondlandung Entwicklung des CCD-Sensors

Innovationstreiber: Imaging

Top-Technologie „Optoelektronische Systeme“ - (Anwendungsorientierte ;-) Nobelpreise in Physik:

CCD-Bildsensor (2009), blaue LED (2014)

Dennoch sind wir erst in der “Steinzeit“ der Bildverarbeitung …

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 9

Source: H.Poorter et al. , Journal of Expoerimental Botany, Vol. 61, No.8, pp.2043-2055, 2010

Pflanzenbau

Frage: Wie wächst eine Pflanze ?

Antwort: Es kommt drauf an …

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 10

Technology meets nature

Sources: HS Osnabrück, agrarheute.com, H.Poorter et al. , Journal of Expoerimental Botany, Vol. 61, No.8, pp.2043-2055, 2010

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 11

Draußen auf dem Feld …

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 12

Draußen auf dem Feld …

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 13

Crop sensing example (1): 3D Time-of-flight Imaging

Source: Ralph Klose, Hochschule Osnabrück, PhD (in preparation Universität Hannover)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 14

Inte

nsitä

t

Wellenlänge

1 pixel(non selective)

Inte

nsitä

t

Wellenlänge

n pixel(selective)

... n

Soil

Plant

Miniature spectrometer

Spectral Imaging

Crop sensing example (2) : Spectral Imaging

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 15

Spectral Imaging

(Technology)

Spectral Cube

(Data)

Moisture parameter

(Algorithms)

Soruce: Marius Thiel, Hochschule Osnabrück, PhD (in preparation, University Hanover)

Crop sensing example (2) : Spectral Imaging

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 16

Crop sensing example (2) : (Hyper-)Spectral Imaging

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 17

Laboratory

Field

Light curtains or laser line sensors “1-bit-imaging“

Crop sensing example (3) : „Shadow Sensors“ (light barrier)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 18

18

Rough shape information(low resolution light curtain)

Stalk and ears of corn(high resolution light curtain)

Stalk, ears and awns(ultra-high resolution laser line sensor)

Crop sensing example (3) : „Shadow Sensors“ (light barrier)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 19

Crop sensing example (3) : „Shadow Sensors“ (light barrier)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 20

Crop sensing example (3) : „Shadow Sensors“ (light barrier)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 21

Source: Wolfram Strothmann ; Arno Ruckelshausen and Joachim Hertzberg: "Multiwavelength laser line profile sensing for agricultural crop characterization ",

Proc. SPIE 9141, Optical Sensing and Detection, 2014, http://dx.doi.org/10.1117/12.2052009

Crop sensing example (4): „Multiwavelength Laser Line Profile Sensing“

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 22

Quelle: Wolfram Strothmann ; Dissertation, in Vorbereitung

Crop sensing example (4): „Multiwavelength Laser Line Profile Sensing“

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 23

Quelle: Wolfram Strothmann ; Dissertation, in Vorbereitung

Crop sensing example (4): „Multiwavelength Laser Line Profile Sensing“

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 24

Soruces: Schmidhalter/TU München, Bayerische Landesanstalt für Landwirtschaft, Lemnatec, N-Tester/landwirt.com, Sengis/Uni Hohenheim, Imko, AgriCon, satimagingcorp, HS Osnabrück

Anwendungsbeispiel: „Phänotypisierung“ (Plattformen/Outdoor)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 25

Khalil Gibran: „The Madman“ (1918)

Das Auge sagte eines Tages: „ Ich sehe hinter diesen Tälern im blauen Dunst einenBerg. Ist er nicht wunderschön ?“

Das Ohr lauschte und sagte nach einer Weile: „ Wo ist ein Berg, ich höre keinen.“

Darauf sagte die Hand: „Ich versuche vergeblich ihn zu greifen. Ich finde keinen Berg.“

Die Nase sagte: „ Ich rieche nichts. Da ist kein Berg.“

Da wandte sich das Auge in eine andere Richtung. Die anderen diskutierten weiter überdies merkwürdige Täuschung und kamen zu dem Schluss: „Mit dem Auge stimmt etwasnicht.“

Sensor- und Datenfusion

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 26

Projects: BreedVision, predbreed,BoniRob (BMEL,BLE, BMBF)

Sensor-Fusion / Phänotypisierung

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 27

Konzept „BreedVision“

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 28

Konzept „BreedVision“

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 29

„BreedVision“

Juni 2015

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 30

Sensor- and data fusion (field measurements)

Light curtain

Laser distance

3D-camera

Spectral imaging

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 3131/12

Technische Wiederholbarkeit in Feldmessungen

Technische WiederholbarkeitLichtgitter versus Mensch(Feldmessung)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 32

Busemeyer et al., BreedVision – A MultiSensor Platform for Non-Destructive Field-Based Phenotyping in Plant Breeding, Sensors, 2013, Vol. 13, pp. 2830-284.

Busemyer. Lucas, PhD Thesis, 2013 (University Stuttgart-Hohenheim / Univerrsity of Applied Sciences Osnabrück)

Busemeyer et al., Precision phenotyping of biomass accumulation in triticale reveals temporal genetic patterns of regulations, Nature Scientific Reports 3, Article Number 3442, 2013.

Take into account water content(+Spectral Imaging)

Ignore water content

Biomass detection (field trials): Sensor fusion

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 33

Übersicht

Von Pflanzen und Sensoren draußen auf dem FeldKann doch alles nicht so schwer sein … !?

Schlüsseltechnologien: Sensorik – Simulation - Feldrobotikxxs Agriculture – die wollen doch nur spielen ?

Blick in die Zukunft – Schlüsseltechnologien treffen ProzesseEinzelpflanzenlandwirtschaft , Remote Farming , … ?

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 34

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 35

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 36

Simulation

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 37

Teststände

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 38

Nature in the loop …

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 39

Simulation

Projekt: elWObot/BMEL-BLE; Andreas Linz/HS Os

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 40

Autonomer Feldroboter Cäsar (Raussendorf, Projekt elWObot)

Simulation „ist“ Realität

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 41

Realität für die Simulation

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 42

Übersicht

Von Pflanzen und Sensoren draußen auf dem FeldKann doch alles nicht so schwer sein … !?

Schlüsseltechnologien: Sensorik – Simulation - Feldrobotikxxs Agriculture – die wollen doch nur spielen ?

Blick in die Zukunft – Schlüsseltechnologien treffen ProzesseEinzelpflanzenlandwirtschaft , Remote Farming , … ?

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 43

Traktor-Anbaugerät - Field Robot-App

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 44

„App-Konzept“ zur Feldrobotik

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 45

BoniRob – autonomous field robot platform

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 46

Historie – Agritechnica (Beispiel: BoniRob)

2007 2009 2011 2013 2015

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 47

Applikation: “Soil Scout”

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 48

Applikation: “Soil Scout”

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 49

“Remote Farming“

Quelle: Gerhard Holzapfel /1975 (Dank@Oliver Hensel )

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 50

Stand der Technik – Mechanische Beikrautregulierung Möhren

(ca. 100-400 h/ha)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 51

Transfer of weed positions,movement of manipulator to weed

Remote workermarks weed postions

Image capturingImage preprocessing

Reaction ofweeding tool

CooperativeProcess

(Human-Machine)

Prozessablauf: RemoteFarming.1

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 52

Manipulator

Visual servoing camera 2

Localization camera 1

Actuator

Systemintegration: Manipulator (Roboterarm) mit Aktor

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 53

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 54

Joe

Hey Joe,

du siehst besser aus alsletzte Woche. Auch bist du 2Zentimeter gewachen.

Bis nächste Woche !

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 55

Individual plant phenotyping

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 56

Individual plant phenotyping

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 57

BoniRob-Applikationsbeispiel: Feldphänotypisierung von Einzelpflanzen

OpenJump (GIS)

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 58

Wirtschaftlichkeit zur Feldroboter-basierte Bodenparameter-Bestimmung (Christian Scholz, Masterarbeit HS Os, Mai 2015)

Robots@Landtechnik: Gesamtprozess/Human-Robot-Logistik

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 59

Quelle: Deepfield Robics (Bosch Startup)

Robots@Landtechnik: Gesamtprozess/Human-Robot-Logistik

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 60

Arno Ruckelshausen / Imaging und intelligente Sensorsysteme 61