Beschreibung:

Die Erfindung betrifft ein Verfahren zur Detektion eines Objekts durch ein mobiles System, insbesondere in einer technischen Anlage, wobei das mobile System mindestens einen ersten Sensor und mindestens einen zweiten Sensor aufweist.

Bei der technischen Anlage handelt es sich insbesondere um eine industrielle Anwendung, beispielsweise ein Produktionswerk, eine Industriehalle oder ein Logistikzentrum. Bei dem mobilen System handelt es sich beispielsweise um ein autonom fahrendes Fahrzeug. Das mobile System dient beispielsweise zum Transport von Gegenständen innerhalb der technischen Anlage. In der technischen Anlage befinden sich auch weitere Objekte. Das mobile System weist einen Sensor, insbesondere einen Laserscanner, zur Erfassung solcher Objekte und Entfernungen zu solchen Objekten auf.

Aus dem Dokument DE 102021 001 282 A1 sind ein mobiles System und ein Verfahren zum Betreiben des mobilen Systems in einer technischen Anlage bekannt. Das mobile System weist einen ersten Sensor, der als Laserscanner ausgebildet ist, und einen zweiten Sensor, der als monokulare Kamera ausgebildet ist, auf. Durch Verknüpfung der von den beiden Sensoren aufgenommenen Daten werden Objekte in der technischen Anlage erkannt.

Aus Bildern, die von einer Kamera aufgenommen werden, sind Objekte detektierbar. Für die Objektdetektion werden üblicherweise Bildpyramiden erstellt und verwendet. Eine Bildpyramide ist einem Objekt zugeordnet und weist mehrere Skalierungsstufen auf. Jede Skalierungsstufe umfasst ein Objektbild in einer anderen Größe. Jede Skalierungsstufe zeigt das Objekt in einer anderen Entfernung. Um das Objekt in einem Bild zu finden, müssen alle Skalierungsstufen der Pyramide verarbeitet werden, wobei jeweils ein Vergleich mit dem Objektbild der Skalierungsstufe durchgeführt wird. Der Vergleich mit der Vielzahl von Objektbildern ist rechenintensiv.

Aus dem Dokument von X. Zhao, P. Sun, Z. Xu, H. Min and H. Yu, "LIDAR and Camera Data for Object Detection in Autonomous Vehicle Applications" in IEEE Sensors Journal, vol. 20, no. 9, pp. 4901-4913, 1 May, 2020, doi: 10.1109/JSEN.2020.2966034 ist ein Verfahren zur Detektion von Objekten durch Fusion von 3D LDAR und Kameradaten bekannt. Dabei werden 3D LIDAR Daten genutzt um passende Object-Region-Proposals zu erzeugen, welche dann als Regions of Interest (ROI) einem Convolutional Neural Network (CNN) zur Objekterkennung zugeführt werden.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Detektion eines Objekts durch ein mobiles System weiterzubilden.

Die Aufgabe wird durch ein Verfahren zur Detektion eines Objekts durch ein mobiles System mit den in Anspruch 1 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der Unteransprüche.

Es wird ein Verfahren zur Detektion eines Objekts durch ein mobiles System, insbesondere in einer technischen Anlage, vorgeschlagen. Dabei weist das mobile System mindestens einen ersten Sensor, mindestens einen zweiten Sensor und mindestens eine Bildpyramide auf. Die mindestens eine Bildpyramide ist einem Objekt zugeordnet und enthält mehrere Skalierungsstufen, welche jeweils ein Objektbild umfassen. Mittels des ersten Sensors werden mehrere Punkte eines Gegenstands erfasst, und Entfernungen zu den erfassten Punkten werden ermittelt, und eine resultierende Entfernung zu den erfassten Punkten wird bestimmt. Mittels des zweiten Sensors wird ein Bild, welches den Gegenstand enthält, aufgenommen, und in dem aufgenommenen Bild wird ein Abbild des Gegenstandes erkannt. Aus der mindestens einen Bildpyramide wird mindestens eine Skalierungsstufe ausgewählt, welcher die resultierende Entfernung zugeordnet ist. Das Objektbild der mindestens einen ausgewählten Skalierungsstufe wird mit dem in dem aufgenommenen Bild erkannten Abbild verglichen. Bei Übereinstimmung des Objektbildes mit dem Abbild wird das Objekt in dem Bild detektiert.

Ein Objekt, welchem eine Bildpyramide zugeordnet ist, ist beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Um das Objekt in dem aufgenommenen Bild zu detektieren müssen bei Kenntnis der resultierenden Entfernung zu den erfassten Punkten des Gegenstands nicht alle Skalierungsstufen der Pyramide verarbeitet werden. Es ist ausreichend, lediglich das Objektbild einer einzigen Skalierungsstufe, welcher die resultierende Entfernung zugeordnet ist, mit dem in dem aufgenommenen Bild erkannten Abbild zu vergleichen. Gegebenenfalls ist es erforderlich, die Objektbilder einer geringen Anzahl von Skalierungsstufen, welchen die resultierende Entfernung zugeordnet ist, mit dem in dem aufgenommenen Bild erkannten Abbild zu vergleichen. Die Rechenintensität zum Vergleich des Abbilds mit Objektbildern ist dadurch vorteilhaft verringert. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist der erste Sensor als Laserscanner ausgebildet. Ein Laserscanner sendet einen Laserstrahl aus, detektiert einen reflektierten Laserstrahl und berechnet daraus eine Entfernung zu einem Punkt eines Gegenstandes, der den Laserstrahl reflektiert. Laserscanner sind in bekannten mobilen Systemen bereits vorhanden, es fallen somit keine zusätzlichen Kosten für die Installation des ersten Sensors an. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist der zweite Sensor als monokulare Kamera ausgebildet. Eine monokulare Kamera ist verhältnismäßig kostengünstig, robust und zuverlässig.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird die resultierende Entfernung zu den erfassten Punkten als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten bestimmt. Somit entspricht die resultierende Entfernung einem Abstand des ersten Sensors zu einer Stelle inmitten des Gegenstandes.

Gemäß einer anderen vorteilhaften Ausgestaltung der Erfindung wird die resultierende Entfernung zu den erfassten Punkten als die kleinste der ermittelten Entfernungen zu den erfassten Punkten bestimmt. Somit entspricht die resultierende Entfernung einem Abstand des ersten Sensors zu einer dem mobilen System zugewandten Seite des Gegenstandes.

Die Skalierungsstufen der mindestens einen Bildpyramide sind diskret und umfassen jeweils ein Objektbild bei genau einer resultierenden Entfernung. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist jeder Skalierungsstufe der mindestens einen Bildpyramide ein Bereich von resultierenden Entfernungen zugeordnet. Somit können auch resultierende Entfernungen, die zwischen zwei diskreten Skalierungsstufen liegen, verarbeitet werden.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung überlappen sich die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind. Dadurch sind geringe Fehler und Verzerrungen bei der Aufnahme des Bildes ausgleichbar.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung sind die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind, voneinander getrennt. Dadurch ist jede resultierende Entfernung genau einer Skalierungsstufe zugeordnet. Dadurch wird die Rechenintensität zum Vergleich des Abbilds mit Objektbildern weiter verringert. Gemäß einer vorteilhaften Weiterbildung der Erfindung weist das mobile System mehrere Bildpyramiden auf, welche jeweils einem Objekt zugeordnet sind. Dabei wird aus den erfassten Punkten des Gegenstandes und den Entfernungen zu den erfassten Punkten ein hypothetisches Objekt vorgeschlagen, und diejenige Bildpyramide wird ausgewählt, welche dem hypothetischen Objekt zugeordnet ist. Aus der ausgewählten Bildpyramide wird mindestens eine Skalierungsstufe ausgewählt, welcher die resultierende Entfernung zugeordnet ist.

Objekte, welchen jeweils eine Bildpyramide zugeordnet ist, sind beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Es ist somit möglich, verschiedenartige Objekte zu detektieren. Durch den Vorschlag des hypothetischen Objekts wird bereits eine Vorauswahl getroffen. Ein Vergleich mit allen Bildpyramiden ist daher nicht erforderlich. Dadurch wird die Rechenintensität zum Vergleich des Abbilds mit Objektbildern verringert.

Gemäß einer bevorzugten Ausgestaltung der Erfindung ist das mobile System als autonom fahrendes Fahrzeug ausgebildet, welches eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung aufweist. Die Antriebseinrichtung umfasst beispielsweise einen Elektromotor, ein Getriebe und Antriebsräder. Bei dem mobilen System handelt es sich insbesondere um ein fahrerloses Transportsystem zum Transport von Gegenständen innerhalb der technischen Anlage.

Gemäß einer vorteilhaften Weiterbildung der Erfindung weist das mobile System einen Positionssensor zur Erfassung einer Position des mobilen Systems insbesondere innerhalb der technischen Anlage auf. Bei dem besagten Sensor handelt es sich beispielsweis um einen GPS-Empfänger oder um ein SLAM-System. Die Erfassung der eigenen Position des mobilen Systems, insbesondere in der technischen Anlage, ermöglicht, eine lokale Karte zu erstellen, welche die Grundlage für das autonome Fahren des mobilen Systems bildet.

Gemäß einer vorteilhaften Weiterbildung der Erfindung wird eine lokale Karte erstellt, welche mindestens ein detektiertes Objekt aufweist. Die lokale Karte bildet die Grundlage für das autonome Fahren des mobilen Systems.

Die Erfindung ist nicht auf die Merkmalskombination der Ansprüche beschränkt. Für den Fachmann ergeben sich weitere sinnvolle Kombinationsmöglichkeiten von Ansprüchen und/oder einzelnen Anspruchsmerkmalen und/oder Merkmalen der Beschreibung und/oder der Figuren, insbesondere aus der Aufgabenstellung und/oder der sich durch Vergleich mit dem Stand der Technik stellenden Aufgabe.

Die Erfindung wird nun anhand von Abbildungen näher erläutert. Die Erfindung ist nicht auf die in den Abbildungen dargestellten Ausführungsbeispiele beschränkt. Die Abbildungen stellen den Gegenstand der Erfindung nur schematisch dar. Es zeigen:

Figur 1 : eine schematische Seitenansicht eines mobilen Systems und eines Gegenstandes in einer technischen Anlage,

Figur 2: eine schematische Draufsicht auf das mobile System und den Gegenstand in der technischen Anlage,

Figur 3: ein Bild mit einem Abbild des Gegenstandes,

Figur 4: erfasste Punkte des Gegenstandes und

Figur 5: eine Überlagerung des Abbildes mit den erfassten Punkten.

Figur 1 zeigt eine schematische Seitenansicht eines mobilen Systems 10 und eines Gegenstandes 11 in einer technischen Anlage. Bei dem Gegenstand 11 handelt es sich vorliegend um eine Palette. Die technische Anlage weist weitere, hier nicht dargestellte, Gegenstände 11 auf, beispielsweise weitere Paletten, Gabelstapler sowie Gitterboxen. Auch weist die technische Anlage weitere, hier nicht dargestellte, mobile Systeme 10 auf, die gleichartig ausgestaltet sind.

Das mobile System 10 ist als autonom fahrendes Fahrzeug ausgebildet und weist eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung auf. Das mobile System 10 weist ferner einen Positionssensor zur Erfassung einer Position des mobilen Systems 10 innerhalb der technischen Anlage auf. Das mobile System 10 weist auch eine Kommunikationsvorrichtung zur drahtlosen Kommunikation über ein Netzwerk auf.

Das mobile System 10 weist vorliegend zwei erste Sensoren 1 , welche als Laserscanner ausgebildet sind, auf. Jeder der ersten Sensoren 1 dient zur Erkennung von Gegenständen 11 sowie zur Erkennung von Entfernungen zu erkannten Gegenständen 11. Dabei erfasst der erste Sensor 1 mehrere Punkte P des Gegenstands 11 und ermittelt die Entfernungen zu den erfassten Punkten P. Das mobile System 10 weist vorliegend einen zweiten Sensor 2, welcher als monokulare Kamera ausgebildet ist, auf. Der zweite Sensor 2 dient zur Aufnahme von Bildern, auf welchen insbesondere Gegenstände 11 abgebildet sind.

Das mobile System 10 befindet sich auf einem ebenen Boden in der technischen Anlage. Die als Laserscanner ausgebildeten ersten Sensoren 1 sind derart an dem mobilen System 10 angeordnet, dass die Scanebenen der ersten Sensoren 1 parallel zu dem Boden ausgerichtet sind. Der als monokulare Kamera ausgebildete zweite Sensor 2 ist derart an dem mobilen System 10 angeordnet, dass die optische Achse des zweiten Sensors 2 parallel zu dem Boden ausgerichtet ist.

Figur 2 zeigt eine schematische Draufsicht auf das mobile System 10 und den Gegenstand 11 in der in Figur 1 dargestellten technischen Anlage. Das mobile System 10 weist einen annähernd rechteckförmigen Querschnitt auf. Die als Laserscanner ausgebildeten ersten Sensoren 1 sind an gegenüberliegenden Ecken des mobilen Systems 10 angeordnet. Der als monokulare Kamera ausgebildete zweite Sensor 2 ist an einer Frontseite des mobilen Systems 10 angeordnet.

Die geometrische Anordnung der ersten Sensoren 1 relativ zu dem zweiten Sensor 2 an dem mobilen System 10 ist mittels Kalibrierung erfassbar und somit bekannt. Die besagte geometrische Anordnung ist dabei konstant, wird also nicht dynamisch verändert. Durch Berücksichtigung der besagten geometrischen Anordnung ist eine Transformation von erfassten Punkten P und Entfernungen zu den erfassten Punkten P in ein aufgenommenes Bild eindeutig durchführbar.

Das mobile System 10 weist auch mehrere Bildpyramiden auf. Dabei ist jede Bildpyramide einem Objekt zugeordnet. Solche Objekte sind beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Jede Bildpyramide enthält mehrere Skalierungsstufen. Jede Skalierungsstufe umfasst ein Objektbild. Die Objektbilder der Skalierungsstufen weisen dabei verschiedene Größen auf. Jede Skalierungsstufe zeigt somit das Objekt in einer anderen Entfernung.

Nachfolgend wird das Verfahren zur Detektion eines Objekts durch das mobile System 10 in der technischen Anlage beschrieben. Mittels des zweiten Sensors 2 wird ein Bild aufgenommen, wobei das aufgenommene Bild den Gegenstand 11 enthält. In dem aufgenommenen Bild wird ein Abbild A des Gegenstandes 11 erkannt.

Figur 3 zeigt ein Bild mit dem Abbild A des in Figur 1 dargestellten Gegenstandes 11. Bei dem Gegenstand 11 handelt es sich vorliegend, wie bereits erwähnt, um eine Palette. Das Abbild A entspricht einer perspektivischen Darstellung des Gegenstands 11.

Mittels des ersten Sensors 1 werden mehrere Punkte P des Gegenstands 11 erfasst. Auch werden Entfernungen des mobilen Systems 10 zu den erfassten Punkten P ermittelt.

Figur 4 zeigt die erfassten Punkte P des in Figur 1 dargestellten Gegenstandes 11. Aus den Entfernungen des mobilen Systems 10 zu den erfassten Punkten P wird eine resultierende Entfernung des mobilen Systems 10 zu den erfassten Punkten P bestimmt.

Die resultierende Entfernung zu den erfassten Punkten P wird beispielsweise als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten P bestimmt. Alternativ wird die resultierende Entfernung zu den erfassten Punkten P als die kleinste der ermittelten Entfernungen zu den erfassten Punkten P bestimmt.

Die erfassten Punkten P sowie die ermittelten Entfernungen zu den erfassten Punkten P werden anschließend in das von dem zweiten Sensor aufgenommene Bild transformiert. Dabei werden die erfassten Punkte P dem Abbild A überlagert. Figur 5 zeigt eine Überlagerung des in Figur 3 dargestellten Abbildes A mit den in Figur 4 dargestellten erfassten Punkten P.

Aus den erfassten Punkten P des Gegenstandes 11 und den Entfernungen des mobilen Systems 10 zu den erfassten Punkten P wird ein hypothetisches Objekt vorgeschlagen. Anhand der Lage und der Ausrichtung der Punkte P wird vorliegend eine Palette als hypothetisches Objekt vorgeschlagen.

Aus den mehreren Bildpyramiden, die das mobile System 10 aufweist, wird nun diejenige Bildpyramide ausgewählt, welche dem hypothetischen Objekt, vorliegend also einer Palette, zugeordnet ist. Aus der ausgewählten Bildpyramide wird dann eine Skalierungsstufe ausgewählt, welcher die zuvor bestimmte resultierende Entfernung zugeordnet ist. Das Objektbild der ausgewählten Skalierungsstufe wird dann mit dem in dem aufgenommenen Bild erkannten Abbild A verglichen. Bei Übereinstimmung des Objektbildes mit dem Abbild A wird das Objekt, vorliegend die Palette, in dem Bild detektiert.

Bezugszeichenliste

I erster Sensor 2 zweiter Sensor

10 Mobiles System

I I Gegenstand

A Abbild

P Punkt