Titel

Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen

Die Erfindung betrifft ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen, wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert.

Gewöhnliche Kraftfahrzeuge und insbesondere auch autonom fahrende Kraftfahrzeuge weisen eine Vielzahl von Sensoren auf, wobei von diesen Sensoren erfasset Sensordaten jeweils zum Steuern von Fahrzeugfunktionen, beispielsweise einer Antriebskomponente, einer Fahrzeugsteuerung, einer Beleuchtungseinrichtung oder eines anderen steuerbaren Systems des entsprechenden Kraftfahrzeuges verwendet werden können.

Unter einem Sensor, welcher auch als Detektor, (Messgrößen- oder Mess- )Aufnehmer oder (Mess-)Fühler bezeichnet wird, wird dabei ein technisches Bauteil, das bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann, verstanden.

Bei in ein gewöhnliches Kraftfahrzeug integrierten Sensoren kann es sich dabei beispielsweise um optische Sensoren, insbesondere Lidar-Sensoren, Radar- Sensoren, oder optische Kameras handeln. Dabei können beispielsweise die von diesen Sensoren erfassten Daten jeweils durch einen Objektdetektionsalgorithmus verarbeitet werden, um Objekte in den entsprechenden Daten oder Kombinationen dieser Daten zu detektieren, beispielsweise Fußgänger und/oder andere Kraftfahrzeuge. Basierend auf den erfassten Objekten können anschließend eine oder mehrere Fahrzeugfunktionen gesteuert werden, beispielsweise sicherheitsgerichtete Aktionen initiiert werden.

Anzumerken ist dabei, dass unterschiedliche Sensoren unterschiedliche Eigenschaften aufweisen und/oder für unterschiedliche Gegebenheiten ausgelegt sind. Beispielsweise sind Lidar-Sensoren beziehungsweise Lidar- Messsysteme schnell und präzise, jedoch sind diese beispielsweise anfällig gegenüber Staub-, Wasser- oder Rauchpartikeln. Radar-Sensoren können andererseits unabhängig von vorliegenden Wetterbedingungen optimal eingesetzt werden, wobei sich Radar-Sensoren insbesondere auch zur Messung von Geschwindigkeiten eignen. Optische Kameras haben ferner für gewöhnlich eine sehr gute Auflösung. Somit besteht Bedarf an Verfahren, welche es ermöglichen, dass die basierend auf Sensordaten dieser Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können, um die bestmögliche Performanz zu ermöglichen.

Aus der Druckschrift DE 10 2009 021 785 B4 ist ein Verfahren zur Objekterkennung bekannt, wobei das Objekt eine Mehrzahl von Ausprägungen abstrakter Objekteigenschaften aufweist und einer Objekt- Eigenschaftsklasse eines hierarchischen Systems von in einem ersten Speicher gespeicherten Objekt- Eigenschaftsklassen zugeordnet ist, wobei zumindest ein Ort, an dem das Objekt vermutet wird, mittels einer Mehrzahl von eine Sensorgemeinschaft aufweisenden Sensoren die jeweils auf zumindest eine Objekteigenschaft ansprechen und daraufhin ein Sensorsignal abgeben, betrachtet wird, wobei geprüft wird, ob die abgegebenen Sensorsignale jeweils einen für sie vorgegebenen Schwellenwert überschreiten und die Sensorsignale, die den Schwellenwert überschreiten, akzeptiert werden. Die Sensoreigenschaften, für die akzeptierte Sensorsignale erhalten worden sind, werden paarweise zu Identifikations-Eigenschaftspaaren kombiniert, wobei die Gesamtheit der Identifikations- Eigenschaftspaare mit in einem ersten Speicher gespeicherten Objekt- Eigenschaftsklassen verglichen werden, und wobei das Objekt anhand der Objekt- Eigenschaftsklasse, deren Objekt- Eigenschaftspaare identisch mit den erhaltenen Identifikations-Eigenschaftspaaren sind, bestimmt wird.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren anzugeben, welches es ermöglicht, dass die basierend auf Sensordaten von unterschiedlichen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können.

Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen gemäß den Merkmalen des Patentanspruchs 1 .

Die Aufgabe wird zudem auch gelöst durch ein Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen gemäß den Merkmalen des Patentanspruchs 6.

Offenbarung der Erfindung

Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen, wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert, und wobei das Verfahren ein Bereitstellen von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens, wobei die Trainingsdaten mehrere Objektdetektionsergebnisse aufweisen, wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert, und wobei die Trainingsdaten weiter Ground-Truth Informationen bezüglich des Objektes aufweisen, und ein Trainieren des Algorithmus des maschinellen Lernens, wobei das Trainieren des Algorithmus des maschinellen Lernens für jedes der mehreren Objektdetektionsergebnisse ein Ermitteln eines Abstandes zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth und ein Zuordnen eines Konfidenzwertes zu dem entsprechenden Objektdetektionsergebnis basierend auf dem Abstand zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth, für jedes der mehren Objektdetektionsergebnisse ein Ermitteln jeweils eines Abstandes zu jedem der anderen Objektdetektionsergebnisse, und ein Trainieren des Algorithmus des maschinellen Lernens basierend auf den den Objektdetektionsergebnissen jeweils zugeordneten Konfidenzwerten und den Abständen zwischen den einzelnen Objektdetektionsergebnissen derart, dass basierend auf den Abständen zwischen den mehreren

Objektdetektionsergebnissen Rückschlüsse auf den Konfidenzwert von jedem der mehreren Objektdetektionsergebnisse geschlossen werden können, aufweist.

Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.

Unter Konfidenzwert wird weiter ein die Schätzung eines Modells bezüglich der Genauigkeit einzelner vorhergesagter Werte beschreibender Wert verstanden, wobei der Konfidenzwert für gewöhnlich zwischen Null und Eins liegt und umso größer ist, je höher die Genauigkeit ist.

Unter Ground-Trouth Informationen wird zudem Wissen über eine genaue Position des entsprechenden Objektes verstanden. Unter unterschiedlichen Sensoren werden weiter Sensoren mit unterschiedlichen Eigenschaften beziehungsweise für unterschiedliche Gegebenheiten ausgelegte Sensoren verstanden.

Unter Objektdetektion wird außerdem die Detektion von Objekten in von genau einem der wenigstens zwei unterschiedlichen Sensoren erfassten Daten durch Anwenden eines Objektdetektionsalgorithmus auf die entsprechenden Daten verstanden.

Unter Objektdetektionsergebnis wir ferner die Kombination beziehungsweise Fusionierung von einem oder mehreren dieser Objektdetektionen zu einem gemeinsamen Objektdetektionsergebnis verstanden.

Ist der Abstand beziehungsweise die Distanz zwischen einem der Objektdetektionsergebnisse zu den Ground-Truth Informationen beziehungsweise der genauen Position des Objektes sehr gering, bedeutet dies, dass das entsprechende Objektdetektionsergebnis sehr genau ist. Ist andererseits der Abstand zwischen einem der Objektdetektionsergebnisse und den Ground-Truth Informationen vergleichsweise groß, bedeutet dies, dass das entsprechende Objektdetektionsergebnis vergleichsweise ungenau ist.

Somit wird der Algorithmus des maschinellen Lernens basierend auf gelabelten Trainingsdaten derart trainiert, dass dieser basierend auf den Abständen der einzelnen Objektdetektionsergebnisse zueinander Rückschlüsse auf eine wahrscheinliche tatsächliche Position des entsprechenden Objektes und somit auch die jeweiligen Abstände der einzelnen Objektdetektionsergebnisse zu der tatsächlichen Position des Objektes gewinnen kann, woraus wiederum entsprechende Konfidenzwerte und somit auch der im entsprechenden Fall beste Sensor beziehungsweise die im entsprechende Fall beste Kombination von Sensoren abgeleitet werden können.

Insgesamt wird somit ein Verfahren angegeben, welches es ermöglicht, dass die basierend auf von unterschiedlichen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können. Dabei kann der Schritt des Trainierens des Algorithmus des maschinellen Lernens ein Trainieren des Algorithmus des maschinellen Lernens derart, dass dieser permutationsinvariant ist, aufweisen.

Dass der Algorithmus des maschinellen Lernens permutationsinvariant ist, bedeutet dabei, dass dieser gleichbleibt, beziehungsweise unabhängig davon ist, ob einzelne Eingabedaten vertauscht werden.

Hierdurch kann die Zuordnung und insbesondere die Genauigkeit der Zuordnung eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen weiter erhöht werden.

Zudem kann es sich bei den wenigstens zwei unterschiedlichen Sensoren um wenigstens zwei von einem Lidar-Sensor, einem Radar-Sensor und einer optischen Kamera handeln.

Lidar-Sensoren erzeugen präzise, dreidimensionale Informationen über die Form und Oberflächeneigenschaften der umgebenden Objekte. Die Technologie verwendet Laserstrahlen im augensicheren Bereich, um eine 3D-Darstellung der erfassten Umgebung zu erstellen. Als nachteilig erweist sich dabei jedoch beispielsweise, dass diese beispielsweise anfällig gegenüber Staub-, Wasseroder Rauchpartikeln

Ein Radar-Sensor ist ein strahlbasierter Sensor, welcher eingesetzt wird, um Objekte, zum Beispiel andere Fahrzeuge und Fußgänger, zu erfassen und deren Abstand zum Fahrzeug sowie deren Relativgeschwindigkeiten zu messen. Dazu werden elektromagnetische Wellen ausgesendet. Radar-Sensoren können dabei unabhängig von vorliegenden Wetterbedingungen optimal eingesetzt werden, wobei sich Radar-Sensoren insbesondere auch zur Messung von Geschwindigkeiten eignen.

Bei einer optischen Kamera gelangt Licht durch Linsen, welche das Bild auf einen Sensor werfen, in ein Kameragehäuse. Optische Kameras haben dabei für gewöhnlich eine sehr gute Auflösung. Bei den wenigstens zwei unterschiedlichen Sensoren kann es sich somit um Sensoren handeln, welche häufig bei Kraftfahrzeugen, beispielsweise autonom fahrenden Kraftfahrzeugen zu finden sind.

Dabei, dass es sich bei den wenigstens zwei unterschiedlichen Sensoren um wenigstens zwei von einem Lidar-Sensor, einem Radar-Sensor und einer optischen Kamera handelt, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr können die wenigstens wie unterschiedlichen Sensoren auch andere Sensoren mit jeweils unterschiedlichen Eigenschaften und/oder für unterschiedliche Gegebenheiten ausgelegte Sensoren aufweisen.

Mit einer weiteren Ausführungsform der Erfindung wird auch ein Verfahren zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren angegeben, wobei das Verfahren ein Bereitstellen von Sensordaten von wenigstens zwei unterschiedlichen Sensoren, für jeden der wenigstens zwei unterschiedlichen Sensoren jeweils ein Detektieren eines Objektes in durch den entsprechenden Sensor erfassten Sensordaten, um Objektdetektionen zu erhalten, ein Erzeugen von mehreren Objektdetektionsergebnissen aus den Objektdetektionen durch Fusionieren von einem oder mehreren Objektdetektionen, für jedes der mehreren Objektdetektionsergebnisse jeweils ein Zuordnen eines Konfidenzwertes zu dem entsprechenden Objektdetektionsergebnis durch einen Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen, wobei der Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen durch ein obenstehend beschriebenes Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen trainiert wurde, ein Vergleichen der den mehreren Objektdetektionsergebnissen jeweils zugeordneten Konfidenzwerte, um das Objektdetektionsergebnis mit dem höchsten Konfidenzwert zu ermitteln, und ein Detektieren des Objektes basierend auf dem Objektdetektionsergebnis mit dem höchsten Konfidenzwert aufweist. Somit wird ein Verfahren zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren angegeben, das auf einem Verfahren, welches es ermöglicht, dass die basierend auf von diesen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können, basiert Insbesondere basiert das Verfahren dabei auf einem Algorithmus des maschinellen Lernens, welcher basierend auf gelabelten Trainingsdaten derart trainiert wird, dass dieser basierend auf den Abständen der einzelnen Objektdetektionsergebnisse zueinander Rückschlüsse auf eine wahrscheinliche tatsächliche Position des entsprechenden Objektes und somit auch die jeweiligen Abstände der einzelnen Objektdetektionsergebnisse zu der tatsächlichen Position des Objektes gewinnen kann, woraus wiederum entsprechende Konfidenzwerte und somit auch der im entsprechenden Fall beste Sensor beziehungsweise die im entsprechenden Fall beste Kombination von Sensoren abgeleitet werden können.

Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein Verfahren zum Steuern eines steuerbaren Systems basierend auf in Sensordaten von wenigstens zwei unterschiedlichen Sensoren detektierten Objekten angegeben, wobei das Verfahren ein Detektieren eines Objektes in Sensordaten von den wenigstens zwei unterschiedlichen Sensoren durch ein obenstehend beschriebenes Verfahren zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren, und ein Steuern des steuerbaren Systems basierend auf dem detektierten Objekt aufweist.

Unter einem steuerbaren System wird dabei ein System verstanden, welches derart steuerbar ist, dass ein Zustand des Systems beziehungsweise von einer oder mehrerer Komponenten des Systems in endlicher Zeit durch Anwenden geeigneter Stellsignale beziehungsweise durch Anwenden geeigneter Tasks oder Aktionen in einen neuen Zustand überführt werden kann beziehungsweise können, insbesondere von einem ausgewählten Eingangszustand in einen ausgewählten Ausgangszustand.

Somit wird ein Verfahren zum Steuern eines steuerbaren Systems angegeben, das auf einem Verfahren, welches es ermöglicht, dass die basierend auf von unterschiedlichen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können, basiert Insbesondere basiert das Verfahren dabei auf einem Algorithmus des maschinellen Lernens, welcher basierend auf gelabelten Trainingsdaten derart trainiert wird, dass dieser basierend auf den Abständen der einzelnen Objektdetektionsergebnisse zueinander Rückschlüsse auf eine wahrscheinliche tatsächliche Position des entsprechenden Objektes und somit auch die jeweiligen Abstände der einzelnen Objektdetektionsergebnisse zu der tatsächlichen Position des Objektes gewinnen kann, woraus wiederum entsprechende Konfidenzwerte und Somit auch der im entsprechenden Fall beste Sensor beziehungsweise die im entsprechenden Fall beste Kombination von Sensoren abgeleitet werden können.

Bei dem steuerbaren System kann es sich dabei insbesondere um ein Robotiksystem und beispielsweise ein autonom fahrendes Kraftfahrzeug handeln.

Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen angegeben, wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert, und wobei das Steuergerät eine Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens bereitzustellen, wobei die Trainingsdaten mehrere Objektdetektionsergebnisse aufweisen, wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert, und wobei die Trainingsdaten weiter Ground-Truth Informationen bezüglich des Objektes aufweisen, und eine Trainingseinheit, welche ausgebildet ist, den Algorithmus des maschinellen Lernens zu trainieren, wobei das Trainieren des Algorithmus des maschinellen Lernens für jedes der mehreren Objektdetektionsergebnisse ein Ermitteln eines Abstandes zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth und ein Zuordnen eines Konfidenzwertes zu dem entsprechenden Objektdetektionsergebnis basierend auf dem Abstand zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth, für jedes der mehren Objektdetektionsergebnisse ein Ermitteln jeweils eines Abstandes zu jedem der anderen Objektdetektionsergebnisse, und ein Trainieren des Algorithmus des maschinellen Lernens basierend auf den den Objektdetektionsergebnissen jeweils zugeordneten Konfidenzwerten und den Abständen zwischen den einzelnen Objektdetektionsergebnissen derart, dass basierend auf den Abständen zwischen den mehreren Objektdetektionsergebnissen Rückschlüsse auf den Konfidenzwert von jedem der mehreren Objektdetektionsergebnisse geschlossen werden können, aufweist

Somit wird ein Steuergerät angegeben, welches es ermöglicht, dass die basierend auf von unterschiedlichen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können. Insbesondere ist das Steuergerät dabei ausgebildet, einen Algorithmus des maschinellen Lernens basierend auf gelabelten Trainingsdaten derart zu trainieren, dass dieser basierend auf den Abständen der einzelnen Objektdetektionsergebnisse zueinander Rückschlüsse auf eine wahrscheinliche tatsächliche Position des entsprechenden Objektes und somit auch die jeweiligen Abstände der einzelnen Objektdetektionsergebnisse zu der tatsächlichen Position des Objektes gewinnen kann, woraus wiederum entsprechende Konfidenzwerte und der im entsprechenden Fall beste Sensor beziehungsweise die im entsprechenden Fall beste Kombination von Sensoren abgeleitet werden können.

Dabei kann die Trainingseinheit ausgebildet sein, den Algorithmus des maschinellen Lernens derart zu trainieren, dass dieser permutationsinvariant ist. Hierdurch kann die Zuordnung und insbesondere die Genauigkeit der Zuordnung eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen weiter erhöht werden.

Zudem kann es sich bei den wenigstens zwei unterschiedlichen Sensoren wiederum um wenigstens zwei von einem Lidar-Sensor, einem Radar-Sensor und einer optischen Kamera handeln. Bei den wenigstens zwei unterschiedlichen Sensoren kann es sich somit um Sensoren handeln, welche häufig bei Kraftfahrzeugen, beispielsweise autonom fahrenden Kraftfahrzeugen zu finden sind.

Dabei, dass es sich bei den wenigstens zwei unterschiedlichen Sensoren um wenigstens zwei von einem Lidar-Sensor, einem Radar-Sensor und einer optischen Kamera handelt, handelt es sich jedoch wiederum nur um eine mögliche Ausführungsform. Vielmehr können die wenigstens wie unterschiedlichen Sensoren auch andere Sensoren mit jeweils unterschiedlichen Eigenschaften und/oder für unterschiedliche Gegebenheiten ausgelegte Sensoren aufweisen.

Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Steuergerät zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren angegeben, wobei das Steuergerät eine Bereitstellungseinheit, welche ausgebildet ist, Sensordaten von wenigstens zwei unterschiedlichen bereitzustellen, eine Detektierungseinheit, welche ausgebildet ist, für jeden der wenigstens zwei unterschiedlichen Sensoren jeweils ein Objekt in durch den entsprechenden Sensor erfassten Sensordaten zu detektieren, um Objektdetektionen zu erhalten, eine Erzeugungseinheit, welche ausgebildet ist, mehrere Objektdetektionsergebnissen aus den Objektdetektionen durch Fusionieren von einer oder mehreren Objektdetektionen zu erzeugen, eine Zuordnungseinheit, welche ausgebildet ist, für jedes der mehreren Objektdetektionsergebnisse jeweils einen Konfidenzwert zu dem entsprechenden Objektdetektionsergebnis durch einen Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen zu zu ordnen, wobei der Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen durch ein obenstehend beschriebenes Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen trainiert wurde, eine Vergleichseinheit, welche ausgebildet ist, durch Vergleichen der den mehreren Objektdetektionsergebnissen jeweils zugeordneten Konfidenzwerte das Objektdetektionsergebnis mit dem höchsten Konfidenzwert zu ermitteln, und eine Bestimmungseinheit, welche ausgebildet ist, das Objekt basierend auf dem Objektdetektionsergebnis mit dem höchsten Konfidenzwert zu detektieren, aufweist.

Somit wird ein Steuergerät zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren angegeben, das auf einem Steuergerät, welches es ermöglicht, dass die basierend auf von diesen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können, basiert Insbesondere basiert das Steuergerät dabei auf einem Algorithmus des maschinellen Lernens, welcher basierend auf gelabelten Trainingsdaten derart trainiert wird, dass dieser basierend auf den Abständen der einzelnen Objektdetektionsergebnisse zueinander Rückschlüsse auf eine wahrscheinliche tatsächliche Position des entsprechenden Objektes und somit auch die jeweiligen Abstände der einzelnen Objektdetektionsergebnisse zu der tatsächlichen Position des Objektes gewinnen kann, woraus wiederum entsprechende Konfidenzwerte und der im entsprechenden Fall beste Sensor beziehungsweise die im entsprechenden Fall beste Kombination von Sensoren abgeleitet werden können.

Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Steuergerät zum Steuern eines steuerbaren Systems basierend auf in Sensordaten von wenigstens zwei unterschiedlichen Sensoren detektierten Objekten angegeben, wobei das Steuergerät eine Detektierungseinheit, welche ausgebildet ist, ein Objekt in Sensordaten von den wenigstens zwei unterschiedlichen Sensoren zu detektieren durch ein obenstehend beschriebenes Steuergerät zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren, und eine Steuereinheit, welche ausgebildet ist, das steuerbare System basierend auf dem detektierten Objekt zu steuern, aufweist.

Somit wird ein Steuergerät zum Steuern eines steuerbaren Systems angegeben, das auf einem Steuergerät, welches es ermöglicht, dass die basierend auf von diesen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können, basiert. Insbesondere basiert das Steuergerät dabei auf einem Algorithmus des maschinellen Lernens, welcher basierend auf gelabelten Trainingsdaten derart trainiert wird, dass dieser basierend auf den Abständen der einzelnen Objektdetektionsergebnisse zueinander Rückschlüsse auf eine wahrscheinliche tatsächliche Position des entsprechenden Objektes und somit auch die jeweiligen Abstände der einzelnen Objektdetektionsergebnisse zu der tatsächlichen Position des Objektes gewinnen kann, woraus wiederum entsprechende Konfidenzwerte und der im entsprechenden Fall beste Sensor beziehungsweise die im entsprechenden Fall beste Kombination von Sensoren abgeleitet werden können.

Bei dem steuerbaren System kann es sich dabei insbesondere wiederum um ein Robotiksystem und beispielsweise ein autonom fahrendes Kraftfahrzeug handeln.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.

Kurze Beschreibung der Zeichnungen

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.

Es zeigen: Fig. 1 ein Flussdiagramm eines Verfahrens zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen gemäß Ausführungsformen der Erfindung; und

Fig. 2 ein schematisches Blockschaltbild eines Systems zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren gemäß Ausführungsformen der Erfindung.

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.

Fig. 1 zeigt ein Flussdiagramm eines Verfahrens zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen 1 gemäß Ausführungsformen der Erfindung.

Die von unterschiedlichen Sensoren, das heißt unterschiedliche Eigenschaften aufweisende und/oder für unterschiedliche Gegebenheiten ausgelegte Sensoren, erfassten Sensordaten können fusioniert beziehungsweise verknüpft werden, um Informationen besserer Qualität zu gewinnen. Dabei ist es bekannt, Sensordaten zu fusionieren und anschließend die fusionierten Sensordaten weiterzuverarbeiten. Zudem können auch zunächst die von den einzelnen Sensoren erfassten Daten jeweils ausgewertet und anschließend die entsprechenden Auswertungsergebnisse miteinander verknüpft werden. Zum Einsatz kommt eine derartige Verknüpfung von Auswertungsergebnissen beispielsweise im Bereich des autonomen Fahrens, wobei aus Sicherheitsgründen Redundanzen bei der Steuerung entsprechender Fahrzeugfunktionen berücksichtigt werden.

Die Fusionsergebnisse können dabei jedoch durch Beeinträchtigungen oder Verschlechterungen des Zustandes eines der Sensoren beeinträchtigt werden, was bei der Auswertung der entsprechenden Daten zu sicherheitskritischen Situationen führen kann. Insbesondere haben Beeinträchtigungen oder Verschlechterungen des Zustandes eines der Sensoren auch Einfluss auf die entsprechenden Kombinationen beziehungsweise Modalitäten. Folglich besteht Bedarf an Verfahren, mit welchen die vertrauenswürdigste Modalität ermittelt werden kann.

Fig. 1 zeigt dabei ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen 1 , wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert, und wobei das Verfahren 1 einen Schritt 2 eines Bereitstellens von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens, wobei die Trainingsdaten mehrere Objektdetektionsergebnisse aufweisen, wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert, und wobei die Trainingsdaten weiter Ground-Truth Informationen bezüglich des Objektes aufweisen, und einen Schritt 3 eines Trainierens des Algorithmus des maschinellen Lernens, wobei das Trainieren des Algorithmus des maschinellen Lernens für jedes der mehreren Objektdetektionsergebnisse ein Ermitteln eines Abstandes zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth und ein Zuordnen eines Konfidenzwertes zu dem entsprechenden Objektdetektionsergebnis basierend auf dem Abstand zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth, für jedes der mehren Objektdetektionsergebnisse ein Ermitteln jeweils eines Abstandes zu jedem der anderen Objektdetektionsergebnisse, und ein Trainieren des Algorithmus des maschinellen Lernens basierend auf den den Objektdetektionsergebnissen jeweils zugeordneten Konfidenzwerten und den Abständen zwischen den einzelnen Objektdetektionsergebnissen derart, dass basierend auf den Abständen zwischen den mehreren Objektdetektionsergebnissen Rückschlüsse auf den Konfidenzwert von jedem der mehreren Objektdetektionsergebnisse geschlossen werden kann, aufweist. Somit wird der Algorithmus des maschinellen Lernens basierend auf gelabelten Trainingsdaten derart trainiert, dass dieser basierend auf den Abständen der einzelnen Objektdetektionsergebnisse zueinander Rückschlüsse auf eine wahrscheinliche tatsächliche Position des entsprechenden Objektes und somit auch die jeweiligen Abstände der einzelnen Objektdetektionsergebnisse zu der tatsächlichen Position des Objektes gewinnen kann, woraus wiederum entsprechende Konfidenzwerte und der im entsprechenden Fall beste Sensor beziehungsweise die im entsprechenden Fall beste Kombination von Sensoren abgeleitet werden können.

Insgesamt wird somit ein Verfahren 1 angegeben, welches es ermöglicht, dass die basierend auf von unterschiedlichen Sensoren jeweils detektierten Objekte basierend auf aktuellen Gegebenheiten optimal verarbeitet werden können.

Die Abstände können dabei jeweils beispielsweise basierend auf der Mahalanobis Distanz ermittelt werden.

Die Abstände können dabei ferner zudem basierend auf aus den Sensordaten jeweils abgeleiteten Eigenschaften des entsprechenden Objektes ermittelt werden, beispielsweise einer Position des entsprechenden Objektes und gegebenenfalls Dimensionen des Objektes und/oder einer Orientierung beziehungsweise Neigung des Objektes und/oder einer Objektklasse.

Zudem kann basierend auf dem Verfahren ein 3D-Tensor erzeugt werden, wobei eine erste Dimension dieses Tensors aus Vektoren, deren Elemente jeweils die Abstände für eine der Sensormodalitäten kennzeichnen, bestehen. Sollte dabei ferner in einem Fall kein Abstand ermittelt werden können, kann das entsprechende Vektorelement maximal groß gewählt beziehungsweise gesetzt werden.

Bei dem Algorithmus des maschinellen Lernens kann es sich ferner um ein künstliches neuronales Netz handeln, welches diesen Tensor als Input erhält. Gemäß den Ausführungsformen der Fig. 1 weist der Schritt 3 des Trainierens des Algorithmus des maschinellen Lernens dabei ein Trainieren des Algorithmus des maschinellen Lernens derart, dass dieser permutationsinvariant ist, auf.

Insbesondere kann der Algorithmus des maschinellen Lernens dabei basierend auf einem Max-Pooling Prozess trainiert werden.

Gemäß den Ausführungsformen der Fig. 1 handelt es sich bei den wenigstens zwei unterschiedlichen Sensoren ferner um einen Lidar-Sensor, einen Radar- Sensor und eine optische Kamera.

Bei den einzelnen Modalitäten handelt es sich dabei insbesondere um eine auf den Sensordaten des Lidar-Sensors basierende Objektdetektion alleine , eine Kombination beziehungsweise Fusionierung aus einer auf den Sensordaten des Lidar-Sensors basierenden Objektdetektion und einer auf den Sensordaten des Radar-Sensors basierenden Objektdetektion, eine Kombination aus einer auf den Sensordaten des Lidar-Sensors basierenden Objektdetektion und einer auf den Sensordaten der optischen Kamera basierenden Objektdetektion, eine Kombination aus einer auf den Sensordaten des Lidar-Sensors basierenden Objektdetektion, einer auf den Sensordaten des Radar-Sensors basierenden Objektdetektion und einer auf den Sensordaten der optischen Kamera basierenden Objektdetektion, eine auf den Sensordaten des Radar-Sensors basierende Objektdetektion alleine , eine Kombination aus einer auf den Sensordaten des Radar-Sensors basierenden Objektdetektion und einer auf den Sensordaten des Lidar-Sensors basierenden Objektdetektion, eine Kombination aus einer auf den Sensordaten des Radar-Sensors basierenden Objektdetektion und einer auf den Sensordaten der optischen Kamera basierenden Objektdetektion, eine Kombination aus einer auf den Sensordaten des Radar- Sensors basierenden Objektdetektion, einer auf den Sensordaten des Lidar- Sensors basierenden Objektdetektion und einer auf den Sensordaten der optischen Kamera basierenden Objektdetektion, eine auf den Sensordaten der optischen Kamera basierende Objektdetektion alleine , eine Kombination aus einer auf den Sensordaten der optischen Kamera basierenden Objektdetektion und einer auf den Sensordaten des Lidar-Sensors basierenden Objektdetektion, eine Kombination aus einer auf den Sensordaten der optischen Kamera basierenden Objektdetektion und einer auf den Sensordaten des Radar-Sensors basierenden Objektdetektion, und eine Kombination aus einer auf den Sensordaten der optischen Kamera basierenden Objektdetektion, einer auf den Sensordaten des Lidar-Sensors basierenden Objektdetektion und einer auf den Sensordaten des Radar-Sensors basierenden Objektdetektion.

Dabei kann anschließend ein Objektdetektionsergebnis mit dem höchsten Konfidenzwert beziehungsweise ein vertrauenswürdigstes Objektdetektionsergebnis bestimmt werden, wobei das Objekt basierend auf dem vertrauenswürdigsten Objektdetektionsergebnis detektiert beziehungsweise bestimmt werden kann.

Das bestimmte Objekt kann anschließend insbesondere zum Steuern eines steuerbaren Systems, beispielsweise eines autonom fahrenden Kraftfahrzeuges verwendet werden.

Fig. 2 zeigt ein schematisches Blockschaltbild eines Systems zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren 10 gemäß Ausführungsformen der Erfindung.

Wie Fig. 2 zeigt, weist das System 10 dabei ein Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen 11 und ein Steuergerät zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren 12 auf, wobei das Steuergerät zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren 12 ausgebildet ist, das Objekt basierend auf einem durch das Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen 11 trainierten Algorithmus des maschinellen Lernens zu detektieren.

Gemäß den Ausführungsformen der Fig. 2 weist das Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen 11 ferner eine Bereitstellungseinheit 13, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens bereitzustellen, wobei die Trainingsdaten mehrere Objektdetektionsergebnisse aufweisen, wobei die mehreren Objektdetektionsergebnisse jeweils dasselbe Objekt kennzeichnen, und wobei jedes der mehreren Objektdetektionsergebnisse auf einer anderen Kombination von basierend auf Sensordaten von wenigstens zwei unterschiedlichen Sensoren jeweils erzeugten Objektdetektionen basiert, und wobei die Trainingsdaten weiter Ground-Truth Informationen bezüglich des Objektes aufweisen, und eine Trainingseinheit 14, welche ausgebildet ist, den Algorithmus des maschinellen Lernens zu trainieren, wobei das Trainieren des Algorithmus des maschinellen Lernens für jedes der mehreren Objektdetektionsergebnisse ein Ermitteln eines Abstandes zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth und ein Zuordnen eines Konfidenzwertes zu dem entsprechenden Objektdetektionsergebnis basierend auf dem Abstand zwischen dem entsprechenden Objektdetektionsergebnis und der Ground-Truth, für jedes der mehren Objektdetektionsergebnisse ein Ermitteln jeweils eines Abstandes zu jedem der anderen Objektdetektionsergebnisse, und ein Trainieren des Algorithmus des maschinellen Lernens basierend auf den den Objektdetektionsergebnissen jeweils zugeordneten Konfidenzwerten und den Abständen zwischen den einzelnen Objektdetektionsergebnissen derart, dass basierend auf den Abständen zwischen mehreren Objektdetektionsergebnissen Rückschlüsse auf den Konfidenzwert von jeder der mehreren Objektdetektionsergebnisse geschlossen werden können, auf.

Bei der Bereitstellungseinheit kann es sich dabei beispielsweise um einen Empfänger, welcher ausgebildet ist, entsprechende Daten zu empfangen, handeln. Die Trainingseinheit kann ferner beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.

Gemäß den Ausführungsformen der Fig. 2 ist die Trainingseinheit 14 wiederum ausgebildet, den Algorithmus des maschinellen Lernens derart zu trainieren, dass dieser permutationsinvariant ist. Zudem handelt es sich bei den wenigstens zwei unterschiedlichen Sensoren wiederum um wenigstens zwei von einem Lidar-Sensor, einem Radar-Sensor und einer optischen Kamera.

Gemäß den Ausführungsformen der Fig. 2 weist das Steuergerät zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren 12 ferner eine weitere Bereitstellungseinheit 15, welche ausgebildet ist, Sensordaten von wenigstens zwei unterschiedlichen Sensoren bereitzustellen, eine Detektierungseinheit 16, welche ausgebildet ist, für jeden der wenigstens zwei unterschiedlichen Sensoren jeweils ein Objekt in durch den entsprechenden Sensor erfassten Sensordaten zu detektieren, um Objektdetektionen zu erhalten, eine Erzeugungseinheit 17, welche ausgebildet ist, mehrere Objektdetektionsergebnissen aus den Objektdetektionen durch Fusionieren von einem oder mehreren Objektdetektionen zu erzeugen, eine Zuordnungseinheit 18, welche ausgebildet ist, für jedes der mehreren Objektdetektionsergebnisse jeweils einen Konfidenzwert zu dem entsprechenden Objektdetektionsergebnis durch einen Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen zu zu ordnen, wobei der Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen durch das Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen 11 trainiert wurde, eine Vergleichseinheit 19, welche ausgebildet ist, durch Vergleichen der den mehreren Objektdetektionsergebnissen jeweils zugeordneten Konfidenzwerten das Objektdetektionsergebnis mit dem höchsten Konfidenzwert zu ermitteln, und eine Bestimmungseinheit 20, welche ausgebildet ist, das Objekt basierend auf dem Objektdetektionsergebnis mit dem höchsten Konfidenzwert zu detektieren beziehungsweise als das detektierte Objekt zu bestimmen, auf.

Bei der Bereitstellungseinheit kann es sich dabei beispielsweise um einen Empfänger, welcher ausgebildet ist, entsprechende Sensordaten zu empfangen, handeln. Die Detektierungseinheit, die Erzeugungseinheit, die Zuordnungseinheit, die Vergleichseinheit und die Bestimmungseinheit können ferner jeweils beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.

Zudem kann das Steuergerät zum Detektieren eines Objektes in Sensordaten von wenigstens zwei unterschiedlichen Sensoren 12 dabei auch ausgebildet sein, mehrere Objekte in einer entsprechenden Szene gleichzeitig zu erkennen und entsprechend auszuwerten.

Zudem kann das Steuergerät zum Trainieren eines Algorithmus des maschinellen Lernens zum jeweiligen Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen 11 insbesondere wiederum ausgebildet sein, ein obenstehend beschriebenes Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens zum jeweiligen Zuordnen eines Konfidenzwertes zu jedem von mehreren Objektdetektionsergebnissen auszuführen.