Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR EVALUATING A SENSOR MODEL, METHOD FOR TRAINING A RECOGNITION ALGORITHM, AND SENSOR SYSTEM
Document Type and Number:
WIPO Patent Application WO/2023/247589
Kind Code:
A1
Abstract:
The invention relates to a method for evaluating a sensor model, in which real sensor data are compared with simulated sensor data. The following steps are carried out for this purpose. The sensor parameters to be analysed and a respective range of values for each of the sensor parameters to be analysed are first of all defined. Input values are then generated for the sensor model, wherein first input values are generated by simulating a behaviour of a sensor, and second input values comprise real sensor values. The simulation of the behaviour of the sensor is then assessed in terms of accuracy and a computing time. Finally, a sensitivity analysis is carried out using the accuracy and the computing time.

Inventors:
NGO THANH DANH ANTHONY (DE)
Application Number:
PCT/EP2023/066724
Publication Date:
December 28, 2023
Filing Date:
June 21, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
International Classes:
G05B17/02
Foreign References:
US20070118338A12007-05-24
Other References:
TIAN YONGLIN ET AL: "Training and testing object detectors with virtual images", IEEE/CAA JOURNAL OF AUTOMATICA SINICA, CHINESE ASSOCIATION OF AUTOMATION (CAA), vol. 5, no. 2, 1 March 2018 (2018-03-01), pages 539 - 546, XP011676953, ISSN: 2329-9266, [retrieved on 20180207], DOI: 10.1109/JAS.2017.7510841
Download PDF:
Claims:
Ansprüche

1. Verfahren zum Evaluieren eines Sensormodells, wobei reale Sensordaten mit simulierten Sensordaten verglichen werden, mit den folgenden Schritten:

Festlegen von zu analysierenden Sensorparametern und jeweils eines Wertebereichs für jeden der zu analysierenden Sensorparameter;

Erzeugen von Eingabewerten für das Sensormodell, wobei erste Eingabewerte mittels einer Simulation eines Verhaltens eines Sensors (110) erzeugt werden und zweite Eingabewerte reale Sensorwerte umfassen;

Beurteilung der Simulation des Verhaltens des Sensors (110) hinsichtlich einer Genauigkeit (410);

Beurteilung der Simulation des Verhaltens des Sensors (110) hinsichtlich einer Rechenzeit (430);

Durchführen einer Sensitivitätsanalyse mittels der Genauigkeit (410) und der Rechenzeit (430).

2. Verfahren nach Anspruch 1 , wobei bei der Sensitivitätsanalyse ein Quotient aus Genauigkeit (410) und Rechenzeit (430) ermittelt wird und derjenige der Sensorparameter auf einen festgelegten Wert gesetzt ist, für den der Quotient aus Genauigkeit (410) und Rechenzeit (430) möglichst klein ist.

3. Verfahren nach Anspruch 2, wobei das Verfahren wiederholt wird und wobei derjenige der weiteren Sensorparameter auf einen festgelegten Wert gesetzt ist, für den der Quotient aus Genauigkeit (410) und Rechenzeit (410) möglichst klein ist.

4. Verfahren nach Anspruch 2 oder 3, wobei das Verfahren so lange wiederholt wird, bis alle Sensorparameter auf einen festgelegten Wert gesetzt sind, bei denen der Quotient aus Genauigkeit (410) und Rechenzeit (430) unter einem vorgegebenen Wert liegt. Verfahren nach Anspruch 1 bis 4, wobei zur Beurteilung der Simulation des Verhaltens des Sensors (110) hinsichtlich der Genauigkeit (410) ein Vergleich zwischen den ersten Eingabewerten und den zweiten Eingabewerten erfolgt. Verfahren nach einem der Ansprüche 1 bis 5, wobei bei der Beurteilung der Simulation des Verhaltens des Sensors (110) hinsichtlich der Rechenzeit (430) die Rechenzeit gemessen wird. Verfahren nach einem der Ansprüche 1 bis 6, wobei die zweiten Eingabewerte mittels eines Sensors (110) erzeugt werden. Verfahren nach einem der Ansprüche 1 bis 7, wobei anhand der zweiten Eingabewerten ein Szenario für die ersten Eingabewerte festgelegt wird. Verfahren zum Trainieren eines Erkennungsalgorithmus, wobei der Erkennungsalgorithmus mit simulierten Sensordaten trainiert wird, wobei die simulierten Sensordaten mit dem Verfahren zum Evaluieren eines Sensormodells nach einem der Ansprüche 1 bis 8 evaluiert werden. Sensorsystem (100) mit einem Sensor (110) und einer Auswerteeinheit (120), wobei die Auswerteeinheit (120) eingerichtet ist, einen Erkennungsalgorithmus durchzuführen, wobei der Erkennungsalgorithmus mit dem Verfahren zum Trainieren des Erkennungsalgorithmus nach Anspruch 9 trainiert ist.

Description:
Beschreibung

Titel

Verfahren zum Evaluieren eines Sensormodells, Verfahren zum Trainieren eines Erkennungsalgorithmus und Sensorsystem

Die Erfindung betrifft ein Verfahren zum Evaluieren eines Sensormodells, ein Verfahren zum Trainieren eines Erkennungsalgorithmus und ein Sensorsystem.

Stand der Technik

Es sind Sensorsysteme bekannt, die beispielsweise in Fahrzeugen, insbesondere Kraftfahrzeugen, zum Einsatz kommen. Dabei ist ein Fokus der aktuellen Entwicklung das automatisierte Ausführen von Fahrfunktionen, beginnend bei Fahrerassistenzsystemen, die einen Fahrer des Fahrzeugs unterstützen, bis hin zu Fahrzeugen, die in gewissen Bereichen oder auch vollständig autonom Fahren können. Für das automatisierte Ausführen von Fahrfunktionen ist es erforderlich, Sensorsysteme in den Fahrzeugen bereitzustellen, mit denen eine Umgebung des Fahrzeugs erkannt und klassifiziert werden kann, um diese Informationen bei einer Trajektorienplanung zu verwenden und/oder Fahrfunktionen anhand dieser Informationen zu steuern. Die Sensorsysteme inklusive einer Auswerteelektronik müssen vor einem Einsatz in Fahrzeugen aufwändig getestet und validiert werden, um möglichst sicher zu gehen, dass durch die Sensorsysteme alle relevanten Informationen identifiziert werden und keine relevanten Informationen übersehen werden. Dies kann insbesondere mittels simulierter Sensordaten erfolgen, wobei dies den Vorteil hat, dass relevante Situationen explizit in die simulierten Sensordaten eingefügt werden können und so die Sensorsysteme hinsichtlich aller relevanter Situationen evaluiert werden können. Würden nur reale Sensordaten verwendet, wäre dies selbst im Idealfall nur durch äußerst ausgiebige Testfahrten zu erreichen, wobei selbst dies keine Garantie dafür sein kann, dass wirklich alle Eventualitäten abgedeckt sind. Für die Sensorsysteme werden dann relevante Sensormodelle erstellt. Anhand dieser Sensormodelle kann das Verhalten des Sensorsystems in einer simulierten Umgebung evaluiert werden. Mit der simulierten Umgebung und dem darin nachgestellten Verhalten des Sensorsystems können dann weitere Elemente einer Steuerung wie beispielsweise eine Objekterkennung evaluiert werden, wobei eine Anzahl von Testfahrten reduziert werden kann. Diese Simulationen sind jedoch sehr aufwändig und erfordern eine hohe Rechenleistung.

Offenbarung der Erfindung

Eine Aufgabe der Erfindung ist es, ein Verfahren zum Evaluieren eines Sensormodells mit reduzierter benötigter Rechenleistung bereitzustellen. Eine weitere Aufgabe der Erfindung ist es, ein Verfahren zum Trainieren eines Erkennungsalgorithmus bereitzustellen, das auf dem erfindungsgemäßen Verfahren zum Evaluieren des Sensormodells basiert. Eine weitere Aufgabe der Erfindung ist es, ein Sensorsystem bereitzustellen, das mit dem erfindungsgemäßen Verfahren zum Trainieren eines Erkennungsalgorithmus trainiert wurde. Diese Aufgaben werden mit den Gegenständen der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Patentansprüchen angegeben.

In einem Verfahren zum Evaluieren eines Sensormodells werden reale Sensordaten mit simulierten Sensordaten verglichen. Hierzu werden die folgenden Schritte ausgeführt. Zunächst werden die zu analysierenden Sensorparameter und jeweils ein Wertebereich für jeden der zu analysierenden Sensorparameter festgelegt. Anschließend werden Eingabewerte für das Sensormodell erzeugt, wobei erste Eingabewerte mittels einer Simulation eines Verhaltens eines Sensors erzeugt werden und zweite Eingabewerte reale Sensorwerte umfassen. Danach wird die Simulation des Verhaltens des Sensors hinsichtlich einer Genauigkeit und hinsichtlich einer Rechenzeit beurteilt. Schlussendlich wird eine Sensitivitätsanalyse mittels der Genauigkeit und der Rechenzeit durchgeführt.

Mittels der Sensitivitätsanalyse können diejenigen Sensorparameter angepasst werden beziehungsweise ihre Wertebereiche angepasst werden, die überproportional viel Rechenzeit benötigen verglichen mit einem Genauigkeitsgewinn dieser Sensorparameter. Dies ermöglicht es, eine vorhandene Rechenkapazität besser auszunutzen und dadurch ein verbessertes Sensormodell bereitzustellen, bei dem weniger Rechenleistung im Verhältnis zur Genauigkeit notwendig ist. Dadurch können effizientere Sensormodelle bereitgestellt werden.

Die zweiten Eingabewerte können dabei direkt die realen Sensorwerte sein. Ferner können die zweiten Eingabewerte auch aus den realen Sensorwerten abgeleitete Werte sein. Beides soll durch den Ausdruck umfassen beinhaltet sein.

Die Sensorparameter können gegebenenfalls für unterschiedliche zu simulierende Sensorsysteme unterschiedlich sein. Insbesondere relevant können Radar- Sensorsysteme, Lidar-Sensorsysteme und Kamerasensorsysteme sein. Für Radar-Sensorsysteme können die Sensorparameter insbesondere eine Standardabweichung eines durchschnittlichen Rauschens der Sensordaten, eine Verschiebung einer Detektionswahrscheinlichkeit, eine maximale Antennenverstärkung, ein Maß für ein Rauschen, ein übergreifender Systemverlust und/oder einen durchschnittlichen Radarquerschnitt umfassen. Für Lidar-Sensorsysteme können die Sensorparameter insbesondere eine Anzahl von Scan-Layern, eine Anordnung der Scan-Layer, eine Intensität, eine Bewegungsunschärfe, ein Rolling Shutter und/oder eine atmosphärische Dämpfung umfassen. Im Falle eines Kamera-Sensorsystems können die Sensorparameter insbesondere eine Vignet- tierung, eine Linsenverzerrung, einen Einfluss eines Farbfilters, ein Windschutzscheibenmodell und/oder Witterungseinflüsse umfassen.

In einer Ausführungsform wird bei der Sensitivitätsanalyse ein Quotient aus Genauigkeit und Rechenzeit ermittelt. Anschließend wird derjenige der Sensorparameter auf einen festgelegten Wert gesetzt, für den der Quotient aus Genauigkeit und Rechenzeit möglichst klein ist. Dies ermöglicht, das Sensormodell zu vereinfachen, wobei derjenige Sensorparameter, der auf den festgelegten Wert gesetzt wird, bei dem ein Verhältnis aus Genauigkeit und benötigter Rechenzeit möglichst vorteilhaft ist. Beispielsweise könnte ein erster Sensorparameter zwar einen größeren Einfluss auf das Simulationsergebnis haben als ein zweiter Sensorparameter. Kann dadurch, dass der erste Sensorparameter jedoch auf einen festgelegten Wert gesetzt wird, im Verhältnis zur schlechteren Genauigkeit mehr Rechenzeit eingespart werden, kann es gegebenenfalls trotzdem vorteilhaft sein, diesen Sensorparameter in der Simulation zu vernachlässigen durch Setzen des Sensorparameters auf den festgelegten Wert.

In einer Ausführungsform wird das Verfahren wiederholt. Bei der Wiederholung wird derjenige der weiteren Sensorparameter auf einen festgelegten Wert gesetzt, für den der Quotient aus Genauigkeit und Rechenzeit möglichst klein ist. Dadurch kann eine weitere Vereinfachung des Sensormodells erreicht werden.

In einer Ausführungsform wird das Verfahren so lange wiederholt, bis alle Sensorparameter auf einen festgelegten Wert gesetzt sind, bei denen der Quotient aus Genauigkeit und Rechenzeit unter einem vorgegebenen Wert liegt. Dadurch kann eine weitere Vereinfachung des Sensormodells erreicht werden.

In einer Ausführungsform erfolgt zur Beurteilung der Simulation des Verhaltens des Sensors hinsichtlich der Genauigkeit ein Vergleich zwischen den ersten Eingabewerten und den zweiten Eingabewerten. Dies kann insbesondere dazu dienen, festzustellen, inwieweit die Simulation des Verhaltens des Sensors mit realen Sensordaten übereinstimmt. Beispielsweise kann während der Simulation eine reale Fahrt eines Fahrzeugs mit einem entsprechenden Sensorsystem nachgestellt werden und dann die realen Sensordaten mit den Simulierten Sensordaten verglichen werden. Dies stellt ein einfach umzusetzendes Verfahren dar.

In einer Ausführungsform wird bei der Beurteilung der Simulation des Verhaltens des Sensors hinsichtlich der Rechenzeit die Rechenzeit gemessen. Insbesondere kann die Rechenzeit gemessen werden, während einmal ein Sensorparameter auf einen festgelegten Wert gesetzt ist und einmal der Sensorparameter veränderlich ist. Eine Differenz dieser beiden Rechenzeiten ergibt dann die Rechenzeit, nach der die die Simulation des Verhaltens des Sensors hinsichtlich der Rechenzeit beurteilt wird.

In einer Ausführungsform werden die zweiten Eingabewerte mittels eines Sensors erzeugt.

In einer Ausführungsform wird anhand der zweiten Eingabewerten ein Szenario für die ersten Eingabewerte festgelegt. Dies kann ermöglichen, vorgegebene Szenarien, die mittels einer realen Messfahrt nachgestellt wurden, derart zu verändern, dass nun auch Szenarien, für die keine reale Messfahrt durchgeführt wurde, berücksichtigt werden können.

Das erfindungsgemäße Verfahren zum Evaluieren eines Sensormodells kann in einem Verfahren zum Trainieren eines Erkennungsalgorithmus eingesetzt werden. Im Verfahren zum Trainieren eines Erkennungsalgorithmus wird der Erkennungsalgorithmus mit simulierten Sensordaten trainiert, wobei die simulierten Sensordaten mit dem erfindungsgemäßen Verfahren zum Evaluieren eines Sensormodells evaluiert werden. Dadurch können die simulierten Sensordaten derart erzeugt werden, dass während der Simulation eine verbesserte Ausnutzung der zur Verfügung stehenden Rechenzeit ermöglicht ist verglichen mit den im Stand der Technik bekannten Verfahren.

Die Erfindung umfasst ferner ein Sensorsystem, insbesondere ein Sensorsystem zum Einsatz in einem Fahrzeug, mit einem Sensor und einer Auswerteeinheit.

Die Auswerteeinheit ist eingerichtet, einen Erkennungsalgorithmus durchzuführen. Der Erkennungsalgorithmus ist mit dem erfindungsgemäßen Verfahren zum Trainieren des Erkennungsalgorithmus trainiert. Das Sensorsystem kann insbesondere ein Radar-Sensorsystem mit einem Radarsensor, ein Lidar- Sensorsystem mit einem Lidarsensor und/oder Kamerasensorsystem mit einer Kamera sein.

Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen erläutert. In der schematischen Zeichnung zeigen:

Fig. 1 ein Fahrzeug;

Fig. 2 eine Recheneinheit;

Fig. 3 ein erstes Ablaufdiagramm eines Verfahrens zum Evaluieren eines Sensormodells;

Fig. 4 ein zweites Ablaufdiagramm eines Verfahrens zum Evaluieren eines Sensormodells; Fig. 5 ein Diagramm einer Genauigkeitsbeurteilung; und

Fig. 6 ein Diagramm einer Rechenzeitbeurteilung.

Fig.1 zeigt ein Fahrzeug 10 mit einem Sensorsystem 100. Das Sensorsystem 100 umfasst zumindest einen Sensor 110 und eine Auswerteeinheit 120. Das Sensorsystem 100 kann ein Radar-Sensorsystem 100 mit einem Radarsensor 110, ein Lidar-Sensorsystem 100 mit einem Lidar-Sensor 110 und/oder ein Kamerasensorsystem 100 mit einer Kamera 110 umfassen. Es können also auch mehr als eine Art von Sensorsystemen 100 im Fahrzeug 10 angeordnet sein. Die Auswerteeinheit 120 ist dabei jeweils eingerichtet, Signale des Sensors 110 zu verarbeiten und an weiterte Steuereinheiten 11 , 12 auszugeben. Die weiteren Steuereinheiten 11 , 12 können dabei eine Steuereinheit 11 zum automatisierten Ausführen einer Fahrfunktion beziehungsweise eine Steuereinheit 12 für andere Funktionen umfassen. Die Steuereinheit 11 zum automatisierten Ausführen einer Fahrfunktion kann dabei einem Fahrerassistenzsystem, das einen Fahrer des Fahrzeugs 10 unterstützt, zugeordnet sein. Alternativ kann vorgesehen sein, dass mittels der Steuereinheit 11 zum automatisierten Ausführen einer Fahrfunktion ein in gewissen Bereichen oder auch vollständig autonomes Fahren ermöglicht wird. Für das automatisierte Ausführen von Fahrfunktionen ist es erforderlich, ein Sensorsystem 100 im Fahrzeug 10 bereitzustellen, mit denen eine Umgebung des Fahr-zeugs 10 erkannt und klassifiziert werden kann, um diese Informationen bei einer Trajektorienplanung zu verwenden und/oder Fahrfunktionen anhand dieser Informationen zu steuern. Das Sensorsystem 10 inklusive der Auswerteeinheit 120 muss vor einem Einsatz im Fahrzeug 10 aufwändig getestet und validiert werden, um möglichst sicher zu gehen, dass durch das Sensorsystem 10 alle relevanten Informationen identifiziert werden und keine relevanten Informationen übersehen werden. Das in Fig. 1 gezeigte Fahrzeug kann in einem Verfahren zum Evaluieren eines Sensormodells zum Einsatz kommen und insbesondere reale Sensordaten bereitstellen, wobei die realen Sensordaten mittels des Sensors 110 als physikalische Messdaten aufgezeichnet werden und mittels der Auswerteeinheit 120 in digitale Daten umgewandelt werden können. Fig. 2 zeigt eine Recheneinheit 200, mit der ein Verfahren zum Evaluieren eines Sensormodells durchgeführt werden kann. Die Recheneinheit 200 weist einen Prozessor 210 auf, wobei auf dem Prozessor 210 ein Computerprogramm ablaufen kann. Ferner weist die Recheneinheit 200 eine Eingangsschnittstelle 220 und eine Ausgangsschnittstelle 230 auf. Über die Eingangsschnittstelle 220 können beispielsweise reale Sensordaten ermittelt durch das Sensorsystem 100 des Fahrzeugs 10 eingelesen werden. Über die Ausgangsschnittstelle 230 kann ein Simulationsergebnis ausgegeben werden.

Die Recheneinheit 200 kann ferner eingerichtet sein, simulierte Sensordaten zu erzeugen. Dabei können relevante Situationen explizit in die simulierten Sensordaten eingefügt werden und so das Sensorsystem 100 hinsichtlich aller relevanter Situationen evaluiert werden. Würden nur reale Sensordaten verwendet, wäre dies selbst im Idealfall nur durch äußerst ausgiebige Testfahrten zu erreichen, wobei selbst dies keine Garantie dafür sein kann, dass wirklich alle Eventualitäten abgedeckt sind.

Fig. 3 zeigt ein Ablaufdiagramm 300 eines Verfahrens zum Evaluieren eines Sensormodells, bei dem reale Sensordaten mit simulierten Sensordaten verglichen werden. Die realen Sensordaten können dabei insbesondere wie im Zusammenhang mit Fig. 1 erläutert mittels des Sensorsystems 100 aufgezeichnet worden sein. Das Verfahren kann insbesondere auf einer Recheneinheit 200 wie in Fig. 2 gezeigt durchgeführt werden.

In einem ersten Verfahrensschritt 301 werden zu analysierende Sensorparametern und jeweils ein Wertebereich für jeden der zu analysierenden Sensorparameter festgelegt. In einem zweiten Verfahrensschritt 302 werden Eingabewerte für das Sensormodell erzeugt, wobei erste Eingabewerte mittels einer Simulation eines Verhaltens eines Sensors 110 erzeugt werden und zweite Eingabewerte reale Sensorwerte, insbesondere reale Sensorwerte des Sensors 110, umfassen. In einem dritten Verfahrensschritt 303 wird die Simulation des Verhaltens des Sensors 110 hinsichtlich einer Genauigkeit beurteilt. In einem vierten Verfahrensschritt 304 wird die Simulation des Verhaltens des Sensors 110 hinsichtlich einer Rechenzeit beurteilt. In einem fünften Verfahrensschritt 305 wird eine Sensitivitätsanalyse mittels der Genauigkeit und der Rechenzeit durchgeführt. Der dritte Verfahrensschritt 303 und der vierte Verfahrensschritt 304 können dabei auch in umgekehrter Reihenfolge oder gleichzeitig ausgeführt werden.

In einem Ausführungsbeispiel wird bei der Sensitivitätsanalyse des fünften Verfahrensschritts 305 ein Quotient aus Genauigkeit und Rechenzeit ermittelt. Anschließend wird derjenige der Sensorparameter auf einen festgelegten Wert gesetzt, für den der Quotient aus Genauigkeit und Rechenzeit möglichst klein ist. Dadurch kann das Sensormodell vereinfacht werden, wobei die Recheneinheit 200 weniger Rechenkapazität benötigt, um das vereinfachte Sensormodell zu simulieren.

In einem Ausführungsbeispiel wird anschließend das Verfahren mit allen fünf Verfahrensschritten 301 , 302, 303, 304, 305 wiederholt. Nun wird derjenige der weiteren Sensorparameter auf einen festgelegten Wert gesetzt, für den der Quotient aus Genauigkeit und Rechenzeit möglichst klein ist. Dadurch kann das Sensormodell weiter vereinfacht werden.

In einem Ausführungsbeispiel wird das Verfahren so lange wiederholt wird, bis alle Sensorparameter auf einen festgelegten Wert gesetzt sind, bei denen der Quotient aus Genauigkeit und Rechenzeit unter einem vorgegebenen Wert liegt.

Fig. 4 zeigt ein Ablaufdiagramm 300 eines Verfahrens zum Evaluieren eines Sensormodells, bei dem die im Zusammenhang mit Fig. 3 erläuterten Verfahrensschritte 301 , 302, 303, 304, 305 ebenfalls durchgeführt werden und ferner weitere Optionen beschrieben sind. Die weiteren Optionen können gegebenenfalls auch einzeln vorgesehen sein und das Verfahren der Fig. 3 ergänzen. In einer Parametergenerierung 307 werden innerhalb der ein Wertebereiche der zu analysierenden Sensorparameter jeweils Sensorparameterwerte erzeugt. Im zweiten Verfahrensschritt 302 erfolgt eine Realwertgenerierung 310 mittels einer Testfahrt 311 des Fahrzeugs 10, wobei während der Testfahrt 311 Sensordaten 312 mittels der Sensoren 110 beziehungsweise des Sensorsystems 100 erzeugt werden. Ferner erfolgt im zweiten Verfahrensschritt 302 eine synthetische Generierung 320, bei der eine Simulation 321 des Verhaltens des Sensors 110 beziehungsweise des Sensorsystems 100 durchgeführt und anschließend ein Sensormodelldaten 322 erzeugt werden. Die Sensormodelldaten 322 sind dabei die ersten Eingabewerte und die Sensordaten 312 sind die zweiten Eingabewerte. Die Sensordaten 312 und die Sensormodelldaten 322 werden dann in einer Testumgebung 325, die beispielsweise ein zu Testendes System (System under Test) umfassen kann, weiterverarbeitet und anschließend der dritte Verfahrensschritt 303 und der vierte Verfahrensschritt 304 durchgeführt. Schlussendlich wird auch in diesem Verfahren der fünfte Verfahrensschritt 305 durchgeführt.

In einem Ausführungsbeispiel erfolgt zur Beurteilung der Simulation des Verhaltens des Sensors 110 hinsichtlich der Genauigkeit ein Vergleich zwischen den ersten Eingabewerten und den zweiten Eingabewerten, also gegebenenfalls ein Vergleich der Sensordaten 312 und der Sensormodelldaten 322.

In einem Ausführungsbeispiel wird zur Beurteilung der Simulation des Verhaltens des Sensors 110 hinsichtlich der Rechenzeit im vierten Verfahrensschritt 304 die Rechenzeit gemessen. Dies kann beispielsweise mittels einer innerhalb der Recheneinheit 200 bereitgestellten Uhr erfolgen.

In einem Ausführungsbeispiel werden die zweiten Eingabewerte mittels eines Sensors 110 erzeugt. In einem Ausführungsbeispiel wird anhand der zweiten Eingabewerten ein Szenario für die ersten Eingabewerte festgelegt. Dies ist in Fig. 4 durch einen Pfeil von der Testfahrt 311 zur Simulation 321 angedeutet.

Fig. 5 zeigt ein Genauigkeitsdiagramm 400, bei dem eine Genauigkeit 410 eines ersten Sensorparameters 401 , eines zweiten Sensorparameters 402, eines dritten Sensorparameters 403, eines vierten Sensorparameters 404 und eines fünften Sensorparameters 405 aufgetragen ist. Für jeden Sensorparameter 401 , 402, 403, 404, 405 ist eine Genauigkeit 410 in Form eines Balkens angegeben, wobei jeweils ein schraffierter Bereich des Balkens andeutet, welche Genauigkeit verloren gehen würde, wenn der jeweilige Sensorparameter 401 , 402, 403, 404, 405 auf einen vorbestimmten Wert gesetzt werden würde. Je kleiner der schraffierte Bereich also ist, umso weniger Einfluss hätte das Festsetzen dieses Sensorparameters 401 , 402, 403, 404, 405 auf die Genauigkeit 410.

Fig. 6 zeigt ein Rechenzeitdiagramm 420, bei dem eine Rechenzeit 430 des ersten Sensorparameters 401, des zweiten Sensorparameters 402, des dritten Sen- sorparameters 403, des vierten Sensorparameters 404 und des fünften Sensorparameters 405 aufgetragen ist. Für jeden Sensorparameter 401 , 402, 403, 404, 405 ist die Rechenzeit 430 in Form eines Balkens angegeben, wobei jeweils ein schraffierter Bereich des Balkens andeutet, welche Rechenzeit gewonnen werden könnte, wenn der jeweilige Sensorparameter 401 , 402, 403, 404, 405 auf einen vorbestimmten Wert gesetzt werden würde. Je größer der schraffierte Bereich also ist, umso mehr Rechenzeit könnte also durch das Festsetzen dieses Sensorparameters 401 , 402, 403, 404, 405 gewonnen werden.

Sowohl für Fig. 5 als auch Fig. 6 kann auch eine andere Anzahl an Sensorparametern 401 , 402, 403, 404, 405 vorgesehen sein. Anhand der Darstellungen der Fig. 5 und 6 wird insbesondere deutlich, dass einzelne der Sensorparameter 401 , 402, 403, 404, 405, beispielsweise der zweite Sensorparameter 402 nur einen geringen Beitrag zur Genauigkeit 410 liefern, jedoch eine hohe Rechenzeit 430 verursachen. Dies kann dazu genutzt werden, den zweiten Sensorparameter 402 auf einen vorbestimmten Wert innerhalb des Wertebereichs des zweiten Sensorparameters 402 zu setzen, da dadurch die Rechenzeit 430 sehr deutlich abnimmt und die Genauigkeit 410 nur unwesentlich leidet. Dies kann beispielswiese durch den Quotienten aus Genauigkeit 410 und Rechenzeit 430 ausgedrückt werden.

Ist der Sensor 110 ein Radarsensor beziehungsweise das Sensorsystem 100 ein Radarsensorsystem, können die Sensorparameter 401 , 402, 403, 404, 405 insbesondere eine Standardabweichung eines durchschnittlichen Rauschens der Sensordaten, eine Verschiebung einer Detektionswahrscheinlichkeit, eine maximale Antennenverstärkung, ein Maß für ein Rauschen, ein übergreifender Systemverlust und/oder einen durchschnittlichen Radarquerschnitt umfassen. Die Standardabweichung des durchschnittlichen Rauschens der Sensordaten kann dabei zwischen Null und acht dB betragen. Die Verschiebung der Detektionswahrscheinlichkeit kann zwischen minus fünf und fünf sein. Die maximale Antennenverstärkung kann zwischen zehn und fünfundzwanzig dB sein. Das Maß für das Rauschen kann zwischen zehn und zwanzig sein. Der übergreifende Systemverlust kann zwischen Null und zwanzig dB sein. Der durchschnittliche Radarquerschnitt kann zwischen minus zehn und zehn dBsm sein. Ist das Sensorsystem 100 ein Lidar-Sensorsystem und der Sensor 110 ein Lidar-Sensor, können die Sensorparameter insbesondere eine Anzahl von Scan-Layern, eine An- Ordnung der Scan-Layer, eine Intensität, eine Bewegungsunschärfe, ein Rolling Shutter und/oder eine atmosphärische Dämpfung umfassen. Ist das Sensorsystem 100 ein Kamera-Sensorsystem und der Sensor 110 eine Kamera, können die Sensorparameter insbesondere eine Vignettierung, eine Linsenverzerrung, einen Einfluss eines Farbfilters, ein Windschutzscheibenmodell und/oder Witterungseinflüsse umfassen.

Die Erfindung umfasst ferner ein Verfahren zum Trainieren eines Erkennungsalgorithmus, wobei der Erkennungsalgorithmus mit simulierten Sensordaten trainiert wird, wobei die simulierten Sensordaten mit dem im Zusammenhang mit den Fig. 1 bis 6 erläuterten Verfahren zum Evaluieren eines Sensormodells evaluiert werden.

Die Erfindung umfasst außerdem ein Sensorsystem 100 mit einem Sensor 110 und einer Auswerteeinheit 120, wobei die Auswerteeinheit 120 eingerichtet ist, einen Erkennungsalgorithmus durchzuführen, wobei der Erkennungsalgorithmus mit dem erfindungsgemäßen Verfahren zum Trainieren des Erkennungsalgorithmus trainiert ist.

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele beschrieben wurde, ist die Erfindung nicht auf die offenbarten Beispiele eingeschränkt und andere Variationen hieraus können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.