15.09.2022

Verfahren zur Kompensation von Messfehlern

Die Erfindung betrifft ein Verfahren zur Kompensation von Messfehlern bei einer mittels eines mindestens zwei Kameras aufweisenden Sensorsystems eines Fahrzeugs durchgeführten Abstandsmessung.

Aus der DE 102 15 009 A1 ist ein Verfahren zum Bestimmen einer Geschwindigkeit eines Fahrzeugs bekannt, bei dem geschwindigkeitsabhängige Fahrzustandsgrößen erfasst werden und aus diesen mittels einer Übertragungsfunktion eine angenäherte Geschwindigkeit des Fahrzeugs errechnet wird. Zur Korrektur einer Übertragungsfunktion wird aus dem zu verschiedenen Zeitpunkten gemessenen Abstand von einem Punkt des Fahrzeugs zu einer Landmarke eine Relativgeschwindigkeit des Fahrzeugs zu der Landmarke berechnet. Anschließend wird aus einem Vergleich der Geschwindigkeit des Fahrzeugs mit der Relativgeschwindigkeit der Fehler bei der Ermittlung der Geschwindigkeit erfasst und die Übertragungsfunktion so angepasst, dass der Fehler minimiert wird.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Kompensation von Messfehlern bei einer mittels eines mindestens zwei Kameras aufweisenden Sensorsystems durchgeführten Abstandsmessung anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

In dem erfindungsgemäßen Verfahren zur Kompensation von Messfehlern bei einer mittels eines mindestens zwei Kameras aufweisenden Sensorsystems eines Fahrzeugs durchgeführten Abstandsmessung wird mittels der zumindest zwei Kameras jeweils ein Bild erfasst. Es werden eine Zeitabweichung zwischen Aufnahmezeitpunkten der beiden erfassten Bilder, eine Objektgeschwindigkeit eines Objekts in einer Fahrzeugumgebung und eine Position eines Objektpunkts des Objekts in dem als Referenzbild verwendeten Bild einer der Kameras als Referenzposition ermittelt. Weiterhin wird eine Position des Objektpunkts in dem Bild der anderen Kamera ermittelt, wobei die Position des Objektpunkts in dem Bild der anderen Kamera basierend auf der Objektgeschwindigkeit des Objekts und der Zeitabweichung auf eine korrigierte Position, an der sich der Objektpunkt zu dem Aufnahmezeitpunkt des Referenzbilds befunden hätte, rückgerechnet wird. Ein Abstand zu dem Objekt wird durch Triangulation, basierend auf der Referenzposition des Objektpunkts und der korrigierten Position des Objektpunkts, ermittelt.

Mehrkamerasysteme sind in der Lage, durch das Messprinzip der Triangulation die Position mindestens eines Objekts zu bestimmen. Bei bewegten Objekten können jedoch Messfehler in der Positionsbestimmung durch zeitlich asynchrone Aufnahmen des Mehrkamerasystems entstehen. Dies resultiert daraus, dass das Objekt von den Kameras des entsprechenden Mehrkamerasystems aufgrund einer Bewegung des Objekts und/oder des Mehrkamerasystems und einen daraus folgenden zeitlichen Versatz der Bildaufnahmen an unterschiedlichen Positionen aufgenommen wird. Mittels des vorliegenden Verfahrens kann die Position des Objekts korrigiert und somit mit einer höheren Genauigkeit bestimmt werden.

Dabei ist es mittels des Verfahrens möglich, bereits vorhandene Messsysteme, welche so genannte Software- oder Hardwaretrigger für dynamische Messungen verwenden, in ihrer Messgenauigkeit zu verbessern. Die Softwaretrigger sind in der Regel ungenauer als Hardwaretrigger und verwenden oftmals eine so genannte Bussynchronisation, bei der ein Aufnahmeimpuls an die Mehrkamerasysteme ausgegeben wird. Bei der Anwendung von Hardwaretriggern wird eine direkte konduktive Verbindung zwischen den einzelnen Kameras der Mehrkamerasysteme verwendet, wobei in der Regel ein Ausgang einer Kamera, beispielsweise ein so genannter Blitzausgang, mit einem Eingang einer weiteren Kamera, beispielsweise einem Auslöser, verbunden ist. Wird die erste Kamera ausgelöst, werden anschließend alle anderen Kameras oder Kamerasysteme durch den Impuls auf den Eingang ausgelöst. Die Synchronität der Aufnahmen ist in der Regel bei Hardwaretriggern besser als bei Softwaretriggern, jedoch immer noch nicht vollständig synchron. Dadurch kommt es dennoch zu Fehlern in der Positionsbestimmung von Objekten. Speziell bei Kamerasystemen unterschiedlicher Hersteller oder unterschiedlichen Typs in einem Verbund funktioniert der Softwaretrigger nicht oder nur bedingt. Auch bei Hardwaretriggern besteht in diesem Fall die Problematik der notwendigen Konfektion passender Hardware. Mittels des vorliegenden Verfahrens ist es dagegen möglich, Mehrkamerasysteme unterschiedlichen Typs oder Herstellers, die aufgrund ihres Aufbaus oder ihrer Konfiguration nicht oder nur schwer zu synchronisieren sind, in ihrer dynamischen Messgenauigkeit zu verbessern. Das heißt, das Verfahren kann in besonders vorteilhafter Weise ohne das Erfordernis von zusätzlicher Hardware und ohne eine Abhängigkeit von einem Typ und Hersteller einer Kamera verwendet werden.

In einer möglichen Ausgestaltung des Verfahrens wird ein gemeinsames Zeitsystem der Kameras von einer Komponente eines Daten der Kameras verarbeitenden Bildverarbeitungssystems, beispielsweise einer Bildauswerteeinheit, vorgegeben. Hierdurch können eine besonders genaue Ermittlung der Zeitabweichung und daraus folgend eine zuverlässige Kompensation von Messfehlern realisiert werden.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird eine Übertragungszeit zwischen der Komponente und anderen Komponenten des Bildverarbeitungssystems in einem zumindest die Komponenten und die Kameras umfassenden System aus einer Latenzzeit zwischen der Komponente und den anderen Komponenten ermittelt, wobei die Übertragungszeit bei der Ermittlung der Zeitabweichung zwischen den Aufnahmezeitpunkten berücksichtigt wird. Die Berücksichtigung der Übertragungszeit ermöglicht eine weitere Erhöhung der Genauigkeit bei der Ermittlung der Zeitabweichung.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird die Zeitabweichung aus dem Aufnahmezeitpunkt des Referenzbilds abzüglich des Aufnahmezeitpunkts des Bilds der anderen Kamera abzüglich der Übertragungszeit ermittelt. Eine solche Ermittlung ist besonders zuverlässig und genau.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird als Aufnahmezeitpunkt eine Mitte einer Belichtungszeit bei der Aufnahme des jeweiligen Bilds verwendet. Dies ermöglicht eine einfach realisierbare Erfassung der Aufnahmezeitpunkte auf Basis einer gemeinsamen Grundlage und unterschiedliche Belichtungszeiten können ausgeglichen werden.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird für mehrere

Aufnahmezeitpunkte ein Mittelwert von Geschwindigkeiten des entsprechenden Objekts ermittelt, wobei der Mittelwert der Geschwindigkeiten des Objekts als Objektgeschwindigkeit verwendet wird.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird die Objektgeschwindigkeit mit der Zeitabweichung zwischen den Aufnahmezeitpunkten multipliziert, wobei aus dem Ergebnis der Multiplikation ein Korrekturwert ermittelt wird und anhand des Korrekturwerts die korrigierte Position ermittelt wird. Dies ermöglicht eine einfache und zuverlässige Ermittlung der korrigierten Position.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

Fig. 1 schematisch eine Darstellung einer Anordnung zur Bestimmung einer Position eines Objektpunkts bei einer zeitlich synchronen Aufnahme desselben mittels zwei Kameras,

Fig. 2 schematisch eine Darstellung einer Anordnung zur Bestimmung einer Position eines Objektpunkts bei einer zeitlich asynchronen Aufnahme desselben mittels zwei Kameras,

Fig. 3 schematisch eine Darstellung eines mittels einer Kamera zu unterschiedlichen Aufnahmezeitpunkten erfassten Objektpunkts,

Fig. 4 schematisch eine Messung einer Bewegung und Asynchronität eines Objektpunkts in einem Bild sowie eine Zuordnung zu einem Referenzbild und

Fig. 5 schematisch eine Korrektur einer Position eines Objektpunkts anhand der ermittelten Bewegung und Asynchronität.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

In Figur 1 ist eine Darstellung einer Anordnung zur Bestimmung einer Position eines Objektpunkts P bei einer zeitlich synchronen Aufnahme desselben mittels zwei Kameras 1, 2 gezeigt. Die Kameras 1 , 2 sind beispielsweise Bestandteil eines Sensorsystems, beispielsweise eines Mehrkamerasystems, welches zum Beispiel in oder an einem Fahrzeug zur Erfassung einer Fahrzeugumgebung vorgesehen ist.

Mittels der Kameras 1, 2 erfasste Umgebungsdaten sind insbesondere zur Verwendung in Fahrerassistenzsystemen, beispielsweise zum automatisierten, insbesondere hochautomatisierten oder autonomen Betrieb des Fahrzeugs vorgesehen. Bei einer solchen Verwendung werden in mittels der Kameras 1, 2 erfassten Bildern B1 , B2 Objekte detektiert, wobei vorliegend ein solches Objekt durch den Objektpunkt P repräsentiert wird.

Hierzu werden jeweils mehrere Bilder B1, B2 eines Objektpunkts P aus verschiedenen Perspektiven mittels der Kameras 1 , 2 sowie zugehörige Aufnahmezeitpunkte t _n , t _n +i aufgenommen. Die Kameras 1, 2 sind zueinander kalibriert, wobei ein Abstand d der Kameras 1, 2 zueinander und eine jeweilige Brennweite f 1 , f2 der Kameras 1 , 2 bekannt sind. Wird bei einer Auswertung der Bilder B1, B2 die Position mindestens eines Objekts berechnet, wird in jedem Bild B1, B2 der gleiche Objektpunkt P bestimmt. Durch Triangulation wird eine Position des Objektpunkts P aus jedem Bild B1, B2 berechnet. Das heißt, in den erfassten Bildern B1 , B2 wird ein Abstand des Objektpunkts P zu den Kameras 1, 2 anhand eines Schnittpunkts von Sichtlinien S1, S2 der Kameras 1 , 2, des Abstands d der Kameras 1, 2 zueinander und den Brennweiten f 1 , f2 der Kameras 1 , 2 ermittelt.

Bewegt sich jedoch das Objekt während der Aufnahme der Bilder B1 , B2 und werden diese nicht zeitgleich, sondern asynchron aufgenommen, dann verschiebt sich der Objektpunkt P in einem Bild B1, B2 um einen Weg s, der von einer Zeitabweichung zwischen den Aufnahmezeitpunkten t _n , t _n +i der Bilder B1, B2 sowie der Bewegung des Objekts abhängig ist. Dies ist in Figur 2 näher dargestellt, welche eine Darstellung einer Anordnung zur Bestimmung einer Position eines Objektpunkts P bei einer zeitlich asynchronen Aufnahme desselben mittels zwei Kameras 1 , 2 zeigt.

Dabei wurde das mittels der Kamera 2 erfasste Bild B2 mit einem zeitlichen Versatz zu dem mittels der Kamera 1 erfassten Bild B1 aufgenommen. Der zeitliche Versatz und die Bewegung des Objektpunkts P verursachen eine Verschiebung V des Objektpunkts P im Bild B2. Eine daraus resultierende Sichtlinie S2' schneidet die Sichtlinie S1 der Kamera 1 im Punkt P'. Ohne Berücksichtigung der Asynchronität der Aufnahmezeitpunkte t _n , t _n +i ist die Positionsberechnung des Objektpunkts P fehlerbehaftet. Eine wahre Position des Objektpunkts P im Raum kann zu der gemessenen Position mehr oder weniger abweichen, je nachdem wie sich das Objekt relativ zu den Kameras 1, 2 bewegt und wie groß die Zeitabweichung zwischen den Aufnahmezeitpunkten t _n , t _n +i der beiden erfassten Bilder B1 , B2 ist. Der Weg s, um welchen der Objektpunkt P' gegenüber dem Objektpunkt P verschoben ist, ergibt sich dabei aus einem Messfehler s _y in Längsrichtung Y und einem Messfehler s _x in Querrichtung X.

Wird ein in Figur 5 näher dargestellter Korrekturwert K einbezogen, kann der entstandene Messfehler s _x , s _y in Form des Wegs s zumindest verringert oder vollständig ausgeglichen werden. Für diese Korrektur ist eine Kenntnis der Zeitabweichung, einer in Figur 4 näher dargestellten Bewegungsrichtung R des Objektpunkts P' und einer Objektgeschwindigkeit v des Objektpunkts P' erforderlich.

Das im Folgenden beschriebene mögliche Ausführungsbeispiel eines Verfahrens zur Kompensation von Messfehlern s _x , s _y bei einer mittels eines mindestens zwei Kameras 1, 2 aufweisenden Sensorsystems eines Fahrzeugs durchgeführten Abstandsmessung ist allgemein auch auf Multikamerasysteme mit einer beliebigen Anzahl von Kameras 1 , 2 anwendbar und wird in diesem Fall entsprechend mehrfach durchlaufen.

Bei jeder Aufnahme eines Bilds B1 , B2 wird der Aufnahmezeitpunkt t _n , t _n +i in einem gemeinsamen Zeitsystem bestimmt. Das gemeinsame Zeitsystem wird dabei von einer Komponente von Daten der Kameras 1 , 2 verarbeitenden Bildverarbeitungssystems, beispielsweise einer Bildauswerteeinheit, definiert.

Zusätzlich wird für eine möglichst genaue Bestimmung der Zeitabweichung eine Übertragungszeit zwischen der zeitdefinierenden Komponente und anderen Komponenten des Bildverarbeitungssystems benötigt. Dafür wird eine Latenzzeit, welche eine Übertragungszeit zwischen der Komponente und anderen Komponenten in einem zumindest die Komponenten und die Kameras umfassenden System beschreibt, ermittelt und dieser Zeitunterschied in die Berechnung der Asynchronität mit einbezogen.

Ebenso wird zum Ausgleich unterschiedlicher Belichtungszeiten die Mitte der jeweiligen Belichtungszeit als Aufnahmezeitpunkt definiert. Zur Korrektur der Messfehler s _x , s _y wird eines der Bilder B1 , B2 als Referenzbild gesetzt und die übrigen Bilder B1, B2 der anderen Kameras 1, 2 oder Kamerasysteme relativ zum Referenzbild korrigiert. Ein Sonderfall, bei dem eine Bewegung des Objektpunkts P' genau in Richtung der Sichtlinie S1, S2 einer Kamera 1 , 2 erfolgt, wird durch eine Zuordnung der Kamera 1 , 2 zum Referenzbild gelöst.

Zunächst wird für eine Bestimmung der Objektgeschwindigkeit v des Objektpunkts P' eine Bewegung desselben um den jeweiligen Aufnahmezeitpunkt t _n , t _n +i jeder Kamera 1 , 2 analysiert und das Bild B1 , B2 mit der geringsten Bewegung des Objektpunkts P wird als Referenzbild gesetzt.

Die die Asynchronität beschreibende Zeitabweichung t _Async wird gemäß Async ~ Referenz ~ n ~ Latenz, n (1) aus einer zeitlichen Differenz des Aufnahmezeitpunkts t _Referenz des Referenzbilds zu weiteren Aufnahmezeitpunkten t _n , korrigiert um die durch die jeweilige Latenz t _LatenZin beschriebene Übertragungszeit zwischen der zeitdefinierenden Komponente und anderen Komponenten. Dabei kann die berechnete Zeitabweichung positiv oder negativ sein, was sich später auf die Korrekturrichtung auswirkt.

Die beispielhaft in Figur 4 dargestellte Objektgeschwindigkeit v und Bewegungsrichtung R des Objektpunkts P' werden durch Messungen, beispielweise durch die zu korrigierenden Kameras 1, 2 um den zu korrigierenden Aufnahmezeitpunkt t _n , t _n +i, berechnet. Die Messung der Objektgeschwindigkeit v und der Bewegungsrichtung R wird um das zu korrigierende Bild B1, B2 sowie durch mindestens eine weitere Bildaufnahme vorgenommen. Dies ist in Figur 3 anhand einer Darstellung eines mittels einer Kamera 1, 2 zu unterschiedlichen Aufnahmezeitpunkten t _n -i , tn, t _n +i erfassten Objektpunkts P' ^-1 , P', P' ⁺¹ gezeigt.

Hierbei ist eine die Bestimmung der Objektgeschwindigkeit v und der Bewegungsrichtung R des Objektpunkts P' zu einem Aufnahmezeitpunkt t _n -i vor und einem Aufnahmezeitpunkt t _n +i nach einem Aufnahmezeitpunkt t _n dargestellt.

Eine Objektgeschwindigkeit in Querrichtung X berechnet sich dabei gemäß aus einer Differenz Ax der Koordinaten des Objektpunkts P in Querrichtung X geteilt durch die zugehörige Zeitabweichung t _Async zwischen den Bildern B1 , B2.

Eine Objektgeschwindigkeit in Längsrichtung Y berechnet sich dabei gemäß aus einer Differenz Ay der Koordinaten des Objektpunkts P in Längsrichtung Y geteilt durch die zugehörige Zeitabweichung t _Async zwischen den Bildern B1, B2.

Für mehrere Messungen wird anschließend für die Querrichtung X gemäß und die Längsrichtung Y gemäß jeweils ein Mittelwert der bestimmten Objektgeschwindigkeiten berechnet. Dies wird anhand einer Bildaufnahme oder mit beiden Bildaufnahmen durchgeführt, welche zeitlich am nächsten mit dem kleinsten Zeitintervall vor und nach der Messung aufgenommen wurden.

Aus einem Produkt der Asynchronität, das heißt der Zeitabweichung t _Async zwischen den Aufnahmezeitpunkten t _n , t _n +i , und den zuvor berechneten Objektgeschwindigkeiten des zu korrigierenden Bilds B1, B2 wird anschließend wie folgt ein jeweiliger Korrekturwert in Querrichtung X gemäß x Korrektur ~ ^Async * ^v x (6) und in Längsrichtung Y gemäß

V Korrektur ~ ^Async * ^v y (7) berechnet.

Die so ermittelten Korrekturwerte werden anschließend mit der jeweiligen unkorrigierten Koordinate des Objektpunkts P' addiert gemäß xkorrigiert ~ ^x unkorrigiert T ^x Korrektur (8) und y korrigiert ~ y unkorrigiert T y Korrektur- (9)

Das heißt, der Versatz des Objektpunkts P' wird durch die positive Zeitabweichung t _Async des entsprechenden Bilds B1 , B2 zum Referenzbild zurückgerechnet und der Messfehler s _x , s _y wird durch den neu berechneten Objektpunkt P korrigiert.

Eine solche Korrektur mittels eines aus den Korrekturwerten x _Korrektur , y Korrektur gebildeten Korrekturwerts K ist beispielhaft in Figur 5 dargestellt.

Abschließend werden mittels des Triangulationsverfahrens die Koordinaten des Objektpunkts P, P' bestimmt.