Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETERMINING A GRAVITATIONAL DIRECTION FOR A VEHICLE CONTROL SYSTEM OF A MOTOR VEHICLE, VEHICLE CONTROL SYSTEM AND MOTOR VEHICLE
Document Type and Number:
WIPO Patent Application WO/2023/072696
Kind Code:
A1
Abstract:
The invention relates to a vehicle control system (12) and a method for determining a gravitational direction (14), comprising the following steps: detecting (S10) an expanse of water (16); recording (S12) at least one first and one second image of the scenery of the expanse of water (16), the images being recorded from at least one first and one second recording position (P1, P2); detecting (S14) at least one object (20) in the scenery and the reflection (22, 22') thereof on the expanse of water (16) from the respective images; calculating (S16) a three-dimensional vector (14) which is directed perpendicularly to the expanse of water (16) from the at least two images, the three-dimensional vector (14) being calculated from the respective images depending on a particular feature point (24) of the object (20) and the feature point (26, 26') of the reflection (22, 22') of the object (20); and providing (S18) the three-dimensional vector (14) as a gravitational direction for the vehicle control system (12).

Inventors:
RAAIJMAKERS MARVIN (DE)
KRAEMER STEFAN (DE)
Application Number:
PCT/EP2022/079045
Publication Date:
May 04, 2023
Filing Date:
October 19, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CARIAD SE (DE)
International Classes:
G06T7/80
Foreign References:
US20120070071A12012-03-22
DE102015109238A12015-12-17
US20120070071A12012-03-22
Other References:
MEIER KEVIN ET AL: "River segmentation for autonomous surface vehicle localization and river boundary mapping", JOURNAL OF FIELD ROBOTICS, vol. 38, no. 2, 25 September 2020 (2020-09-25), US, pages 192 - 211, XP055979586, ISSN: 1556-4959, Retrieved from the Internet DOI: 10.1002/rob.21989
EL ABD ET AL: "Visual Behavior Based Bio-Inspired Polarization Techniques in Computer Vision and Robotics", HAL, 1 March 2012 (2012-03-01), pages 1 - 30, XP055979597
Attorney, Agent or Firm:
HOFSTETTER, SCHURACK & PARTNER PATENT- UND RECHTSANWALTSKANZLEI, PARTG MBB (DE)
Download PDF:
Claims:
PATENTANSPRÜCHE: Verfahren zum Bestimmen einer Gravitationsrichtung (14) für ein Fahrzeugsteuersystem (12) eines Kraftfahrzeugs (10), mit den Schritten:

- Ermitteln (S10) einer Wasserfläche (16) mittels einer

Kameraeinrichtung (18) des Kraftfahrzeugs (10);

- Aufnehmen (S12) von zumindest einem ersten und einem zweiten Bild einer Szenerie der Wasserfläche (16) durch die Kameraeinrichtung (18), wobei die Bilder aus zumindest einer ersten und einer zweiten Aufnahmeposition (P1 , P2) aufgenommen werden, wobei sich die erste und die zweite Aufnahmeposition (P1 , P2) voneinander unterscheiden;

- Ermitteln (S14) zumindest eines Objekts (20) in der Szenerie und dessen Reflektion (22, 22‘) auf der Wasserfläche (16) aus den jeweiligen Bildern, wobei in den zumindest zwei Bildern jeweils das gleiche Objekt (20) und dessen Reflektion (22, 22‘) ermittelt werden;

- Berechnen (S16) eines dreidimensionalen Vektors (14), der senkrecht auf die Wasserfläche (16) zeigt, aus den zumindest zwei Bildern, wobei der dreidimensionale Vektor (14) aus den jeweiligen Bildern in Abhängigkeit eines jeweiligen Merkmalspunkts (24) des Objekts (20) und dem Merkmalspunkt (26, 26‘) der Reflektion (22, 22‘) des Objekts (20) berechnet wird;

- Bereitstellen (S18) des dreidimensionalen Vektors (14) als Gravitationsrichtung für das Fahrzeugsteuersystem (12). Verfahren nach Anspruch 1 , wobei das Berechnen des dreidimensionalen Vektors (14) mit folgenden Schritten durchgeführt wird:

Berechnen einer ersten Fläche (28) aus dem ersten Bild, die durch den Merkmalspunkt (24) des Objekts (20), dem Merkmalspunkt (26) der Reflektion (22) des Objekts (20) und einem Kamerazentrum der Kameraeinrichtung (18) in der ersten Aufnahmeposition (P1 ) aufgespannt wird, und einer zweiten Fläche (28‘) aus dem zweiten Bild, die durch den Merkmalspunkt (24) des Objekts (20), dem Merkmalspunkt (26‘) der Reflektion (22‘) und dem Kamerazentrum der Kameraeinrichtung (18) in der zweiten Aufnahmeposition (P2) aufgespannt wird;

Berechnen einer Schnittgeraden an dem sich die erste Fläche (28) und die zweite Fläche (28‘) schneiden, wobei die Schnittgerade als dreidimensionaler Vektor (14) bereitgestellt wird.

3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest zwei Bilder von einer Stereokamera der Kameraeinrichtung (18) und/oder zwei Kameras der Kameraeinrichtung (18) aufgenommen werden, die an unterschiedlichen Positionen des Kraftfahrzeugs (10) angeordnet sind.

4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest zwei Bilder von einer Kamera der Kameraeinrichtung (18) zu unterschiedlichen Zeiten nach einer Bewegung des Kraftfahrzeugs (10) aufgenommen werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Wasserfläche (16) anhand einer Aufnahme mit und einer Aufnahme ohne Polarisationsfilter ermittelt wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das zumindest eine Objekt (20) und dessen Reflektion (22, 22‘) in den jeweiligen Bildern mittels eines Bilderkennungsalgorithmus ermittelt wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere Objekte und deren Reflektionen in den zumindest zwei Bildern ermittelt werden, wobei für alle Objekte dreidimensionale Vektoren berechnet werden, wobei die Gravitationsrichtung aus einem Mittelwert der Richtungen aller dreidimensionaler Vektoren bestimmt wird. 15 Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich zu der Gravitationsrichtung ein Betrag des

Gravitationsvektors mittels einer Ortsposition und/oder Höhenposition des Kraftfahrzeugs (10) bestimmt wird. Fahrzeugsteuersystem (12), das dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen. Kraftfahrzeug (10) mit einem Fahrzeugsteuersystem (12) nach Anspruch 9.

Description:
Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und

Kraftfahrzeug

BESCHREIBUNG:

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, ein Fahrzeugsteuersystem, das dazu ausgebildet ist, das Verfahren durchzuführen sowie ein Kraftfahrzeug mit einem solchen Fahrzeugsteuersystem .

Die Kenntnis über eine Gravitationsrichtung kann dazu verwendet werden, ein Fahrzeugsteuersystem eines Kraftfahrzeugs zu kalibrieren, wobei ein Fahrzeugsteuersystem insbesondere ein Fahrerassistenzsystem, ein System zur Stabilisationssteuerung und/oder ein System zum autonomen Steuern des Kraftfahrzeugs sein kann. Beispielsweise kann die Kenntnis der Gravitationsrichtung dazu verwendet werden, eine Lage des Kraftfahrzeugs in einem Koordinatensystem, insbesondere in einer digitalen Karte, zu bestimmen.

Aus der DE 10 2015 109 238 A1 ist ein Verfahren bereitgestellt, um einen Zustand eines nassen Straßenbelags für ein Fahrzeug, das auf der Straße fährt, zu ermitteln. Es wird ein Bild außerhalb des Fahrzeugs durch eine Bilderfassungseinrichtung zu einem ersten und einem zweiten Zeitpunkt erfasst. Zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt werden potentielle Objekte und Merkmalsobjekte an einer Bodenoberfläche der Fahrstraße detektiert. Basierend auf einer Triangulationstechnik, die die Merkmalspunkte in den erfassten Bildern zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt verwendet, wird eine Ermittlung bezüglich dessen durchgeführt, ob die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekten umfasst. In Ansprechen auf die Ermittlung, dass die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekten umfasst, wird eine nasse Fahrbahn angebendes Signal erzeugt.

Aus der US 2012/007 0071 A1 sind Systeme und Verfahren bekannt, die automatisiertes maschinelles Sehen umfassen, wobei Bilder von Szenen, die von einem 3D-Bildgebungssystem aufgenommen wurden, benutzt werden, um Wasser zu erkennen.

Der Erfindung liegt die Aufgabe zugrunde, eine Kalibration eines Fahrzeugsteuersystems durchzuführen.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen, der folgenden Beschreibung sowie den Figuren offenbart.

Die Erfindung basiert auf der Idee, dass eine Gravitationsrichtung anhand eines Vektors bestimmt werden kann, der orthogonal auf einer Wasserfläche steht. Dabei ist eine Linie in einem Bild der Wasseroberfläche, die von einem Merkmalspunkt eines Objekts und dessen Reflexion verläuft, parallel zu der Gravitationsrichtung. Dieser Effekt wird dazu verwendet, die Gravitationsrichtung aus aufgenommenen Bildern zu ermitteln und als Kalibration für ein Fahrzeugsteuersystem bereitzustellen.

Durch die Erfindung ist ein Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs bereitgestellt. Als Schritte umfasst das Verfahren ein Ermitteln einer Wasserfläche mittels einer Kameraeinrichtung des Kraftfahrzeugs, ein Aufnehmen von zumindest einem ersten und einem zweiten Bild einer Szenerie der Wasserfläche durch die Kameraeinrichtung, wobei die Bilder aus zumindest einer ersten und einer zweiten Aufnahmeposition aufgenommen werden, wobei sich die erste und die zweite Aufnahmeposition voneinander unterscheiden, und ein Ermitteln zumindest eines Objekts in der Szenerie und dessen Reflexion auf der Wasserfläche aus den jeweiligen Bildern, wobei in den zumindest zwei Bildern jeweils das gleiche Objekt und dessen Reflexion ermittelt werden. Des Weiteren umfasst das Verfahren ein Berechnen eines dreidimensionalen Vektors, der senkrecht auf die Wasserfläche zeigt, aus den zumindest zwei Bildern, wobei der dreidimensionale Vektor aus den jeweiligen Bildern in Abhängigkeit eines jeweiligen Merkmalspunkts des Objekts und dem Merkmalspunkt der Reflexion des Objekts berechnet wird, und ein Bereitstellen des dreidimensionalen Vektors als Gravitationsrichtung für das Fahrzeugsteuersystem .

Mit anderen Worten wird für die Bestimmung der Gravitationsrichtung zunächst eine Wasserfläche in der Umgebung des Kraftfahrzeugs ermittelt. Dies kann durch eine Kameraeinrichtung durchgeführt werden, die mittels Bildanalysealgorithmen eine Wasserfläche aus einem Bild erkennen kann. Als Wasserfläche kann hierbei beispielsweise ein Meer, See, Fluss und/oder eine Pfütze erkannt werden. Von dieser Wasserfläche und deren Umgebung, also der Szenerie der Wasserfläche, können zumindest zwei Bilder aus unterschiedlichen Aufnahmepositionen, die sich voneinander unterscheiden, aufgenommen werden. Die einzelnen Bilder können zweidimensional vorliegen, wobei durch die zumindest zwei Bilder aus unterschiedlichen Aufnahmepositionen eine Information über eine dritte Dimension erhalten werden kann.

Aus der Szenerie der zumindest zwei Bilder kann zumindest ein Objekt bestimmt werden, insbesondere mittels eines Bilderkennungsalgorithmus, wobei zusätzlich zu dem Objekt, das sich beispielsweise neben der Wasserfläche befinden kann, dessen Reflexion auf der Wasserfläche in den jeweiligen Bildern bestimmt wird. Das Objekt kann vorzugsweise ein statisches Objekt sein, wie beispielsweise ein Berg, Baum, Haus und/oder ein Infrastrukturobjekt. Auch die Reflexion des Objekts kann mittels des Bilderkennungsalgorithmus ermittelt werden, indem gleiche Objekte, die insbesondere gespiegelt sind, in dem jeweiligen Bild ermittelt werden. Daraus kann anschließend ein dreidimensionaler Vektor berechnet werden, der senkrecht auf die Wasserfläche zeigt. Dies kann mittels eines Merkmalspunkts des Objekts und dem entsprechenden Merkmalspunkt der Reflexion des Objekts berechnet werden. Hierbei wird ausgenutzt, dass eine Linie zwischen dem Merkmalspunkt des Objekts und dem entsprechenden Merkmalspunkt der Reflexion des Objekts im zweidimensionalen Bild parallel zu der Gravitationsrichtung ist. Da mit einem Bild jedoch noch keine Aussage über eine dritte Dimension des Vektors getroffen werden kann, wird dies zumindest für zwei Bilder berechnet, wobei aus den Linien zwischen den Merkmalspunkten der zwei Bilder der Vektor in drei Dimensionen berechnet werden kann.

Schließlich kann der so bestimmte dreidimensionale Vektor als Gravitationsrichtung für das Fahrzeugsteuersystem bereitgestellt werden. Das bedeutet, dass der dreidimensionale Vektor zur Kalibrierung des Fahrzeugsteuersystems verwendet werden kann, um beispielsweise eine Relativorientierung zu einer digitalen Karte bereitzustellen. Das Verfahren kann beispielsweise von dem Fahrzeugsteuersystem durchgeführt werden, das zumindest eine Kameraeinrichtung und vorzugsweise eine Rechenvorrichtung aufweist, um die zuvor genannten Schritte durchzuführen.

Durch die Erfindung ergibt sich der Vorteil, dass auf einfache Art und Weise mittels einer Kameraeinrichtung eine Gravitationsrichtung bestimmt werden kann, insbesondere auch während einer Fahrt des Kraftfahrzeugs. Mittels der Gravitationsrichtung kann dann ein Fahrzeugsteuersystem kalibriert werden.

Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.

Eine Ausführungsform sieht vor, dass das Berechnen des dreidimensionalen Vektors als Schritte ein Berechnen einer ersten Fläche aus dem ersten Bild, die durch den Merkmalspunkt des Objekts, dem Merkmalspunkt der Reflexion des Objekts und einem Kamerazentrum der Kameraeinrichtung in der ersten Aufnahmeposition aufgespannt wird, und einer zweiten Fläche aus dem zweiten Bild, die durch den Merkmalspunkt des Objekts, den Merkmalspunkt der Reflexion und dem Kamerazentrum der Kameraeinrichtung in der zweiten Aufnahmeposition aufgespannt wird, umfasst, und ein Berechnen einer Schnittgeraden, an dem sich die erste Fläche und die zweite Fläche schneiden, wobei die Schnittgerade als dreidimensionaler Vektor bereitgestellt wird. Mit anderen Worten werden von dem Kamerazentrum in jeder der Aufnahmepositionen jeweilige Flächen aufgespannt, die durch den Merkmalspunkt des Objekts und dem Merkmalspunkt der Reflexion des Objekts verlaufen. Eine Schnittgerade dieser Flächen stellt den dreidimensionalen Vektor bereit, der dann als Gravitationsrichtung verwendet werden kann. Hierbei kann insbesondere ein Lochkameramodell angenommen werden, was bedeutet, dass alle Strahlen des Objekts und der Reflexion des Objekts ihren Ursprung im Kamerazentrum, also einer Beobachterposition, aufweisen. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine einfache und schnelle Berechnung des dreidimensionalen Vektors ermöglicht wird.

Eine weitere Ausführungsform sieht vor, dass die zumindest zwei Bilder von einer Stereokamera der Kameraeinrichtung und/oder zwei Kameras der Kameraeinrichtung aufgenommen werden, die an unterschiedlichen Positionen des Kraftfahrzeugs angeordnet sind. Das bedeutet, dass die zumindest zwei Bilder gleichzeitig durch die Kameraeinrichtung aufgenommen werden, wobei die zwei Bilder unterschiedliche Aufnahmepositionen aufweisen. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine bevorzugte Möglichkeit der Aufnahme der zumindest zwei Bilder, aus dem der dreidimensionale Vektor bestimmt werden kann, ermöglicht wird.

Eine weitere Ausführungsform sieht vor, dass die zumindest zwei Bilder von einer Kamera der Kameraeinrichtung zu unterschiedlichen Zeiten nach einer Bewegung des Kraftfahrzeugs aufgenommen werden. Mit anderen Worten kann die Kameraeinrichtung eine einzelne Kamera aufweisen, die am Kraftfahrzeug angeordnet ist, wobei die unterschiedlichen Aufnahmepositionen mittels einer Bewegung des Kraftfahrzeugs erzeugt werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine weitere bevorzugte Möglichkeit für die Aufnahme der zumindest zwei Bilder erreicht werden kann.

Eine weitere Ausführungsform sieht vor, dass die Wasseroberfläche anhand einer Aufnahme mit und einer Aufnahme ohne Polarisationsfilter ermittelt wird. So kann insbesondere die Wasserfläche mit und ohne Reflexionen erkannt werden, da Reflexionen auf der Wasseroberfläche von dem Polarisationsfilter herausgefiltert werden können. Wird ein solcher Unterschied festgestellt, kann darauf geschlossen werden, dass eine Reflexion stattgefunden hat, und somit eine Wasserfläche vorliegt. Der Polarisationsfilter ist vorzugsweise ein linearer Polarisationsfilter, der zum Erkennen der Wasserfläche reflektiertes Licht herausfiltern kann und somit durch einen Vergleich der jeweiligen Bilder die Wasserfläche erkannt werden kann. Alternativ oder zusätzlich kann auch eine Position der Wasserfläche mit vorgegebenen digitalen Karten abgeglichen werden, insbesondere ob ein See an dieser Position erwartet wird, wobei somit die Bestimmung der Wasserfläche verbessert werden kann.

Eine weitere Ausführungsform sieht vor, dass das zumindest eine Objekt und dessen Reflexion in den jeweiligen Bildern mittels eines Bilderkennungsalgorithmus ermittelt wird. Vorzugsweise kann der Bilderkennungsalgorithmus mittels eines Machine-Learning-Algorithmus angelernt sein und somit automatisch Objekte aus den Bildern erkennen. Insbesondere kann der Bilderkennungsalgorithmus auch dazu ausgebildet sein, das gespiegelte Objekt, das die Reflexion an der Wasserfläche darstellt, zu suchen und in den Bildern zu erkennen. Somit können entsprechende Objekte und deren Reflexionen in den jeweiligen Bildern zugeordnet werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine automatisierte Ermittlung der Objekte in den jeweiligen Bildern durchgeführt werden kann. Eine weitere Ausführungsform sieht vor, dass mehrere Objekte und deren Reflexionen in den zumindest zwei Bildern ermittelt werden, wobei für alle Objekte dreidimensionale Vektoren berechnet werden, wobei die Gravitationsrichtung aus einem Mittelwert der Richtungen aller dreidimensionaler Vektoren bestimmt wird. Mit anderen Worten kann zusätzlich zu den zumindest einen Objekt und den jeweiligen Merkmalspunkten des Objekts ein oder mehrere weitere Objekte und deren Merkmalspunkte verwendet werden, um jeweilige dreidimensionale Vektoren zu ermitteln. Aus der Gesamtheit aller dieser ermittelten dreidimensionalen Vektoren kann anschließend ein Mittelwert gebildet werden, der die Gravitationsrichtung anzeigt. Der Mittelwert kann beispielsweise ein geometrischer Mittelwert oder ein arithmetischer Mittelwert sein. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine Genauigkeit bei der Bestimmung der Gravitationsrichtung verbessert werden kann, indem der Effekt von Ausreißern minimiert wird.

Eine weitere Ausführungsform sieht vor, dass zusätzlich zu der Gravitationsrichtung ein Betrag des Gravitationsvektors mittels einer Ortsposition und/oder Höhenposition des Kraftfahrzeugs bestimmt wird. Insbesondere kann der Betrag des Gravitationsvektors beziehungsweise des Schwerefelds der Erde ca. 9,81 Meter pro Sekunde 2 betragen, wobei dieser je nach Ortsposition und/oder Höhenposition auf der Erde abweichen kann. So kann die Ortsposition des Kraftfahrzeugs beispielsweise mittels eines Positionssensors gemessen werden und/oder die Höhenposition mittels eines Höhenmessers, wobei anhand dieser Werte und mittels einer Nachschlagetabelle der Betrag des Gravitationsvektors an dem Ort und/oder der Höhe bestimmt werden kann. Durch diese Ausführungsform ergibt sich der Vorteil, dass zusätzlich zu der Gravitationsrichtung auch der Betrag des Gravitationsvektors bestimmt werden kann.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeugsteuersystem, das dazu ausgebildet ist, ein Verfahren nach einer der vorhergehenden Ausführungsformen durchzuführen. Das Fahrzeugsteuersystem kann beispielsweise eine Kameraeinrichtung aufweisen, die dazu ausgebildet ist, eine Wasserfläche und zumindest ein erstes und ein zweites Bild einer Szenerie der Wasserfläche zu ermitteln und/oder aufzunehmen, wobei das Fahrzeugsteuersystem vorzugsweise eine Steuervorrichtung beziehungsweise eine Rechenvorrichtung aufweist, die dazu ausgebildet ist, zumindest ein Objekt in der Szenerie und dessen Reflexion auf der Wasserfläche aus den jeweiligen Bildern zu ermitteln und einen dreidimensionalen Vektor, der senkrecht auf die Wasserfläche zeigt, aus den zumindest zwei Bildern zu berechnen. Anschließend kann der berechnete dreidimensionale Vektor als Gravitationsrichtung für das Fahrzeugsteuersystem verwendet werden. Das Fahrzeugsteuerungssystem ist vorzugsweise als Fahrerassistenzsystem und/oder als System zum autonomen Steuern eines Kraftfahrzeugs ausgebildet. Die Gravitationsrichtung kann vorzugsweise dazu verwendet werden, eine Relativorientierung zu einer digitalen Karte, insbesondere zu einer hochauflösenden digitalen Karte, bereitzustellen, mittels der eine Steuerung eines Kraftfahrzeugs ermöglicht wird. Durch diesen Aspekt der Erfindung ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.

Erfindungsgemäß ist auch ein Kraftfahrzeug mit einem Fahrzeugsteuersystem gemäß dem vorhergehenden Aspekt der Erfindung vorgesehen. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.

Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Fahrzeugsteuersystems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Fahrzeugsteuersystems hier nicht noch einmal beschrieben.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

Fig. 1 eine schematische Ansicht eines Kraftfahrzeugs und einer Szenerie einer Wasserfläche gemäß einer beispielhaften Ausführungsform;

Fig. 2 ein schematisches Verfahrensdiagramm gemäß einer beispielhaften Ausführungsform.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.

In Fig. 1 ist eine beispielhafte Situation eines Kraftfahrzeugs 10 mit einem Fahrzeugsteuersystem 12 zur Bestimmung einer Gravitationsrichtung 14 gemäß einer beispielhaften Ausführungsform dargestellt. Hierbei kann das Kraftfahrzeug 10 beispielsweise an einer Wasserfläche 16, insbesondere einem See 16, entlang fahren. Dieser See 16 kann von einer Kameraeinrichtung 18 des Fahrzeugsteuersystems 12 als Wasserfläche erkannt werden. Beispielsweise kann die Kameraeinrichtung 18 eine Aufnahme des Sees 16 und dessen Szenerie beziehungsweise Umgebung mit und ohne Polarisationsfilter aufnehmen, wobei anhand der Aufnahmen anschließend überprüft werden kann, ob Reflexionen im See 16 bei der Aufnahme mit Polarisationsfilter herausgefiltert werden, was auf das Vorhandensein einer Wasserfläche 16 hindeutet. Alternativ oder zusätzlich können Bilderkennungsalgorithmen Wasserflächen aufgrund vorgegebener Merkmale erkennen.

Wird erkannt, dass eine Wasserfläche 16 vorliegt, kann durch die Kameraeinrichtung 18 in einer ersten Aufnahmeposition P1 des Kraftfahrzeugs 10 ein erstes Bild des Sees 16 und des in der Umgebung befindlichen Objekts 20, das insbesondere ein Baum 20 sein kann, aufgenommen werden. Zusätzlich dazu kann durch die Kameraeinrichtung 18 in einer zweiten Aufnahmeposition P2 der See 16 mit dem Baum 20 aufgenommen werden. Hierbei können sich die Aufnahmepositionen P1 und P2 unterscheiden, beispielsweise indem diese zu unterschiedlichen Zeiten nach einer Bewegung des Kraftfahrzeugs 10 aufgenommen werden. Alternativ oder zusätzlich können die unterschiedlichen Aufnahmepositionen P1 , P2 auch mittels einer Stereokamera und/oder zwei Kameras aufgenommen werden, die sich an unterschiedlichen Positionen im Kraftfahrzeug 10 befinden.

Nach der Aufnahme der zumindest zwei Bilder können Objekte und deren Reflektionen im See 16 aus den Bildern ermittelt werden, vorzugsweise mittels eines Bilderkennungsalgorithmus. Das heißt, dass in dieser Situation der Baum 20 und zusätzlich dazu die Reflexionen 22 und 22' des Baums 20 in dem See 16 aus den zumindest zwei Bildern ermittelt werden.

Des Weiteren kann das Fahrzeugsteuersystem 12 dazu ausgebildet sein, in den jeweilig aufgenommenen Bildern Flächen zu ermitteln, die durch einen Merkmalspunkt 24 des Baums, beispielsweise einer Baumspitze 24, und dem entsprechenden Merkmalspunkt 26, 26' der jeweiligen Reflexion 22, 22' des Baums 20 in dem See 16 aufgespannt werden. Die so aus den jeweiligen Bildern erhaltenen Flächen 28, 28' weisen eine Schnittgerade auf, wobei die Schnittgerade einen dreidimensionalen Vektor darstellt, der senkrecht auf der Wasserfläche 16 steht und somit die Gravitationsrichtung 14 anzeigt. Diese Gravitationsrichtung 14 kann schließlich für die Kalibration des Fahrzeugsteuersystems 12, insbesondere um eine Lage im Raum zu ermitteln, bereitgestellt werden.

In Fig. 2 ist ein schematisches Verfahrensdiagramm zum Bestimmen einer Gravitationsrichtung 14 für ein Fahrzeugsteuersystem 12 eines Kraftfahrzeugs 10 dargestellt. In einem Schritt S10 kann eine Wasserfläche 16 mittels einer Kameraeinrichtung 18 des Kraftfahrzeugs 10 ermittelt werden. In einem Schritt S12 kann zumindest ein erstes und ein zweites Bild einer Szenerie der Wasserfläche 16 durch die Kameraeinrichtung 18 aufgenommen werden, wobei die zumindest zwei Bilder aus unterschiedlichen Aufnahmepositionen P1 , P2 aufgenommen werden. Hierzu kann die Kameraeinrichtung 18 beispielsweise eine Stereokamera aufweisen. In einem Schritt S14 kann zumindest ein Objekt 20 in der Szenerie ermittelt werden und zusätzlich eine Reflexion 22, 22' des Objekts 20 in den aufgenommenen Bildern. In einem Schritt S16 kann anschließend ein dreidimensionaler Vektor 14 berechnet werden, der senkrecht auf die Wasserfläche 16 zeigt, wobei dieser in Abhängigkeit von einem jeweiligen Merkmalspunkt 24 des Objekts 20 und dem entsprechenden Merkmalspunkt 26, 26' der Reflexion 22, 22' des Objekts 20 berechnet wird. Vorzugsweise können auch dreidimensionale Vektoren mehrerer Objekte in den jeweiligen Bildern bestimmt werden, wobei anschließend ein Mittelwert der dreidimensionalen Vektoren bestimmt werden kann, der in einem Schritt S18 als Gravitationsrichtung für das Fahrzeugsteuersystem 12 bereitgestellt werden kann. Zusätzlich zu der Gravitationsrichtung kann auch ein Betrag des Gravitationsvektors bestimmt werden, indem eine Ortsposition und/oder Höhenposition des Kraftfahrzeugs 10 ermittelt wird und anhand dieser, zum Beispiel aus einer Nachschlagetabelle, der Betrag der Gravitationskraft an dieser Position verwendet wird.

Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Wahrnehmung der Schwerkraftrichtung über Wasserreflexionen bereitgestellt werden kann.